30
Август

Robots.txt, что это за файл и как с ним работать?

Robots.txt — системный файл сайта, указывающий на путь к разрешенным страницам для индексации поисковому роботу, а так же указывающий на запрет к индексации отдельный файлов на сайте.

 
flight