Robots.txt, что это за файл и как с ним работать?

Robots.txt – системный файл сайта, указывающий на путь к разрешенным страницам для индексации поисковому роботу, а так же указывающий на запрет к индексации отдельный файлов на сайте.

robots Robots.txt, что это за файл и как с ним работать?

Знание и умение редактировать robots.txt, пожалуй базовое знание любого начинающего seo специалиста. Если вы стремитесь управлять поисковыми роботами и улучшать собственную индексацию сайта – необходимо уметь настраивать этот файл на сайт, что в общем то не так и сложно.

Как Robots.txt влияет на индексацию страниц?

Любое seo продвижение сайта преследует одну цель – создать популярный в поисковиках ресурс, соответственно нам необходимо научиться управлять поисковыми роботами, указывая им на то, что нужно индексировать, а что не стоит.

Зачем? В противном случает, поисковой робот при обходе сайта, заберет в индекс все файлы, в том числе и системные. А теперь представьте, если в индексе, кроме страниц сайта есть еще и тысячи системных файлов прикрепленные к вашему доменному имени.

Алгоритмы поисковой системы, хоть и не забанят вас, но в ТОП вы не попадете, так как сразу будет наложен фильтр “не оптимизирован”.

По этому, если вы стремитесь наладить хорошую индексацию ваших страниц, обратите внимание на техническую оптимизацию сайта, в частности на robots.txt и файлы sitemap.xml.

Как правильно настроить robots.txt на сайте?

И так, создать файл robots.txt очень просто – в текстовом редакторе (блокноте, если у вас Windows) создаете пустой файл и сохраняете его в формате .txt – текстовый файл. Вот и все, вы создали robots.txt,

давайте разбираться с функциями:

В файле есть несколько основных команд, которые указывают поисковым роботам направление:

  • Disallow – что означаете запрет к индексации,
  • Allow – разрешить индексацию,
  • Host – указать основное зеркало сайта,
  • Sitemap – путь к карте сайта в xml формате.

так же есть агенты:

  • User-agent: Googlebot – указывать команды только для робота Google,
  • User-agent: Yandex – указывает команды роботу Яндекса.

Как управлять командами в robots.txt?

Все достаточно просто, как вы видите, команд не так и много и потеряться не в чем. По этому, следуя данной логике, вы выполняете следующие действия:

  1. Файл robots.txt должен быть расположен в корне сайта.
  2. Изучите структуру файлов вашего сайта, что бы понимать, что закрывать от индексации, а что нет.
  3. Как правило, закрывают все файлы, которые содержат код и открывают все что связанно со стилями и контентов – то что видет пользователь.

Открываете сайт и смотрите на имеющиеся файлы, которые есть в корне сайт, а затем начинаем писать команды:

User-agent: Googlebot 
Disallow: /

Такая команда будет закрывать все от индексации в Google.

User-agent: Yandex

Disallow: /wp-admin

Такая команда будет означать для робота Яндекса – запрет папки /wp-admin в WordPress, а все остальное можно.

Давайте рассмотрим пример файла robots.txt сайта на WordPress

User-agent: Googlebot
Disallow: /cgi-bin /скрыть папку от индексации
Disallow: /wp-login.php /скрыть папку от индексации
Disallow: /wp-register.php /скрыть папку от индексации
Disallow: /wp-admin /скрыть папку от индексации
Disallow: /wp-content/cache /скрыть папку от индексации
Disallow: /xmlrpc.php /скрыть папку от индексации

/* Робот Google просит не закрывать стили для улучшения индексации в мобильной выдачи, но об этом в другой статье/*

User-agent: Yandex
Disallow: /cgi-bin /скрыть папку от индексации
Disallow: /wp-login.php /скрыть папку от индексации
Disallow: /wp-register.php /скрыть папку от индексации
Disallow: /wp-admin /скрыть папку от индексации
Disallow: /wp-includes /скрыть папку от индексации
Disallow: /wp-content/plugins /скрыть папку от индексации
Disallow: /wp-content/cache /скрыть папку от индексации
Disallow: /wp-content/themes /скрыть папку от индексации
Disallow: /xmlrpc.php /скрыть папку от индексации
Host: https://xseo.top/ /основное зеркало сайта
Sitemap: https://site.com/sitemap.xml /указывает путь к карте сайта

Это пример стандартного файла robots.txt для сайта работающего на WordPress. Конечно же этим возможности не ограничиваются, если у вас большой сайт и много страниц, сервисов и контента, файл robots.txt можно направлять чуть иначе.

Но, это уже другая история.

Полезные ссылки

  • Яндекс о создании файла robots.txt
  • Google о создании файла robots.txt

Давайте знакомиться!

Меня зовут, Андрей. Я занимаюсь SEO и онлайн маркетингом уже более 8 лет. Имею обширный опыт продвижения сайтов и составления маркетинговых планов, для разных ниш бизнеса. Опыт работы с крупными брендами. Преподаю очные курсы по SEO продвижению сайтов и интернет - маркетингу в колледже (Тель-Авив, Израиль).

Подробнее...

Email Рассылка

Получайте самые актуальные инструкции по интернет маркетингу и развитию бизнеса. На email вы будете получать только статьи этого блога. Ваш email будет храниться только мной и не будут переданы никому или использованн для СПАМных рассылок. Только полезная и актуальная информация в рассылке.

Комментарии

Всего комментариев: 0
Оставить комментарий

Все комментарии проходят модерацию. Для комментирования статьи, вам не нужно вводить личных данных, только Имя и Текст Комментария

eject