toc

Robots.txt, что это за файл и как с ним работать?

info_outline11 месяцев Назад visibility2 361
Поделиться
Отправить
Линкануть

Robots.txt — системный файл сайта, указывающий на путь к разрешенным страницам для индексации поисковому роботу, а так же указывающий на запрет к индексации отдельный файлов на сайте.

Robots.txt, что это за файл и как с ним работать?

Знание и умение редактировать robots.txt, пожалуй базовое знание любого начинающего seo специалиста. Если вы стремитесь управлять поисковыми роботами и улучшать собственную индексацию сайта — необходимо уметь настраивать этот файл на сайт, что в общем то не так и сложно.

Как Robots.txt влияет на индексацию страниц?

Любое seo продвижение сайта преследует одну цель — создать популярный в поисковиках ресурс, соответственно нам необходимо научиться управлять поисковыми роботами, указывая им на то, что нужно индексировать, а что не стоит.

Зачем? В противном случает, поисковой робот при обходе сайта, заберет в индекс все файлы, в том числе и системные. А теперь представьте, если в индексе, кроме страниц сайта есть еще и тысячи системных файлов прикрепленные к вашему доменному имени.

Алгоритмы поисковой системы, хоть и не забанят вас, но в ТОП вы не попадете, так как сразу будет наложен фильтр «не оптимизирован».

По этому, если вы стремитесь наладить хорошую индексацию ваших страниц, обратите внимание на техническую оптимизацию сайта, в частности на robots.txt и файлы sitemap.xml.

Как правильно настроить robots.txt на сайте?

И так, создать файл robots.txt очень просто — в текстовом редакторе (блокноте, если у вас Windows) создаете пустой файл и сохраняете его в формате .txt — текстовый файл. Вот и все, вы создали robots.txt,

давайте разбираться с функциями:

В файле есть несколько основных команд, которые указывают поисковым роботам направление:

  • Disallow — что означаете запрет к индексации,
  • Allow — разрешить индексацию,
  • Host — указать основное зеркало сайта,
  • Sitemap — путь к карте сайта в xml формате.

так же есть агенты:

  • User-agent: Googlebot — указывать команды только для робота Google,
  • User-agent: Yandex — указывает команды роботу Яндекса.

Как управлять командами в robots.txt?

Все достаточно просто, как вы видите, команд не так и много и потеряться не в чем. По этому, следуя данной логике, вы выполняете следующие действия:

  1. Файл robots.txt должен быть расположен в корне сайта.
  2. Изучите структуру файлов вашего сайта, что бы понимать, что закрывать от индексации, а что нет.
  3. Как правило, закрывают все файлы, которые содержат код и открывают все что связанно со стилями и контентов — то что видет пользователь.

Открываете сайт и смотрите на имеющиеся файлы, которые есть в корне сайт, а затем начинаем писать команды:

Такая команда будет закрывать все от индексации в Google.

User-agent: Yandex

Disallow: /wp-admin

Такая команда будет означать для робота Яндекса — запрет папки /wp-admin в WordPress, а все остальное можно.

Давайте рассмотрим пример файла robots.txt сайта на WordPress

User-agent: Googlebot
Disallow: /cgi-bin /скрыть папку от индексации
Disallow: /wp-login.php /скрыть папку от индексации
Disallow: /wp-register.php /скрыть папку от индексации
Disallow: /wp-admin /скрыть папку от индексации
Disallow: /wp-content/cache /скрыть папку от индексации
Disallow: /xmlrpc.php /скрыть папку от индексации

/* Робот Google просит не закрывать стили для улучшения индексации в мобильной выдачи, но об этом в другой статье/*

User-agent: Yandex
Disallow: /cgi-bin /скрыть папку от индексации
Disallow: /wp-login.php /скрыть папку от индексации
Disallow: /wp-register.php /скрыть папку от индексации
Disallow: /wp-admin /скрыть папку от индексации
Disallow: /wp-includes /скрыть папку от индексации
Disallow: /wp-content/plugins /скрыть папку от индексации
Disallow: /wp-content/cache /скрыть папку от индексации
Disallow: /wp-content/themes /скрыть папку от индексации
Disallow: /xmlrpc.php /скрыть папку от индексации
Host: https://xseo.top/ /основное зеркало сайта
Sitemap: https://site.com/sitemap.xml /указывает путь к карте сайта

Это пример стандартного файла robots.txt для сайта работающего на WordPress. Конечно же этим возможности не ограничиваются, если у вас большой сайт и много страниц, сервисов и контента, файл robots.txt можно направлять чуть иначе.

Но, это уже другая история.

Полезные ссылки

  • Яндекс о создании файла robots.txt
  • Google о создании файла robots.txt

Отправить ответ

Оставьте первый комментарий!

Notify of
avatar
wpDiscuz

Бесплатные вебинары и открытые уроки

Онлайн занятия, которые доступны в открытом доступе для простушивания любым желающим. Делиться материалом разрешается с наличием обратной ссылки на сайт xSEO.top/

Первое занятие по курсу для самостоятельного изучения SEO для WordPress расскажет вам о базовых возможностях CMS и о том, как настроить красивые ссылки, и что можно сделать с Title и как поставить Google Analytics и Яндекс Метрику.

Дополнительная информация

2015 - 2017 (c) xSEO.top - Блог об интернет маркетинге, программировании и жизни в Израиле. Копирование материалов блога разрешается, но только с наличием обратной ссылки. Все вопросы можно задать лично автору, на странице обратной связи