Генератор robots.txt

Автор: Роман Чернышов    Опубликовано: 25 сентября 2023

Для того чтобы ваш сайт корректно был проиндексирован поисковыми системами, следует корректно настроить файл robots.txt, который размещается в корне вашего сайта и содержит в себе правила для поисковых систем. Правила описывают какие страницы сайта или разделы можно индексировать, какие запрещено, по каким URL адресам получить одну или несколько карт страниц сайта в формате XML, также в правилах можно запретить индексирование сайта для отдельных поисковых ботов. Строки настроек в файле robots.txt можно прописать вручную, но также можно воспользоваться генератором в режиме онлайн, который корректно сформирует содержимое файла, после чего вам останется только скопировать и вставить полученные строки. Генератор содержит предустановленные настройки для большинства популярных CMS, а также поисковых ботов.

Для того, что бы сгенерировать настройки, заполните форму ниже и нажмите кнопку «Сгенерировать robots.txt».

Укажите адрес домена:

Укажите адреса запрещенные для индексирования

Укажите адреса разрешенные для индексирования

Укажите URL адрес карты сайта в XML (Sitemap.xml)

Каким работам разрешено индексировать сайт

Яндекс
Яндекс.Картинки
Яндекс.Новости
Google
Google Картинки
Google Мобильный
Mail
Rambler
PR-CY
Yahoo
Web Archive
AhrefsBot

Настройки для CMS по умолчанию

Без CMS
WordPress
1С-Bitrix
MODX Evo
MODX Revo
Joomla
uCoz
Opencart
Drupal
Blogger
Magento
TYPO3
RCHE Framework

Cгенерировать robots.txt

Тут будет отображен результат генерации

Описание директив файла robots.txt

User-agent
Указывает к какой поисковой системе или поисковому боту, будут относиться директивы и правила следующие за этой. Звездочка (*) указывает, что последующие директивы и правила, будут относиться ко всем ботам.

Allow
Разрешает индексировать указанный каталог или файл. Может содержать максу в правилах, маска задается в виде звездочки(обозначающей любую последовательность символов) или в виде вопрос(обозначающего один любой символ).

Disallow
Запрещает индексировать указанный каталог или файл. Как и предыдущей директиве, правила могут содержать маски.

Host
Указывает название основного домена(у домена может быть несколько альтернатив написания, с www или без) сайта. Домен можно указывать с протоколом, вида http:// или https://.

Sitemap
Указывает полный путь URL к файла каты сайта в формате XML.

Администрирование, Инструменты, Система     robots.txt, seo, генератор