Генератор robots.txt
Автор: Роман Чернышов
Для того чтобы ваш сайт корректно был проиндексирован поисковыми системами, следует корректно настроить файл robots.txt, который размещается в корне вашего сайта и содержит в себе правила для поисковых систем. Правила описывают какие страницы сайта или разделы можно индексировать, какие запрещено, по каким URL адресам получить одну или несколько карт страниц сайта в формате XML, также в правилах можно запретить индексирование сайта для отдельных поисковых ботов. Строки настроек в файле robots.txt можно прописать вручную, но также можно воспользоваться генератором в режиме онлайн, который корректно сформирует содержимое файла, после чего вам останется только скопировать и вставить полученные строки. Генератор содержит предустановленные настройки для большинства популярных CMS, а также поисковых ботов.
Для того, что бы сгенерировать настройки, заполните форму ниже и нажмите кнопку «Сгенерировать robots.txt».
Описание директив файла robots.txt
User-agent
Указывает к какой поисковой системе или поисковому боту, будут относиться директивы и правила следующие за этой. Звездочка (*) указывает, что последующие директивы и правила, будут относиться ко всем ботам.
Allow
Разрешает индексировать указанный каталог или файл. Может содержать максу в правилах, маска задается в виде звездочки(обозначающей любую последовательность символов) или в виде вопрос(обозначающего один любой символ).
Disallow
Запрещает индексировать указанный каталог или файл. Как и предыдущей директиве, правила могут содержать маски.
Host
Указывает название основного домена(у домена может быть несколько альтернатив написания, с www или без) сайта. Домен можно указывать с протоколом, вида http:// или https://.
Sitemap
Указывает полный путь URL к файла каты сайта в формате XML.
