Генератор robots.txt

Author Автор: Роман Чернышов    Опубликовано: 25 сентября 2023

robots.txt Для того чтобы ваш сайт корректно был проиндексирован поисковыми системами, следует корректно настроить файл robots.txt, который размещается в корне вашего сайта и содержит в себе правила для поисковых систем. Правила описывают какие страницы сайта или разделы можно индексировать, какие запрещено, по каким URL адресам получить одну или несколько карт страниц сайта в формате XML, также в правилах можно запретить индексирование сайта для отдельных поисковых ботов. Строки настроек в файле robots.txt можно прописать вручную, но также можно воспользоваться генератором в режиме онлайн, который корректно сформирует содержимое файла, после чего вам останется только скопировать и вставить полученные строки. Генератор содержит предустановленные настройки для большинства популярных CMS, а также поисковых ботов.

Для того, что бы сгенерировать настройки, заполните форму ниже и нажмите кнопку «Сгенерировать robots.txt».

Тут будет отображен результат генерации

Описание директив файла robots.txt

User-agent
Указывает к какой поисковой системе или поисковому боту, будут относиться директивы и правила следующие за этой. Звездочка (*) указывает, что последующие директивы и правила, будут относиться ко всем ботам.

Allow
Разрешает индексировать указанный каталог или файл. Может содержать максу в правилах, маска задается в виде звездочки(обозначающей любую последовательность символов) или в виде вопрос(обозначающего один любой символ).

Disallow
Запрещает индексировать указанный каталог или файл. Как и предыдущей директиве, правила могут содержать маски.

Host
Указывает название основного домена(у домена может быть несколько альтернатив написания, с www или без) сайта. Домен можно указывать с протоколом, вида http:// или https://.

Sitemap
Указывает полный путь URL к файла каты сайта в формате XML.

Заказать услугу технической СЕО оптимизации
Category Администрирование, Инструменты, Система     Tags , ,

Похожие записи

Оставить комментарий

Автор блога
Роман Чернышов
Веб-разработчик,
Full Stack
Senior, Architect
PHP, JavaScript, Node.JS, Python, HTML 5, CSS 3, MySQL, Bash, Linux Admin
Вхожу в ТОП 100 фрилансеров. Топовый исполнитель по версии Кворк Вхожу в ТОП 100 фрилансеров
Множество совершенных сделок Множество совершенных сделок
Более 5 лет на Кворк Более 5 лет на Кворк, более 10 лет в фрилансе
Заказать работу
предложить оффер

Моя книга
Книга. Веб-разработчик. Легкий вход в профессию
Печатная книга
Веб-разработчик.
Легкий вход в профессию
Купить за 159₽
Последние вопросы
Список вопросов
Последние комментарии
Меню

Archive

Свежие записи

Мои проекты
Insurance CMS Love Crm CMS Совместные покупки Мой PHP Framework Хостинг для моих клиентов Лицензии на мой софт и поддержка