Генератор robots.txt

Author Автор: Роман Чернышов    Опубликовано: 25 сентября 2023

robots.txt Для того чтобы ваш сайт корректно был проиндексирован поисковыми системами, следует корректно настроить файл robots.txt, который размещается в корне вашего сайта и содержит в себе правила для поисковых систем. Правила описывают какие страницы сайта или разделы можно индексировать, какие запрещено, по каким URL адресам получить одну или несколько карт страниц сайта в формате XML, также в правилах можно запретить индексирование сайта для отдельных поисковых ботов. Строки настроек в файле robots.txt можно прописать вручную, но также можно воспользоваться генератором в режиме онлайн, который корректно сформирует содержимое файла, после чего вам останется только скопировать и вставить полученные строки. Генератор содержит предустановленные настройки для большинства популярных CMS, а также поисковых ботов.

Для того, что бы сгенерировать настройки, заполните форму ниже и нажмите кнопку «Сгенерировать robots.txt».

Тут будет отображен результат генерации

Описание директив файла robots.txt

User-agent
Указывает к какой поисковой системе или поисковому боту, будут относиться директивы и правила следующие за этой. Звездочка (*) указывает, что последующие директивы и правила, будут относиться ко всем ботам.

Allow
Разрешает индексировать указанный каталог или файл. Может содержать максу в правилах, маска задается в виде звездочки(обозначающей любую последовательность символов) или в виде вопрос(обозначающего один любой символ).

Disallow
Запрещает индексировать указанный каталог или файл. Как и предыдущей директиве, правила могут содержать маски.

Host
Указывает название основного домена(у домена может быть несколько альтернатив написания, с www или без) сайта. Домен можно указывать с протоколом, вида http:// или https://.

Sitemap
Указывает полный путь URL к файла каты сайта в формате XML.

Заказать услугу технической СЕО оптимизации
Category Администрирование, Инструменты, Система     Tags , ,

Похожие записи

Оставить комментарий

Автор блога
Роман Чернышов
Веб-разработчик,
Full Stack
Senior, Architect
PHP, JavaScript, Node.JS, Python, HTML 5, CSS 3, MySQL, Bash, Linux Admin
Вхожу в ТОП 100 фрилансеров. Топовый исполнитель по версии Кворк Вхожу в ТОП 100 фрилансеров
Множество совершенных сделок Множество совершенных сделок
Более 5 лет на Кворк Более 5 лет на Кворк, более 10 лет в фрилансе
Заказать работу
предложить оффер

Моя книга
Книга. Веб-разработчик. Легкий вход в профессию
Печатная книга
Веб-разработчик.
Легкий вход в профессию
Купить за 359₽
Популярные записи
Последние вопросы
Список вопросов
Последние комментарии
Меню

Archive

Свежие записи

Мои проекты
Insurance CMS Love Crm CMS Совместные покупки Мой PHP Framework Хостинг для моих клиентов Лицензии на мой софт и поддержка