Плагин WordPress для настройки robots.txt
Автор: Роман Чернышов
Опубликовано: 13 января 2025 
Друзья, приветствую! Хочу поделиться заметкой о небольшой разработке — плагина под CMS WordPress для настройки файла robots.txt из админпанели, с поддержкой его(файла) как на основном домене так и на поддоменах созданных WordPress в режиме «мультисайт». Это может быть удобно, когда ваш проект представляет собой мультисайт из десятков или даже сотен сайтов(поддоменов), и для каждого отдельно взятого поддомена редактировать файл robots.txt вручную может быть проблематично. подробнее
Категории: 
Теги: 
Для того чтобы ваш сайт корректно был проиндексирован поисковыми системами, следует корректно настроить файл robots.txt, который размещается в корне вашего сайта и содержит в себе правила для поисковых систем. Правила описывают какие страницы сайта или разделы можно индексировать, какие запрещено, по каким URL адресам получить одну или несколько карт страниц сайта в формате XML, также в правилах можно запретить индексирование сайта для отдельных поисковых ботов. Строки настроек в файле robots.txt можно прописать вручную, но также можно воспользоваться генератором в режиме онлайн, который корректно сформирует содержимое файла, после чего вам останется только скопировать и вставить полученные строки. Генератор содержит предустановленные настройки для большинства популярных CMS, а также поисковых ботов. 
