- Подходящие редакции 1С-Битрикс: Старт, Стандарт, Малый бизнес, Бизнес
- Включает в себя: Модуль, Переводы
- Категории: Для интернет-магазина, Другое, SEO, Маркетинг, реклама
- Название компании-партнера: Вебтактика
- Последняя версия: 1.0.0
- Дата публикации: 04.05.2026
- Число установок: Менее 50 раз
- Адаптивность: Нет
- Поддержка композита: Да
- Совместимо с Сайты24: Нет
«Метатег Robots и X-Robots-Tag» — модуль для управления индексацией и отображением страниц сайта в поисковых системах через HTML-метатеги robots и HTTP-заголовок X-Robots-Tag без правок шаблонов, компонентов и участия разработчика.
Зачем нужен модуль
На сайтах с каталогами, фильтрами и сложной структурой URL появляются технические страницы и дубли. Они попадают в индекс поисковых систем Яндекса, Google и Bing, конкурируют с важными страницами сайта, создают дубли в выдаче и мешают SEO-продвижению.
Модуль позволяет управлять не только индексацией страниц, но и тем, как поисковые системы обрабатывают и показывают их в выдаче: переходами по ссылкам, сниппетами, сохранёнными копиями, индексацией изображений и сроком показа страницы.
SEO-специалист или администратор сайта через административную панель создаёт правило, указывает URL или условие, выбирает нужные директивы — и модуль автоматически выводит их на подходящих страницах через метатег robots или HTTP-заголовок X-Robots-Tag.
Основные возможности
1. Управление robots-директивами для любых страниц
Вы можете задавать правила индексирования:
- для конкретной страницы;
- для раздела сайта;
- по маске URL, например /catalog/*;
- по регулярному выражению, например #^/catalog/.*/filter/#;
Это позволяет управлять индексацией как обычных страниц, так и технических URL, которые не должны попадать в поисковую выдачу.
2. Два способа вывода директив
Модуль поддерживает два способа передачи директив поисковым роботам:
- через HTML-метатег robots;
- через HTTP-заголовок X-Robots-Tag;
- одновременно обоими способами.
Для каждого правила можно выбрать подходящий способ вывода: использовать стандартный метатег или передавать директивы на уровне HTTP-ответа через X-Robots-Tag.
3. Правила для разных поисковых систем
Модуль позволяет задавать директивы для разных поисковых роботов:
- robots — общие правила для поисковых роботов;
- yandex — отдельные правила для Яндекса;
- googlebot — отдельные правила для Google;
- bingbot — отдельные правила для Bing.
Можно задать общее правило для всех роботов или отдельные директивы для Яндекса, Google и Bing.
4. Поддержка популярных SEO-директив
В модуле реализованы директивы, которые чаще всего используются в техническом SEO:
- index / noindex — разрешить или запретить индексацию страницы;
- follow / nofollow — разрешить или запретить переход по ссылкам;
- noarchive — запретить показ сохранённой копии страницы в результатах поиска;
- nosnippet — запретить показ текстового фрагмента страницы в поисковой выдаче;
- noimageindex — запретить индексацию изображений на странице;
- notranslate — запретить предложение перевода страницы;
- unavailable_after — указать дату, после которой страницу не нужно показывать в поиске.
5. Работа с GET-параметрами
Модуль позволяет учитывать или не учитывать GET-параметры при применении правил.
Это помогает управлять индексацией страниц фильтрации, сортировки, поиска, пагинации и других URL с параметрами, которые часто создают дубли и попадают в индекс поисковых систем.
Вы можете задавать правила с учётом конкретных GET-параметров: одни URL с параметрами оставлять открытыми для индексации, а другие закрывать от поисковых систем.
6. Импорт и экспорт правил
Модуль поддерживает импорт и экспорт правил в форматах CSV и XLSX. Это удобно для крупных сайтов, SEO-аудитов и проектов, где нужно быстро настроить большое количество правил.
Импорт и экспорт помогают:
- массово создавать правила;
- переносить настройки между сайтами;
- готовить правила в таблице;
- внедрять рекомендации после SEO-аудита;
- делать резервную копию настроек;
- анализировать правила вне административной панели.
SEO-специалист может подготовить таблицу с правилами и загрузить её в модуль, не создавая каждое правило вручную.
7. Работа без изменения шаблонов сайта
Модуль подключается через системные события 1С-Битрикс и не требует изменения:
- шаблонов сайта;
- компонентов;
- серверных конфигов для типовых сценариев.
После установки можно сразу создавать и менять правила через административную панель. SEO-специалист или администратор сам управляет индексацией страниц, не ставит отдельную задачу разработчику на каждое изменение и экономит бюджет на мелких технических доработках.
8. Поддержка многосайтовости
Модуль поддерживает режим многосайтовости 1С-Битрикс. Можно использовать:
- общие настройки модуля;
- отдельные настройки для каждого сайта;
- правила, привязанные к конкретному сайту.
Это удобно для проектов с несколькими доменами, региональными версиями или разными сайтами на одной установке 1С-Битрикс.
Важно: отличие от robots.txt
Модуль управляет директивами HTML-метатега robots и HTTP-заголовка X-Robots-Tag.
Файл robots.txt управляет доступом поисковых роботов к URL: он сообщает, можно ли сканировать страницу.
Метатег robots и заголовок X-Robots-Tag управляют индексированием и отображением уже просканированной страницы: можно ли показывать её в поиске, переходить по ссылкам, показывать сниппет, сохранять копию и применять другие правила.
Если страница запрещена в robots.txt, поисковик может не увидеть директивы мета-тега robots или X-Robots-Tag. Поэтому для применения таких директив страница должна быть доступна для сканирования.
Поддержка и совместимость
- Поддержка PHP 8.x;
- Работает на актуальных версиях 1С-Битрикс;
- Поддерживает многосайтовость;
- Совместим с композитным режимом;
- Корректно работает с готовыми шаблонами и индивидуальным дизайном.