- Включает в себя: Модуль
- Категории: SEO, Маркетинг, реклама
- Название компании-партнера: Sam-24
- Последняя версия: 1.0.0
- Дата публикации: 05.02.2024
- Число установок: Менее 50 раз
- Адаптивность: Да
- Поддержка композита: Нет
- Совместимо с Сайты24: Нет
Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.
Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.
Поддерживаемые роботы:
- Googlebot
- Yandex
- Mail
- Bing
Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot