LobsiteBot — это сервис, который загружает страницы для бесплатного инструмента Превью ссылок от Lobsite. Когда кто-то вводит там адрес и нажимает Проверить, LobsiteBot загружает эту одну страницу — так же, как это делают краулеры превью ссылок Facebook, X и Slack, — и читает теги, от которых зависит вид опубликованной ссылки. Это не поисковый краулер: он никогда не переходит по ссылкам и посещает только страницу, которую человек попросил проверить.
Что он загружает
- Страницу по проверяемому адресу, запросом
GET. Он проходит до 5 перенаправлений, читает не больше 2 МБ HTML и прекращает попытку через 8 секунд. - До двух изображений:
og:imageстраницы и еёtwitter:image, если это другой файл. Не больше 8 МБ каждое, тоже в пределах 8 секунд.
Он читает <title>, теги <meta>, а также ссылки rel="canonical" и ссылки на иконки. Он не выполняет JavaScript, не хранит cookie, не входит в аккаунты, не отправляет формы и больше ничего не скачивает. Ничего из загруженного не хранится дольше двух минут.
Как часто он заходит
Только когда кто-то проверяет страницу, и никогда не чаще 60 запросов в минуту к одному хосту на всех пользователей проверки вместе. Результаты хранятся две минуты, поэтому повторная проверка того же адреса в это время вообще не доходит до вашего сервера.
Как его узнать
User agent:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Запросы приходят из сети Cloudflare, на которой работает Lobsite, поэтому фиксированного списка IP-адресов нет. Cloudflare добавляет к ним заголовок CF-Worker: lobsite.com. Ищите LobsiteBot в правилах и логах: это покрывает и старый user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
Разрешить LobsiteBot
Если ваш файрвол или защита от ботов его не пускает, проверка сообщает, что страница отвечает 403 (или 401, или 429), и не может показать превью. Facebook, X и Slack при этом могут проходить, потому что большинство фильтров ботов знают их краулеров по имени. Чтобы пропустить и LobsiteBot:
- Cloudflare: Security → WAF → Custom rules: правило с
(http.user_agent contains "LobsiteBot")и действием Skip, пропускающее защиту от ботов и управляемые правила, которые его блокируют. - Wordfence, Sucuri и другие файрволы WordPress: добавьте
LobsiteBotв разрешённые user agents. - Ваш собственный сервер: убедитесь, что правила, блокирующие неизвестных ботов, не срабатывают на
LobsiteBot.
Заблокировать LobsiteBot
LobsiteBot не читает robots.txt. Как и другие сервисы превью ссылок, он действует по одному запросу человека, для одной страницы. Чтобы заблокировать его, отклоняйте его user agent:
- Cloudflare: собственное правило с
(http.user_agent contains "LobsiteBot")и действием Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }в блокеserver. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC], а затемRewriteRule .* - [F,L].
Тогда те, кто проверяет ваши страницы, увидят, что ваш сайт не пустил проверку.
Частые вопросы
Почему LobsiteBot заходил на мой сайт?
Кто-то проверял, как выглядит ссылка на вашу страницу при публикации в X, Facebook, LinkedIn, Slack, Discord, WhatsApp или iMessage. Часто это вы или ваша команда после правки тегов страницы; иногда — тот, кто собирается поделиться вашей ссылкой.
Индексирует ли LobsiteBot или копирует мой контент?
Нет. Он читает head одной страницы и её изображения для превью, показывает их тому, кто спросил, и хранит результат две минуты. Ничего не индексируется, не публикуется и не используется для обучения.
Безопасно ли разрешать LobsiteBot?
Он делает только запросы GET к публичным страницам и изображениям, не больше 60 в минуту на хост, и никогда не переходит по ссылкам. User agent можно подделать, поэтому, разрешая его в файрволе, пропускайте его только мимо проверок на ботов, а не мимо правил, защищающих вход или админ-страницы.
Как сообщить о проблеме с LobsiteBot?
Воспользуйтесь страницей Сообщить о нарушении и укажите время, загруженный адрес и ответ вашего сайта. Мы читаем каждое сообщение.