LobsiteBot завантажує сторінки для безкоштовного Попереднього перегляду поширення в соцмережах від Lobsite. Коли хтось вводить там адресу й натискає Перевірити, LobsiteBot завантажує цю одну сторінку, так само як сканери попереднього перегляду посилань Facebook, X і Slack, та читає теги, які визначають вигляд поширеного посилання. Це не сканер пошукової системи: він ніколи не переходить за посиланнями й відвідує лише сторінку, яку людина попросила перевірити.
Що він завантажує
- Сторінку за адресою, яку перевіряють, запитом
GET. Він переходить за максимум 5 перенаправленнями, читає не більше ніж 2 МБ HTML і припиняє спробу через 8 секунд. - До двох зображень:
og:imageсторінки та їїtwitter:image, якщо це інший файл. До 8 МБ кожне, також у межах 8 секунд.
Він читає <title>, теги <meta>, посилання rel="canonical" і посилання на іконки. Він не виконує JavaScript, не зберігає cookie, не входить в облікові записи, не надсилає форми й не завантажує нічого іншого. Нічого із завантаженого не зберігається довше ніж дві хвилини.
Як часто він відвідує сайт
Лише коли хтось перевіряє сторінку, і ніколи не більше ніж 60 запитів на хвилину до одного хоста сумарно від усіх користувачів засобу перевірки. Результати зберігаються дві хвилини, тож повторна перевірка тієї самої адреси протягом цього часу взагалі не звертається до вашого сервера.
Як його розпізнати
User agent:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Запити надходять із мережі Cloudflare, де працює Lobsite, тому фіксованого списку IP-адрес немає. Cloudflare додає до них заголовок CF-Worker: lobsite.com. Шукайте LobsiteBot у правилах і журналах: це також охоплює старий user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
Дозволити LobsiteBot
Якщо ваш брандмауер або захист від ботів його відхиляє, засіб перевірки повідомляє, що сторінка відповідає 403 (або 401 чи 429), і не може показати попередній перегляд. Facebook, X і Slack усе ще можуть мати доступ, оскільки більшість фільтрів ботів знають їхні сканери за іменами. Щоб також дозволити LobsiteBot:
- Cloudflare: Security → WAF → Custom rules: правило з
(http.user_agent contains "LobsiteBot")і дією Skip, яка пропускає захист від ботів та керовані правила, що його блокують. - Wordfence, Sucuri та інші брандмауери WordPress: додайте
LobsiteBotдо дозволених user agent. - Власний сервер: переконайтеся, що правила блокування невідомих ботів не застосовуються до
LobsiteBot.
Заблокувати LobsiteBot
LobsiteBot не читає robots.txt. Як і інші засоби завантаження для попереднього перегляду посилань, він діє за одним запитом людини для однієї сторінки. Щоб його заблокувати, відхиляйте user agent:
- Cloudflare: власне правило з
(http.user_agent contains "LobsiteBot")і дією Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }у блоціserver. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC], після якогоRewriteRule .* - [F,L].
Люди, які перевіряють ваші сторінки, тоді побачать, що сайт відхилив засіб перевірки.
Поширені запитання
Чому LobsiteBot відвідав мій сайт?
Хтось перевірив, як виглядає посилання на вашу сторінку під час поширення в X, Facebook, LinkedIn, Slack, Discord, WhatsApp або iMessage. Часто це ви або ваша команда після редагування тегів сторінки; іноді — хтось, хто збирається поширити ваше посилання.
Чи індексує або копіює LobsiteBot мій вміст?
Ні. Він читає заголовкову частину однієї сторінки та її зображення для попереднього перегляду, показує їх тому, хто попросив, і зберігає результат дві хвилини. Нічого не індексується, не публікується й не використовується для будь-якого навчання.
Чи безпечно дозволяти LobsiteBot?
Він виконує лише запити GET до загальнодоступних сторінок і зображень, не більше ніж 60 на хвилину на хост, і ніколи не переходить за посиланнями. User agent можна підробити, тому, дозволяючи його в брандмауері, пропускайте лише перевірки ботів, а не правила захисту входу або сторінок адміністрування.
Як повідомити про проблему з LobsiteBot?
Скористайтеся сторінкою Повідомити про зловживання та вкажіть час, адресу, яку він завантажив, і відповідь вашого сайту. Ми читаємо кожне повідомлення.