LobsiteBot to mechanizm pobierający stojący za darmowym Podglądem udostępniania w Lobsite. Gdy ktoś wpisze tam adres i kliknie Sprawdź, LobsiteBot pobiera tę jedną stronę, tak jak robią to crawlery podglądu linków Facebooka, X i Slacka, i odczytuje tagi decydujące o wyglądzie udostępnionego linku. Nie jest crawlerem wyszukiwarki: nigdy nie podąża za linkami i odwiedza tylko stronę, którą ktoś poprosił sprawdzić.
Co pobiera
- Stronę pod sprawdzanym adresem, żądaniem
GET. Podąża za maksymalnie 5 przekierowaniami, czyta najwyżej 2 MB HTML i poddaje się po 8 sekundach. - Do dwóch obrazów:
og:imagestrony oraz jejtwitter:image, jeśli to inny plik. Każdy najwyżej 8 MB, także w ciągu 8 sekund.
Odczytuje <title>, tagi <meta> oraz linki rel="canonical" i linki do ikon. Nie uruchamia JavaScriptu, nie przechowuje ciasteczek, nie loguje się, nie wysyła formularzy i nie pobiera niczego innego. Nic, co pobiera, nie jest przechowywane dłużej niż dwie minuty.
Jak często odwiedza
Tylko gdy ktoś sprawdza stronę, i nigdy częściej niż 60 żądań na minutę do jednego hosta, łącznie dla wszystkich użytkowników narzędzia. Wyniki są przechowywane przez dwie minuty, więc ten sam adres sprawdzony ponownie w tym czasie w ogóle nie dociera do Twojego serwera.
Jak go rozpoznać
User agent to:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Żądania pochodzą z sieci Cloudflare, na której działa Lobsite, więc nie ma stałej listy adresów IP. Cloudflare dodaje do nich nagłówek CF-Worker: lobsite.com. W regułach i wyszukiwaniu w logach dopasowuj LobsiteBot: obejmuje to też starszy user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
Zezwól LobsiteBot
Jeśli Twój firewall lub ochrona przed botami go odrzuca, narzędzie zgłasza, że strona odpowiada 403 (albo 401 lub 429), i nie może pokazać podglądów. Facebook, X i Slack mogą być mimo to wpuszczane, bo większość filtrów botów zna ich crawlery z nazwy. Aby wpuścić też LobsiteBot:
- Cloudflare: Security → WAF → Custom rules: reguła z
(http.user_agent contains "LobsiteBot")i akcją Skip, pomijająca ochronę przed botami i zarządzane reguły, które go blokują. - Wordfence, Sucuri i inne firewalle WordPressa: dodaj
LobsiteBotdo dozwolonych user agentów. - Własny serwer: upewnij się, że reguły blokujące nieznane boty nie pasują do
LobsiteBot.
Zablokuj LobsiteBot
LobsiteBot nie czyta robots.txt. Jak inne mechanizmy pobierające podglądy linków działa na jedno żądanie człowieka, dla jednej strony. Aby go zablokować, odrzucaj jego user agent:
- Cloudflare: własna reguła z
(http.user_agent contains "LobsiteBot")i akcją Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }w blokuserver. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC], a po nimRewriteRule .* - [F,L].
Osoby sprawdzające Twoje strony zobaczą wtedy, że Twoja strona odrzuciła narzędzie.
Najczęstsze pytania
Dlaczego LobsiteBot odwiedził moją stronę?
Ktoś sprawdzał, jak wygląda link do Twojej strony udostępniony na X, Facebooku, LinkedIn, Slacku, Discordzie, WhatsAppie lub w iMessage. Często to Ty lub Twój zespół po edycji tagów strony; czasem ktoś, kto zaraz udostępni Twój link.
Czy LobsiteBot indeksuje lub kopiuje moje treści?
Nie. Czyta nagłówek jednej strony i jej obrazy podglądu, pokazuje je osobie, która pytała, i przechowuje wynik przez dwie minuty. Nic nie jest indeksowane, publikowane ani używane do trenowania czegokolwiek.
Czy bezpiecznie jest wpuszczać LobsiteBot?
Wysyła tylko żądania GET po publiczne strony i obrazy, najwyżej 60 na minutę na host, i nigdy nie podąża za linkami. User agent można podrobić, więc jeśli wpuszczasz go w firewallu, przepuść go tylko przez kontrole botów, a nie przez reguły chroniące logowanie czy strony administracyjne.
Jak zgłosić problem z LobsiteBot?
Skorzystaj ze strony Zgłoś nadużycie i podaj czas, pobrany adres oraz odpowiedź Twojej strony. Czytamy każdą wiadomość.