LobsiteBot ist der Abrufdienst hinter der kostenlosen Social-Share-Vorschau von Lobsite. Wenn jemand dort eine Adresse eingibt und auf Prüfen klickt, ruft LobsiteBot genau diese eine Seite ab, so wie es die Linkvorschau-Crawler von Facebook, X und Slack tun, und liest die Tags, die bestimmen, wie ein geteilter Link aussieht. Er ist kein Suchmaschinen-Crawler: Er folgt nie Links und besucht nur eine Seite, die ein Mensch prüfen wollte.
Was er abruft
- Die Seite unter der geprüften Adresse, mit einer
GET-Anfrage. Er folgt bis zu 5 Weiterleitungen, liest höchstens 2 MB HTML und gibt nach 8 Sekunden auf. - Bis zu zwei Bilder: das
og:imageder Seite und ihrtwitter:image, wenn das eine andere Datei ist. Jeweils höchstens 8 MB, ebenfalls innerhalb von 8 Sekunden.
Er liest den <title>, die <meta>-Tags sowie die Links mit rel="canonical" und die Icon-Links. Er führt kein JavaScript aus, speichert keine Cookies, meldet sich nicht an, sendet keine Formulare ab und lädt nichts anderes herunter. Nichts, was er abruft, wird länger als zwei Minuten gespeichert.
Wie oft er vorbeikommt
Nur wenn jemand eine Seite prüft, und nie mehr als 60 Anfragen pro Minute an einen Host, von allen Nutzern des Checkers zusammen. Ergebnisse werden zwei Minuten aufbewahrt; dieselbe Adresse, die in dieser Zeit erneut geprüft wird, erreicht deinen Server also gar nicht.
Wie du ihn erkennst
Der User-Agent lautet:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Die Anfragen kommen aus dem Netzwerk von Cloudflare, auf dem Lobsite läuft, daher gibt es keine feste Liste von IP-Adressen. Cloudflare fügt ihnen einen Header CF-Worker: lobsite.com hinzu. Suche in Regeln und Logs nach LobsiteBot: Das deckt auch den älteren User-Agent ab, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
LobsiteBot erlauben
Weist deine Firewall oder dein Bot-Schutz ihn ab, meldet der Checker, dass deine Seite mit 403 (oder 401 oder 429) antwortet, und kann ihre Vorschauen nicht zeigen. Facebook, X und Slack werden vielleicht trotzdem hereingelassen, da die meisten Bot-Filter ihre Crawler beim Namen kennen. Um auch LobsiteBot hereinzulassen:
- Cloudflare: Security → WAF → Custom rules: eine Regel mit
(http.user_agent contains "LobsiteBot")und der Aktion Skip, die den Bot-Schutz und die verwalteten Regeln überspringt, die ihn blockieren. - Wordfence, Sucuri und andere WordPress-Firewalls: Füg
LobsiteBotzu den erlaubten User-Agents hinzu. - Dein eigener Server: Achte darauf, dass Regeln, die unbekannte Bots blockieren, nicht auf
LobsiteBotzutreffen.
LobsiteBot blockieren
LobsiteBot liest keine robots.txt. Wie andere Linkvorschau-Abrufdienste handelt er auf eine Anfrage eines Menschen hin, für eine Seite. Um ihn zu blockieren, weise den User-Agent ab:
- Cloudflare: eine eigene Regel mit
(http.user_agent contains "LobsiteBot")und der Aktion Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }imserver-Block. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC], gefolgt vonRewriteRule .* - [F,L].
Wer deine Seiten prüft, sieht dann, dass deine Website den Checker abgewiesen hat.
Häufige Fragen
Warum hat LobsiteBot meine Website besucht?
Jemand hat geprüft, wie ein Link zu deiner Seite aussieht, wenn er auf X, Facebook, LinkedIn, Slack, Discord, WhatsApp oder iMessage geteilt wird. Oft bist das du oder dein Team, nachdem ihr die Tags der Seite bearbeitet habt; manchmal ist es jemand, der deinen Link gleich teilen will.
Indexiert oder kopiert LobsiteBot meine Inhalte?
Nein. Er liest den Head einer Seite und ihre Vorschaubilder, zeigt sie der Person, die gefragt hat, und behält das Ergebnis zwei Minuten. Nichts wird indexiert, veröffentlicht oder zum Training von irgendetwas verwendet.
Kann ich LobsiteBot bedenkenlos erlauben?
Er stellt nur GET-Anfragen für öffentliche Seiten und Bilder, höchstens 60 pro Minute und Host, und folgt nie Links. Ein User-Agent lässt sich fälschen; wenn du ihn in einer Firewall erlaubst, lass ihn also nur an den Bot-Prüfungen vorbei, nicht an Regeln, die Logins oder Admin-Seiten schützen.
Wie melde ich ein Problem mit LobsiteBot?
Nutze die Seite Missbrauch melden und gib die Uhrzeit, die abgerufene Adresse und die Antwort deiner Website an. Wir lesen jede Nachricht.