LobsiteBot

LobsiteBot is de ophaaldienst achter het gratis Deelvoorbeeld van Lobsite. Als iemand daar een adres invult en op Controleren klikt, haalt LobsiteBot die ene pagina op, zoals de linkvoorbeeldcrawlers van Facebook, X en Slack dat doen, en leest hij de tags die bepalen hoe een gedeelde link eruitziet. Het is geen zoekmachinecrawler: hij volgt nooit links en bezoekt alleen een pagina die iemand wilde controleren.

Wat hij ophaalt

• De pagina op het gecontroleerde adres, met een GET-verzoek. Hij volgt tot 5 doorverwijzingen, leest hooguit 2 MB HTML en geeft het na 8 seconden op.
• Tot twee afbeeldingen: de og:image van de pagina, en de twitter:image als dat een ander bestand is. Elk hooguit 8 MB, ook binnen 8 seconden.

Hij leest de <title>, de <meta>-tags en de rel="canonical"- en icoonlinks. Hij draait geen JavaScript, bewaart geen cookies, logt niet in, verstuurt geen formulieren en downloadt verder niets. Niets wat hij ophaalt, wordt langer dan twee minuten bewaard.

Hoe vaak hij langskomt

Alleen als iemand een pagina controleert, en nooit meer dan 60 verzoeken per minuut naar één host, van alle gebruikers van de checker samen. Resultaten blijven twee minuten bewaard, dus hetzelfde adres dat in die tijd opnieuw wordt gecontroleerd, bereikt je server helemaal niet.

Zo herken je hem

De user agent is:

LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)

De verzoeken komen uit het netwerk van Cloudflare, waarop Lobsite draait, dus er is geen vaste lijst met IP-adressen. Cloudflare voegt er een header CF-Worker: lobsite.com aan toe. Zoek in regels en logs op LobsiteBot: dat dekt ook de oudere user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).

LobsiteBot toestaan

Weigert je firewall of botbescherming hem, dan meldt de checker dat je pagina 403 (of 401 of 429) antwoordt, en kan hij de voorbeelden niet tonen. Facebook, X en Slack worden misschien wel toegelaten, omdat de meeste botfilters hun crawlers bij naam kennen. Om LobsiteBot ook binnen te laten:

• Cloudflare: Security → WAF → Custom rules: een regel met (http.user_agent contains "LobsiteBot") en de actie Skip, die de botbescherming en beheerde regels overslaat die hem blokkeren.
• Wordfence, Sucuri en andere WordPress-firewalls: voeg LobsiteBot toe aan de toegestane user agents.
• Je eigen server: zorg dat regels die onbekende bots blokkeren niet op LobsiteBot passen.

LobsiteBot blokkeren

LobsiteBot leest geen robots.txt. Net als andere linkvoorbeelddiensten handelt hij op één verzoek van een mens, voor één pagina. Wil je hem blokkeren, weiger dan de user agent:

• Cloudflare: een eigen regel met (http.user_agent contains "LobsiteBot") en de actie Block.
• nginx: if ($http_user_agent ~* "LobsiteBot") { return 403; } in het server-blok.
• Apache: RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC] gevolgd door RewriteRule .* - [F,L].

Wie je pagina's controleert, ziet dan dat je site de checker heeft geweigerd.

Veelgestelde vragen

Waarom bezocht LobsiteBot mijn site?

Iemand controleerde hoe een link naar je pagina eruitziet als die op X, Facebook, LinkedIn, Slack, Discord, WhatsApp of iMessage wordt gedeeld. Vaak ben jij dat of je team, na het bewerken van de tags; soms is het iemand die je link op het punt staat te delen.

Indexeert of kopieert LobsiteBot mijn inhoud?

Nee. Hij leest de head van één pagina en de voorbeeldafbeeldingen, toont ze aan wie erom vroeg en bewaart het resultaat twee minuten. Niets wordt geïndexeerd, gepubliceerd of gebruikt om iets te trainen.

Is het veilig om LobsiteBot toe te staan?

Hij doet alleen GET-verzoeken voor openbare pagina's en afbeeldingen, hooguit 60 per minuut per host, en volgt nooit links. Een user agent kan worden vervalst, dus sta hem in een firewall alleen toe langs de botcontroles, niet langs regels die logins of beheerpagina's beschermen.

Hoe meld ik een probleem met LobsiteBot?

Gebruik de pagina Misbruik melden en vermeld het tijdstip, het opgehaalde adres en het antwoord van je site. We lezen elk bericht.