LobsiteBot

LobsiteBot er hentetjenesten bak Lobsites gratis Delingsforhåndsvisning. Når noen skriver inn en adresse der og trykker Sjekk, henter LobsiteBot den ene siden, slik lenkeforhåndsvisningsrobotene til Facebook, X og Slack gjør, og leser taggene som avgjør hvordan en delt lenke ser ut. Den er ikke en søkemotorrobot: den følger aldri lenker, og besøker bare en side et menneske har bedt om å sjekke.

Hva den henter

• Siden på adressen som ble sjekket, med en GET-forespørsel. Den følger opptil 5 videresendinger, leser maks 2 MB HTML og gir opp etter 8 sekunder.
• Opptil to bilder: sidens og:image, og dens twitter:image når det er en annen fil. Maks 8 MB hver, også innen 8 sekunder.

Den leser <title>, <meta>-taggene og lenkene med rel="canonical" og ikoner. Den kjører ikke JavaScript, lagrer ikke informasjonskapsler, logger ikke inn, sender ikke skjemaer og laster ikke ned noe annet. Ingenting den henter, lagres lenger enn to minutter.

Hvor ofte den kommer innom

Bare når noen sjekker en side, og aldri mer enn 60 forespørsler i minuttet til én vert, fra alle som bruker sjekkeren til sammen. Resultater beholdes i to minutter, så samme adresse sjekket på nytt i den tiden når ikke serveren din i det hele tatt.

Slik kjenner du den igjen

User agenten er:

LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)

Forespørslene kommer fra Cloudflares nettverk, der Lobsite kjører, så det finnes ingen fast liste over IP-adresser. Cloudflare legger til en header CF-Worker: lobsite.com. Søk etter LobsiteBot i regler og logger: det dekker også den eldre user agenten, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).

Tillat LobsiteBot

Hvis brannmuren eller robotbeskyttelsen din avviser den, sier sjekkeren at siden din svarer 403 (eller 401 eller 429), og kan ikke vise forhåndsvisningene. Facebook, X og Slack kan likevel slippe inn, siden de fleste robotfiltre kjenner robotene deres ved navn. For å slippe inn LobsiteBot også:

• Cloudflare: Security → WAF → Custom rules: en regel med (http.user_agent contains "LobsiteBot") og handlingen Skip, som hopper over robotbeskyttelsen og de administrerte reglene som blokkerer den.
• Wordfence, Sucuri og andre WordPress-brannmurer: legg LobsiteBot til de tillatte user agentene.
• Din egen server: sørg for at regler som blokkerer ukjente roboter, ikke treffer LobsiteBot.

Blokker LobsiteBot

LobsiteBot leser ikke robots.txt. Som andre tjenester for lenkeforhåndsvisning handler den på én forespørsel fra et menneske, for én side. For å blokkere den, avvis user agenten:

• Cloudflare: en egendefinert regel med (http.user_agent contains "LobsiteBot") og handlingen Block.
• nginx: if ($http_user_agent ~* "LobsiteBot") { return 403; } i server-blokken.
• Apache: RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC] fulgt av RewriteRule .* - [F,L].

De som sjekker sidene dine, ser da at nettstedet ditt avviste sjekkeren.

Ofte stilte spørsmål

Hvorfor besøkte LobsiteBot nettstedet mitt?

Noen sjekket hvordan en lenke til siden din ser ut når den deles på X, Facebook, LinkedIn, Slack, Discord, WhatsApp eller iMessage. Ofte er det deg eller teamet ditt, etter å ha endret sidens tagger; noen ganger er det noen som skal til å dele lenken din.

Indekserer eller kopierer LobsiteBot innholdet mitt?

Nei. Den leser head-delen av én side og forhåndsvisningsbildene, viser dem til den som spurte, og beholder resultatet i to minutter. Ingenting indekseres, publiseres eller brukes til å trene noe.

Er det trygt å tillate LobsiteBot?

Den gjør bare GET-forespørsler etter offentlige sider og bilder, maks 60 i minuttet per vert, og følger aldri lenker. En user agent kan forfalskes, så hvis du tillater den i en brannmur, slipp den bare forbi robotkontrollene, ikke forbi regler som beskytter innlogginger eller adminsider.

Hvordan rapporterer jeg et problem med LobsiteBot?

Bruk siden Rapporter misbruk og oppgi tidspunktet, adressen den hentet og svaret fra nettstedet ditt. Vi leser alle meldinger.