LobsiteBot: il controllo delle anteprime dei link di Lobsite

Q: È sicuro consentire LobsiteBot?

Fa solo richieste GET per pagine e immagini pubbliche, al massimo 60 al minuto per host, e non segue mai i link. Uno user agent si può falsificare, quindi se lo consenti in un firewall, fallo passare solo oltre i controlli sui bot, non oltre le regole che proteggono login o pagine di amministrazione.

LobsiteBot scarica una pagina quando qualcuno ne controlla l'anteprima con Social Share Preview di Lobsite. Cosa legge, quanto spesso e come bloccarlo.

LobsiteBot è il servizio che scarica le pagine per l'Anteprima di condivisione gratuita di Lobsite. Quando qualcuno vi inserisce un indirizzo e preme Controlla, LobsiteBot scarica quell'unica pagina, come fanno i crawler di anteprima dei link di Facebook, X e Slack, e legge i tag che decidono come appare un link condiviso. Non è il crawler di un motore di ricerca: non segue mai i link e visita solo una pagina che una persona ha chiesto di controllare.

Cosa scarica

La pagina all'indirizzo controllato, con una richiesta GET. Segue fino a 5 reindirizzamenti, legge al massimo 2 MB di HTML e rinuncia dopo 8 secondi.
Fino a due immagini: l'og:image della pagina e il suo twitter:image quando è un file diverso. Al massimo 8 MB ciascuna, sempre entro 8 secondi.

Legge il <title>, i tag <meta> e i link rel="canonical" e delle icone. Non esegue JavaScript, non conserva cookie, non accede, non invia moduli e non scarica nient'altro. Nulla di ciò che scarica viene conservato per più di due minuti.

Quanto spesso passa

Solo quando qualcuno controlla una pagina, e mai più di 60 richieste al minuto verso uno stesso host, sommando tutti quelli che usano lo strumento. I risultati vengono conservati per due minuti, quindi lo stesso indirizzo controllato di nuovo in quel tempo non raggiunge affatto il tuo server.

Come riconoscerlo

Lo user agent è:

LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)

Le richieste arrivano dalla rete di Cloudflare, su cui gira Lobsite, quindi non c'è un elenco fisso di indirizzi IP. Cloudflare aggiunge loro un header CF-Worker: lobsite.com. Cerca LobsiteBot nelle regole e nei log: copre anche il vecchio user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).

Consentire LobsiteBot

Se il tuo firewall o la protezione dai bot lo respinge, lo strumento segnala che la tua pagina risponde 403 (o 401 o 429) e non può mostrarne le anteprime. Facebook, X e Slack potrebbero comunque passare, perché la maggior parte dei filtri anti-bot conosce i loro crawler per nome. Per far passare anche LobsiteBot:

Cloudflare: Security → WAF → Custom rules: una regola con (http.user_agent contains "LobsiteBot") e l'azione Skip, che salta la protezione dai bot e le regole gestite che lo bloccano.
Wordfence, Sucuri e altri firewall per WordPress: aggiungi LobsiteBot agli user agent consentiti.
Il tuo server: assicurati che le regole che bloccano i bot sconosciuti non corrispondano a LobsiteBot.

Bloccare LobsiteBot

LobsiteBot non legge robots.txt. Come gli altri servizi di anteprima dei link, agisce su una richiesta di una persona, per una pagina. Per bloccarlo, respingi il suo user agent:

Cloudflare: una regola personalizzata con (http.user_agent contains "LobsiteBot") e l'azione Block.
nginx: if ($http_user_agent ~* "LobsiteBot") { return 403; } nel blocco server.
Apache: RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC] seguito da RewriteRule .* - [F,L].

Chi controlla le tue pagine vedrà allora che il tuo sito ha respinto lo strumento.

Domande frequenti

Perché LobsiteBot ha visitato il mio sito?

Qualcuno ha controllato come appare un link alla tua pagina condiviso su X, Facebook, LinkedIn, Slack, Discord, WhatsApp o iMessage. Spesso sei tu o il tuo team, dopo aver modificato i tag della pagina; a volte è qualcuno che sta per condividere il tuo link.

LobsiteBot indicizza o copia i miei contenuti?

No. Legge l'head di una pagina e le sue immagini di anteprima, le mostra alla persona che ha chiesto e conserva il risultato per due minuti. Nulla viene indicizzato, pubblicato o usato per addestrare alcunché.

È sicuro consentire LobsiteBot?

Fa solo richieste GET per pagine e immagini pubbliche, al massimo 60 al minuto per host, e non segue mai i link. Uno user agent si può falsificare, quindi se lo consenti in un firewall, fallo passare solo oltre i controlli sui bot, non oltre le regole che proteggono login o pagine di amministrazione.

Come segnalo un problema con LobsiteBot?

Usa la pagina Segnala un abuso indicando l'ora, l'indirizzo scaricato e la risposta del tuo sito. Leggiamo ogni messaggio.

LobsiteBot