LobsiteBot

LobsiteBot est le service de récupération derrière l’Aperçu de partage gratuit de Lobsite. Quand quelqu’un y saisit une adresse et clique sur Vérifier, LobsiteBot récupère cette seule page, comme le font les robots d’aperçu de liens de Facebook, X et Slack, et lit les balises qui déterminent l’apparence d’un lien partagé. Ce n’est pas un robot de moteur de recherche : il ne suit jamais de liens et ne visite que la page qu’une personne a demandé de vérifier.

Ce qu’il récupère

• La page à l’adresse vérifiée, avec une requête GET. Il suit jusqu’à 5 redirections, lit au plus 2 Mo de HTML et abandonne au bout de 8 secondes.
• Jusqu’à deux images : l’og:image de la page, et son twitter:image quand c’est un autre fichier. Au plus 8 Mo chacune, également en 8 secondes.

Il lit le <title>, les balises <meta> ainsi que les liens rel="canonical" et d’icônes. Il n’exécute pas de JavaScript, ne garde pas de cookies, ne se connecte pas, n’envoie pas de formulaires et ne télécharge rien d’autre. Rien de ce qu’il récupère n’est stocké plus de deux minutes.

À quelle fréquence il passe

Seulement quand quelqu’un vérifie une page, et jamais plus de 60 requêtes par minute vers un même hôte, tous utilisateurs du vérificateur confondus. Les résultats sont gardés deux minutes : la même adresse vérifiée à nouveau pendant ce temps n’atteint pas du tout votre serveur.

Comment le reconnaître

Le user agent est :

LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)

Les requêtes viennent du réseau de Cloudflare, sur lequel tourne Lobsite : il n’y a donc pas de liste fixe d’adresses IP. Cloudflare leur ajoute un en-tête CF-Worker: lobsite.com. Recherchez LobsiteBot dans vos règles et vos journaux : cela couvre aussi l’ancien user agent, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).

Autoriser LobsiteBot

Si votre pare-feu ou votre protection anti-bots le refoule, le vérificateur indique que votre page répond 403 (ou 401, ou 429) et ne peut pas afficher ses aperçus. Facebook, X et Slack peuvent quand même être acceptés, car la plupart des filtres anti-bots connaissent leurs robots par leur nom. Pour laisser aussi passer LobsiteBot :

• Cloudflare : Security → WAF → Custom rules : une règle avec (http.user_agent contains "LobsiteBot") et l’action Skip, qui contourne la protection anti-bots et les règles gérées qui le bloquent.
• Wordfence, Sucuri et autres pare-feu WordPress : ajoutez LobsiteBot aux user agents autorisés.
• Votre propre serveur : vérifiez que les règles qui bloquent les robots inconnus ne correspondent pas à LobsiteBot.

Bloquer LobsiteBot

LobsiteBot ne lit pas robots.txt. Comme les autres services d’aperçu de liens, il agit sur une seule demande d’une personne, pour une seule page. Pour le bloquer, refusez son user agent :

• Cloudflare : une règle personnalisée avec (http.user_agent contains "LobsiteBot") et l’action Block.
• nginx : if ($http_user_agent ~* "LobsiteBot") { return 403; } dans le bloc server.
• Apache : RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC] suivi de RewriteRule .* - [F,L].

Les personnes qui vérifient vos pages verront alors que votre site a refusé le vérificateur.

Questions fréquentes

Pourquoi LobsiteBot a-t-il visité mon site ?

Quelqu’un a vérifié l’apparence d’un lien vers votre page partagé sur X, Facebook, LinkedIn, Slack, Discord, WhatsApp ou iMessage. C’est souvent vous ou votre équipe, après avoir modifié les balises de la page ; parfois c’est quelqu’un qui s’apprête à partager votre lien.

LobsiteBot indexe-t-il ou copie-t-il mon contenu ?

Non. Il lit l’en-tête d’une page et ses images d’aperçu, les montre à la personne qui a demandé, et garde le résultat deux minutes. Rien n’est indexé, publié ni utilisé pour entraîner quoi que ce soit.

Peut-on autoriser LobsiteBot sans risque ?

Il ne fait que des requêtes GET vers des pages et images publiques, au plus 60 par minute et par hôte, et ne suit jamais de liens. Un user agent peut être usurpé : si vous l’autorisez dans un pare-feu, laissez-le passer seulement les contrôles anti-bots, pas les règles qui protègent les connexions ou les pages d’administration.

Comment signaler un problème avec LobsiteBot ?

Utilisez la page Signaler un abus en indiquant l’heure, l’adresse récupérée et la réponse de votre site. Nous lisons chaque message.