LobsiteBot

O LobsiteBot é o serviço que busca as páginas para a Prévia de compartilhamento gratuita do Lobsite. Quando alguém digita um endereço lá e clica em Verificar, o LobsiteBot busca aquela única página, como fazem os robôs de prévia de links do Facebook, do X e do Slack, e lê as tags que decidem como um link compartilhado aparece. Ele não é um robô de buscador: nunca segue links e só visita uma página que uma pessoa pediu para verificar.

O que ele busca

• A página no endereço verificado, com uma requisição GET. Ele segue até 5 redirecionamentos, lê no máximo 2 MB de HTML e desiste depois de 8 segundos.
• Até duas imagens: a og:image da página e a twitter:image dela, quando for outro arquivo. No máximo 8 MB cada, também em até 8 segundos.

Ele lê o <title>, as tags <meta> e os links rel="canonical" e de ícones. Não roda JavaScript, não guarda cookies, não faz login, não envia formulários e não baixa mais nada. Nada do que ele busca fica guardado por mais de dois minutos.

Com que frequência ele visita

Só quando alguém verifica uma página, e nunca mais de 60 requisições por minuto para um mesmo host, somando todos que usam o verificador. Os resultados ficam guardados por dois minutos, então o mesmo endereço verificado de novo nesse tempo nem chega ao seu servidor.

Como reconhecê-lo

O user agent é:

LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)

As requisições vêm da rede da Cloudflare, onde o Lobsite roda, então não há uma lista fixa de endereços IP. A Cloudflare adiciona a elas um cabeçalho CF-Worker: lobsite.com. Procure LobsiteBot em regras e logs: isso também cobre o user agent antigo, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).

Permitir o LobsiteBot

Se o seu firewall ou a sua proteção contra bots o recusa, o verificador diz que sua página responde 403 (ou 401, ou 429) e não consegue mostrar as prévias. Facebook, X e Slack ainda podem ser liberados, já que a maioria dos filtros de bots conhece os robôs deles pelo nome. Para liberar também o LobsiteBot:

• Cloudflare: Security → WAF → Custom rules: uma regra com (http.user_agent contains "LobsiteBot") e a ação Skip, pulando a proteção contra bots e as regras gerenciadas que o bloqueiam.
• Wordfence, Sucuri e outros firewalls de WordPress: adicione LobsiteBot aos user agents permitidos.
• Seu próprio servidor: garanta que as regras que bloqueiam bots desconhecidos não correspondam a LobsiteBot.

Bloquear o LobsiteBot

O LobsiteBot não lê o robots.txt. Como outros serviços de prévia de links, ele age sobre um pedido de uma pessoa, para uma página. Para bloqueá-lo, recuse o user agent:

• Cloudflare: uma regra personalizada com (http.user_agent contains "LobsiteBot") e a ação Block.
• nginx: if ($http_user_agent ~* "LobsiteBot") { return 403; } no bloco server.
• Apache: RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC] seguido de RewriteRule .* - [F,L].

Quem verificar suas páginas verá então que o seu site recusou o verificador.

Perguntas frequentes

Por que o LobsiteBot visitou meu site?

Alguém verificou como fica um link para a sua página compartilhado no X, Facebook, LinkedIn, Slack, Discord, WhatsApp ou iMessage. Muitas vezes é você ou sua equipe, depois de editar as tags da página; às vezes é alguém prestes a compartilhar seu link.

O LobsiteBot indexa ou copia meu conteúdo?

Não. Ele lê o head de uma página e as imagens de prévia, mostra para quem pediu e guarda o resultado por dois minutos. Nada é indexado, publicado ou usado para treinar nada.

É seguro permitir o LobsiteBot?

Ele só faz requisições GET de páginas e imagens públicas, no máximo 60 por minuto por host, e nunca segue links. Um user agent pode ser falsificado, então, se você liberá-lo num firewall, libere só nas verificações de bots, não nas regras que protegem logins ou páginas de administração.

Como relato um problema com o LobsiteBot?

Use a página Denunciar abuso e informe o horário, o endereço buscado e a resposta do seu site. Lemos todas as mensagens.