LobsiteBot es el servicio que descarga las páginas para la Vista previa al compartir gratuita de Lobsite. Cuando alguien escribe ahí una dirección y pulsa Comprobar, LobsiteBot descarga esa única página, como hacen los rastreadores de vistas previas de enlaces de Facebook, X y Slack, y lee las etiquetas que deciden cómo se ve un enlace compartido. No es un rastreador de buscador: nunca sigue enlaces y solo visita una página que una persona pidió comprobar.
Qué descarga
- La página en la dirección comprobada, con una petición
GET. Sigue hasta 5 redirecciones, lee como mucho 2 MB de HTML y se rinde a los 8 segundos. - Hasta dos imágenes: la
og:imagede la página y sutwitter:imagecuando es un archivo distinto. Como mucho 8 MB cada una, también en 8 segundos.
Lee el <title>, las etiquetas <meta> y los enlaces rel="canonical" y de iconos. No ejecuta JavaScript, no guarda cookies, no inicia sesión, no envía formularios ni descarga nada más. Nada de lo que descarga se guarda más de dos minutos.
Con qué frecuencia visita
Solo cuando alguien comprueba una página, y nunca más de 60 peticiones por minuto a un mismo host, sumando a todos los que usan el comprobador. Los resultados se guardan dos minutos, así que la misma dirección comprobada de nuevo en ese tiempo ni siquiera llega a tu servidor.
Cómo reconocerlo
El user agent es:
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
Las peticiones salen de la red de Cloudflare, donde funciona Lobsite, así que no hay una lista fija de direcciones IP. Cloudflare les añade una cabecera CF-Worker: lobsite.com. Busca LobsiteBot en reglas y registros: eso también cubre el user agent antiguo, Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview).
Permitir LobsiteBot
Si tu firewall o tu protección contra bots lo rechaza, el comprobador indica que tu página responde 403 (o 401, o 429) y no puede mostrar sus vistas previas. Puede que Facebook, X y Slack sí entren, porque la mayoría de los filtros de bots conocen sus rastreadores por su nombre. Para dejar entrar también a LobsiteBot:
- Cloudflare: Security → WAF → Custom rules: una regla con
(http.user_agent contains "LobsiteBot")y la acción Skip, que se salte la protección contra bots y las reglas gestionadas que lo bloquean. - Wordfence, Sucuri y otros firewalls de WordPress: añade
LobsiteBota los user agents permitidos. - Tu propio servidor: asegúrate de que las reglas que bloquean bots desconocidos no coinciden con
LobsiteBot.
Bloquear LobsiteBot
LobsiteBot no lee robots.txt. Como otros servicios de vista previa de enlaces, actúa ante una petición de una persona, para una página. Para bloquearlo, rechaza su user agent:
- Cloudflare: una regla personalizada con
(http.user_agent contains "LobsiteBot")y la acción Block. - nginx:
if ($http_user_agent ~* "LobsiteBot") { return 403; }en el bloqueserver. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC]seguido deRewriteRule .* - [F,L].
Quien compruebe tus páginas verá entonces que tu sitio rechazó el comprobador.
Preguntas frecuentes
¿Por qué visitó LobsiteBot mi sitio?
Alguien comprobó cómo se ve un enlace a tu página al compartirlo en X, Facebook, LinkedIn, Slack, Discord, WhatsApp o iMessage. A menudo eres tú o tu equipo, tras editar las etiquetas de la página; a veces es alguien que está a punto de compartir tu enlace.
¿LobsiteBot indexa o copia mi contenido?
No. Lee la cabecera de una página y sus imágenes de vista previa, se las muestra a quien preguntó y guarda el resultado dos minutos. Nada se indexa, se publica ni se usa para entrenar nada.
¿Es seguro permitir LobsiteBot?
Solo hace peticiones GET de páginas e imágenes públicas, como mucho 60 por minuto por host, y nunca sigue enlaces. Un user agent se puede falsificar, así que si lo permites en un firewall, déjalo pasar solo las comprobaciones de bots, no las reglas que protegen inicios de sesión o páginas de administración.
¿Cómo informo de un problema con LobsiteBot?
Usa la página Denunciar abuso e incluye la hora, la dirección que descargó y la respuesta de tu sitio. Leemos todos los mensajes.