LobsiteBot은 Lobsite의 무료 Social Share Preview 뒤에 있는 가져오기 봇입니다. 누군가 그곳에 주소를 입력하고 확인을 누르면 LobsiteBot은 Facebook, X, Slack의 링크 미리보기 크롤러와 같은 방식으로 해당 페이지 하나를 가져와 공유 링크의 모습을 결정하는 태그를 읽습니다. 검색 엔진 크롤러가 아닙니다. 링크를 따라가지 않으며, 사람이 확인을 요청한 페이지만 방문합니다.
가져오는 것
- 확인한 주소의 페이지를
GET요청으로 가져옵니다. 리디렉션을 최대 5번 따라가고, HTML을 최대 2MB까지 읽으며, 8초 후 중단합니다. - 이미지 최대 2개: 페이지의
og:image와, 다른 파일이라면twitter:image입니다. 각각 최대 8MB이며 역시 8초 이내입니다.
<title>, <meta> 태그, rel="canonical" 및 아이콘 링크를 읽습니다. JavaScript 실행, 쿠키 보관, 로그인, 폼 제출, 기타 다운로드를 하지 않습니다. 가져온 것은 2분을 넘게 저장되지 않습니다.
방문 빈도
누군가 페이지를 확인할 때만 방문하며, 검사 도구의 모든 사용자를 합쳐 호스트 하나에 분당 60회를 넘지 않습니다. 결과는 2분 동안 보관되므로 그 시간 안에 같은 주소를 다시 확인해도 서버에 도달하지 않습니다.
식별 방법
사용자 에이전트는 다음과 같습니다.
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
요청은 Lobsite가 실행되는 Cloudflare 네트워크에서 오므로 고정된 IP 주소 목록이 없습니다. Cloudflare는 요청에 CF-Worker: lobsite.com 헤더를 추가합니다. 규칙과 로그 검색에서는 LobsiteBot으로 일치시키세요. 이전 사용자 에이전트인 Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview)도 포함됩니다.
LobsiteBot 허용하기
방화벽이나 봇 보호가 이를 거부하면 검사 도구는 페이지가 403(또는 401, 429)을 반환한다고 표시하며 미리보기를 보여 줄 수 없습니다. 대부분의 봇 필터는 Facebook, X, Slack의 크롤러를 이름으로 알고 있으므로 이들은 허용될 수 있습니다. LobsiteBot도 허용하려면 다음과 같이 하세요.
- Cloudflare: Security → WAF → Custom rules에서
(http.user_agent contains "LobsiteBot")와 작업 Skip으로 규칙을 만들어, 이를 차단하는 봇 보호와 관리형 규칙을 건너뛰세요. - Wordfence, Sucuri 및 기타 WordPress 방화벽: 허용된 사용자 에이전트에
LobsiteBot을 추가하세요. - 자체 서버: 알 수 없는 봇을 차단하는 규칙이
LobsiteBot과 일치하지 않게 하세요.
LobsiteBot 차단하기
LobsiteBot은 robots.txt를 읽지 않습니다. 다른 링크 미리보기 가져오기 봇처럼 사람의 요청 한 번에 따라 페이지 하나를 처리합니다. 차단하려면 사용자 에이전트를 거부하세요.
- Cloudflare:
(http.user_agent contains "LobsiteBot")와 작업 Block이 있는 커스텀 규칙. - nginx:
server블록에if ($http_user_agent ~* "LobsiteBot") { return 403; }. - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC]다음에RewriteRule .* - [F,L].
그러면 페이지를 확인하는 사람에게 사이트가 검사 도구를 거부했다고 표시됩니다.
자주 묻는 질문
LobsiteBot이 내 사이트를 방문한 이유는 무엇인가요?
누군가 X, Facebook, LinkedIn, Slack, Discord, WhatsApp 또는 iMessage에서 페이지 링크가 공유될 때 어떻게 보이는지 확인했습니다. 페이지 태그를 편집한 후의 본인이나 팀인 경우가 많고, 링크를 공유하려는 사람인 경우도 있습니다.
LobsiteBot이 내 콘텐츠를 색인하거나 복사하나요?
아니요. 페이지 하나의 head와 미리보기 이미지를 읽어 요청한 사람에게 보여 주고 결과를 2분 동안 보관합니다. 색인, 게시, 학습에 사용되는 것은 없습니다.
LobsiteBot을 허용해도 안전한가요?
공개 페이지와 이미지에 대한 GET 요청만 호스트당 분당 최대 60회 보내며, 링크를 따라가지 않습니다. 사용자 에이전트는 위조될 수 있으므로 방화벽에서 허용할 때는 봇 검사만 통과시키고, 로그인이나 관리자 페이지를 보호하는 규칙은 통과시키지 마세요.
LobsiteBot 문제를 어떻게 신고하나요?
악용 신고 페이지를 사용하고 시간, 가져온 주소, 사이트의 응답을 포함하세요. 모든 메시지를 읽습니다.