LobsiteBot は、Lobsite の無料ツール Social Share Preview の取得ボットです。誰かがそこにアドレスを入力して 確認 を押すと、LobsiteBot は Facebook、X、Slack のリンクプレビュークローラーと同じ方法でそのページを 1 つ取得し、共有リンクの見え方を決めるタグを読み取ります。検索エンジンのクローラーではありません。リンクをたどることはなく、人が確認を依頼したページのみにアクセスします。
取得するもの
- 確認されたアドレスのページを
GETリクエストで取得します。リダイレクトは 5 回までたどり、HTML は最大 2 MB まで読み取り、8 秒で打ち切ります。 - 最大 2 つの画像: ページの
og:imageと、別のファイルであればtwitter:imageです。各 8 MB までで、同じく 8 秒以内です。
読み取るのは <title>、<meta> タグ、rel="canonical" とアイコンのリンクです。JavaScript の実行、Cookie の保持、ログイン、フォームの送信、その他のダウンロードは行いません。取得したものは 2 分を超えて保存されません。
アクセスの頻度
誰かがページを確認したときのみで、確認ツールの全ユーザー合計で 1 つのホストに 1 分あたり 60 リクエストを超えることはありません。結果は 2 分間保持されるため、その間に同じアドレスを確認してもサーバーにはアクセスしません。
識別方法
ユーザーエージェントは次のとおりです。
LobsiteBot/1.0 (+https://lobsite.com/bots/lobsitebot)
リクエストは Lobsite が稼働する Cloudflare のネットワークから送信されるため、固定の IP アドレスのリストはありません。Cloudflare はリクエストに CF-Worker: lobsite.com ヘッダーを追加します。ルールやログ検索では LobsiteBot で照合してください。古いユーザーエージェント Mozilla/5.0 (compatible; LobsiteBot/1.0; +https://lobsite.com/tools/social-share-preview) も対象になります。
LobsiteBot を許可する
ファイアウォールやボット保護が拒否すると、確認ツールはページが 403（または 401、429）を返すと表示し、プレビューを表示できません。多くのボットフィルターは Facebook、X、Slack のクローラーを名前で認識しているため、それらは許可されている場合があります。LobsiteBot も許可するには、次のようにします。
- Cloudflare: Security → WAF → Custom rules で、
(http.user_agent contains "LobsiteBot")とアクション Skip のルールを作成し、ブロックしているボット保護とマネージドルールをスキップします。 - Wordfence、Sucuri などの WordPress ファイアウォール: 許可するユーザーエージェントに
LobsiteBotを追加します。 - 独自のサーバー: 不明なボットをブロックするルールが
LobsiteBotに一致しないようにします。
LobsiteBot をブロックする
LobsiteBot は robots.txt を読みません。他のリンクプレビュー取得ボットと同じく、人からの 1 回のリクエストに応じて 1 ページを処理します。ブロックするには、ユーザーエージェントを拒否してください。
- Cloudflare:
(http.user_agent contains "LobsiteBot")とアクション Block のカスタムルール。 - nginx:
serverブロックにif ($http_user_agent ~* "LobsiteBot") { return 403; }。 - Apache:
RewriteCond %{HTTP_USER_AGENT} LobsiteBot [NC]の後にRewriteRule .* - [F,L]。
ページを確認する人には、サイトが確認ツールを拒否したことが表示されます。
よくある質問
LobsiteBot がサイトにアクセスしたのはなぜですか？
誰かが、X、Facebook、LinkedIn、Slack、Discord、WhatsApp、iMessage でページへのリンクを共有したときの見え方を確認しました。多くはページのタグを編集した後のご自身やチームで、リンクを共有しようとしている人の場合もあります。
LobsiteBot はコンテンツをインデックスまたはコピーしますか？
いいえ。1 ページの head とプレビュー画像を読み取り、依頼した人に表示して、結果を 2 分間保持します。インデックス、公開、学習への利用は一切ありません。
LobsiteBot を許可しても安全ですか？
公開ページと画像への GET リクエストのみを、ホストあたり 1 分に最大 60 回行い、リンクをたどることはありません。ユーザーエージェントは偽装できるため、ファイアウォールで許可する場合はボットチェックの通過のみを許可し、ログインや管理ページを保護するルールは通過させないでください。
LobsiteBot の問題を報告するには？
不正利用の報告ページから、日時、取得されたアドレス、サイトの応答を添えてお知らせください。すべてのメッセージを確認します。