使い方
- 開始点を選びます。すべて許可、AI の学習をブロック、すべての AI クローラーをブロック、すべてブロックのいずれかです。
- サイトマップ、非公開にするフォルダ、ブロックする他のクローラーを追加します。
robots.txtをコピーまたはダウンロードしてサイトのルートに置き、https://your-site/robots.txtでアクセスできるようにします。
検索エンジン、AI 検索、AI の学習
現在のクローラーは 3 種類あり、robots.txt でそれぞれ別に扱えます。
- 検索エンジン（Googlebot、Bingbot）は、検索結果のためにページをインデックスします。
- AI 検索とアシスタント（OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot）は、質問に答えるためにページを取得し、通常は引用してリンクします。
- AI の学習用クローラー（GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、CCBot など）は、モデルの学習のためにページを集めます。
AI の学習をブロック を選ぶと、検索結果や AI の回答には表示されたまま、最後のグループのみを排除できます。Google-Extended と Applebot-Extended は Google や Apple の検索には影響せず、学習のみを制御します。
サイトを隠してしまう間違い
クローラーが従うのは、自身を指定した最も具体的なグループのみです。GPTBot に専用のグループを作ると、User-agent: * のルールは適用されなくなります。そのため、* に対して /admin/ を非公開にし、サイトの残りを許可する別のクローラーのグループを追加すると、そのクローラーは /admin/ を読み取れます。ジェネレーターが警告するので、各グループに同じ行を記述してください。
よくある質問
robots.txt でページを Google から除外できますか？
確実にはできません。robots.txt が止めるのはクロールで、インデックスではありません。ブロックされたページでも、他のサイトからリンクされていれば結果に表示されることがあります。除外するには、クロールを許可したうえで <meta name="robots" content="noindex"> を追加してください。メタタグジェネレーターで作成できます。
クローラーは必ず従いますか？
これは任意の標準（RFC 9309）です。主要な検索エンジンと AI 企業は自社のクローラーが従うとしていますが、従わないものもあります。非公開のものを隠すために使わないでください。クロールされたくないパスを一覧にした公開ファイルだからです。
Lobsite ではファイルをどこに置きますか？
デプロイするフォルダの最上位、index.html の隣に robots.txt を置いてください。アカウントのないサイトはいずれにしてもインデックスされません。アカウントに残すまで、Lobsite は X-Robots-Tag: noindex を付けて配信します。
サイトマップを追加すべきですか？
はい。Sitemap: 行は、クローラーがすべてのページを見つける最も簡単な方法です。XML サイトマップジェネレーターで作成できます。