Cara menggunakan
- Pilih titik awal: izinkan semua, blokir pelatihan AI, blokir semua crawler AI, atau blokir semua.
- Tambahkan sitemap, folder yang dijaga pribadi, dan crawler lain yang akan diblokir.
- Salin atau unduh
robots.txtdan letakkan di root situs Anda, sehingga berada dihttps://your-site/robots.txt.
Mesin pencari, pencarian AI, dan pelatihan AI
Crawler kini ada tiga jenis, dan robots.txt dapat memperlakukan masing-masing secara berbeda:
- Mesin pencari (Googlebot, Bingbot) mengindeks halaman untuk hasil pencarian.
- Pencarian dan asisten AI (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) mengambil halaman untuk menjawab pertanyaan, dan biasanya mengutip serta menautkannya.
- Crawler pelatihan AI (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, dan lainnya) mengumpulkan halaman untuk melatih model.
Blokir pelatihan AI mencegah kelompok terakhir sementara Anda tetap ada di hasil pencarian dan jawaban AI. Google-Extended dan Applebot-Extended tidak memengaruhi pencarian Google atau Apple; keduanya hanya mengontrol pelatihan.
Kesalahan yang menyembunyikan situs
Crawler hanya mematuhi grup paling spesifik yang menyebut namanya. Setelah GPTBot memiliki grup sendiri, aturan di bawah User-agent: * tidak lagi berlaku untuknya. Jadi jika Anda menjaga /admin/ tetap pribadi untuk * dan menambahkan grup untuk crawler lain yang mengizinkan sisa situs, crawler itu dapat membaca /admin/. Generator memperingatkan hal ini; ulangi baris di setiap grup.
Pertanyaan umum
Apakah robots.txt menjauhkan halaman dari Google?
Tidak dapat diandalkan. robots.txt menghentikan crawling, bukan pengindeksan: halaman yang diblokir tetap dapat muncul di hasil jika situs lain menautkannya. Untuk menjauhkan halaman, biarkan di-crawl dan tambahkan <meta name="robots" content="noindex">, yang ditulis oleh Generator Tag Meta.
Apakah crawler harus mematuhinya?
Ini standar sukarela (RFC 9309). Mesin pencari dan perusahaan AI besar menyatakan crawler mereka mengikutinya; yang lain mungkin tidak. Jangan gunakan untuk menyembunyikan hal pribadi: ini file publik yang mencantumkan path yang tidak ingin Anda crawl.
Di mana file ditempatkan di Lobsite?
Letakkan robots.txt di tingkat atas folder yang Anda deploy, di samping index.html. Situs tanpa akun memang tidak pernah diindeks: Lobsite menyajikannya dengan X-Robots-Tag: noindex sampai disimpan di akun.
Haruskah saya menambahkan sitemap?
Ya. Baris Sitemap: adalah cara termudah bagi crawler untuk menemukan setiap halaman. Buat dengan Generator Sitemap XML.