Robots.txt Oluşturucu

Nasıl kullanılır

1. Bir başlangıç noktası seçin: her şeye izin ver, yapay zekâ eğitimini engelle, tüm yapay zekâ botlarını engelle ya da her şeyi engelle.
2. Site haritanızı, gizli kalacak klasörleri ve engellenecek diğer botları ekleyin.
3. robots.txt dosyasını kopyalayın ya da indirin ve sitenizin köküne koyun; böylece https://your-site/robots.txt adresinde olur.

Arama motorları, yapay zekâ araması ve yapay zekâ eğitimi

Botlar artık üç türdür ve robots.txt her birine farklı davranabilir:

• Arama motorları (Googlebot, Bingbot) arama sonuçları için sayfaları dizine ekler.
• Yapay zekâ araması ve asistanlar (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) soruları yanıtlamak için sayfaları çeker ve genellikle onlardan alıntı yapıp bağlantı verir.
• Yapay zekâ eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot ve diğerleri) modelleri eğitmek için sayfa toplar.

Yapay zekâ eğitimini engelle, siz arama sonuçlarında ve yapay zekâ yanıtlarında kalırken son grubu dışarıda tutar. Google-Extended ve Applebot-Extended, Google veya Apple aramasını etkilemez; yalnızca eğitimi denetler.

Bir siteyi gizleyen hata

Bir bot yalnızca kendisini adıyla anan en özel gruba uyar. GPTBot'un kendi grubu olduğu anda User-agent: * altındaki kurallar artık ona uygulanmaz. Yani /admin/ yolunu * için gizli tutar ve başka bir bot için sitenin geri kalanına izin veren bir grup eklerseniz, o bot /admin/ yolunu okuyabilir. Oluşturucu bu konuda uyarır; satırları her grupta tekrarlayın.

Sık sorulan sorular

robots.txt bir sayfayı Google'ın dışında tutar mı?

Güvenilir biçimde değil. Taramayı durdurur, dizine eklemeyi değil: engellenen bir sayfa, başka siteler ona bağlantı verirse yine sonuçlarda görünebilir. Bir sayfayı dışarıda tutmak için taranmasına izin verin ve Meta Etiket Oluşturucu aracının yazdığı <meta name="robots" content="noindex"> etiketini ekleyin.

Botlar ona uymak zorunda mı?

Gönüllü bir standarttır (RFC 9309). Büyük arama motorları ve yapay zekâ şirketleri botlarının ona uyduğunu söyler; diğerleri uymayabilir. Gizli bir şeyi saklamak için kullanmayın: taranmasını istemediğiniz yolları listeleyen herkese açık bir dosyadır.

Lobsite'ta dosya nereye konur?

robots.txt dosyasını deploy ettiğiniz klasörün en üstüne, index.html dosyasının yanına koyun. Hesabı olmayan siteler zaten asla dizine eklenmez: Lobsite onları bir hesapta korunana kadar X-Robots-Tag: noindex ile sunar.

Site haritamı eklemeli miyim?

Evet. Sitemap: satırı, botların her sayfayı bulmasının en basit yoludur. XML Site Haritası Oluşturucu ile bir tane oluşturun.