사용 방법
- 시작점을 선택하세요. 모두 허용, AI 학습 차단, 모든 AI 크롤러 차단, 모두 차단 중에서 고를 수 있습니다.
- 사이트맵, 비공개로 유지할 폴더, 차단할 다른 크롤러를 추가하세요.
robots.txt를 복사하거나 다운로드하여 사이트 루트에 두어https://your-site/robots.txt에서 열리게 하세요.
검색 엔진, AI 검색, AI 학습
이제 크롤러는 세 종류이며, robots.txt로 각각 다르게 처리할 수 있습니다.
- 검색 엔진(Googlebot, Bingbot)은 검색 결과를 위해 페이지를 색인합니다.
- AI 검색과 어시스턴트(OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot)는 질문에 답하기 위해 페이지를 가져오며, 보통 인용하고 링크합니다.
- AI 학습 크롤러(GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot 등)는 모델 학습을 위해 페이지를 수집합니다.
AI 학습 차단은 검색 결과와 AI 답변에는 그대로 나타나면서 마지막 그룹만 막습니다. Google-Extended와 Applebot-Extended는 Google이나 Apple 검색에 영향을 주지 않으며 학습만 제어합니다.
사이트를 숨기는 실수
크롤러는 자신을 지정한 가장 구체적인 그룹만 따릅니다. GPTBot에 자체 그룹이 생기면 User-agent: * 아래의 규칙은 더 이상 적용되지 않습니다. 따라서 *에 대해 /admin/을 비공개로 하고 사이트의 나머지를 허용하는 다른 크롤러 그룹을 추가하면, 그 크롤러는 /admin/을 읽을 수 있습니다. 생성기가 이를 경고하므로 각 그룹에 같은 줄을 반복하세요.
자주 묻는 질문
robots.txt로 페이지를 Google에서 제외할 수 있나요?
확실하지는 않습니다. robots.txt는 색인이 아니라 크롤링을 막습니다. 차단된 페이지도 다른 사이트에서 링크하면 결과에 나타날 수 있습니다. 페이지를 제외하려면 크롤링을 허용하고 <meta name="robots" content="noindex">를 추가하세요. 메타 태그 생성기에서 작성할 수 있습니다.
크롤러가 반드시 따라야 하나요?
자발적인 표준(RFC 9309)입니다. 주요 검색 엔진과 AI 기업은 자사 크롤러가 이를 따른다고 밝히지만, 따르지 않는 곳도 있습니다. 비공개 내용을 숨기는 데 사용하지 마세요. 크롤링되지 않았으면 하는 경로를 나열한 공개 파일이기 때문입니다.
Lobsite에서는 파일을 어디에 두나요?
배포하는 폴더의 최상위, index.html 옆에 robots.txt를 두세요. 계정 없는 사이트는 어차피 색인되지 않습니다. 계정에 유지될 때까지 Lobsite가 X-Robots-Tag: noindex와 함께 제공합니다.
사이트맵을 추가해야 하나요?
네. Sitemap: 줄은 크롤러가 모든 페이지를 찾는 가장 간단한 방법입니다. XML 사이트맵 생성기로 만드세요.