robots.txt 생성기·테스트

사용 방법

1. 템플릿을 고르거나 그룹마다 User-agent와 Allow·Disallow 규칙을 입력합니다. 필요하면 Sitemap URL도 입력합니다.
2. 아래 칸에 robots.txt가 표시됩니다. "텍스트 직접 편집"을 고르면 기존 robots.txt를 붙여 넣어 확인·수정할 수 있습니다.
3. "URL 테스트"에 크롤러 이름과 URL을 입력하면 허용인지 차단인지, 어떤 규칙이 적용됐는지 보여 줍니다.
4. "복사" 또는 "robots.txt 저장"으로 꺼내 사이트 루트(https://example.com/robots.txt)에 둡니다.

주의 사항

• robots.txt는 수집(크롤링) 지시이지 색인 제어가 아닙니다. 차단한 URL도 다른 사이트에서 링크되면 검색 결과에 나타날 수 있습니다. 검색 결과에서 빼려면 noindex(크롤러가 페이지를 읽을 수 있어야 함)나 삭제 도구를 사용하세요.
• 접근 제어나 보안 수단이 아닙니다. 따를지는 크롤러에 달려 있고 파일은 누구나 읽을 수 있으므로, 숨기고 싶은 경로를 적으면 오히려 위치를 알리게 됩니다.
• AI 크롤러 템플릿은 예시입니다. 이름은 바뀔 수 있고 모든 AI 서비스를 포함하지는 않습니다.
• 테스트는 RFC 9309 규칙에 따른 판정입니다. 크롤러에 따라 독자적인 동작(Crawl-delay 지원 등)이 있을 수 있습니다.

계산·변환 방식

그룹 선택: 크롤러 이름(제품 토큰)과 대소문자 구분 없이 일치하는 User-agent 그룹을 사용하고, 같은 이름의 그룹이 여러 개면 합칩니다. 일치하는 그룹이 없으면 * 그룹을, 그것도 없으면 모두 허용합니다.

규칙 선택: URL 경로(쿼리 포함)의 앞부분부터 일치하는 규칙 중 경로가 가장 긴(바이트 수가 많은) 규칙을 사용합니다. 길이가 같은 Allow와 Disallow가 일치하면 Allow가 우선합니다. 일치하는 규칙이 없으면 허용이며 /robots.txt는 항상 허용입니다.

*는 임의의 문자열, 끝의 $는 URL의 끝과 일치합니다. 한글 등의 문자와 %XX 퍼센트 인코딩은 같은 것으로 비교하며 경로의 대소문자는 구분합니다.