감사한 사이트의 13%가 AI 크롤러를 차단합니다 — 우리가 발표한 40.8%를 바로잡습니다
샘플의 robots.txt를 모두 다시 읽은 결과, 자체 파서에서 결함 2개를 발견했습니다. 바로잡은 비율은 감사한 사이트 45곳 중 6곳, 즉 13.3%이며, 처음 발표한 40.8%가 아닙니다. 바로잡은 수치는 학습용 크롤러와 검색 크롤러를 합친 것이며, AI 검색 제외율이 아닙니다.
2026년 8월 31일 업데이트. 8월 20일에 게시된 이 글의 이전 버전은 "감사한 사이트 49곳 중 20곳, 즉 40.8%"라는 문장으로 시작했습니다. 이 수치는 두 가지 면에서 틀렸습니다. 40.8%는 검사에 실패한 개별 감사 실행의 비율이었지 고유 사이트의 비율이 아니었으며, 이 비율을 다시 사이트 수에 곱하자 아무도 실제로 센 적 없는 "20곳"이라는 수치가 만들어졌습니다. 더 심각한 것은, 샘플의 robots.txt를 모두 사양에 비추어 다시 읽어 보니 자체 파서의 결함 2개가 실패 사례의 절반을 만들어 내고 있었다는 점입니다. 바로잡은 수치는 아래와 같으며, 이제는 이 정정 내용이 이 글에서 더 유용한 절반입니다.
2026년 8월 31일, 현재 엔진 집계 기간에 감사한 고유 도메인 48개 전체에서 이 파일을 다시 가져왔고, 그중 45개가 파일을 제공했습니다. 이 45곳 중 6곳, 즉 13.3%가 적어도 1개의 주요 AI 크롤러를 사이트 전체에서 차단했습니다. 정반대 쪽에는 AI 크롤러에 적용되는 규칙이 전혀 없는 사이트가 8곳 있습니다. AI 크롤러가 따를 와일드카드 지시문조차 없습니다. 샘플의 17.8%에 해당합니다.
그러면 31곳, 즉 샘플의 68.9%가 남습니다. 이 사이트들의 robots.txt는 AI 크롤러가 실제로 읽게 될 정책을 명시하면서도 어떤 AI 크롤러도 사이트 전체에서 차단하지 않습니다. 이 수치로는 이러한 정책을 의도적으로 검토한 소유자가 몇 명인지 알 수 없으며, 학습용 크롤러만 제한했다고 해서 검색 가시성이 줄었다는 것이 입증되지는 않습니다.
| AI 크롤러를 1개 이상 사이트 전체에서 차단 | 6 | 13.3% |
| AI 크롤러에 적용되는 규칙이 전혀 없음 | 8 | 17.8% |
| 명시적 규칙 있음, 사이트 전체 차단 없음 | 31 | 68.9% |
방법론. 모집단은 현재 엔진 집계 기간에 감사가 완료된 모든 고유 도메인이며, 이 기간은 2026년 5월 23일부터 8월 31일까지입니다. 보고서 실행 228회에 걸친 도메인 48개입니다. 저장된 판정에는 결함이 있는 파서의 결과가 담겨 있으므로, 위 표는 저장된 집계가 아닙니다. 위 표는 해당 도메인들이 실제로 제공하는 robots.txt 파일을 같은 날 다시 가져와 8월 31일에 읽고, 수정한 파서로 평가한 결과입니다. 48개 중 3개는 더 이상 robots.txt를 제공하지 않으므로 분모는 45입니다. 샘플은 자기 선택 표본입니다. 누군가가 직접 감사를 실행하기로 선택한 사이트들이며, 중소 규모 사이트에 치우쳐 있습니다. 이 비율은 웹 전체가 아니라 웹의 롱테일에 대한 방향성 지표로 보십시오. 도메인 이름은 밝히지 않습니다.
정정 자체가 증거의 일부입니다
파일을 다시 읽으면서, 빈 disallow 값의 처리와 이름이 지정된 크롤러 그룹과 와일드카드 규칙 간 관계의 처리가 잘못되어 있었음이 드러났습니다. RFC 9309가 공개된 해석 기준을 제공합니다. 빈 경로는 무시되며, 해당하는 이름 지정 그룹이 와일드카드 그룹보다 우선합니다. 같은 크롤러에 대한 그룹은 하나로 합쳐야 할 수 있으며, 파일 안의 순서만으로는 신뢰할 수 있는 정책이 되지 않습니다.
결함은 수정했으며, 이를 드러낸 사례는 회귀 테스트로 보존하고 있습니다. 이 샘플에서는 이전에 차단으로 분류된 사이트 5곳이 실제로는 차단되지 않았고, 이전에 차단 없음으로 분류된 1곳은 실제로 차단되어 있었습니다. 바로잡은 결과는 가져온 파일을 특정 시점에 관찰한 것입니다. 오늘의 접근 가능 여부나 웹 전체에서의 비율을 입증하지는 않습니다.
robots.txt는 접근을 좌우하는 여러 지점 중 하나일 뿐입니다. CDN 챌린지, 로그인 벽, 네트워크 차단은 파일이 허용하더라도 페이지를 가져오지 못하게 할 수 있습니다. 반대로, 의도적인 학습 제한이 곧 사이트가 AI 검색에서 보이지 않는다는 증거는 아닙니다. 13.3%라는 수치는 여러 크롤러 목적을 합친 것이므로 AI 검색 제외율로 제시할 수 없습니다.
검색 접근과 학습 허용은 별개의 결정입니다
OpenAI의 봇 문서(영어)는 검색 발견에 쓰이는 OAI-SearchBot과 잠재적인 모델 학습에 쓰이는 GPTBot을 구분합니다. 두 크롤러의 제어 설정은 서로 독립적입니다. ChatGPT-User는 사용자가 지시한 방문을 나타내며, 또 다른 역할을 합니다. 정책을 검토할 때는 허용하거나 제한하려는 목적을 명시해야 합니다.
Anthropic 역시 학습, 검색, 사용자 요청 기반 조회에 각기 다른 크롤러를 문서화하고 있습니다(영어). 소유자가 정말로 그렇게 의도한 경우가 아니라면, 'AI 봇'이라는 포괄적인 표현을 하나의 허용 여부 토글로 단순화하지 마십시오.
이 크롤러들은 물론 Google, Apple, Meta, Amazon이 공개한 토큰도 각각 AI 크롤러 레퍼런스에 전용 페이지가 있으며, 각 페이지에는 정확한 robots.txt 토큰과 운영사 문서가 정리되어 있습니다(영어).
Google은 자체 제어 수단을 갖추고 있습니다. 저희 생성형 검색 가이드에서는 크롤링, 색인, 스니펫 자격 요건과 함께 Search Console의 포함 설정을 다룹니다. Google-Extended는 별개의 제어 수단이며, robots.txt에 이를 넣었다고 해서 검색 설정 검토를 대신할 수는 없습니다.
이러한 구분은 사업적으로 유용합니다. 기업은 공개 문서가 잠재 고객에게 발견되기를 원하면서도, 학습에 대해서는 별도로 결정할 수 있습니다. 허용 규칙도, 포함 설정도 답변이 해당 페이지를 인용한다고 보장하지는 않습니다. 이들은 발견이 이루어질 수 있는 조건의 일부를 마련합니다.
중요한 URL 하나를 의도한 정책과 대조해 검토하십시오
잠재 고객이 찾을 수 있어야 하는 페이지를 하나 고르십시오. 유용한 가이드, 제품 설명, 개발자 예제 같은 페이지입니다. 제공업체와 크롤러의 목적, 적용되는 정책, 실제로 전달된 응답을 기록하십시오. 타임스탬프를 남기고, 검증된 실제 제공업체 요청과 그 사용자 에이전트 이름만 빌려 쓴 테스트를 구분하십시오.
소유자가 검색 발견을 원하는데 관련 검색 크롤러가 의도치 않게 차단되어 있다면, 바로 그 충돌을 수정하십시오. 학습 차단이 의도된 것이라면 의도된 것으로 기록하십시오. 포괄적인 봇 점수를 녹색으로 바꾸려는 목적만으로 이를 제거하지 마십시오.
이름이 지정된 규칙이 없다고 해서 자동으로 결함이 되는 것은 아닙니다. 와일드카드 규칙이 해당 크롤러에 적용될 수 있으며, 적용되는 그룹이 하나도 없으면 robots 표준은 그 부재를 금지로 취급하지 않습니다. 명시적 규칙은 의도를 문서화할 수 있지만, 줄이 많다고 해서 본질적으로 더 나은 접근 정책이 되는 것은 아닙니다.
파일을 변경한 뒤에는 실제로 제공되는 응답을 확인하십시오. 서비스 제공업체가 관리하는 파일이나 캐시는 저장소의 사본과 다를 수 있습니다. 그다음 중요한 페이지 자체를 확인하되, 리디렉션이 있다면 최종 도착지까지 확인하십시오. 색인 가능성 충돌에 관한 글에서 크롤링 허용과 색인 허용이 왜 별개의 관찰 대상인지 설명합니다.
접근이 실제로 유용한 가시성으로 이어지는지 측정하십시오
결과를 살펴보기 전에 정책과 응답의 증거부터 보존하십시오. Google 생성형 AI 노출수, 제공업체의 인용, 추천 방문, 유용한 제품 내 행동은 각기 다른 질문에 답합니다. 이를 지어낸 AI 가시성 합계로 뭉뚱그리지 말고, 각각의 출처와 보고 기간을 기록하십시오.
SEOReport에서 가장 강력한 공개 증거는 영향을 받은 페이지, 소유자가 의도한 동작, 구체적인 수정, 반복 가능한 검증 결과입니다. 독자는 비공개 탐지 기법을 몰라도 이러한 사실을 평가할 수 있습니다. AI 검색 준비도 가이드는 이러한 관찰을 실무적인 검토 절차로 연결합니다.
이 정정으로 원래 헤드라인이 전하던 교훈이 달라집니다. 저희 샘플이 뒷받침하는 것은 규모가 작고 특정 시점에 확인된 크롤러 제한 건수입니다. 유용한 작업은 어떤 제한이 소유자의 의도와 맞는지 판단하고, 실제로 전달되는 페이지를 확인하며, 선택한 검색 서비스가 실제로 보고하는 결과를 측정하는 것입니다.