robots.txt로 인해 차단되었으나 색인이 생성됨: 의미와 해결법

'robots.txt로 인해 차단되었으나 색인이 생성됨'(Indexed, though blocked by robots.txt)은 robots.txt가 크롤링을 금지하는데도 링크가 계속 그 URL을 가리키고 있어서, Google이 페이지를 읽지 않은 채 URL을 색인에 넣었다는 뜻입니다. 이런 결과는 보통 설명이 거의 또는 전혀 없이 표시됩니다. 문제인지 아닌지는 한 가지 결정에 달려 있습니다. 페이지가 순위에 올라야 한다면 차단을 제거하십시오. 검색에서 빠져 있어야 한다면 robots.txt는 맞는 도구가 아니며, 크롤링을 허용하고 noindex를 사용하는 것이 해결책입니다.

독일어 Search Console 인터페이스에서는 같은 상태가 "Indexiert, obwohl durch robots.txt-Datei blockiert"로 표시됩니다.

Google이 설명하는 이 상태의 의미

Google의 페이지 색인 생성 보고서 문서(2026년 10월 확인)는 이 상태를 한 줄로 설명합니다. 사이트의 robots.txt 파일로 차단되었는데도 페이지의 색인이 생성되었다는 것입니다. 그리고 Google은 언제나 robots.txt를 준수하지만, 다른 누군가가 그 페이지로 링크하면 이것만으로 색인 생성을 반드시 막을 수 있는 것은 아니라고 덧붙입니다. Google은 페이지를 요청하지 않고, 그 페이지로 링크하는 페이지의 정보를 사용해 URL을 색인합니다.

Google은 이 상태를 오류가 아니라 경고로 분류합니다. 문서에 따르면 경고는 페이지의 색인 생성을 막지는 않지만, Google이 페이지를 이해하고 색인하는 능력을 떨어뜨립니다. URL은 색인에 들어 있습니다. 빠져 있는 것은 Google이 페이지를 가져왔다면 알았을 모든 것, 즉 귀하가 작성한 제목, 본문, 구조화된 데이터, robots 메타 태그입니다.

문서는 또한 이런 페이지의 스니펫은 매우 제한적일 가능성이 높다고 말합니다. Google의 robots.txt 소개 문서는 더 직접적입니다. 차단된 URL도 검색결과에 나타날 수 있지만, 그 결과에는 설명이 없다는 것입니다.

차단된 페이지가 색인되는 과정

robots.txt는 크롤링을 제어합니다. 색인 생성은 제어하지 않습니다. Google의 robots.txt 소개 문서도 robots.txt는 주로 요청이 몰려 사이트에 과부하가 걸리는 것을 막기 위한 수단이며, 페이지를 Google에서 빼는 메커니즘이 아니라고 말합니다.

sequenceDiagram
    participant L as URL로 연결되는 링크
    participant G as Googlebot
    participant R as robots.txt
    participant I as Google 색인
    L->>G: URL 발견
    G->>R: 이 경로는 허용되나요?
    R-->>G: Disallow 규칙 일치
    Note over G: 페이지를 가져오지 않으므로 noindex도 읽히지 않음
    G->>I: 링크 신호로 URL 색인
    I-->>I: 설명이 거의 또는 전혀 없이 표시

선의로 한 설정이 역효과를 내는 이유가 여기에 있습니다. 어떤 팀이 페이지를 검색에서 빼려고 noindex 태그를 추가한 뒤, 확실히 하려고 robots.txt에서 그 경로까지 차단합니다. 차단 때문에 Google은 페이지를 가져오지 못하고, 따라서 noindex는 끝내 읽히지 않습니다. 색인 생성 차단에 관한 Google 문서는 이를 분명히 말합니다. noindex가 작동하려면 페이지가 robots.txt로 차단되어 있으면 안 됩니다.

흔한 원인 5가지

1. 여전히 링크되는 페이지를 의도적으로 차단한 경우. 사이트 내부 검색결과, 필터·정렬된 목록 URL, 장바구니와 계정 페이지, 관리자 경로는 흔히 허용되지 않도록 설정됩니다. 내비게이션, 사이트맵, 다른 사이트가 이런 URL로 링크하면 Google은 URL의 존재를 알게 되고, 일부를 색인할 수 있습니다. 예를 들어 WordPress는 사이트에 자체 robots.txt 파일이 없을 때 관리자 경로를 허용하지 않는 robots.txt를 생성하므로, 링크된 관리자 URL이 이 상태로 나타날 수 있습니다.

2. 같은 페이지에 noindex와 Disallow를 함께 쓴 경우. 위에서 설명한 설정입니다. URL 1개에 지시 2개가 걸려 있는 것입니다. 막으려던 결과를 정확히 만들어 냅니다.

3. 의도보다 넓은 규칙. robots.txt 경로는 URL 경로의 시작 부분부터 일치하며, 대소문자를 구분합니다. Disallow: /shop은 /shop/뿐 아니라 /shop-guide/와 /shopping-tips/도 차단합니다. 한 섹션을 위해 쓴 짧은 접두사가 다른 섹션의 콘텐츠 페이지까지 잡아낼 수 있습니다.

4. 사이트맵에 차단된 URL이 들어 있는 경우. 사이트맵은 Google에 URL이 존재하고 중요하다고 알리는데, robots.txt는 크롤링을 금지합니다. 2026년 5월부터 10월 사이에 SEOReport 감사를 위해 제출되어 사이트맵 페이지를 가져온 외부 웹사이트 29곳 중 2곳(7%)은 자체 robots.txt가 허용하지 않는 URL을 사이트맵에 넣어 두었습니다. 같은 29곳 중 8곳(28%)에는 리디렉션되거나, noindex가 지정되었거나, robots.txt로 차단된 사이트맵 URL이 하나 이상 있었습니다.

5. 이미 색인된 사이트를 나중에 전체 차단한 경우. Disallow: /가 들어 있는 스테이징용 robots.txt가 운영 환경에 복사되어도, Google이 이미 알고 있는 페이지는 삭제되지 않습니다. Google이 더 이상 페이지를 읽을 수 없으므로, 설명이 거의 또는 전혀 없는 채로 계속 표시될 수 있습니다.

문제인가요? 고칠지, 다르게 고칠지, 둘지

답은 상태 자체가 아니라 페이지의 용도에 달려 있습니다.

세 번째 행은 실제로 따져 봐야 할 절충입니다. 서버를 보호하려고 수백만 개의 매개변수 URL을 차단했다면, Google이 noindex를 읽을 수 있게 차단을 풀면 피하려던 크롤링을 불러들이게 됩니다. 노출이 전혀 없는 이런 URL 몇 개가 이 경고에 있는 정도라면 대개 괜찮습니다. 하지만 콘텐츠 페이지가 이 상태라면 반드시 고쳐야 합니다. Google이 그 페이지를 읽지 못했고, 클릭을 끌어낼 설명 없이 노출되기 때문입니다.

flowchart TD
    A["robots.txt로 인해 차단되었으나 색인이 생성됨"] --> B{"이 페이지가 검색에 나와야 하나요?"}
    B -->|예| C["차단 규칙 찾기"]
    C --> D["페이지에 숨은 noindex가 있는지 확인"]
    D --> E["규칙을 제거하거나 좁히기"]
    B -->|아니요| F{"크롤링 부하를 줄이려는 차단인가요?"}
    F -->|아니요| G["크롤링을 허용하고 noindex 추가"]
    F -->|예| H["그대로 두고 링크 중단, 사이트맵에서 제외"]
    G --> I["선택 사항: 삭제 도구로 약 6개월간 숨기기"]
    E --> J["Search Console에서 수정 결과 확인"]
    G --> J

특정 URL의 원인을 확인하는 방법

영향을 받은 URL로 URL 검사를 실행합니다. 페이지 색인 생성 세부정보의 '크롤링 허용 여부'는 robots.txt 규칙이 Google을 차단하는지 알려 주며, 실시간 테스트에서는 차단된 URL의 '페이지 가져오기'가 실패로 표시됩니다. 같은 섹션의 '참조 페이지'와 '사이트맵'은 Google이 그 URL을 어떻게 찾았을지 보여 주므로, 어떤 링크나 사이트맵 항목 때문에 URL이 계속 알려지고 있는지 알 수 있습니다. 여기서 '색인 생성 허용 여부'는 무시하십시오. Google 도움말에 따르면 차단된 페이지에서는 항상 '예'로 표시되는데, Google이 가져올 수 없는 페이지의 noindex는 볼 수 없기 때문입니다.

정확한 규칙을 찾습니다. 각 파일의 규칙은 해당 호스트, 프로토콜, 포트에만 적용되므로, 그 URL을 제공하는 정확한 호스트, 프로토콜, 포트의 루트에서 robots.txt를 엽니다.

curl -s https://www.example.com/robots.txt

그다음 Google의 robots.txt 사양에 따라 Google과 같은 방식으로 읽습니다.

• Googlebot은 일치하는 User-agent 그룹 중 가장 구체적인 그룹 하나만 따릅니다. 파일에 User-agent: Googlebot 그룹이 있으면 Googlebot에게 User-agent: * 그룹은 완전히 무시됩니다.
• 그 그룹 안에서는 일치하는 경로가 가장 긴 규칙이 우선합니다. Allow와 Disallow가 똑같이 일치하면 Google은 덜 제한적인 쪽을 사용합니다.
• *는 임의의 문자열과 일치하고, $는 URL의 끝을 고정합니다.

Search Console의 robots.txt 보고서는 사이트의 상위 20개 호스트에 대해 Google이 찾은 robots.txt 파일, 각 파일을 마지막으로 크롤링한 시점, 파일의 경고나 오류를 보여 줍니다. 귀하가 편집 중인 버전과 다른 버전을 Google이 읽고 있는 경우도 이것으로 잡아낼 수 있습니다.

차단 뒤에 무엇이 있는지 확인합니다. 무엇이든 차단을 풀기 전에, Google이 페이지를 가져올 수 있게 되면 무엇을 보게 될지 확인하십시오.

curl -sI https://www.example.com/page/ | grep -i x-robots-tag
curl -s https://www.example.com/page/ | grep -i '<meta name="robots"'

몇 달 동안 차단되어 있던 페이지에는 아무도 볼 수 없었던 탓에 아무도 눈치채지 못한 noindex, 리디렉션, 404가 남아 있을 수 있습니다.

경우별 해결 방법

페이지가 색인되어야 하는 경우. Disallow 규칙을 삭제하거나 범위를 좁힙니다. 넓은 규칙이 여전히 필요하다면 크롤링되어야 할 페이지에 더 긴 Allow 규칙을 추가합니다.

User-agent: *
Disallow: /shop/
Allow: /shop/guides/

/shop/guides/가 더 길게 일치하므로 해당 URL에서는 이 규칙이 우선하고, /shop/의 나머지는 계속 차단됩니다. 그 URL은 사이트맵과 내부 링크에 그대로 두십시오.

페이지가 검색에서 빠져 있어야 하는 경우. 해당 페이지에 대한 Disallow 규칙을 제거하고 noindex 지시어를 추가합니다.

<meta name="robots" content="noindex">

PDF 등 HTML이 아닌 파일은 대신 응답 헤더로 지시어를 보냅니다.

X-Robots-Tag: noindex

사이트맵에서도 URL을 빼십시오. Google이 페이지를 다시 크롤링해 noindex를 읽으면 URL은 색인에서 빠지고 '색인이 생성되지 않음' 그룹의 'URL이 'NOINDEX'로 표시됨'으로 옮겨 가며, 이것이 올바른 최종 상태입니다. 페이지는 크롤링 가능한 상태로 두십시오. 다시 차단하면 noindex가 보이지 않게 되고, 링크 때문에 URL이 같은 경고와 함께 돌아올 수 있습니다. Google이 꼽는 다른 영구적인 방법은 404나 410으로 페이지를 삭제하거나 로그인 뒤에 두는 것입니다. Search Console의 삭제 도구는 URL을 약 6개월 동안 숨기며, Google 도움말에 따르면 이 도구만으로는 영구 삭제가 되지 않습니다.

크롤링 제어를 위한 차단인 경우. 규칙은 그대로 두고, 템플릿에서 해당 URL로 링크하지 말고, 사이트맵에서도 빼서 금지한 것을 스스로 알리는 일이 없게 하십시오.

수정 결과를 확인하는 방법

Google은 일반적으로 robots.txt를 최대 24시간 동안 캐시합니다. 파일을 수정한 뒤 robots.txt 보고서에서 다시 크롤링을 요청할 수 있습니다. 그다음 URL 검사에서 실시간 테스트를 실행하면 '크롤링 허용 여부'가 이제 '예'로 표시되어야 합니다. 색인되기를 원하는 페이지라면 '색인 생성 요청'을 사용하십시오.

영향을 받은 URL을 모두 처리했다면 페이지 색인 생성 보고서에서 해당 문제를 열고 '수정 결과 확인'을 클릭합니다. Google 문서에 따르면 확인에는 보통 최대 약 2주가 걸리며 훨씬 더 오래 걸릴 수도 있습니다. 수치가 줄어들기까지 며칠에서 몇 주가 걸린다고 보고, 현재 확인이 통과하거나 실패하기 전에는 '수정 결과 확인'을 다시 클릭하지 마십시오.

페이지 자체는 정상으로 보이고 충돌은 별도의 파일에 있기 때문에, 이 상태는 브라우저나 AI 어시스턴트와의 채팅으로는 놓치기 쉽습니다. 이 차이는 AI 에이전트가 페이지를 확인할 때 실제로 보는 것에서 설명합니다. Search Console은 어떤 URL이 영향을 받는지 알려 줍니다. SEOReport 전체 진단은 사이트맵에 나열된 페이지를 robots.txt가 모든 크롤러에 설정한 규칙과 대조해, 사이트맵이 알리면서 robots.txt가 차단하는 페이지를 짚어 냅니다. 크롤링 없이 색인되는 URL 중 상당수가 바로 이 모순에서 나옵니다. 사이트 전체 차단도 표시합니다.

자주 묻는 질문

Google이 차단된 페이지를 알아서 검색에서 빼 주나요?

확실하지 않습니다. Google은 차단을 존중하므로 페이지를 빼라는 신호를 읽을 수 없고, 링크 때문에 URL은 계속 알려집니다. 크롤링 가능한 페이지에 noindex를 쓰거나, 404 또는 410을 반환하거나, 비밀번호로 보호하십시오.

이 상태가 사이트의 다른 부분에 해가 되나요?

Google 문서는 다른 페이지에 대한 영향을 언급하지 않습니다. 비용은 국지적입니다. 설명이 거의 또는 전혀 없는 색인된 URL, 또는 숨기려 했는데 여전히 노출되는 페이지입니다. 검색에 노출되지 않는 크롤링 제어용 URL이라면 이 경고는 대체로 겉모습의 문제일 뿐입니다.

'URL이 robots.txt에 의해 차단됨'과는 어떻게 다른가요?

둘 다 같은 종류의 규칙에서 나옵니다. 'URL이 robots.txt에 의해 차단됨'은 '색인이 생성되지 않음' 그룹에 속합니다. Google이 차단을 존중해 URL을 색인하지 않은 경우입니다. 'robots.txt로 인해 차단되었으나 색인이 생성됨'은 경고입니다. 무언가가 그 URL을 가리키고 있어서 Google이 결국 URL을 색인한 경우입니다. 규칙 자체는 robots.txt와 크롤링 접근 가이드에서 다룹니다.

robots.txt 안에 noindex를 쓸 수 있나요?

아닙니다. Google의 robots.txt 사양은 user-agent, allow, disallow, sitemap의 네 가지 필드만 지원하므로, 거기에 쓴 noindex 줄은 무시됩니다. noindex는 Google이 크롤링할 수 있는 URL의 robots 메타 태그나 X-Robots-Tag 응답 헤더에 넣으십시오.

규칙을 제거했는데 왜 아직 이 상태가 표시되나요?

Google이 robots.txt를 다시 가져오고, 각 URL을 다시 크롤링한 다음, 보고서를 새로 고쳐야 합니다. URL 검사의 실시간 테스트에서 '크롤링 허용 여부'가 '예'로 표시된다면 보고서도 곧 따라잡습니다. 관련 신호는 페이지 색인 생성 가능성 가이드와 noindex, robots.txt, 표준 태그 사이의 색인 생성 가능성 충돌 분석에서 다룹니다.