인덱스 가능성 충돌: 귀하의 사이트가 Google에게 떠나라고 말할 때

우리가 수행하는 모든 감사는 사이트가 중요하다고 선언한 페이지에 대해 직설적인 질문을 합니다 — 홈페이지와 자체 사이트맵에 나열된 URL: 검색 엔진이 이를 선언대로 인덱스할 수 있는가? 5월 5와 August 15, 2026 사이, 21의 49 감사 사이트 중 그 질문에 실패한 비율. 이는 42.9%가 크롤러에게 건너뛰도록 지시한 페이지를 게시, 연결, 나열하는 데 수고한 사람들의 샘플 비율이다. 실패는 한 가지 특징을 공유한다: 이 사이트들 중 하나하나가 인간에게는 완벽하게 작동한다. 페이지는 렌더링되고, 링크는 해결되며, 브라우저에서 하위 지시문이 검색 엔진을 떠나게 한다는 힌트가 전혀 없다. 인덱스 가능성 충돌은 우리 데이터에서 가장 자가 유발된 범주이다 — 경쟁자가 유발하지 않았고, 알고리즘 업데이트가 트리거하지 않았으며, 팀원 누구도 봇처럼 사이트를 가져오지 않으면 볼 수 없다.

데이터 세트

방법론: 현재 체크셋에서 도메인별 최신 완료된 감사 스냅샷, 5월 5 – August 15, 2026 — 49 감사 사이트, 익명화됨. 체크별 분모는 46에서 49까지 다양하며, 입력이 존재할 때만 체크가 실행됩니다 — 도달 가능한 사이트맵이 없는 사이트는 사이트맵-페이지 판결을 제공하지 않습니다. 샘플은 자체 선택된 것으로, 감사를 수행한 소유자들로 구성되며 소규모에서 중간 규모로 편향되어 있으므로 해당 세그먼트에 대한 비율을 방향성으로 간주하십시오.

리다이렉트와 정규화는 noindex보다 더 많은 실패를 유발합니다.

첫 번째 2 행 사이의 격차는 발견입니다. 인덱스 가능성 체크는 4가지 이유 중 하나로 페이지를 실패시킵니다: robots.txt에 의해 차단, noindex 지시문 포함, 다른 URL으로 리다이렉트, 또는 다른 곳을 가리키는 정규화 선언. noindex 전용 체크는 7 사이트에서 실패했습니다 — 이는 대부분의 21 실패 사이트에서 비인덱스 페이지가 noindex를 전혀 포함하지 않음을 의미합니다. 그들은 URL에서 사이트맵이 약속한 것과 다른 곳으로 리다이렉트하거나 Google에게 정규화가 다른 주소에 있음을 알립니다. 그 분포는 팀이 잘못된 원인을 찾도록 하기 때문에 중요합니다. 모두가 아는 단어는 noindex이므로 그 단어가 검색됩니다 — 그리고 결과는 깨끗합니다. 실제 충돌은 보통 구조적입니다: CMS 데이터베이스에서 생성된 사이트맵과 라이브 URL이 새로운 경로 체계로 마이그레이션된 경우, 또는 정규화 태그가 실제로 페이지가 제공하지 않는 URL 변형에 템플릿화된 경우. 체크는 무엇이 계산되는지 주의 깊게 다룹니다. 올바른 인프라인 리다이렉트(도메인에서 www 변형으로 이동)를 면책하고, /login 및 /signup과 같은 유틸리티 경로는 noindex를 포함해야 함을 건너뜁니다. 21 실패는 유해한 사례가 제거된 후 남은 것입니다.

데이터에서 4 충돌 패턴

출시된 스테이징 noindex. 7 사이트는 메타 로봇 태그 또는 X-Robots-Tag 응답 헤더에 noindex 지시문이 포함된 페이지를 사이트맵에 나열합니다. 이는 고전적인 출시 잔여물입니다: 스테이징 환경을 올바르게 숨긴 지시문이 템플릿, 플러그인 설정 또는 플랫폼 토글 내부에서 프로덕션으로 이동합니다. WordPress의 "이 사이트를 검색 엔진이 색인화하지 않도록 권장" 체크박스가 대표적인 예입니다 — 1 설정, 사이트 전체 noindex, 눈에 보이는 차이가 없습니다. 모든 것을 압도하는 robots.txt. 3 사이트는 모든 봇에 대해 Disallow: /를 포함한 robots.txt를 제공 — 사이트 전체의 가라앉히기 표시 — 그리고 5는 더 넓은 일관성 체크에 실패합니다. 여기서 robots.txt 차단 또는 홈페이지 noindex가 랭킹 의도를 명백히 반박합니다. 이 패턴의 미묘한 함정: robots.txt와 noindex는 반대 작업을 수행하며, 결합하면 더 강력한 것이 무효화됩니다. robots.txt에 의해 차단된 페이지는 크롤링할 수 없으므로 그 위에 놓인 noindex는 읽히지 않습니다 — 이는 URL이 "Indexed, though blocked by robots.txt" 상태에 있게 되는 방식이며, 결과에 Google가 가져올 수 없었던 링크로 표시됩니다. 정규적 모순. 자체적으로 noindex를 갖는 대상에 가리키는 정규 태그는 Google 2개의 동시에 충족될 수 없는 지침을 전달한다: 신호를 이 페이지에 통합하고 이 페이지를 색인에서 제외한다. 우리 엔진은 모든 정규 대상(canonical target)을 해결하고, 대상이 noindexed, 리다이렉트되거나 스스로를 정규로 선언하지 않을 때 감사(audit)를 실패합니다. 같은 모순은 1페이지 형태에서 페이지가 noindex와 다른 곳으로의 canonical을 동시에 가지고 있을 때 나타납니다 — Google에게 페이지를 잊도록 지시된 페이지를 통해 권한을 이전하도록 요청합니다. 지시문이 금지하는 것을 홍보하는 사이트맵. 사이트맵은 그 안의 모든 URL이 인덱싱을 받을 자격이 있다는 기계 가독성 주장을 합니다. robots.txt가 차단하거나 지시문이 noindex를 만드는 URL을 나열하면 사이트가 스스로와 논쟁하게 되고, 이 논쟁은 매 사이클마다 크롤링 예산을 소모합니다. 우리는 이 패턴을 자체적으로 측정했습니다. 우리 사이트맵 위생 보고서.

충돌을 다음 순서대로 해결합니다: 의도, 그 다음 1 메커니즘, 그 다음 증거

인덱스 가능성 충돌은 고정이 신호마다 적용되기 때문에 지속됩니다 — 누군가가 여기서 noindex를 패치하고, 거기서 robots.txt를 편집합니다 — 각 페이지 클래스가 실제로 무엇을 위한 것인지 아무도 결정하지 않으면서. 지속적인 수리는 1 방향으로 실행됩니다.

순위 매길 수 있는 콘텐츠, 중복 변형, 비공개 유틸리티 페이지, 무한 매개변수 공간은 각각 1 의도를 가집니다 — 아무도 구성 파일을 건드리기 전에. 1. 페이지 클래스별로 의도를 결정합니다. 2. 각 의도를 정확히 1 메커니즘을 통해 표현합니다.

• 순위 매기기: 사이트맵에 나열, 자체 canonical을 가리키며, robots 지시문 전혀 없음.
• 중복 통합: <link rel="canonical" href="https://example.com/primary/" /> 변형에서, 여전히 크롤링 가능하고 사이트맵을 떠남. Canonical은 힌트일 뿐 — Google의 자체 문서는 다른 신호가 불일치할 때 다른 canonical을 선택할 수 있다고 말하며, 이는 대상이 깨끗해야 하는 정확한 이유입니다: 인덱스 가능, 200, 자체 canonical.
• 결과에서 제외: 페이지에 noindex meta robots 태그, 또는 PDF 및 기타 비-HTML 응답에 대한 X-Robots-Tag: noindex 응답 헤더. 페이지는 크롤링 가능해야 합니다 — robots.txt 블록 뒤의 지시문은 존재하지 않는 지시문입니다.
• 크롤 예산 저장: Disallow: /search/을 User-agent: *에 robots.txt에 두고, 무제한 URL이 있는 공간에 예약합니다. robots.txt는 크롤링을 제어하고, 인덱싱은 절대 하지 않으며 — 이미 인덱싱된 항목은 삭제하지 않습니다.

플랫폼마다, noindex 의도는 1줄입니다: robots: { index: false }은 Next.js 라우트의 메타데이터 내보내기에서, WordPress의 "검색 엔진 가시성" 토글 — 환경마다 의도적으로 체크되며, 스테이징에서 상속되지 않음 — 또는 add_header X-Robots-Tag "noindex" always;은 nginx의 위치 블록에 범위 지정됩니다. 브라우저는 여기서 아무것도 증명하지 않으므로, 크롤러가 하는 방식으로 가져옵니다: 3. 페이지 클래스별로 봇으로 확인합니다.

curl -sI -A "Googlebot" https://example.com/page/ | grep -i "x-robots-tag\|location"
curl -s -A "Googlebot" https://example.com/page/ | grep -i "robots\|canonical"

1개의 대표 URL는 페이지 클래스당 충분하며, 1단계에서 결정한 의도에 따라 확인됩니다. Search Console의 URL 검사 기능은 권위 있는 두 번째 의견을 제공하며, 실제로 선택된 canonical Google를 포함합니다. 우리의 감사는 모든 보고서에서 전체 루프를 실행합니다 — robots.txt와 사이트맵 멤버십, 지시문과 canonical, canonical 대상이 해결되고 검증됩니다 — 그리고 무료 보고서는 각 충돌 쌍과 해당 페이지를 나열합니다. 42.9% 실패율은 인덱스 가능성 충돌을 우리 데이터에서 가장 흔한 심각한 발견 중 하나로 놓으며, 우리 가장 실패한 체크 순위의 헤더 격차와 같은 등급에 속합니다 — 더 심각한 결과가 있으며, 차단된 페이지는 아무리 좋더라도 아무것도 얻지 못합니다. 통과하는 사이트는 인덱싱 의도가 한 번 결정되고, 페이지 클래스별로 1 메커니즘에 기록되며, 크롤러가 할 때처럼 확인됩니다. 이 실패 범주에 관한 모든 것은 사이트 소유자의 통제 하에 있습니다 — 이것이 데이터셋에서 가장 수리 가능한 42.9%이며, 입니다.