76% 사이트에서 llms.txt 파일을 잘못 가져옴

2026년 5월 4일부터 7월 19일까지 감사한 142개 웹사이트 중 79개는 llms.txt 파일이 전혀 없었습니다. llms.txt를 게시한 63 중, 48는 깨진 파일을 게시했습니다. 이는 13 사이트—샘플의 9%—에 유효한 파일이 남아 있음을 의미합니다. llms.txt 제안은 간단합니다: 도메인 루트에 마크다운 파일을 두어 AI 에이전트에게 사이트의 선별된, 순수 텍스트 맵을 제공합니다. 누군가 ChatGPT, Claude, 또는 Perplexity에게 당신의 사이트가 답할 수 있는 질문을 하면, 추론 시에 llms.txt을 가져오는 에이전트는 당신이 선택한 정확한 컨텍스트를 얻습니다—홈페이지 HTML의 최선의 추출 대신. specification은 의도적으로 최소화되었습니다: 사이트 이름이 있는 H1, 블록 인용 요약, 그리고 가장 중요한 콘텐츠에 대한 마크다운 링크 목록. 채택 1년 후, 격차는 더 이상 인식이 아닙니다. 실행입니다.

데이터셋

방법론: 최신 완료 감사 스냅샷은 5월 4와 July 19, 2026 사이의 프로덕션 체크에서 가져옵니다. 모든 도메인이 익명화되었습니다. 샘플은 자가 선택된 것으로, 감사가 수행된 사이트를 대상으로 하며, 소규모 및 중간 규모 속성에 편중되어 있어 웹 전체를 대표하는 것이 아니라 방향성을 제시하는 것으로 간주하십시오.

거의 모든 잘못된 파일 뒤에 있는 3 실수

우리 엔진은 llms.txt을 사양 구조에 따라 검증하며, 실패 증거는 놀라울 정도로 일관적입니다. 3 문제는 거의 모든 것을 차지합니다 — 대부분의 깨진 파일은 한 번에 2 또는 3를 가지고 있습니다:

1. 참조 링크 없음 (40 of 48 무효 파일). 파일은 존재하지만 마크다운 링크가 없습니다. 이것이 형식의 전체 포인트입니다 — 에이전트가 읽어야 할 URL의 선별된 목록. 링크가 없는 파일은 지도 없는 포스터와 같습니다.
2. 요약 인용문 누락 (48개 중 38개). 사양은 제목 바로 뒤에 > Summary 인용문을 요구하며, 이는 에이전트에게 사이트가 무엇이며 링크를 어떻게 해석해야 하는지를 알려줍니다. 없으면, 에이전트는 선택할 프레임 없이 URL 목록만 받습니다.
3. H1 제목 누락 (33 of 48). 사양이 엄격히 요구하는 유일한 섹션. 산문, 주석, 또는 H2로 시작하는 파일은 파서에게 고정점을 제공하지 않습니다.

모든 3 아래의 패턴은 동일합니다: 팀은 자리 표시자를 생성합니다 — 때로는 문자 그대로 "llms.txt"를 반복하거나 마케팅 문단을 사용하고, 이를 확인란으로 배포합니다. 그런 파일을 읽는 에이전트는 아무것도 배우지 못하고 넘어갑니다. 가져오기는 낭비되었습니다.

링크 자체가 죽었을 때

유효성은 구조입니다. 다음 검사는 참조된 URL이 실제로 해결되는지 여부입니다. 구조가 유효한 대부분의 사이트도 이 검사를 통과하지만, 실패는 유익합니다: 7 사이트는 오류를 반환한 링크를 나열했으며, 사이트당 평균 19개의 죽은 참조가 있었습니다. 한 전자상거래 속성은 llms.txt에 3,042개의 제품 URL을 나열했으나 더 이상 해결되지 않았습니다 — 파일은 명확히 한 번 제품 피드에서 생성되었고 다시 생성되지 않았습니다. 그 일화는 7의 예시이므로 통계라기보다 경고로 간주하십시오. 그러나 그 메커니즘은 기억할 가치가 있습니다: llms.txt은 살아 있는 문서입니다. 카탈로그, 문서, 또는 가격 페이지가 이동하면 파일이 부패합니다 — 그리고 죽은 링크를 따라가는 에이전트는 귀하의 콘텐츠가 사라졌다고 결론지을 수 있습니다.

유효한 파일은 어떻게 보이는가

사양 자체 예제가 가장 좋은 템플릿입니다. 최소한의 유효한 llms.txt에는 H1, 요약 블록 인용문, 그리고 최소 하나의 주석이 달린 링크 목록이 필요합니다.

# Acme Analytics

> Acme Analytics is a reporting API for ecommerce teams. This file lists our most useful resources for AI agents.

## Docs

- [API quickstart](https://acme.example/docs/quickstart): Authentication and first request in 5 minutes
- [Metrics reference](https://acme.example/docs/metrics): Every metric, its definition, and its SQL

## Product

- [Pricing](https://acme.example/pricing): Plans and usage limits
- [Changelog](https://acme.example/changelog): Release notes since 2024

## Optional

- [Full documentation index](https://acme.example/docs): Everything else, for larger context windows

Optional 섹션은 정의된 의미를 가지고 있습니다: 문맥이 부족한 에이전트는 건너뛸 수 있습니다. 가장 좋은 자료를 그 위에 넣으세요.

이것이 30 분 동안 가치가 있는 이유입니다.

사이트맵은 검색 엔진에 존재하는 것을 알려줍니다. robots.txt은 크롤러에게 허용되는 것을 알려줍니다. llms.txt은 AI 에이전트에게 중요한 것이 무엇인지 알려주는 유일한 파일입니다 — 현재 귀하의 사이트가 사용자의 질문에 답하는 데 도움이 되는지 판단할 때, 그 형식으로 작성됩니다. 또한 귀하가 완전히 통제할 수 있는 몇 안 되는 AI-검색 레버 중 하나입니다: 모델 제공자도, 순위 알고리즘도, 크롤링을 기다릴 필요도 없습니다. 수정 순서는 짧습니다. 위 템플릿에서 파일을 작성하세요 — 10 분. 해결되는 페이지에만 링크하고, 안정적인 URL을 우선하세요. 정보 아키텍처가 변경될 때마다 재생성하거나 검토하십시오. 그런 다음 에이전트가 수행하는 것처럼 가져오고, 파싱하고, 링크를 따라가며 확인하십시오. 우리가 수행하는 모든 감사는 모든 3 계층을 검사합니다 — 존재 여부, 유효성, 참조가 해결되는지 여부 — AI 준비성 가족의 일환으로. 사이트가 어느 3개 그룹에 속하는지 알고 싶다면 자신의 보고서 실행을 하고 AI 준비성 섹션에서 llms.txt 검사를 찾아보십시오.

핵심 내용

채택은 첫 번째 격차입니다: 56% 감사된 사이트는 파일이 없습니다. 그러나 더 날카로운 발견은 파일을 게시하는 것이 결승선이 아니라는 것입니다 — 3 4의 사이트 중 하나가 게시한 파일을 에이전트가 사용할 수 없습니다. 유효한 소수의 사이트는 별다른 변형을 하지 않았습니다. 그들은 H1를 작성하고, 2-문장 요약을 만들고, 작동하는 링크 목록을 만들었습니다. 이것이 전체 장벽이며, 샘플의 91%는 그 아래에 있습니다.