76% 사이트 중 llms.txt 파일이 있는 곳이 잘못된 비율

2026년 5월 4일부터 7월 19일까지 감사한 142개 웹사이트 중 79개는 llms.txt 파일이 전혀 없었습니다. llms.txt를 게시한 63 중 48는 깨진 파일을 게시했습니다. 그 결과 13 사이트가 남는다 — 9%는 샘플의 일부 — 유효한 파일이 있다.

llms.txt 제안은 간단합니다: 도메인 루트에 마크다운 파일을 두어 AI 에이전트에게 사이트의 선별된, 일반 텍스트 맵을 제공합니다. 누군가 ChatGPT, Claude, 또는 Perplexity에게 당신의 사이트가 답할 수 있는 질문을 하면, 추론 시에 llms.txt을 가져오는 에이전트는 당신이 선택한 정확한 컨텍스트를 얻습니다—홈페이지 HTML의 최선의 추출 대신. specification은 의도적으로 최소화되었습니다: 사이트 이름이 있는 H1, 블록 인용 요약, 그리고 가장 중요한 콘텐츠에 대한 링크를 포함한 마크다운 목록.

채택 1년 후, 격차는 더 이상 인식이 아닙니다. 실행입니다.

데이터 세트

방법론: 최신 완료 감사 스냅샷은 도메인당 하나이며, 5월 4부터 July 19, 2026까지의 프로덕션 체크에서 가져옵니다. 모든 도메인이 익명화되었습니다. 샘플은 자발적으로 선택된 것으로, 감사가 수행된 사이트들로 구성되며, 소규모 및 중간 규모의 속성에 편향되어 있으므로 웹 전체의 인구조사라기보다는 방향성으로 간주하십시오.

거의 모든 무효 파일 뒤에 있는 3 실수

우리의 엔진은 llms.txt을 사양 구조에 따라 검증하며, 실패 증거는 놀랍도록 일관적입니다. 3 문제는 거의 모든 것을 차지합니다 — 대부분의 손상된 파일은 한 번에 2 또는 3를 가지고 있습니다:

1. 참조 링크 없음 (40 of 48 무효 파일). 파일은 존재하지만 마크다운 링크가 없습니다. 이것이 형식의 전체 포인트입니다 — 에이전트가 읽어야 할 URL의 선별된 목록. 링크가 없는 파일은 지도 없이 포스터와 같습니다.

2. 요약 인용문 누락 (48개 중 38개). 사양은 제목 바로 뒤에 > Summary 인용문을 요구하며, 이는 에이전트에게 사이트가 무엇이며 링크를 어떻게 해석해야 하는지를 알려줍니다. 없으면, 에이전트는 선택할 프레임 없이 URL 목록을 받습니다.

3. H1 제목 누락 (33 of 48). 사양이 엄격히 요구하는 유일한 섹션. 산문, 주석, 또는 H2로 시작하는 파일은 파서에게 고정점을 제공하지 않습니다.

모든 3 아래의 패턴은 동일합니다: 팀은 자리 표시자를 생성합니다 — 때로는 문자 그대로 "llms.txt"를 반복하거나 마케팅 문단을 사용하고, 이를 확인란으로 배포합니다. 그런 파일을 읽는 에이전트는 아무것도 배우지 못하고 넘어갑니다. 가져오기는 낭비되었습니다.

링크 자체가 죽었을 때

유효성은 구조입니다. 다음 검사는 참조된 URL이 실제로 해결되는지 여부입니다. 구조가 유효한 대부분의 사이트도 이 검사를 통과하지만, 실패는 유익합니다: 7 사이트는 오류를 반환한 링크를 나열했으며, 사이트당 평균 19개의 죽은 참조가 있었습니다. 한 전자상거래 속성은 llms.txt에 3,042개의 제품 URL을 나열했으나 더 이상 해결되지 않았습니다 — 파일은 명확히 한 번 제품 피드에서 생성되었고 다시 생성되지 않았습니다.

그 일화는 7의 예시이므로 통계라기보다는 경고로 간주하십시오. 그러나 메커니즘은 기억할 가치가 있습니다: llms.txt은 살아 있는 문서입니다. 카탈로그, 문서, 또는 가격 페이지가 이동하면 파일이 부패합니다 — 그리고 죽은 링크를 따라가는 에이전트는 귀하의 콘텐츠가 사라졌다고 결론지을 수 있습니다.

유효한 파일이 어떻게 보이는가

사양 자체 예제가 가장 좋은 템플릿입니다. 최소한의 유효한 llms.txt에는 H1, 요약 블록 인용문, 그리고 최소 하나의 주석이 달린 링크 목록이 필요합니다.

# Acme Analytics

> Acme Analytics is a reporting API for ecommerce teams. This file lists our most useful resources for AI agents.

## Docs

- [API quickstart](https://acme.example/docs/quickstart): Authentication and first request in 5 minutes
- [Metrics reference](https://acme.example/docs/metrics): Every metric, its definition, and its SQL

## Product

- [Pricing](https://acme.example/pricing): Plans and usage limits
- [Changelog](https://acme.example/changelog): Release notes since 2024

## Optional

- [Full documentation index](https://acme.example/docs): Everything else, for larger context windows

Optional 섹션은 정의된 의미를 갖습니다: 문맥이 부족한 에이전트는 건너뛸 수 있습니다. 가장 좋은 자료를 그 위에 배치하세요.

graph TD
    A[에이전트가 /llms.txt를 가져옵니다] --> B{파일이 존재합니다?}
    B -->|404 또는 오류| C[에이전트가 HTML을 스크래핑으로 대체합니다]
    B -->|200| D{유효한 구조?}
    D -->|H1, 요약, 또는 링크가 없습니다| E[가져오기가 낭비되었습니다 — 유용한 문맥이 없습니다]
    D -->|유효합니다| F{참조가 해결됩니다?}
    F -->|사라진 링크| G[에이전트는 내용이 사라졌다고 결론지었습니다]
    F -->|살아 있는 링크| H[에이전트가 귀하가 선별한 페이지를 읽습니다]

이것이 30 분 가치가 있는 이유

사이트맵은 검색 엔진에 존재하는 것을 알려줍니다. robots.txt은 크롤러에게 허용되는 것을 알려줍니다. llms.txt은 AI 에이전트에게 중요한 것이 무엇인지 알려주는 유일한 파일입니다 — 현재 귀하의 사이트가 사용자의 질문에 답하는 데 도움이 되는지 판단할 때 네이티브로 읽는 형식으로 작성됩니다. 또한 완전히 제어할 수 있는 몇 안 되는 AI-검색 레버 중 하나입니다: 모델 제공자 없음, 랭킹 알고리즘 없음, 크롤링 대기 없음.

수정 순서는 짧습니다. 위 템플릿에서 파일을 작성하세요 — 10 분. 해결되는 페이지에만 링크하고, 안정적인 URL을 우선하세요. 정보 아키텍처가 변경될 때마다 재생성하거나 검토하십시오. 그런 다음 에이전트가 수행하는 것처럼 검증하십시오: 가져오고, 파싱하고, 링크를 따라가십시오.

유료 SEOReport 진단은 3 레이어 모두 — 존재 여부, 유효성, 참조가 해결되는지 여부 — 를 확인하고 AI 준비성 섹션에서 보고하므로, 귀하의 사이트가 3개 그룹 중 어디에 속하는지 확인할 수 있습니다.

핵심 내용

채택은 첫 번째 격차입니다: 56% 감사된 사이트는 파일이 없습니다. 그러나 더 날카로운 발견은 파일을 게시하는 것이 결승선이 아니라는 것입니다 — 3 4의 사이트 중 하나가 게시한 파일을 에이전트가 사용할 수 없습니다. 유효한 소수의 사이트는 별다른 변형을 하지 않았습니다. 그들은 H1를 작성하고, 2 문장 요약과 작동하는 링크 목록을 만들었습니다. 이것이 전체 장벽이며, 샘플의 91%는 그 아래에 있습니다.