AI 검색 준비성: 어시스턴트와 크롤러 모두가 사용 가능하도록
OAI-SearchBot과 같은 검색 크롤러와 GPTBot과 같은 교육용 크롤러는 robots.txt를 별도로 읽습니다. 명시적 크롤러 정책과 유용한 llms.txt를 설정하는 방법.
어시스턴트는 페이지를 직접 읽고 인용하여 질문에 답합니다. 링크 목록을 반환하는 대신입니다. 그들은 명명된 크롤러를 통해 귀하의 사이트에 접근하며, 각 크롤러는 robots.txt를 독립적으로 읽습니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot은 ChatGPT 검색, Claude 및 Perplexity 답변을 위해 페이지를 가져오고, Claude-User는 누군가가 요청할 때 페이지를 가져옵니다. GPTBot, ClaudeBot 및 CCBot은 대신 교육 데이터를 수집하므로 차단은 라이선스 선택이며 AI 검색에서 사이트를 차단하지는 않습니다. 사이트는 Googlebot에는 개방하고 모든 어시스턴트에는 닫을 수 있습니다. 이는 일반적으로 템플릿에서 복사한 기본 규칙 때문입니다. 첫 번째 결정은 정책 결정이며, 귀하의 것입니다: 어떤 에이전트가 귀하의 콘텐츠를 읽을 수 있는지, 그리고 무엇을 위해서인지. robots.txt에 명시적으로 허용을 표시하면 어시스턴트가 환영받는다는 신호를 보내고, 명시적 금지는 모호한 침묵보다 명확한 신호를 보냅니다. llms.txt 파일은 두 번째 계층입니다. 이는 사이트 루트에 있는 짧은 Markdown 문서로, 사이트가 무엇인지 명시하고 가장 인용하고 싶은 페이지를 연결합니다. 이는 사이트맵과 구조화된 데이터를 보완하며, 자체적으로는 아무것도 얻지 못합니다: 연결된 페이지는 여전히 접근 가능하고 최신이며 인용할 가치가 있어야 합니다. 어시스턴트 관점에서 두 파일을 검토하세요: 각 명명된 크롤러가 읽는 것처럼 robots.txt를 읽고, llms.txt를 열어 내부의 모든 링크가 여전히 해결되는지 확인합니다. 더 이상 해결되지 않는 페이지를 명시하는 파일은 파일이 전혀 없을 때보다 신뢰성을 더 떨어뜨립니다.
이 모든 것을 수동으로 검토할 필요는 없습니다. 유료 플랜에서는 동일한 크롤러 정책과 llms.txt 결과를 JSON으로 수요 시 제공됩니다. SEO 보고서 API와 MCP 서버.
SEOReport의 유료 진단은 귀하의 사이트 페이지 전반에 걸쳐 이를 검토하고, 모든 발견 뒤에 증거를 보여주며, 수정을 우선순위별로 정렬합니다. 플랜 및 가격을 확인하십시오.