AI 크롤러용 robots.txt: 검색, 학습, 사용자 요청 가져오기

SEOReport Team·2026년 10월 30일

robots-txtai-crawlersai-searchcrawl-accesstechnical-seo

AI 크롤러용 robots.txt 결정표입니다. AI 검색, 모델 학습, 사용자 요청 가져오기별 토큰과 차단 시 비용, 바로 쓰는 정책 3가지를 정리합니다.

AI 크롤러의 목적은 3가지이며, robots.txt는 목적마다 별도의 토큰으로 제어합니다. AI 검색이나 답변 기능을 위한 크롤링, 모델 학습을 위한 페이지 수집, 그리고 사람이 질문을 해서 페이지를 가져오는 것입니다. 대부분의 사이트는 첫 번째를 원하고, 두 번째는 신중하게 선택하며, 세 번째는 일부만 통제할 수 있습니다. "AI 차단" 규칙 하나로 처리하면 이 셋이 뒤섞이고, 대개 사이트 운영자가 유지하려던 AI 검색 노출이 희생됩니다.

아래 표는 각 운영사의 자체 문서(2026년 10월 확인)를 따르며, AI 크롤러 레퍼런스에서 크롤러별로 추적하고 있습니다.

어떤 robots.txt 토큰이 어떤 AI 목적을 제어하나요?

Sort by


AI 검색과 답변	`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`, `meta-webindexer`, `Amzn-SearchBot`	OpenAI는 거부한 사이트가 탐색용 링크를 제외하고는 ChatGPT 검색 답변에 표시되지 않는다고 말합니다. Anthropic은 Claude 검색결과에서의 노출이 줄어들 수 있다고 말합니다. Perplexity는 검색결과를 자사 크롤러와 연결합니다. Meta는 인덱서를 허용하면 Meta AI가 귀하의 콘텐츠를 인용하고 링크하는 데 도움이 된다고 말합니다.	예. 각 운영사가 이 토큰을 제어 수단으로 명시합니다.
모델 학습	`GPTBot`, `ClaudeBot`, `meta-externalagent`, `Amazonbot`	OpenAI와 Anthropic은 이 규칙이 콘텐츠를 학습에 쓰지 말라는 신호라고 하며, 검색은 별도 토큰으로 관리합니다. Meta와 Amazon의 크롤러는 제품 용도도 겸하므로, 차단하면 그 용도도 함께 막힙니다.	예. 각 운영사가 이 토큰을 제어 수단으로 명시합니다.
자체 크롤러가 없는 학습 토큰	`Google-Extended`, `Applebot-Extended`	Google: 검색 포함이나 순위에는 영향이 없지만, 학습뿐 아니라 Gemini 그라운딩에서도 제외됩니다. Apple: Applebot이 허용되어 있으면 검색 기능에는 영향이 없습니다.	Google과 Apple의 기존 크롤러가 사이트를 가져올 때 읽힙니다.
공개 웹 아카이브	`CCBot`	새 크롤링부터 귀하의 페이지가 Common Crawl이 연구자, 기업, 개인에게 제공하는 아카이브에서 빠집니다.	예. Common Crawl은 CCBot이 가져오기 전에 robots.txt를 확인한다고 말합니다.
사람이 요청한 가져오기	`ChatGPT-User`, `Claude-User`, `Perplexity-User`, `meta-externalfetcher`, `Amzn-User`	Anthropic: Claude가 사용자의 질문에 답하려고 귀하의 페이지를 가져올 수 없습니다.	Anthropic: 준수. OpenAI와 Amazon: 완전히 적용되지 않을 수 있음. Perplexity: 일반적으로 무시. Meta: 우회될 수 있음.

모든 토큰은 서로 독립적입니다. OpenAI는 각 설정이 따로 작동한다고 밝히므로, GPTBot은 허용하지 않으면서 ChatGPT 검색을 담당하는 크롤러인 OAI-SearchBot은 허용할 수 있습니다. 둘 다 허용하면 OpenAI는 두 용도에 크롤링 1회를 함께 쓸 수 있다고 말합니다.

3개 행은 더 자세히 볼 필요가 있습니다.

일부 학습 크롤러는 학습 외의 일도 합니다. Meta는 Meta-ExternalAgent가 파운데이션 모델 학습이나 콘텐츠를 직접 색인해 제품을 개선하는 등의 용도로 크롤링한다고 말합니다. Amazon은 Amazonbot이 자사 제품과 서비스를 개선하며 AI 모델 학습에 쓰일 수 있다고 말합니다. 두 회사의 검색 에이전트인 Meta-WebIndexer와 Amzn-SearchBot은 별도의 토큰을 가지며, Amazon은 Amzn-SearchBot이 생성형 AI 학습을 위해 콘텐츠를 크롤링하지 않는다고 말합니다.

2개 토큰은 크롤링을 전혀 하지 않습니다. Google은 Google-Extended에 자체 사용자 에이전트가 없다고 밝힙니다. 페이지는 Google의 기존 크롤러가 가져오고, 이 토큰은 그 콘텐츠를 향후 Gemini 모델 학습과 Gemini 앱 및 Vertex AI의 Grounding with Google Search 답변 그라운딩에 쓸 수 있는지만 결정합니다. 서버 로그에서 Google-Extended를 볼 일은 없습니다. Apple도 Applebot-Extended에 대해 같은 말을 합니다. 가져오는 것은 Applebot이고, 이 토큰은 수집한 내용을 Apple이 어떻게 쓸 수 있는지만 결정합니다.

사용자가 요청한 에이전트는 일부 robots.txt 밖에 있습니다. OpenAI는 사람이 요청을 시작했으므로 ChatGPT-User에는 robots.txt 규칙이 적용되지 않을 수 있다고 말합니다. Perplexity는 Perplexity-User가 사용자 요청이 접근할 수 있는 사이트를 제어한다고 하면서도, 이 가져오기 도구가 일반적으로 robots.txt 규칙을 무시한다고 말합니다. Meta와 Amazon도 Meta-ExternalFetcher와 Amzn-User에 대해 비슷한 경고를 합니다. 예외는 Anthropic입니다. 자사 봇이 robots.txt를 준수한다는 설명이 Claude-User에도 적용됩니다.

귀하의 사이트에 맞는 정책은?

질문에 순서대로 답하십시오. 각 경로는 아래 패턴 중 하나로 이어집니다.

Diagram source

flowchart TD
    A["AI 검색 답변에 노출되기를 원하나요?"] -->|예| B["AI 검색 토큰을 일반 규칙에 맡김"]
    A -->|아니요| C["AI 검색 토큰을 Disallow"]
    B --> D["공개 페이지의 모델 학습을 허용하나요?"]
    C --> D
    D -->|예| E["학습용 그룹 불필요"]
    D -->|아니요| F["GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot을 Disallow"]
    F --> G["Google과 Apple의 학습도 거부하나요?"]
    G -->|예| H["Google-Extended와 Applebot-Extended 추가"]
    G -->|아니요| I["이 2개 토큰은 넣지 않음"]
    E --> J["사용자 요청 가져오기도 거부해야 하나요?"]
    H --> J
    I --> J
    J -->|예| K["robots.txt만으로는 불가: 서버나 CDN에서 차단"]
    J -->|아니요| L["파일을 게시하고 실제 파일로 확인"]

이름을 지정한 그룹이 와일드카드 규칙으로 막은 경로를 다시 여는 이유

어떤 패턴을 복사하기 전에 이 일치 규칙을 알아 두십시오. Google의 robots.txt 문서와 robots.txt 표준인 RFC 9309는 같은 말을 합니다. 크롤러는 자신을 지칭하는 가장 구체적인 그룹 하나만 따르고 다른 그룹은 모두 무시합니다. 이름을 지정한 그룹은 User-agent: * 규칙을 상속하지 않습니다.

text

User-agent: *
Disallow: /cart/
Disallow: /account/

User-agent: OAI-SearchBot
Allow: /

이 파일에서는 OAI-SearchBot이 /cart/와 /account/를 크롤링할 수 있습니다. 자신의 그룹만 읽기 때문입니다. 좋은 뜻으로 넣은 Allow 그룹이 그 그룹이 지칭하는 크롤러 하나에 대해 비공개 경로 규칙을 없애 버린 것입니다. 이름 지정 그룹을 삭제해 크롤러가 *를 따르게 하거나, 그 그룹 안에 비공개 경로를 반복해 넣으십시오.

실제 파일에 영향을 주는 다른 일치 규칙은 다음과 같습니다.

여러 User-agent 줄이 규칙 하나를 공유할 수 있으므로, AI 토큰 목록이 길어도 읽기 쉽게 유지할 수 있습니다.
2개 그룹이 같은 크롤러를 지칭하면 규칙이 합쳐집니다. 이름 지정 그룹은 절대 *와 합쳐지지 않습니다.
토큰 이름은 대소문자를 구분하지 않지만 경로는 구분하므로, Disallow: /Cart/는 /cart/에 적용되지 않습니다.
가장 길게 일치하는 경로가 우선합니다. Allow와 Disallow가 같으면 Google은 가장 덜 제한적인 규칙을 사용합니다.
이름 지정 그룹도 * 그룹도 없는 크롤러에게는 아무 규칙도 없습니다.
호스트마다 자체 파일을 제공합니다. www.example.com과 blog.example.com에는 별도 규칙이 필요하며, Anthropic은 제외하려는 모든 하위 도메인에 거부 설정을 추가하라고 요청합니다.
Apple은 robots.txt에 Googlebot은 있지만 Applebot이 없으면 Applebot이 Googlebot 그룹을 따른다고 말합니다. Applebot-Extended도 그렇게 규칙을 상속하는지는 밝히지 않으므로, 명시적으로 지정하십시오.

흔한 정책 3가지의 복사용 robots.txt

각 패턴에는 비공개 경로용 일반 * 그룹이 들어 있습니다. /cart/와 /account/는 귀하의 경로로, 사이트맵 주소도 귀하의 주소로 바꾸십시오.

AI 검색은 허용, 학습은 거부

text

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

AI 검색 크롤러에는 이름 지정 그룹이 없으므로 *를 따르며, 추가 줄 없이도 비공개 경로에 들어가지 않습니다. 이것이 AI 검색 크롤러를 허용하는 가장 안전한 방법입니다. CCBot이 목록에 있는 이유는 Common Crawl이 연구와 분석 목적으로 연구자, 기업, 개인에게 아카이브를 제공하며 여기에 학습도 포함되기 때문입니다. 그 아카이브에 페이지가 들어가기를 원한다면 빼십시오. Meta나 Amazon의 제품 용도를 원한다면 표 아래에서 설명한 이유로 meta-externalagent나 Amazonbot을 빼십시오. Meta는 토큰을 소문자로 표기하므로 그 철자를 그대로 복사하십시오.

모든 AI 크롤러 허용

text

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

AI 전용 줄은 필요 없습니다. 이름 지정 그룹이 없는 크롤러는 모두 *를 따릅니다. robots.txt가 아예 없는 사이트도 열려 있는 것은 같습니다. 파일이 없으면 규칙도 없기 때문입니다. 다만 정책을 밝히지도, 사이트맵을 알리지도 않습니다. 2026년 5월부터 10월 사이에 SEOReport가 감사한 외부 웹사이트 45곳 중 3곳(7%)에는 robots.txt가 없었습니다.

AI 크롤러는 차단, 일반 검색은 유지

text

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /cart/
Disallow: /account/

Sitemap: https://www.example.com/sitemap.xml

한계가 3가지 있습니다. ChatGPT-User, Perplexity-User, meta-externalfetcher, Amzn-User는 해당 줄을 따르지 않을 수 있습니다. 이름을 지정하지 않은 에이전트는 파일을 게시한 뒤에 새로 나온 것까지 포함해 모두 *를 따릅니다. 그리고 Google의 AI 개요와 AI 모드는 이 파일의 어떤 줄이 아니라 Googlebot과 검색 스니펫 제어로 관리됩니다. 이 경우는 아래 자주 묻는 질문에서 설명합니다.

robots.txt 규칙만으로 부족한 경우

RFC 9309는 robots.txt 규칙이 접근 권한 부여의 한 형태가 아니라고 분명히 말합니다. 파일을 준수하는 크롤러는 들어오지 않지만, 그 밖의 무엇이든 페이지를 요청할 수 있고, 어떤 클라이언트든 크롤러 이름을 흉내 낼 수 있습니다. 거부가 반드시 지켜져야 한다면 요청이 도착하는 곳, 즉 서버, CDN, 방화벽에서 강제하십시오. 대부분의 운영사는 이런 확인을 위해 IP 주소 목록을 공개합니다. 우리 레퍼런스에는 운영사별 확인 방법과, Meta-ExternalAgent처럼 확인 방법이 없는 경우가 정리되어 있습니다.

같은 계층이 반대의 실패도 일으킵니다. OAI-SearchBot에 챌린지를 거는 방화벽이나 봇 보호 규칙은 robots.txt의 Allow를 무력화하며, OpenAI는 ChatGPT 검색에 노출되고 싶은 사이트라면 공개된 주소에서 오는 요청을 허용하라고 권장합니다. 이 비교는 봇 보호가 원하는 AI 검색 트래픽을 막고 있는지 확인하는 가이드에서 단계별로 설명합니다.

실제 파일이 의도대로 쓰여 있는지 확인하는 방법

크롤러처럼 파일을 가져옵니다. curl -s https://www.example.com/robots.txt를 실행해 저장소 사본이 아니라 실제 응답 본문을 읽으십시오. robots.txt를 관리하는 호스팅 플랫폼이나 CDN이 다른 내용을 제공할 수 있습니다. 상태 코드도 확인하십시오. Google은 429를 제외한 4xx 응답을 robots.txt가 없는 것으로 취급합니다. 5xx 응답 후에는 처음 12시간 동안 사이트 크롤링을 멈추고, 그 뒤 최대 30일 동안 마지막으로 정상이었던 사본을 사용합니다.
페이지를 제공하는 모든 호스트에서 반복합니다. www, 루트 도메인, 각 하위 도메인입니다.
이름 지정 그룹을 하나씩 따로 읽습니다. 나열한 토큰마다, 이 그룹이 파일의 유일한 그룹이라면 그 크롤러가 무엇을 가져갈 수 있는지 따져 보십시오. 이름 지정 그룹에 빠진 비공개 경로는 그 크롤러에게 열려 있습니다.
판단하기 전에 시간을 둡니다. OpenAI는 변경 사항이 시스템에 반영되기까지 약 24시간이 걸린다고 하고, Perplexity와 Meta는 최대 24시간이라고 말합니다. Google은 일반적으로 robots.txt를 최대 24시간 동안 캐시합니다. Amazon은 약 24시간이라고 하며, 에이전트가 최근 30일 이내의 캐시된 사본을 쓸 수도 있다고 말합니다.
로그를 토큰으로, 그다음 주소로 확인합니다. 전체 사용자 에이전트 문자열이 아니라 GPTBot 같은 토큰으로 찾고, 요청 출발지 주소를 운영사가 공개한 목록과 대조하십시오.

robots.txt는 모든 페이지 바깥에 있는 사이트 수준 파일이므로, 페이지를 하나씩 읽는 확인 방식으로는 보이지 않습니다. 이 차이는 AI 에이전트가 페이지를 확인할 때 실제로 보는 것에서 다룹니다. SEOReport 전체 진단은 AI 크롤러가 읽는 방식대로 robots.txt를 읽고, 귀하가 선택한 학습 거부 설정과는 별개로 AI 검색 크롤러가 사이트에 도달할 수 있는지 알려 줍니다. GPTBot, ClaudeBot, CCBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Claude-User의 규칙을 이름별로 읽고, 자동화된 방문자를 막는 봇 보호나 챌린지도 보고합니다. 감사한 사이트들이 실제로 이런 규칙을 어떻게 썼는지는 AI 크롤러 robots.txt 감사 데이터에서, AI 에이전트 외의 robots.txt 전반은 robots.txt와 크롤링 접근 가이드에서 볼 수 있습니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT 검색에서 사이트가 빠지나요?

아닙니다. OpenAI는 GPTBot과 OAI-SearchBot이 서로 독립된 설정이라고 밝힙니다. GPTBot은 학습을, OAI-SearchBot은 페이지가 ChatGPT 검색 답변에 표시될 수 있는지를 결정합니다. GPTBot만 허용하지 않으면 ChatGPT 검색은 필요한 접근 권한을 그대로 유지합니다.

Google-Extended를 차단하면 AI 개요에서 페이지가 빠지나요?

아닙니다. AI 기능과 웹사이트에 관한 Google 문서(2026년 10월 확인)는 Googlebot에 대한 robots.txt 규칙을 접근 제어 수단으로 들고, 표시되는 내용을 제한하는 방법으로 nosnippet, data-nosnippet, max-snippet, noindex를 제시합니다. AI 개요나 AI 모드의 뒷받침 링크가 되려면 페이지가 색인되어 있고 스니펫 표시 대상이어야 합니다. Google-Extended는 검색 기능이 아니라 Gemini 학습과 그라운딩을 관리합니다.

학습 거부 설정을 하면 이미 수집된 콘텐츠도 삭제되나요?

우리가 추적하는 운영사 페이지들은 규칙이 읽힌 시점부터 무엇을 의미하는지를 설명합니다. 예를 들어 Anthropic은 ClaudeBot을 제한하면 사이트의 향후 자료를 학습에서 제외하라는 신호가 된다고 말합니다. robots.txt를 통해 이전에 수집한 콘텐츠를 삭제한다고 설명하는 곳은 없습니다. Common Crawl은 이와 별도로, 받은 법적 거부 요청을 기록하는 Opt-Out Ledger를 운영합니다.

모든 AI 크롤러마다 규칙이 필요한가요?

아닙니다. *와 다르게 다루고 싶은 에이전트만 지정하십시오. 이름을 지정하지 않은 크롤러는 모두 * 그룹을 따릅니다. 이름 지정 그룹 목록이 길다고 더 안전한 것은 아니며, 각 그룹에 필요한 비공개 경로가 모두 들어 있을 때만 안전합니다.

사이트의 완전한 진단을 받으세요

근거 기반 보고서와 우선순위 실행 계획을 월간 크레딧 요금제로 받으세요.

영상 보기 요금제 보기