AI 학습 거부 robots.txt 토큰 __usage_ai-training: IETF 개인 드래프트 분석

핵심 요약

2026년 10월 30일자 IETF 개인 드래프트 draft-kelley-aipref-training-preference-signal-00이 제출됐다. 저자는 Anthropic 소속 Kevin Kelley다. robots.txt에 정책 토큰 __usage_ai-training을 적어 AI 학습 이용 선호를 표현하는 방법을 담았다. PPC Land 보도에 따르면 Google과 Microsoft가 지원 계획을 밝혔고 OpenAI도 공약을 게시했다. 이 문서는 IETF가 승인하지 않았고 표준화 과정상 공식 지위가 없다. 만료일은 2027-05-03이다.

기능 소개

1. 새 문법 없는 정책 토큰

새 디렉티브나 문법은 없다. User-Agent 줄에 토큰을 넣은 일반 그룹을 쓴다. RFC 9309의 경로 언어, 최장 일치 우선순위, 그룹 구조는 그대로다. 토큰은 aipref 워킹그룹의 AI 학습 정의(draft-ietf-aipref-vocab-08)에 맞춰 정의됐다. 아래는 이해를 돕기 위해 구성한 예시다.

User-Agent: __usage_ai-training
Disallow: /articles/

2. 매칭 규칙

• 소비자는 토큰을 대소문자 무시하고 정확히 일치시킨다.
• User-Agent: * 와일드카드 그룹은 매칭으로 치지 않는다.
• 한 그룹에 정책 토큰 여러 개나 다른 product token을 섞을 수 있다.
• Disallow는 반대, Allow는 찬성하는 선호다. 토큰 그룹이 없으면 선호가 표현되지 않은 것이다.
• 크롤링 제어 지시어가 아니다. 크롤링 제한은 크롤러별 그룹으로 해야 한다.

3. 사업자별 대응 (PPC Land 보도)

Google은 여러 AI 사업자에 걸친 학습 선호 표현을 한 번에 돕겠다고 밝혔다. 크롤러 문서에는 2027년 초 지원으로 표기됐다. Microsoft는 AI Training, AI Grounding(AI 답변 생성에 사용), Limited Grounding(자사 AI 제품만 허용) 세 설정을 둔다. Bing 일정은 다음과 같다.

사용성 분석

운영자는 그룹 하나로 여러 사업자에 선호를 전달한다. Google의 John Mueller는 새 토큰으로 옵트아웃하고 Google-Extended를 명시하지 않으면 Google-Extended를 disallow한 것으로 처리한다고 설명했다. 기존 회사별 제어와 Search Console 옵트아웃은 유효하고, Google 토큰은 학습에만 해당한다. Microsoft는 "The traditional Bing rankings are unaffected."라고 밝혔다. AI 답변 노출을 막으면 AI 경험 내 가시성이 줄 수 있다는 지적이 있다.

장단점

장점은 문법 변경 없이 기존 robots.txt 구조를 쓴다는 점이다. 한계는 드래프트가 직접 밝혔다. 일부 파서는 product token을 RFC 9309보다 느슨하게 매칭하며, __ 접두사가 우발적 일치를 줄이지만 없애지는 못한다. 어휘 정의는 진행 중인 드래프트에 의존해 바뀔 수 있다. 비공개 계약이 선호를 덮어쓸 수 있다.

전망

Google은 2027년 초, Microsoft는 2027-02-01 지원 시작을 밝혔다. OpenAI의 시점은 aiweekly.co가 "수개월 내"라고 보도했으나 OpenAI 원문은 직접 확인하지 못했다. Anthropic의 구현 시작은 aiweekly.co 단독 보도다. 회사들은 신호 지원을 약속했을 뿐 '학습'의 고정 정의에 합의하지 않았다. Nate Hake는 작업이 미완이고 일부 분쟁이 남았다고 경고했다. 이미 수집된 데이터에 대한 영향은 확인되지 않았다.

결론

이 토큰은 이용 선호 신호이며 학습 제외를 보장하지 않는다고 일부 매체가 강조한다. 드래프트 단계이고 지원 시점이 2027년이라 효과 검증은 이후 과제다. 사이트 운영자와 SEO·법무 담당자가 추적할 가치가 있다. 평점은 3점이다.