Google·OpenAI, robots.txt 공통 신호로 AI 학습 거부를 한 번에 설정하는 계획 발표

Google과 OpenAI는 2026년 10월 30일 각각 공식 발표를 통해, 웹사이트 운영자가 robots.txt(검색엔진·크롤러에게 사이트의 어느 부분을 수집해도 되는지 알리는 사이트 루트의 텍스트 파일)에 공유 정책 토큰 하나만 넣으면 여러 AI 제공업체의 학습(training) 선호를 한 번에 표현할 수 있는 공통 신호를 지지합니다. 두 회사 모두 IETF의 AIPREF(AI Preferences) 워킹그룹 작업을 바탕으로 하며, 적용 목표 시점은 다릅니다. Google은 2027년, OpenAI는 몇 달 안입니다.

핵심 사실

• 이번 공통 신호는 IETF AIPREF 워킹그룹의 작업을 바탕으로 합니다. “학습(training)“의 정의는 IETF가 개발한 내용을 그대로 쓰고, 나머지 용어는 여러 이해관계자와 계속 논의 중입니다.
• 메커니즘은 robots.txt에 공유 정책 토큰(user-agent: __usage_ai-training) 하나를 넣으면, 참여하는 여러 AI 제공업체 전반에 넓은 수준의 학습 거부·허용 선호를 한 번에 적용하는 방식입니다. 기존처럼 Google-Extended(Google 제품의 AI 학습 이용과 Gemini 그라운딩에 함께 쓰이는 업체별 제어 토큰)같은 업체별 개별 지시문을 따로 쓰는 방식도 그대로 유지되고, 공통 신호와 함께 쓸 수 있습니다. 넓은 범위는 공통 토큰으로, 세부 조정은 개별 지시문으로 나눠 쓰는 구조입니다. 새 공통 토큰이 Google-Extended의 그라운딩 적용 범위까지 그대로 물려받는지는 아직 발표되지 않았습니다(아래 “검색 노출·Gemini 그라운딩에 미치는 영향” 참고).
• 운영자가 공유 토큰으로 학습을 거부했는데 Google-Extended를 따로 쓰지 않았다면, Google은 이를 Google-Extended를 차단한 것과 같게 해석할 계획입니다.
• Google의 지원 목표 시점은 2027년입니다. 지금 당장 쓸 수 있는 기능이 아니라 계획 발표 단계입니다.
• OpenAI도 같은 날(2026년 10월 30일) 이 공유 신호를 존중할 계획이며, 앞으로 몇 달 안에 구현하는 것을 목표로 합니다. 이는 Google의 2027년 목표보다 이릅니다. robots.txt를 통해 이미 제공하는 기존 크롤러 제어 기능은 이 신호로 대체되지 않고 계속 유지됩니다.

검색 노출·Gemini 그라운딩에 미치는 영향

Google-Extended는 Gemini 모델 학습뿐 아니라, 프롬프트 시점에 Google 검색 색인의 콘텐츠를 모델에 제공하는 그라운딩(Gemini 앱, Vertex AI의 Google Search 기반 그라운딩)에도 함께 적용되는 토큰입니다. 이 적용 범위는 이미 확정된 사실입니다. 다만 Google 검색 노출이나 순위에는 영향을 주지 않습니다. 이번에 발표된 새 공통 정책 토큰이 Google-Extended의 이 그라운딩 적용 범위를 그대로 물려받는지, 아니면 별도 범위를 가지는지는 아직 발표되지 않았습니다(2027년 지원 목표 자체가 계획 단계이기 때문입니다).

웹사이트 운영자가 지금 할 일은 많지 않습니다

이번 발표는 “앞으로 이렇게 바꾸겠다”는 계획이지, 지금 바로 robots.txt를 고쳐야 하는 변경 사항이 아닙니다. 기존에 Google-Extended 같은 업체별 제어 토큰을 써 왔다면 그 설정은 그대로 유효합니다. 공통 정책 토큰이 실제로 지원되기 시작하면, 운영자는 여러 AI 업체 지시문을 하나씩 나열하는 대신 토큰 하나로 넓은 범위를 먼저 정하고, 업체별로 다르게 하고 싶은 부분만 개별 지시문으로 덧붙이는 식으로 관리를 단순화할 수 있을 것으로 보입니다. 다만 Google 쪽은 2027년 지원을 목표로 한 향후 계획입니다.

OpenAI는 Google과 무엇이 다른가

OpenAI는 2026년 10월 30일 발표에서 robots.txt에 명시된 이 공통 신호를 존중할 계획이며, 앞으로 몇 달 안에 구현하는 것을 목표로 합니다. 이는 Google의 2027년 목표보다 이릅니다. 이 신호는 IETF AI Preferences 작업 그룹의 진행 중인 작업을 바탕으로 하며, 작업 그룹의 다른 참여자들과 함께 같은 날 발표됐습니다. 또한 이 새 신호는 robots.txt를 통해 이미 제공하는 기존 크롤러 제어 기능을 대체하지 않습니다. 구체적인 구현 방식(어떤 토큰 문법을 쓸지 등)은 적용 시점에 다시 공지한다고만 밝혔고, Google처럼 토큰 이름(__usage_ai-training)을 이 발표에서 특정하지는 않았습니다.

마무리 정리

• 지금 당장 robots.txt를 바꿀 필요는 없습니다. 아직 계획 발표 단계이고, 기존 Google-Extended나 OpenAI의 크롤러 제어 지시문은 그대로 유효합니다.
• 공통 토큰이 실제로 지원되기 시작하면, 업체별 지시문을 하나씩 나열하는 대신 토큰 하나로 넓은 범위를 먼저 정하고 업체별로 다르게 하고 싶은 부분만 개별 지시문으로 덧붙이는 식으로 관리를 단순화할 수 있습니다.
• 적용 목표 시점은 Google 2027년, OpenAI “앞으로 몇 달 내”로 다르므로, 두 회사의 공지를 따로 챙겨볼 필요가 있습니다.
• Google-Extended를 따로 쓰지 않고 공통 토큰만으로 학습을 거부하면 Google은 이를 Google-Extended 차단과 같게 해석할 계획이므로, Gemini 그라운딩 노출 여부를 세밀하게 관리하려는 운영자는 공통 토큰 도입 후에도 Google-Extended를 별도로 유지하는 편이 안전합니다.