10,300대 1: AI 크롤러가 조용히 웹 경제를 갉아먹는 방식 — 출판사·변호사·금융 애널리스트가 지금 해야 할 일

웹은 역사적인 임계점을 넘었다. 봇의 수가 이제 인간을 앞질렀으며 — 대가 없이 가져가는 가장 큰 원흉은 AI 크롤러다.

아무도 말하지 않는 놀라운 비율

수천 명의 방문객이 서가의 모든 책을 복사하는데, 거의 아무도 아무것도 사지 않고 그 도서관을 친구에게 추천하지도 않는 — 그런 도서관을 상상해 보자. 그것이 바로 오늘날 웹에서 일어나고 있는 일이다.

Cloudflare Radar가 공개한 데이터(2026년 5월 31일)에 따르면, Anthropic의 Claude 크롤러는10,300:1이라는 놀라운 크롤 대 참조 비율을 가진다 — 출판사 웹사이트로 돌려보내는 방문자 1명당 10,300개의 HTML 페이지를 스크래핑한다는 뜻이다. OpenAI의 GPTBot은 903.8:1로 이어지고, Perplexity 봇은 192.9:1이다. 대조적으로 Google의 Googlebot은 단 5.2:1, DuckDuckGo의 DuckAssistBot은 1.5:1에 그친다 — 이 비율은 오픈 웹의 전통적인 트래픽 상호성 모델을 반영한다.

봇이 공식적으로 웹에서 인간을 앞질렀다

이것은 단순히 인포그래픽 하나의 이야기가 아니다. 2026년 6월 3일, Cloudflare 최고경영자 매튜 프린스는 자동화된 요청이 모든 HTML 웹 트래픽의57.5%를 차지하고 인간은 단 42.5%에 불과하다는 데이터를 공유했다. 프린스 본인도 "예상보다 훨씬 빨리 그렇게 됐다"고 인정했다. 이것은 인터넷 역사상 처음으로 기계가 웹 트래픽의 과반을 차지한 순간이며 — AI 크롤러는 그 전환의 핵심 동력이다.

검증된 봇 트래픽 중 AI 크롤러가 20.3%를 차지하고, AI 검색 봇이 추가로 6.5%를 더한다 — 즉 검증된 봇 활동 전체의 약 26.7%가 이미 AI 관련이라는 뜻이다. 중요한 것은 AI 크롤러 요청의 51.8%가 검색이나 사용자 지원이 아니라 학습 목적이라는 점 — 그리고 학습용 크롤러는 출판사에게 거의 제로에 가까운 참조 트래픽만 생성한다.

잠시 생각해 보자: 모든 AI 크롤의 절반 이상은 콘텐츠를 순전히 모델 학습을 위해 수집하기 위해 존재한다. 독자를 보내기 위해서가 아니다. 당신의 작업에 대한 존중을 위해서도 아니다. 그저 가져가기 위해서다.

학습용 크롤의 우위

Cloudflare의 더 깊은 분석은 우려스러운 구조적 변화를 드러낸다: 학습 목적 활동이 이제 모든 AI 봇 활동의 거의 80%를 차지하며, 단 1년 전 72%에서 상승했다. 한편 출판사로의 참조는 감소하고 있다. 뉴스 사이트로의 Google 참조는 2025년 1월부터 3월까지 약 9% 감소했고, 4월까지 최대 15% 감소했다 — 이 감소는 Gemini 2.0을 탑재한 AI Overviews의 Google 확대와 미국에서의 AI Mode 출시와 직접 일치한다.

OpenAI의 GPTBot은 AI 크롤 트래픽 점유율을 2배 이상 늘렸다(4.7%에서 11.7%로). 한편 Anthropic의 ClaudeBot은 6%에서 약 10%로 상승했다. ByteDance의 Bytespider는 14.1%에서 단 2.4%로 급락했다.

크롤 대 참조 비율 리더보드(2026년 5월)

출처: Cloudflare Radar, 2026년 5월 31일

출판사는 무엇을 할 수 있는가?

Cloudflare는 Radar AI Insights 페이지에 새로운 도구를 투입하며 대응하고 있다:

• 거의 실시간으로 업데이트되는 크롤 대 참조 비율 테이블
• 크롤 목적 분류(학습/검색/사용자 액션/미신고)
• 동종 업계와 비교하기 위한 업종별 필터링
• 관계를 재조정하기 위해 검토 중인 종량제 크롤(Pay-per-crawl) 메커니즘

출판사는 이제 robots.txt나 Cloudflare 봇 관리 도구를 사용해 어떤 AI 봇을 허용하고, 제한하고, 완전히 차단할지에 대해 더 많은 정보에 기반한 판단을 내릴 수 있다. 핵심 통찰은 이렇다: 모든 봇이 동등하지 않다. 1.5:1 비율의 봇은 파트너이지만, 10,300:1 비율의 봇은 경제적으로 말해 기생충이다.

결론: 온프레미스 AI로 통제권을 되찾아야 하는 이유

웹의 경제는 조용히 재편되고 있다 — 그리고 그 숫자는 무시할 수 없다.

2026년 6월 3일 기준, 봇은 모든 HTML 웹 트래픽의 57.5%를 생성하고 인간은 단 42.5%다. 모든 AI 크롤의 51.8% 이상은 순전히 학습 목적으로 존재한다. 학습용 크롤러는 출판사에게 거의 제로에 가까운 참조 트래픽만 돌려준다. 기계의 다수 시대가 도래했고, 그것은 굶주려 있다.

당신의 작업이 그들의 제국을 세웠다. 당신에게는 아무것도 남지 않았다.

솔직히 말하자: 당신의 콘텐츠는 허가도, 크레딧도, 대가도 없이 빼앗겨 — 역사상 가장 가치 있는 AI 제품 몇 개를 세우는 데 사용되었다.

Anthropic의 ClaudeBot이 돌려보낸 방문자 1명당 10,300페이지를 크롤했을 때, 그것은 조회가 아니었다. 추출이었다. OpenAI의 GPTBot이 903.8:1로 훑었을 때, 그것은 당신의 이익을 위해 색인화한 것이 아니라 — 이제 그것이 소비한 정보원 자체와 경쟁하는 상용 제품에 먹이를 주고 있었다. Perplexity가 192.9:1로 스크래핑했을 때, 그것은 당신의 전문 지식을 자신의 것처럼 제시하는 '답변 엔진'을 구축하고 있었다. 인용은 너무 작아 묻혀 있어 대부분의 사용자가 클릭하지 않는다.

당신의 서명은? 사라졌다. 수년간의 전문 지식은? 모델 가중치에 녹아들었다. 경쟁 우위는? 재포장되어 당신 자신의 고객에게 — 더 나쁘게는 경쟁자에게 — 팔렸다.

이것은 부작용이 아니다. 이것이 비즈니스 모델이다. 학습 목적 크롤은 이제 모든 AI 봇 활동의 거의 80%를 차지한다 — 단 1년 전 72%에서 상승했다. 현대 AI의 전체 아키텍처는 옵트인도, 로열티도, 감사도 없는 인간 지식과 창의성의 체계적·산업 규모 추출 위에 세워져 있다. AI 기업은 묻지 않았다. 그저 가져갔다. 그리고 10,300:1이라는 비율은 당신에게 보내지지 않은 청구서다.

이미 공개된 지식이 빼앗기고 있다면 — 공개되지 말았어야 할 지식은 어떻게 되는가?

그리고 그것은 훨씬 더 깊고 불안한 질문으로 이어진다 — 블로거와 기자를 넘어, 세계에서 가장 지식 집약적인 두 산업, 법률과 금융의 핵심을 찌르는 것이다.

오픈 웹에서 스크래핑된 콘텐츠 — 뉴스 기사, 블로그 게시물, 공개된 연구 — 는 적어도 읽히기를 의도하고 작성되었다. 하지만 한 번도 온라인에 공개된 적 없는 전문가들을 생각해 보자:

• 30년간의 사건 처리 전략적 직관이 사내 메모, 고객 파일, 조직 기억에만 존재하는 시니어 소송 파트너
• 독자적인 평가 프레임워크와 딜 인텔리전스가 회사 밖으로 나가도록 의도되지 않은 사내 모델과 기밀 보고서에 있는 사모펀드 애널리스트
• 변화하는 규제의 미묘한 해석이 수십 년간 쌓인 경험으로 작성된 사내 가이드 문서에 담긴 컴플라이언스 책임자

이것이 바로 법률과 금융에서 경쟁 우위를 진정으로 정의하는 지식이다. Google에서 검색할 수 있는 것이 아니다. 아직 스크래핑되지 않았다. 하지만 여기에 무서운 현실이 있다: 클라우드 기반 AI 도구에 — 가볍게, 단 한 번의 쿼리만으로도 — 닿는 순간, 지금까지 논의해 온 것과 같은 추출적 논리가 지배하는 생태계에 들어간다.

크레딧 없이 오픈 웹을 스크래핑한 같은 AI 거대 기업이 이제 엔터프라이즈 도구를 제공한다. 허락 없이 공개 콘텐츠를 소비한 같은 학습 파이프라인은 더 많은 것을 갈망한다. 10,300:1이나 903.8:1 비율 위에 서 있는 같은 기업이 이제 로펌 문서 관리 시스템과 은행 리서치 저장소의 문을 두드리고 있다.

최악의 경우, Anthropic의 ClaudeBot은 2025년 1월 참조 1회당 28.6만 회 크롤을 기록했다. 방문자 1명을 보내기 전에 25만 페이지를 크롤한 기업이 이제 당신의 가장 기밀적인 고객 데이터에 대한 신뢰를 요구한다. 질문은 자연스럽게 떠오른다: 허락 없이 가져간 같은 손에, 절대 잃을 수 없는 것을 맡길 수 있는가?

온프레미스 AI: 당신의 것을 당신의 것으로 유지

온프레미스 AI 도입은 이 방정식을 완전히 바꾼다.

고객 계약, 거래 전략, 사건 판례, 사내 리서치 같은 가장 기밀적인 지식을 데이터 거버넌스가 불투명하고 학습 파이프라인이 보이지 않는 외부 서버로 보내는 대신, 온프레미스 AI는 그 인텔리전스를 벽 안에, 당신의 통제 하에, 당신의 컴플라이언스 프레임워크를 따르게 하며, 어떤 크롤 대 참조 비율의 손도 영원히 닿지 않는 곳에 둔다.

실무에서 이것이 의미하는 바를 생각해 보자:

• 로펌은 10,300:1 크롤 비율이 사내 지식 베이스에 결코 적용되지 않는다는 것을 알면서, 수십 년간의 독자적 사건 전략으로 훈련된 AI 시스템을 구축할 수 있다. 고객 비밀유지 특권은 특권 그대로 유지된다.
• 금융 기관은 기밀 포트폴리오와 시장 인텔리전스에 대해 추론하는 모델을, 그 데이터가 공개 LLM에 노출될 위험 제로로 배포할 수 있다 — 특히 AI를 통한 상용 플랫폼 트래픽이 2026년 1분기에 전년 대비 393% 성장했다는 점은 AI가 금융 의사결정에 얼마나 깊이 침투했는지를 보여주는 중요한 사실이다.
• 의료 기관은 환자 데이터가 안전하고 감사된 환경에서 한 번도 나가지 않은 채 진단과 리서치에 AI를 활용할 수 있다.
• 기업은 지금 웹을 조용히 재편하고 있는 학습 목적 크롤 활동 80%의 일부가 되는 것으로부터 기업 비밀, 제품 로드맵, 경쟁 인텔리전스를 보호할 수 있다.

10,300:1 비율의 교훈은 이렇다: 인터넷은 지식을 무료로 제공했고, AI 기업은 그 위에 제국을 세웠다. 진정으로 독자적인 고가치 지식을 가진 산업은 그 실수를 반복할 필요가 없다. 오픈 웹에는 선택지가 없었다. 당신에게는 있다.

온프레미스 AI는 후퇴가 아니다 — 자신들이 아는 것의 진정한 가치를 이해하고, 동의·크레딧·대가 없이 크롤·스크래핑·재포장되는 것을 거부하는 조직의 전략적 선택이다.

모든 CTO, 법무 책임자, 리스크 관리 책임자에게 질문은 더 이상 "AI를 도입해야 하는가?"가 아니다. "우리를 대체 불가능하게 만드는 것을 지키는 방식으로 AI를 도입하고 있는가?"이다.

출처

• Cloudflare Blog: AI Search Crawl-Refer Ratio on Radar
• Cloudflare Blog: The Crawl-to-Click Gap — AI Bots & Training
• Cloudflare Blog: AI Crawler Traffic by Purpose and Industry