はじめに

生成AI（Generative AI）の急速な普及に伴い、AIが学習するデータの収集をめぐる課題が顕在化している。特に、ウェブ上に存在するテキストや画像、動画といったコンテンツが、コンテンツホルダーの同意なくクローラーによって収集・学習に利用される状況は、クリエイターにとって大きな懸念事項となっている。

このような状況の中、米Cloudflareは2025年7月に「Pay per Crawl」の導入を発表した。AIクローラーによるデータ収集に対して、コンテンツ制作者が明示的に利用条件を設定し、場合によっては料金を課すことを可能にするという仕組みである。この取り組みは、単なるアクセス制御の強化にとどまらず、生成AI時代における新たなデータビジネスの形成を促す契機になるのではないかと筆者は考えている。

本稿では、「Pay per Crawl」の仕組みを整理し、その導入背景および市場へのインパクトを分析した上で、今後のデータビジネスの可能性について考察する。

生成AIとインターネットエコシステムの変容

従来のインターネットにおけるクローラーの代表例としては、Googleなどの検索エンジンが挙げられる。Googleはウェブ上の情報を収集し、検索インデックスを構築する。ユーザーはキーワード検索を行い、検索結果をもとにウェブサイトへアクセスしていた。

このように、Googleをはじめとする検索エンジンは、クローラーで情報を収集しながらも、最終的にはユーザーをコンテンツへ誘導することで、結果的にコンテンツホルダーにアクセス（トラフィック）を還元してきたといえる。この「クロール→ インデックス化 → トラフィック還元」という循環は、一種のエコシステムを形成していた（図1）。

【図1】インターネットのエコシステム
（出典：筆者作成）

しかし、生成AIの登場により、この仕組みは大きく変容しつつある。従来の検索エンジンとは異なり、ChatGPTのような生成AIは、ユーザーが質問を入力した際、学習済みモデル内部で回答を完結させてしまうため、元コンテンツへのアクセスが発生しにくい。Cloudflareが公表した調査データによれば、Googleのクローラーは「9.4対1」、すなわちクロールしたページの約10%にトラフィックを返しているのに対し、OpenAIのクローラーは「1,600対1」、すなわち0.06%しかトラフィックを返していない。

この差は、生成AIが従来型のエコシステムを崩壊させ、コンテンツホルダーにとって「無断利用されるだけ」の状況を生み出していることを示している。余談ではあるが、筆者が自社顧客向けにコンテンツを制作する企業の担当者に、本件のような現象が実際に発生しているのかをうかがったところ、「詳細は話せないが、アクセス数はおよそ半分程度に減少した」との話を得たことがある。

これまでのインターネットを支えてきたビジネスモデルは「広告モデル」であった。トラフィックの還元、すなわち広告が掲載されたウェブサイトへのアクセスが失われれば、ウェブサイトを維持していた広告収入が得られなくなり、ビジネスの継続が困難になる可能性がある。生成AIによるメリットを享受する一方で、その基盤を支えてきたインターネットビジネスの構造そのものが崩壊する可能性があると考えるのは、決して大げさなことではないだろう。

Cloudflareによる「Pay per Crawl」の概要

この問題に対し、Cloudflareは2025年7月、「Pay per Crawl」と呼ばれる新たな仕組みを発表した[1]（図2）。これは、AIクローラーがコンテンツにアクセスする際、コンテンツ制作者が以下の3つの対応を選択できるようにするものである。

【図3】noteによるAI学習対価還元プログラムの概要
（出典：note公式「AI学習の対価還元プログラムがスタート！あらたな収益の仕組みでより
創作を続けやすく」（2025年6月17日）https://note.com/info/n/n49bbcbdefe1a）

Allow（無償許可）

• 従来どおり、AIクローラーに対して無償でアクセスを許可する。

Charge（有償許可）

• AIクローラーがアクセスするごとに料金を課金する。ドメイン単位で単価を設定でき、AI企業は利用条件を明確に把握できる。

Block（拒否）

• 明示的にアクセスを拒否する。

この仕組みにより、コンテンツ制作者は「無断利用される側」から「利用条件を提示し、収益化できる主体」へと立場を転換できる。Cloudflareは、コンテンツがAIの学習に利用される前提を透明化するとともに、公正な取引関係を生み出す可能性を提示している。

※この記事は会員サービス「InfoCom T&S」より一部抜粋して公開しているものです。