Cloudflareは月曜日、ウェブサイト所有者がAIモデルプロバイダーにウェブサイトのコンテンツをスクレイピングするアクセス権を販売できるマーケットプレイスを来年中に立ち上げる計画を発表した。このマーケットプレイスは、CloudflareのCEOであるマシュー・プリンス氏が、AIボットによるウェブサイトのスクレイピング方法とタイミングをパブリッシャーがより強力に制御できるようにするという、より大きな計画の最終段階となる。
「何らかの形でクリエイターに報酬を支払わなければ、彼らは創作をやめてしまいます。そこが解決しなければならない点です」とプリンス氏はテッククランチとのインタビューで語った。
Cloudflareは、新計画の第一弾として、月曜日に顧客向けに「AI Audit」と呼ばれる無料の可観測性ツールをリリースしました。ウェブサイト所有者は、AIモデルが情報収集のためにサイトをクロールする理由、時期、頻度に関する分析情報を確認できるダッシュボードを利用できるようになります。また、ボタンをクリックするだけでAIボットをサイトからブロックすることも可能になります。ウェブサイト所有者は、AI Auditを使用してすべてのウェブスクレイパーをブロックすることも、取引がある場合やスクレイピングが有益であると判断した特定のウェブスクレイパーを通過させることもできます。
TechCrunch と共有された AI Audit のデモでは、ウェブサイト所有者がこのツールをどのように使用できるかが示されました。このツールでは、サイトを訪問する各スクレーパーがどこから来ているのかを確認できるほか、OpenAI、Meta、Amazon、その他の AI モデル プロバイダーのスクレーパーが何回サイトを訪問しているかを選択できるウィンドウも提供されます。
Cloudflareは、AI業界に迫りくる問題の解決に取り組んでいます。人々が自社のウェブサイトではなくChatGPTにアクセスするようになった場合、AI時代において小規模パブリッシャーはどのように生き残ることができるのでしょうか？ 現在、AIモデルプロバイダーは、自社のLLM（統合モデルモデル）に必要な情報を得るために、数千もの小規模ウェブサイトをスクレイピングしています。一部の大手パブリッシャーはOpenAIとコンテンツのライセンス契約を結んでいますが、ほとんどのウェブサイトは何も得られず、そのコンテンツは依然として人気のあるAIモデルに日々投入されています。これは多くのウェブサイトのビジネスモデルを崩壊させ、切実に必要としているトラフィックを減少させる可能性があります。
今夏初め、AIを活用した検索スタートアップ企業Perplexityは、Robots Exclusion Protocol（ROP）を用いてクロールを意図的に拒否するウェブサイトをスクレイピングしたとして非難されました。その後まもなく、Cloudflareは、顧客がワンクリックですべてのAIボットをブロックできるボタンをリリースしました。
「それは、コンテンツが盗まれていると人々が感じているという不満の声を聞いていたからだ」とプリンス氏は語った。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
一部のウェブサイト運営者はBusiness Insiderに対し、AIボットによるウェブサイトのスクレイピングがあまりにも頻繁で、まるでDDoS攻撃でサーバーが麻痺したかのような気分だと語っています。ウェブサイトがスクレイピングされると、単に不快なだけでなく、クラウド料金が文字通り跳ね上がり、サービスに悪影響を与える可能性があります。
しかし、Perplexityのボットはブロックしたいけれど、OpenAIのボットはブロックしたくない場合はどうすればいいのでしょうか？プリンス氏はTechCrunchに対し、Cloudflareの顧客から、自社のサイトへのアクセスを許可するAIモデルを選択できるツールを求められていると語っています。Cloudflareが本日リリースする新ツールを使えば、一部のAIクローラーをブロックしつつ、他のクローラーは通過させることができます。
プリンス氏によると、TIME、Condé Nast、The Atlanticなど、OpenAIとライセンス契約を結んでいる大手出版社でさえ、ChatGPTが自社のウェブサイトをどの程度スクレイピングしているかについて、ほとんど把握していないという。多くの出版社はOpenAIの指示を受け入れざるを得ないが、その答えによって、出版社が適切なライセンス契約を結んでいるかどうかが決まるのだ。
しかし、来年中に開始される Cloudflare のマーケットプレイスは、小規模な出版社が AI モデルプロバイダーとも契約を結べるようにすることを目指しています。
「これまでReddit、Quora、そして世界の大手出版社だけが実現してきたことを、皆さんにも実現できるようにしましょう」とプリンスは言った。「コンテンツへのアクセスと、これらのシステムへの取り込みに、実質的に料金を設定できるようにしたらどうでしょうか？」
大胆なアイデアではあるものの、Cloudflareはマーケットプレイスがどのようなものになるのか、具体的な構想をまだ公開していません。プリンス氏によると、ウェブサイトはAIモデルプロバイダーに対し、個々のウェブサイトのスクレイピング速度に基づいて料金を請求できる可能性があるとのことですが、実際にいくら支払うことになるのかは不明です。さらに、ウェブサイトはスクレイピングに対して金銭的な料金を請求することも、AIラボにクレジットを付与するよう求めることも可能だとプリンス氏は指摘しています。詳細は不明です。
AI企業は、現在無料で入手できるコンテンツに料金を支払うことに当初は乗り気ではないかもしれないが、CloudflareのCEOは、これは最終的にはAIエコシステムにとって良いことだと考えていると述べている。プリンス氏は、一部のAI企業がコンテンツに一切料金を支払わない現状は持続可能ではないと述べている。
マックスウェル・ゼフは、TechCrunchのAI専門シニアレポーターです。以前はGizmodo、Bloomberg、MSNBCでAIの台頭やシリコンバレーの銀行危機などを取材してきました。サンフランシスコを拠点としています。取材以外の時間は、ハイキング、サイクリング、ベイエリアのグルメ巡りを楽しんでいます。
Maxwell からの連絡を確認したり連絡を受けたりする場合は、[email protected]にメールを送信するか、Signal の mzeff.88 に暗号化されたメッセージを送信してください。
バイオを見る
