ウェブの20%にサービスを提供するクラウドインフラプロバイダーのCloudflareは火曜日、ウェブサイト所有者とAI企業の関係を再考する新しいマーケットプレイスの立ち上げを発表した。理想的には、パブリッシャーがコンテンツをより細かく制御できるようにすることだ。
Cloudflareは昨年、AIクローラーの急増に対処するため、パブリッシャー向けのツールをリリースしてきました。これには、すべてのAIボットをワンクリックでブロックするソリューションや、AIクローラーがサイトをどのように訪問しているかを確認できるダッシュボードなどが含まれます。2024年のインタビューで、CloudflareのCEOであるマシュー・プリンス氏は、これらの製品が、パブリッシャーがAI企業にコンテンツを配信し、その対価を受け取ることができる新しいタイプのマーケットプレイスの基盤を築くものだとTechCrunchに語りました。
現在、Cloudflare がそのマーケットプレイスを実現しています。
これは「Pay per Crawl（クロールごとの支払い）」と呼ばれ、Cloudflareは火曜日にこの「実験」をプライベートベータ版で開始します。実験に参加するウェブサイト所有者は、AIクローラーが個々のサイトを一定の料金でスクレイピングすることを許可するかどうかを選択できます。これは、1回の「クロール」ごとに少額の支払いとなります。また、ウェブサイト所有者は、AIクローラーによるサイトのスクレイピングを無料で許可するか、完全にブロックするかを選択できます。Cloudflareは、このツールを使用することで、クローラーがAIトレーニングデータ、AI検索レスポンスへの表示、またはその他の目的でサイトをスクレイピングしているかどうかをウェブサイト所有者が確認できると主張しています。
Cloudflareのマーケットプレイスは、大規模な展開において、出版社にAI時代のビジネスモデルの可能性を提供する画期的なアイデアであり、Cloudflareをその中心に据えるものです。このマーケットプレイスの立ち上げは、Google検索トラフィックの減少とAIチャットボットの人気が高まる中で、ニュース出版社が読者へのリーチ方法という存亡の危機に直面している時期に行われました。
AI時代において、ニュース出版社がどのように生き残っていくのか、明確な答えは出ていません。ニューヨーク・タイムズ紙など一部の出版社は、許可なくニュース記事を使ってAIモデルを学習させたとして、テクノロジー企業を相手取って訴訟を起こしています。一方、他の出版社は、AIモデルの学習やAIチャットボットの応答に自社コンテンツを表示させるため、コンテンツのライセンス契約を複数年締結しています。
それでも、AIライセンス契約を締結しているのは大手パブリッシャーのみであり、それが有意義な収益源となるかどうかは依然として不透明です。Cloudflareは、パブリッシャーが独自の条件で価格を設定できる、より永続的なシステムの構築を目指しています。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
同社は火曜日に、Cloudflareで構築された新しいウェブサイトは、デフォルトですべてのAIクローラーをブロックすると発表した。サイト所有者は、特定のAIクローラーにサイトへのアクセスを許可する必要が生じる。Cloudflareによると、この変更により、すべての新規ドメインに「デフォルトの制御」が付与されるという。
Conde Nast、TIME、AP通信、The Atlantic、ADWEEK、Fortune など、大手出版社数社が Cloudflare と契約し、同社の「許可ベースのクロールアプローチ」という幅広い目標をサポートするため、AI クローラーをデフォルトでブロックしています。
多くのパブリッシャーが数十年にわたって依存してきたビジネスモデルは、徐々に信頼性を失いつつあります。歴史的に、オンラインパブリッシャーはGoogle検索でのリファラと引き換えに、Googleによるサイトのスクレイピングを許可してきました。これはサイトへのトラフィック、ひいては広告収入に繋がりました。
しかし、Cloudflareの最新データによると、AI時代においてパブリッシャーはGoogle検索時代よりも不利な状況に置かれている可能性があるようです。一部のウェブサイトではChatGPTを主要なトラフィックソースとして挙げていますが、全体的にはそうではないようです。
Cloudflareは今年6月、Googleのクローラーが1件の参照につき14回ウェブサイトをスクレイピングしていたことを発見したと発表しました。一方、OpenAIのクローラーは1件の参照につき1,700回、Anthropicは1件の参照につき73,000回ウェブサイトをスクレイピングしていました。
一方、OpenAIとGoogleは、ユーザーに代わってウェブサイトを訪問し、情報を収集し、それを直接ユーザーに返すように設計されたAIエージェントを開発しています。これらのツールが主流となる未来は、読者のウェブサイト訪問に依存している出版社にとって大きな意味を持ちます。
Cloudflare は、クロールごとの課金の「真の可能性」は「エージェント」の将来に現れる可能性があると指摘しています。
「もしエージェント型ペイウォールがネットワークエッジで完全にプログラム的に動作したらどうなるでしょうか？お気に入りのディープリサーチプログラムに、最新の癌研究や法律文書の作成を手伝ってもらったり、ソーホーで一番美味しいレストランを探してもらったり、そしてそのエージェントに予算を与えて、最高かつ最も関連性の高いコンテンツを入手できるようにしたらどうなるでしょうか」と、Cloudflareはブログ記事で述べています。
Cloudflareの実験的なマーケットプレイスに参加するには、AI企業とパブリッシャーの両方がCloudflareアカウントを作成する必要があります。アカウントでは、双方がパブリッシャーのコンテンツの「クロール」を売買する価格を設定できます。Cloudflareはこれらの取引の仲介役として、AI企業に料金を請求し、その収益をパブリッシャーに分配します。
Cloudflareの広報担当者Ripley Park氏はTechCrunchに対し、多くの人がデジタル通貨がこのような用途に最適だと示唆しているにもかかわらず、現時点ではPay per Crawlにはステーブルコインや暗号通貨は使用されていないと語った。
しかし、火曜日のTBPN番組に出演したプリンス氏は、クラウドフレアは「これらの取引が行われる方法の一部となる独自のステーブルコインを作成する可能性」を検討しており、他のステーブルコインプロバイダーと協力すると述べた。
Cloudflareのマーケットプレイスは、多くのパブリッシャーやAI企業の参加を必要とする、大胆な未来ビジョンのように思えます。しかし、パブリッシャーにとって有利な条件が保証されているわけではなく、AI企業が現在コンテンツを無料で収集していることを考えると、参加を説得するのは困難かもしれません。
それでも、Cloudflare はこのようなマーケットプレイスを実現できる立場にある数少ない企業の 1 つであるように思われます。
午後2時50分（太平洋標準時）更新：この記事は、Cloudflare CEOによるステーブルコインに関するポッドキャストでのコメントを追加し、Cloudflareが報告した6月のOpenAIのクロール対リファラル比率を正しく記載するように更新されました。
