ウェブの半分がAIボット——Cloudflare実測と日本35社の対応状況

ウェブトラフィックの半分以上が、もう人間ではありません。

CDN大手のCloudflareが2026年7月、自社ネットワークの実測データを公開しました。AI学習用のクローラーは1年前の22%から52%に急増し、人間のトラフィックは最大40%減少しています。そしてCloudflareは同日、AIボットを「検索用」「代理行動用」「学習用」の3種に分け、無料プランを含む全顧客が遮断・許可・課金を選べるインフラを公開しました。

当社が日本企業35社のrobots.txtを実測したところ、AI学習ボットを遮断しているのはわずか2社（5%）。いずれもメディア企業で、BtoB企業はゼロでした。世界ではAIボット管理の仕組みが急速に整いつつあるなか、日本企業の大半はまだ対応を始めていません。

この記事では、Cloudflareの発表内容と日本企業の実態を照らし合わせ、BtoB企業が今とるべき対応を解説します。

Cloudflareが示した3つの数字

ウェブの半分が人間以外になり、AIボットの構成も「学習用」が過半を占めるようになりました。

Cloudflareはウェブ全体の20%以上にサービスを提供するグローバルCDN（コンテンツ配信ネットワーク）です。そのCloudflareが「Content Independence Day, one year on」（2026年7月1日）で公開した実測データは、3つの事実を突きつけています。

さらに同レポートでは、良質なボット（検索エンジンなど正規のクローラー）のアクセスの50%以上が変更のないページを再巡回していると指摘しています。つまり、ボットの半分は「見に来ても何も変わっていない」ページを読んでいます。

関口拓人

全トラフィックの半分がボット。これは推測ではなく、ウェブの20%以上を配信しているCloudflareの実測値です。ボットの過半が学習目的であるという事実は、コンテンツを持つ企業すべてにとって前提条件が変わったことを意味します。

「遮断・許可・課金」の三択が生まれた

robots.txtだけのボット管理から、CDN層での自動識別と課金が可能になりました。

Cloudflareはこのデータを踏まえ、同日に3つの対応策を発表しています。

1. AIボットの3分類（全顧客・無料プラン含む）

「Your site, your rules: new AI traffic options for all customers」で発表されたのは、AIボットを3つのカテゴリに分けて管理する仕組みです。

従来はrobots.txtという1つのテキストファイルで全ボットを管理していました。この仕組みでは、ボットの名前を個別に書いて許可・遮断を設定する必要があり、新しいボットが登場するたびに追記が必要でした。

Cloudflareの新機能は、この管理をCDN層で自動化します。サイト運営者は「検索は許可、学習は遮断」のように目的別に一括で設定できます。無料プランでも使えます。

さらに重要なのは、2026年9月15日以降、Cloudflareの新規ドメインでは「学習用」ボットがデフォルトで遮断されるという点です。

2. コンテンツの有料化基盤（x402）

「Announcing the Monetization Gateway: charge for any resource behind Cloudflare via x402」は、もう一歩踏み込んだ仕組みです。

HTTP 402は「支払いが必要」を意味するHTTPステータスコードで、1997年に規格化されたものの約30年間ほぼ使われていませんでした。x402はこのステータスコードを活用し、ボットがコンテンツにアクセスする際に自動で課金する仕組みをつくるオープンプロトコルです。Cloudflareを含む25以上の組織で構成される「x402 Foundation」が開発しています。

3. 「クロール課金」から「利用課金」への転換

「Making AI search smarter」では、従来の「クロール（巡回）に課金する」モデルから「実際にコンテンツが使用された時に課金する」モデルへの転換が示されています。AI検索エンジンのCeramic.aiやYou.comとの連携実験が始まっています。

日本35社を実測して見えた現実

日本企業の95%は、AI学習ボットを何も管理していません。

ここまではグローバルの動きです。では、日本の企業はどうなっているのか。当社が2026年7月26日にcurlで35社のrobots.txtとHTTPヘッダーを調査しました。

調査方法: HTTPヘッダーのcf-ray/Serverヘッダーでクラウドフレアの使用を判定。robots.txtでAI関連ボット12種（GPTBot、OAI-SearchBot、ChatGPT-User、CCBot、ClaudeBot、Claude-SearchBot、anthropic-ai、Google-Extended、PerplexityBot、Bytespider、Amazonbot、FacebookBot）の遮断有無を確認。

遮断していた2社は12種のAI関連ボットをすべて一律に遮断していました。「検索用は許可、学習用は遮断」という使い分けではなく、AI関連は全面的に閉じる方針です。

残りの33社は、robots.txtにAIボットに関する記述がありません。遮断も許可も意思決定していない、つまりデフォルトの全面開放のままです。

関口拓人

n=35なので日本全体を代表するデータではありません。しかし「対応しているのがメディア2社だけで、BtoB企業はゼロ」という傾向は明確です。ほとんどの企業が、自社コンテンツがAI学習に使われていることに対して、許可も遮断も意思決定していない状態です。

BtoB企業が取るべき対応

BtoB企業にとっては「遮断」よりも「見つけてもらう設計」が正解です。ただし、放置と設計はまったく違います。

メディア企業と、BtoB企業（SaaS、コンサル、製造業など）では、AIボットに対する最適な対応が異なります。

メディア企業: コンテンツそのものが商品であるため、学習用クローラーに無料で持っていかれることは損失です。遮断や課金が合理的な選択肢になります。

BtoB企業: 自社サービスの情報をAI検索に引用してもらうことが利益になります。AI検索で「○○のサービスならこの会社」と推薦されることは、従来のSEOでの上位表示と同等かそれ以上の価値があります。

つまり、BtoB企業がAI学習ボットを遮断すると、AI検索から消えるリスクがあります。しかし、放置でよいわけでもありません。

どのボットを遮断し、どれを許可するか（早見表）

「全部遮断」でも「全部放置」でもなく、ボットを役割で3つに仕分けるのが実務的です。判断軸はシンプルで、AI検索での引用・表示という見返りがあるか、それともサーバーに負荷をかけるだけかです。

検索表示の見返りがなく、サーバー負荷だけをかけるスパム的なクローラー（Bytespiderなど）は、事業タイプを問わず遮断して構いません。逆に、AI検索での引用・表示につながる検索用ボットは、BtoB企業は原則すべて許可すべきです。迷いやすいのは純粋な学習用ボット（GPTBot等）で、ここだけが「引用されたいか、コンテンツ資産を守りたいか」の事業判断になります。

そのうえで、「設計された開放」として以下の3点を確認してください。

1. robots.txtの意図的な設計: 何を許可し、何を制限するかを明示する。「何も書いていない＝全部許可」は意思決定ではなく放置です。当社のクロールバジェットの解説記事で触れたとおり、クロールの上限は全ボットで共有されます。不要なページの巡回を制限し、重要なページに容量を集中させる設計が必要です。
2. llms.txtの設置: AIがサイトの構造と内容を効率的に理解するための案内ファイルです。当社の調査では、日本企業での設置率はまだ極めて低い結果が出ています。設置は無料で、技術的な障壁も低い施策です。
3. 構造化データの整備: 会社情報、サービス内容、実績をAIが読み取りやすい形で記述しておくことで、引用の精度が上がります。

関口拓人

メディアが学習ボットを遮断するほど、AIは別のソースを探します。BtoB企業の自社サイトがそのソースになれるかどうかは、設計次第です。放置は味方につかない。遮断は敵に回す。取るべき手は「設計された開放」です。

注意すべき3つの点

課金モデルはまだ実用段階ではありません。過度な期待も、過度な不安も不要です。

1. x402（課金基盤）はまだウェイトリスト段階です。2026年7月時点で一般に利用できる状態ではありません。x402 Foundationが開発を進めていますが、広く普及するまでには時間がかかります。今すぐ「AIボットに課金しなければ」と焦る必要はありません。
2. 決済はステーブルコイン（暗号資産の一種）のみです。日本企業が導入するにはハードルがあります。クレジットカードや銀行振込には対応していません。
3. 「9月15日のデフォルト変更」はCloudflareの新規ドメインのみが対象です。既存のドメインには影響しません。また、Cloudflareを使っていないサイトにはそもそも関係ありません。当社の調査では、日本のBtoB企業のCloudflare利用率は11%でした。

まとめ

• Cloudflareの実測で、ウェブトラフィックの半分以上がAIボットによるアクセスと判明した。AI学習用クローラーは1年で22%から52%に急増している
• Cloudflareは「検索用」「代理行動用」「学習用」の3分類でAIボットを管理するインフラを全顧客に開放した。2026年9月15日から、新ドメインでは学習用ボットがデフォルトで遮断される
• x402プロトコルにより「コンテンツへのアクセスに課金する」基盤が登場したが、まだウェイトリスト段階で実用には至っていない
• 当社が日本企業35社を実測したところ、AI学習ボットを遮断しているのはメディア2社（5%）のみ。BtoB企業は25社中ゼロだった
• BtoB企業にとっては「遮断」ではなく「設計された開放」が正解。robots.txtの意図的設計、llms.txtの設置、構造化データの整備が具体的な対応策になる

用語について

※この記事で使用した技術用語の補足です。

• CDN（コンテンツ配信ネットワーク）: ウェブサイトの表示を高速化するために、世界中のサーバーにコンテンツを分散配置するサービス。Cloudflareはその最大手の一つで、ウェブ全体の20%以上にサービスを提供しています。
• robots.txt: ウェブサイトの管理者が「このボットにはこのページを見せる/見せない」を記述するテキストファイル。サイトのルートに設置します。法的な強制力はなく、ボット側が尊重する約束事です。
• ステーブルコイン: 価格が米ドルなどの法定通貨に連動するように設計された暗号資産。USDC（USDコイン）が代表的です。
• HTTP 402（Payment Required）: 「支払いが必要です」を意味するHTTPステータスコード。1997年に番号が予約されましたが、約30年間ほぼ使われていませんでした。x402はこれを実用化するものです。

出典

1. Cloudflare「Content Independence Day, one year on」（2026年7月1日）
   https://blog.cloudflare.com/agentic-internet-bot-report/
2. Cloudflare「Your site, your rules: new AI traffic options for all customers」（2026年7月1日）
   https://blog.cloudflare.com/content-independence-day-ai-options/
3. Cloudflare「Announcing the Monetization Gateway」（2026年7月1日）
   https://blog.cloudflare.com/monetization-gateway/
4. Cloudflare「Making AI search smarter」（2026年7月1日）
   https://blog.cloudflare.com/making-ai-search-smarter/
5. x402 Foundation — https://x402.org ／ TollBit — https://tollbit.com
6. 当社実測: 日本企業35社のrobots.txt＋HTTPヘッダー調査（2026年7月26日 curl取得）