SEO対策2026/7/235分で読める

クロールバジェットとは？Google公式更新「全サイト保守的スタート」の意味

Googleが、クロールバジェット（Googleがサイトをどれだけ巡回するかの割り当て）※1 の公式ドキュメントを更新しました。目を引くのは「すべてのサイトは、同じ保守的なクロール上限からスタートする」という一文です。

結論を先に述べます。この更新で慌てる必要があるのは、大規模サイト・毎日大量更新するサイト・移管直後のサイトだけです。Google自身が「大量のページが頻繁に変わるサイトでなければ、このガイドを読む必要はない」と明記しています。ただし該当するサイトにとっては、AIボットが激増した今、この「上限は全クローラーで共有される」という記述が効いてきます。この記事では、何が変わったのか、なぜ効くのか、そして自社が対象なのかどうかまでを、Google公式の記述に沿って解説します。

何が変わったのか（事実の整理）

明確な新ルールというより「元から動いていた仕組みの明文化」です。要点は3つです。

項目	Google公式の記述
スタート地点	すべてのサイトが同じ保守的なクロール上限から始まる
上限の共有	クロール上限は全クローラーで共有。1つのクローラーの高需要が他の取り分を減らす
上限の増加	サイトが健全でクロール需要があれば、時間をかけて自動で引き上げられる

「保守的なスタート」は、新規サイト・移管直後のサイトにとって重要です。いきなり大量に巡回されるわけではなく、サーバーが安定して応答できると確認されてから、Googleは徐々に巡回を増やします。逆に言えば、立ち上げ直後にサーバーが不安定だと、クロールが増えにくいということです。

なぜ今この記述が効くのか

いま、サイトを巡回するのはGoogleの検索用クローラーだけではありません。AIの学習用・AI検索の引用用のボットが次々に増えています。Googleの公式ドキュメントが示すのは、あるボットが大量に巡回すると、その分だけ他のボットに回る容量が減るという関係です。

つまり、不要なページを大量にクロールさせていると、本当に巡回してほしい重要ページの取り分が圧迫されます。これは「どのページをクロールさせ、どのページをさせないか」を意図的に設計することの重要性が上がった、ということです。

関口拓人

結論から述べます。新しい魔法ではありません。元から動いていた仕組みを、Googleが言葉にしただけです。ただ、明文化されたということは「ここを見て判断していますよ」という宣言でもあります。該当するサイトは、無視できません。

更新前後を照合してみた（本当に新しい記述はどれか）

「更新された」という話は多いものの、では具体的に何が新しく追記されたのか。当社でInternet Archive（Wayback Machine）に残る更新前の版と、現行版のキーフレーズを照合しました（照合日: 2026年7月23日／比較対象: 2026年5月15日アーカイブ版）。

キーフレーズ	更新前（2026年5月版）	現行版
conservative（保守的）	なし	あり（新規）
same default（同じ既定）	なし	あり（新規）
shared across all crawlers（全クローラーで共有）	なし	あり（新規）
crawl capacity limit（クロール容量上限）	あり	あり（従来から）

つまり「クロール容量上限」という概念自体は前からありましたが、「全サイトが同じ保守的な上限からスタートする」「上限は全クローラーで共有される」という2点は、今回新しく明文化された記述です。ここが今回の更新の核心で、AIボットが増えた文脈と合わせて読むべき部分です。

何をすべきか（対象サイトの実務）

やることは「無駄なクロールを減らし、必要なページに容量を回す」の一点です。Google推奨に沿って5つ。

不要URLをrobots.txtでブロックする: 検索に出す必要のないページ（絞り込み・並び替えの無限URL、内部検索結果など）を巡回対象から外す。これが最も効きます
重複コンテンツを統合する: 同じ内容が複数URLにあると、その分だけ容量を食います。統合・正規化する
サーバーの応答速度を上げる: 応答が安定・高速だと、Googleは上限を引き上げます。遅いと逆に絞られます
304（変更なし）を返せるようにする: 前回から中身が変わっていないページには「変更なし」を返す設定にすると、無駄な再取得が減ります※2
リダイレクトの連鎖を避ける／サイトマップを最新に保つ: 遠回りな転送や古いサイトマップは、クロールを無駄づかいさせます

移管直後のサイトでは、ここが特に効きます。Googleは移管後のサイトを「保守的な上限」から見直すため、リダイレクトが遠回りだったりサーバーが不安定だと、新URLへのクロールと再評価が遅れます。

関口拓人

私が移管案件で最初に見るのは、リダイレクトの連鎖とサーバーの応答速度です。中身をいくら直しても、クロールが回らなければ再評価は始まりません。「順位が戻らない」の裏に、クロールの目詰まりが隠れていることは珍しくありません。

正直な注意点（大多数のサイトは対象外）

あなたのサイトは、たぶんこの話を気にしなくていいです。

Googleは対象サイトをはっきり示しています。100万ページ以上の大規模サイト、1万ページ以上で毎日更新するサイト、そして「検出 - 未インデックス（Discovered - currently not indexed）」のページが多いサイトです。それ以外については、Google自身が「このガイドを読む必要はない」と書いています。

数十〜数百ページの通常のサイトが、クロールバジェットの最適化に時間をかけるのは、多くの場合コストの無駄です。そのリソースは、コンテンツの質か、インデックスされない別の原因（低品質判定・重複・内部リンク不足）の解消に回すべきです。自社が対象かどうかは、Search Consoleの「ページ」レポートで「検出 - 未インデックス」が大量に出ているかで判断できます。

まとめ

Googleがクロールバジェットの公式ドキュメントを更新。全サイトが同じ「保守的な上限」からスタートし、健全なら自動で引き上げられると明記した
クロール上限は全クローラーで共有。AIボットが増えた今、不要なクロールを減らして重要ページに容量を回す設計の重要性が上がった
対象は大規模・毎日更新・未インデックス過多のサイト。大多数のサイトは気にしなくてよいとGoogle自身が明記している
対象サイトの打ち手は、robots.txtでの不要URL遮断・重複統合・サーバー速度・304対応・リダイレクト整理

用語について

※1 クロールバジェット: Googleが特定のサイトに割り当てる「巡回できる量」の上限。サーバーへの負荷（クロール容量上限）と、Googleがどれだけ巡回したいか（クロール需要）の2つで決まる。
※2 304（変更なし）: サーバーが「前回から中身は変わっていません」と返す応答。Googleは再取得を省けるため、クロールの節約になる。