「更新した記事が、なかなか検索に出てこない。もしかして、Googleにクロールされていないのでは？」そんな不安から「クロールバジェット」という言葉を調べて、この記事にたどり着いた方もいるのではないでしょうか。
結論から言うと、数十〜数百ページほどの中小企業のサイトでは、クロールバジェットを気にしすぎる必要はありません。この記事では、Google公式の説明をもとに、クロールバジェットの意味、自社が気にするべきかの判断、サーチコンソールでの確認方法、そして中小企業が今日からできる整え方を、専門用語をかみくだいて解説します。
私は認定SEOコンサルタントとして、Web制作10年以上・延べ1,000件以上のサイトに関わってきました。「クロールバジェットを増やしたい」というご相談を受けることがありますが、原因を調べてみると、実際は記事の中身やサイトの整理に課題があった、というケースがほとんどです。
記事執筆者：認定SEOコンサルタント 三田健司
結論｜小さなサイトは気にしすぎなくてよい。見直すのは「無駄なURLを増やさない」こと
先に押さえたい4つの要点
1つ目は、クロールバジェットとは「Googleが巡回できて、かつ巡回したいURLの数」のことだという点です。Googleのクローラー（Googlebot）が、あなたのサイトのページを見に来る回数の目安と考えてください。
2つ目は、Googleの公式ガイドが、対象を主に「100万ページ以上のサイト」や「1万ページ以上で毎日のように内容が変わるサイト」などの大規模サイトとしている点です。数十〜数百ページの中小企業のサイトは、この対象には入りません。
3つ目は、小規模なサイトで「新しいページが公開した当日にクロールされている」なら、公式ガイドも読まなくてよいとしている点です。その場合は、サイトマップを最新に保つことと、サーチコンソールのページレポートを定期的に見ることで十分とされています。
4つ目は、それでも「無駄なURLを増やさない」「サイトを軽く保つ」「記事の質を上げる」という整え方は、サイトの規模にかかわらず役に立つ点です。次の表で、全体像を見てみましょう。
サイトの規模別・クロールバジェットとの付き合い方
| サイトの状態 | 気にする度合い | やること |
|---|---|---|
| 数十〜数百ページの会社サイト・店舗サイト | ほとんど気にしなくてよい | サイトマップを最新にし、ページレポートを月1回見る |
| 記事が数百〜数千ページ（ブログ・メディア） | 不具合のサインが出たら確認 | 重複URLの整理・古い記事の統合・表示速度の改善 |
| ECサイトで商品や絞り込みURLが非常に多い | 要確認 | 絞り込みURLの扱い・サイトマップの運用・サーバーの安定 |
| 1万〜100万ページ超の大規模サイト | 公式の詳しいガイドを読む | クロール状況の継続的な監視と、URL在庫の管理 |
この記事のゴールは、「クロールバジェットを増やすテクニック」を覚えることではありません。無駄な心配を手放して、本当に確認すべきことに時間を使えるようになることです。
クロールバジェットとは｜Googleが「見に来る回数」の目安
そもそもクロールとは
Googleは、世界中のページを「クローラー」と呼ばれるプログラムで巡回して、内容を読み取っています。この巡回のことを「クロール」と呼びます。
クロールして内容を読み取り、検索結果に出せる状態にすることを「インデックス登録」と呼びます。
つまり、ページが検索に出るまでには、見つけてもらう（クロール）、内容を理解してもらう（インデックス登録）、検索結果に並べてもらう（順位づけ）という流れがあります。クロールバジェットは、このいちばん最初の段階に関わる考え方です。
Google公式の定義｜「クロールできて、クロールしたいURLの数」
Googleの公式ガイド「クロールバジェットの管理」では、クロールバジェットを、Googleがクロールできて、かつクロールしたいURLの集合と説明しています。そして、この2つの条件（クロールできる量と、クロールしたい量）の両方で決まるとされています。
また、クロールバジェットはホスト名ごとに考えられます。たとえば、同じ会社でも「www.」付きのサイトと、別のサブドメインのサイトは、別々に扱われるという説明です。
「バジェット」という言葉に惑わされないで
バジェット（予算）という言葉から、「上限の枠があって、使い切ったらページが載らなくなる」と想像される方が多いようです。しかし、公式ガイドの説明は、そのような単純な「枠」ではありません。
Googleは、サーバーに負担をかけない範囲で、そして、見る価値があると判断したURLを、必要な頻度で見に来ます。大規模サイトでない限り、「枠が足りなくて載らない」という状況は、まず起きないと考えてよいでしょう。
小規模サイトは気にしなくていい？公式ガイドが示す対象の目安
公式ガイドが想定している3つのサイト
Googleの公式ガイドは「上級者向け」と位置づけられていて、主な対象を3つ挙げています。1つ目は、100万ページ以上で、週に1回程度は内容が変わるサイトです。
2つ目は、1万ページ以上で、ほぼ毎日内容が変わるサイトです。3つ目は、サーチコンソールで「検出 – インデックス未登録」と分類されるURLが、全体のかなりの割合を占めるサイトです。
ガイドには、これらの数字は大まかな目安であり、厳密な基準ではないとも書かれています。ただ、数十〜数百ページの中小企業のサイトが、この基準から大きく離れていることは確かです。
公式ガイドを読まなくてよいケース
公式ガイドは、小規模なサイトや、新しいページが公開した当日にクロールされているサイトについて、このガイドを読む必要はないという趣旨のことを書いています。その場合は、サイトマップを最新に保ち、ページのインデックス登録レポートを定期的に確認すれば十分、という案内です。
ですから、「自社のサイトは小さい」「新しい記事を公開すると、数日以内に検索で見つかる」という状態なら、クロールバジェットの専門的な調整は不要です。
サーチコンソールの公式ヘルプも、同じ考え方
サーチコンソールの「クロールの統計情報」レポートのヘルプにも、ページ数が1,000未満のサイトであれば、このレポートを使ったり、細かいクロールの状況を心配したりする必要はない、という趣旨の説明があります。
このレポートは、上級者向けのものとされています。わからなくて困る必要はなく、「小さなサイトの担当者が深追いしなくてよい項目」と考えて大丈夫です。
それでも「検索に出ない」と感じたら
「公開したのに検索に出ない」場合の原因は、クロールバジェットではなく、ほかにあることがほとんどです。たとえば、ページにnoindex（検索に載せない設定）が入っている、サイトマップに載っていない、内容が薄い、似たページが多いなどです。
まずは、サーチコンソールのURL検査で、そのページが「Googleに登録されているか」「クロールできているか」を確かめましょう。手順は、別の記事で詳しく解説しています。
クロールバジェットを決める2つの柱｜サーバーの余裕とGoogleの関心
柱1｜クロール容量の上限（サーバーに負担をかけない範囲）
Googleのクローラーは、サイトのサーバーに負担をかけすぎないように、同時にアクセスする数や、アクセスの間隔を調整しています。これが「クロール容量の上限」です。
公式ガイドによると、どのサイトも、まずは同じ控えめな初期値から始まります。サイトが安定して応答し、表示にかかる時間も安定または改善していれば、上限は引き上げられます。
反対に、応答が遅くなったり、サーバーエラー（5xx）やアクセス制限（429）が増えたりすると、下げられます。
柱2｜クロール需要（Googleがどれだけ見たいか）
容量に余裕があっても、Googleが「見に行きたい」と思わなければ、巡回は増えません。公式ガイドは、この「クロール需要」を決める要素として、次の3つを挙げています。
| 要素 | 意味 | 中小企業の現場での例 |
|---|---|---|
| 認識されているURLの数（インベントリ） | Googleが把握しているURLを、基本的にほぼ全部クロールしようとする | 重複URLや、削除済みのURLが多いと、見に行く時間が無駄になる |
| 人気 | ネット上で人気のURLは、より頻繁にクロールされる | ほかのサイトから紹介されている記事は、見に来る頻度が保たれやすい |
| 鮮度（陳腐化させないこと） | 変更を取りこぼさないよう、ある程度の頻度で再訪する | 更新される記事は、見に来る頻度が保たれやすい |
このうち、運営者が最も直接コントロールしやすいのは、「認識されているURLの数」だと公式ガイドは説明しています。つまり、無駄なURLを増やさないことが、いちばん効果的な整え方になります。
容量と需要は、別々に効いてくる
ガイドの説明を整理すると、容量に余裕があっても、需要が低ければ、Googleはそのサイトを少ししかクロールしないということです。「サーバーを強化したのに巡回が増えない」というのは、需要が足りない場合に起こります。
需要を高めるには、結局のところ、読む価値のある記事を増やし、古い記事を整理することが近道です。小手先の設定より、サイトの中身の品質のほうが、長い目で見て効いてきます。
また、容量の上限は、Googleの複数のクローラー（検索用、広告用など）で共有されるという説明もあります。ただし、一般的な会社サイトで、これが問題になることは考えにくいでしょう。
「検出 – インデックス未登録」が増えたときの見方
サーチコンソールの2つの似た表示
サーチコンソールの「ページ」レポートには、「検出 – インデックス未登録」と「クロール済み – インデックス未登録」という似た表示があります。どちらも「まだ検索に載っていない」状態ですが、意味が違います。
| 表示 | 意味の目安 | 主な対処 |
|---|---|---|
| 検出 – インデックス未登録 | Googleはそのページの存在を知っているが、まだクロールしていない | サイトマップ・内部リンクの整理、サーバーの安定、サイト全体の整理 |
| クロール済み – インデックス未登録 | クロールはしたが、まだインデックス登録していない | ページの中身の見直し（独自性・有用性）、似たページの統合 |
前者は、クロールの順番待ちのような状態です。後者は、見に来たうえで、まだ載せる判断をしていない状態です。
ページの質に原因があることが多いのは、後者です。
数が少しあるのは普通
「インデックス未登録」のURLが、少しあること自体は珍しくありません。たとえば、自分で別のURLを正規（メイン）と指定している重複ページや、ログインページなどは、未登録で正常です。
気にするべきなのは、「載せたい大事なページ」が未登録のままになっているケースと、未登録の数が、サイト全体のページ数に対して多いケースです。件数の増減を、月に1回、同じ見方で確認すると、変化に気づけます。
原因を切り分ける順番
中小企業のサイトで「載せたいページが未登録」のとき、私は次の順番で確認しています。まず、そのページ自体にnoindexやcanonical（正規URLの指定）の誤りがないか確認します。
次に、サイトマップに載っているか、内部リンクが張られているかを確認します。そして最後に、ページの中身が、ほかの記事と似すぎていないか、読む人の役に立つ内容かを見直します。
クロールバジェットを疑うのは、これらをすべて確認したあとで十分です。
クロールの統計情報レポートの見方｜小さなサイトは「眺める」だけでOK
どこで見られるか
サーチコンソールの左下の「設定」を開くと、「クロールの統計情報」という項目があります。このレポートは、ドメインプロパティか、サイトのトップを指定したURLプレフィックスのプロパティで確認できます。
サブフォルダだけを指定したプロパティでは表示されません。
レポートでは、Googleがサイトに何回アクセスしたか、どのくらいのデータを取得したか、サーバーの応答にかかった時間などを確認できます。サーバーログと数字が少し食い違うこともありますが、これは仕様の範囲です。
見るポイントは3つだけ
1つ目は「ホストのステータス」です。サーバーへの接続や、robots.txtの取得、名前解決（DNS）に問題がなかったかを、緑・黄・赤のようなサインで示しています。
理想は緑の状態で、赤が出ているときは、まずサーバー会社やサイト制作会社に相談しましょう。
2つ目は「平均応答時間」です。この数字が急に長くなっているときは、サーバーが重くなっている可能性があります。
3つ目は「クロールのリクエスト内訳（レスポンス）」で、大半が正常な応答（200など）になっているかを見ます。
この数字で一喜一憂しない
小さなサイトでは、クロール数が日によって増減するのは普通です。1日の数字に反応するのではなく、月に1回、ホストのステータスに異常がないか、エラー（5xx）が急に増えていないか、という「異常のサイン」だけを確認する使い方をおすすめします。
サイトの調子と、検索順位の動きをいっしょに見られると、原因の切り分けがぐっと楽になります。順位は日々の動きを記録しておくと、いつから変わったかが分かります。
順位の自動記録には、AccessScopeの無料プランが使えます（10キーワードまで無料・クレジットカード不要）。
中小企業がやるべき5つの整え方｜クロールを妨げない基本
整え方1｜サイトマップを最新に保つ
サイトマップ（XMLサイトマップ）は、「見てほしいページの一覧表」をGoogleに渡す仕組みです。Googleは定期的にサイトマップを読むので、クロールしてほしいページは、すべて載せておきましょう。
公式ガイドは、更新があったページについて、最終更新日（lastmod）を正しく入れることも勧めています。WordPressなら、サイトマップを自動で作るプラグインを使い、記事を更新したら日付が変わる設定になっているかを確認しておくと安心です。
整え方2｜重複したURLを減らす
同じ内容のページが、複数のURLで開けてしまう状態は、見に来る価値の低いURLを増やしてしまいます。たとえば、「wwwあり・なし」「httpとhttps」「末尾のスラッシュあり・なし」の違いで、同じページが複数出ていないかを確認しましょう。
重複を統合する方法として、公式ガイドは、まず重複をまとめることを推奨しています。まとめられない場合は、301転送や、canonicalタグ（正規URLの指定）などで、本来のURLを伝えます。
整え方3｜消したページは、404か410にする
公式ガイドは、恒久的に削除したページは、404か410のステータスコードを返すように勧めています。404は、Googleに「再び見に来なくてよい」と伝える強いサインになると説明されています。
また、ページはないのに「正常（200）」を返してしまうソフト404は、クロールされ続けて、無駄が増えると指摘されています。心当たりがあるときは、ソフト404の記事で、直し方を確認してください。
整え方4｜表示速度とサーバーの安定を保つ
サーバーの応答が速く安定していると、Googleはクロール容量の上限を引き上げやすくなる、というのが公式ガイドの考え方です。画像の圧縮、不要なプラグインの整理、サーバーの見直しなど、基本的な表示速度の改善が、そのまま効いてきます。
ガイドには、ページに変更がないときは「変更なし（304）」を返せるようにして、サーバーの負担を減らす方法も紹介されています。一般的なWordPressのサイトでは、サーバー会社やキャッシュのプラグインが対応していることが多いので、「自分で設定を変える」より「設定が有効か確認する」くらいの気持ちで十分です。
整え方5｜古い・薄い記事を整理して、質を上げる
クロール需要は、サイトの品質や、ほかのサイトからの関連性にも左右されます。読まれていない薄い記事が大量にあると、サイト全体の印象も下がります。
中身の薄い古い記事は、統合や削除を検討しましょう。判断の基準は、別の記事にまとめています。
量を増やすより、質を上げるほうが、結果的にGoogleに「見に行きたい」と思ってもらいやすくなります。
やってはいけない対処｜robots.txtやnoindexの使い方に注意
robots.txtは、バジェットの「再配分」には使わない
「クロールバジェットを節約したいから、重要でないページをrobots.txtでブロックしよう」と考える方がいます。しかし、公式ガイドは、robots.txtを使って、ほかのページにクロールを振り向けようとしないよう、はっきり書いています。
理由は、サイトの容量上限にすでに達していない限り、ブロックして空いた分を、Googleがほかのページに回すわけではないからです。robots.txtは、あくまで「クロールさせたくないページ」にだけ使うのが正しい使い方です。
noindexは、クロールの節約にならない
noindexは、「検索に載せない」という指示です。ただし、Googleはいったんそのページを取得しないとnoindexを読めないため、クロールの手間は減りません。
公式ガイドでも、クロールの節約のためにnoindexを使うことは、勧められていません。
「検索に載せたくないページ」と「クロールさせたくないページ」は、別の話です。この違いは、別の記事でくわしく整理しています。
サーチコンソールの「インデックス登録をリクエスト」を連打しない
新しい記事を公開したあと、リクエストを何度も送っても、クロールが増えるわけではありません。リクエストは、重要なページを公開・更新したときに、1回ずつ送れば十分です。
数が増えすぎると、割り当て（1日に送れる数）の上限に当たることもあります。公開した記事は、サイトマップ経由でも見つけてもらえますので、リクエストは、特に急ぐページだけに使うのが現実的です。
サイトを移転・リニューアルしたときは、一時的に変動する
公式ガイドには、サイト全体に関わる変更（移転など）があると、新しいURLを処理し直すために、一時的にクロール需要が増えることがあるという説明があります。リニューアル直後は、サーチコンソールの数字が普段と違って見えることがあります。
慌てて設定をいじるより、旧URLから新URLへの301転送がきちんとできているか、サイトマップが新しいURLになっているかを確認しましょう。
WordPressサイトで無駄なURLが増えるパターンと、月1回の点検
WordPressで起こりやすい「URLの増殖」
WordPressのサイトでは、記事が少なくても、URLが意図せず増えてしまうことがあります。現場でよく見かけるのは、タグやカテゴリのアーカイブページ、日付ごとのアーカイブ、サイト内検索の結果ページ、画像ごとの添付ファイルページなどです。
これらがすべて問題というわけではありません。ただ、中身がほとんど空のアーカイブページが、何十、何百と作られている場合は、整理の対象になります。
整理するときの考え方
タグを大量に作っている場合は、使っていないタグを整理したり、中身の薄いアーカイブをnoindexにしたり、設定を見直します。判断基準は、別の記事で詳しく解説しています。
ただし、設定を変えるときは、まず1か所ずつ、変更前後でサーチコンソールの「ページ」レポートがどう変わるかを確認しましょう。一度に大量に変更すると、原因の切り分けが難しくなります。
月に1回の点検ルーティン（15分）
最後に、月1回15分でできる点検の流れを紹介します。1つ目は、サーチコンソールの「ページ」レポートで、インデックス登録されているページ数と、未登録の数、その理由の内訳を見ることです。
2つ目は、「クロールの統計情報」で、ホストのステータスが緑のままかを確認することです。3つ目は、サイトマップのステータスが「成功」になっているかを確認することです。
4つ目は、新しく公開した記事がURL検査で「登録されている」になっているかを確認することです。この4つを毎月同じ順序で見る習慣をつけておくと、異常があったときに気づきやすくなります。
日々の点検の考え方は、週次ルーティンの記事も参考になります。
よくある質問
クロールバジェットは、増やしたほうがいいですか？
数十〜数百ページの中小企業のサイトでは、増やすことを目的にする必要はありません。公式ガイドも、小規模なサイトで新しいページが当日中にクロールされているなら、読む必要はないとしています。
まずは、記事の質と、サイトの整理に力を入れるほうが、効果的です。
記事を公開しても、なかなか検索に出ません。クロールバジェットのせいですか？
可能性は低く、ほかの原因のことが多いです。noindexの設定ミス、サイトマップに載っていない、内部リンクがない、内容が薄いなどの原因を、先に確認しましょう。
URL検査ツールで、そのページがGoogleに認識されているかを確かめると、原因を切り分けやすくなります。
「クロールの統計情報」のレポートが見られません。
このレポートは、ドメインプロパティか、サイトのトップを指定したURLプレフィックスのプロパティでのみ表示されます。サブフォルダだけを指定したプロパティでは見られないので、プロパティの種類を確認してください。
ただし、ページ数が1,000未満のサイトは、見られなくても問題はありません。
関連記事
まとめ｜クロールバジェットは「大規模サイトの課題」。中小企業は整理と質の向上に集中
クロールバジェットは、Googleが巡回できて、かつ巡回したいURLの数のことです。ただし、Googleの公式ガイドが主な対象とするのは、100万ページ以上のサイトや、1万ページ以上で毎日更新されるサイトなどの大規模サイトです。
数十〜数百ページの中小企業のサイトでは、新しい記事が数日以内に検索で見つかるなら、深く気にする必要はありません。「検索に出ない」と感じたときも、まずはnoindexやサイトマップ、記事の中身といった、ほかの原因を確認しましょう。
そのうえで、サイトマップを最新にする、重複URLを減らす、消したページは404か410にする、表示速度を保つ、古い記事を整理する、という基本を続けることが、結果的にクロールにも検索評価にも良い影響を与えます。まずは今日、サーチコンソールの「ページ」レポートを開き、未登録の理由の内訳を確認するところから始めてみてください。
整えたあとの検索順位の動きを、数字で確かめたくなったら、AccessScopeの無料プランを試してみてください。サイトのURLを入れるだけで、検索順位の自動記録を始められます。
コメント