Googleクローラーとは？発見・クロール・インデックスを分けて確認する方法
公開したページが検索に出ない時は、GoogleがURLを知らないのか、内容を取得できないのか、取得後に登録していないのかを分けると調査が進みます。クローラーを呼ぶ施策だけで解決すると考えず、Search Consoleの状態と実際のページの応答を照合しましょう。
GoogleクローラーとGooglebotの役割
Googlebotは、Google検索のためにWebページを取得するクローラーです。取得した内容を検索システムが分析し、正規URLの選択やインデックスへの登録を判断します。クローラーが来たことと、検索結果に表示されることは同じではありません。
Googleには検索用以外の取得処理もあります。サーバーログでGoogleらしいアクセスを見つけても、種類や真正性を確認せず「検索の登録が進んだ」と判断しないでください。用途の違いはGoogleのクローラー・フェッチャー一覧で確認できます。
URLの発見・クロール・インデックスは別の段階
調査では次の4段階を別の列に記録します。Googleの検索の仕組みでも、クロール、インデックス、検索結果の配信は別工程として説明されています。
段階 | 確認する証拠 | まだ言えないこと |
|---|---|---|
URLの発見 | URL検査で既知の状態、参照元の記録 | 本文を取得できたとは限らない |
クロール | 最終クロール日時、取得結果 | 登録されたとは限らない |
インデックス | URL検査の登録状態、Google選択の正規URL | どの検索でも表示されるわけではない |
検索表示 | 同じページを絞った検索パフォーマンス | 過去の表示から現在の登録状態を断定できない |
検索パフォーマンスに行がないURLも、登録済みで表示がなかった可能性があります。実績行なしを未登録の証拠にせず、必要ならURL検査で現在の状態を確認します。
robots.txtとnoindexの違いを確認する
robots.txtは主に取得を制御し、noindexは検索への登録を制御します。登録させたくないページにnoindexを付けても、robots.txtで取得を止めるとGoogleがその指示を読めません。逆に、robots.txtで遮断したURLが、他の情報から本文なしで登録される場合もあります。
確認対象はHTMLのrobots metaだけではありません。HTTPレスポンスのX-Robots-Tagも調べます。具体的な扱いはrobots.txtの説明とnoindexの説明を参照してください。
架空例として、会員向けページを検索から外すためにnoindexを入れ、同時に取得を遮断したとします。担当者には「noindexがない」と決め付けず、取得可否と公開範囲、認証、ヘッダーの意図を一緒に確認してもらいます。
Search Consoleで未認識・検出・クロール済みの状態を調べる
検査での状態 | 最初の確認 | 次に残す記録 |
|---|---|---|
Googleに認識されていない | 公開一覧や関連ページから到達できるか、URLの誤りがないか | 確認した参照元とサイトマップ |
検出・未登録 | 取得待ちか、応答やサイト全体の可用性に問題がないか | 最終確認日、応答、変更内容 |
クロール済み・未登録 | 最終取得時点の内容、正規URL、重複や指示 | Google選択canonical、取得時刻 |
登録済み | 対象の検索語句・国・端末・期間で表示があるか | 表示とクリック、見える語句 |
「クロール済み・未登録」は本文だけが原因という診断ではありません。重複、正規URLの判断、取得時点の応答、サイトの状態なども候補に残します。URL検査の保存済み情報とライブテストも区別し、テスト成功を登録完了と扱わないことが大切です。
内部リンク・サイトマップ・応答を順に点検する
- 対象の完全なURLを固定し、転送先や別言語のURLを混ぜない。
- 関連する公開ページから通常のリンクで到達できるか確かめる。
- サイトマップに意図したURLがあるか、閲覧できた範囲で確認する。
- ページのHTTP応答と転送、HTML・ヘッダーのrobots、canonicalを調べる。
- ページの主内容が取得可能で、重複ページとの差や利用者への価値が説明できるか読む。
サイトマップ送信や内部リンク追加はURLを知る手掛かりですが、登録依頼の受付と登録・表示を同一視しません。技術上の最低条件はGoogle検索の技術要件にまとまっています。条件を満たしても登録を保証するものではありません。
クロールバジェットを調べる場面と調べなくてよい場面
少数の記事が検索に出ない時に、最初からクロールバジェットを原因とするのは早計です。まず対象URLの状態、アクセス制御、応答、重複を調べます。大規模なURL集合、高頻度の更新、大量の検出未登録などがある場合は、サイト全体の取得状況や不要URLの増殖を調査します。
Googleのクロールバジェット管理資料は、大規模サイト等を主な対象としています。日付だけを更新したり、ページを大量に増やしたりして取得を促すのではなく、必要な変更と取得負荷を整理してください。高速化も、必ず巡回数が増えるという約束にはなりません。
再検査までに残す記録とよくある誤解
架空例の「登録済みだが『分析ツール』で表示されない記事」なら、再登録依頼を繰り返す前に、記事が誰のどの疑問に答えるかと、その検索語句での表示を確認します。技術問題の解消と検索上の競争は別の課題です。
記録項目 | 記入する内容 |
|---|---|
対象と日時 | 完全URL、言語、確認日、担当 |
取得・登録 | GSC状態、最終クロール、公開応答、Google選択canonical |
制御 | robots.txt、meta robots、X-Robots-Tagの確認結果 |
対応 | 変更箇所、公開版、再検査予定日 |
結果 | 依頼受付／登録確認／検索表示を別欄に記録 |
一つのURLで確認方法をそろえれば、次の調査でも同じ証拠を比較できます。原因が未確定なら「本文が悪い」とまとめず、何を確認できていないかを残しましょう。
