クロールとインデックス：検索エンジンの発見ガイド

主要定義：クロール、インデックス、ランキング

クロールとインデックスは別々の段階として扱う。クロールは発見と取得（fetch）で、クローラー がURLを訪問し、サーバーからのレスポンスを取得し、レンダリングに影響するリソースを記録する。インデックスは評価と格納の段階で、ページが取得され（通常はレンダリングされ）た後、検索エンジンがそのページをインデックスに保存して検索結果に表示可能にするか判断する。ランキングは別の段階で、インデックスされたコンテンツをクエリに対して順序付けする。クロールまたはインデックスの段階で問題があると、そのページはランキング競争に参加できなくなる。

クロールの実務的な仕組み

クローラーがURLへリクエストを送ると、HTTPステータスコード、リダイレクト、レスポンスヘッダ、そしてサーバーが返すHTML/CSS/JSを確認する。クローラーはリンク（HTMLアンカー、サイトマップのエントリ、hreflangリンク）、埋め込みリソース、追加のURLを生成する可能性のあるスクリプトを発見する。重要な運用ポイント：

• クローラーは内部リンクと外部のbacklinkを発見シグナルとしてたどる。

• robots.txt はページ取得の前に確認される。クローリングを防げても、他のシグナルがあれば必ずしもインデックス化を阻止するとは限らない。

• JavaScriptレンダリング：多くの最新クローラーはページをレンダリングするが、ブロックされたり遅いリソースがあるとレンダリングが止まりコンテンツが見えなくなる。サーバーサイドレンダリングを使うか、重要なコンテンツが初回HTMLに含まれるようにする。

• クロールバジェットと頻度：検索エンジンがどのURLを再訪問するかを優先する。非常に大きなサイトは、低価値ページの不必要なクロールを避けるためにインデックス可能なURLの範囲を管理すべきである。

インデックス化：ページが保存されるかを決める要因

インデックスの判断は多くのシグナルを使う：robotsmetaタグ、X-Robots-Tagヘッダ、canonicalタグ、コンテンツ品質、重複、構造化データなど。クロールされることはインデックス化に必要だが十分ではない—エンジンが低品質と判断するか明示的に除外指示があると、クロールされてもインデックスに入らない場合がある。

インデックスに影響する指示の実例：

• HTML meta robots の例：<meta name="robots" content="noindex, nofollow">

• カノニカルの例：<link rel="canonical" href="https://example.com/preferred-page">

• HTTPヘッダの例（X-Robots-Tag）：X-Robots-Tag: noindex

検証：クロールとインデックスをどう確認するか（自社サイトと第三者）

自分が所有するページ（権威ある確認）

使用する：Google Search ConsoleのURL検査でクロールとインデックスの状態を確認し、ライブレンダーを表示してそのURLのカバレッジ問題を見る。CoverageとPagesのレポートはインデックス問題のグループの特定に役立つ。構造化データの検証にはRich Results Testを使い、拡張機能の対象か確認する。

第三者／パブリッシャーのページ（外部検証）

ドメインを管理していない場合は、公開されたシグナルとライブフェッチに頼る。curlやブラウザでサイトが返すHTMLを確認し、HTTPヘッダをチェックし、リンクがページソースとレンダリング後のDOMに存在するかを確認する。例：

• ヘッダのみ取得：curl -I https://example.com/page （レスポンスヘッダのみ返す）。

• モバイルUAでHTMLを取得：curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page （そのUA用のフルHTMLレスポンスを取得）。

• Chrome DevToolsのElementsパネルやヘッドレスレンダラーでレンダリング後のDOMを確認し、検索エンジンが実行しない形で後からリンクが挿入されていないか確かめる。

site:オペレーター（例：site:publisher.com "unique phrase"）を公開インデックス指標として使うと便利だが、決定的ではない。Bingでは、Bing Webmaster ToolsのSite Explorerでインデックスのシグナルを確認する。

よくあるミスとその修正方法

• 重要なリソースをブロックするrobots.txt：robots.txtがレンダリングに必要なCSS/JSの取得を阻止することがある。対策：重要なアセットを許可するか、コアコンテンツはサーバーサイドレンダリングにする。

• 意図しないnoindexやX-Robots-Tagヘッダ：テンプレート、ステージングの設定、CDNエッジの設定でnoindexを付与するヘッダがないか確認する。curl -Iでヘッダを確認する。

• カノニカルの誤用：多数のページが誤ったcanonicalを指すと、優先すべきページがインデックスから外れる可能性がある。canonicalは最良の単一バージョンを指すようにする。

• 低価値ページの過剰インデックス（ファセットナビゲーション、薄いアーカイブなど）：canonical化、パラメータ処理、または低価値バリアントへの意図的なnoindexでインデックス可能な組み合わせを減らす。

• サーバーフォールバックのないクライアントサイドレンダリングに依存しすぎる：重要コンテンツが初期HTMLに現れるか迅速にレンダリングされることを確認する。そうでないとクローラーが必要なスクリプトを実行しなかったり、インデックスに時間がかかったりする。

実務的な監査チェックリスト

発見やインデックス問題を見つけて修正するための簡単な手順。重要なページやサイトセクションを上から順に確認していく。

1. 想定するcanonical URLがHTML内に出力され、サーバーのリダイレクトと矛盾していないか確認する。
2. ページやそのCSS/JSに影響するdisallowがないかrobots.txtを確認：curl https://example.com/robots.txt
3. レスポンスヘッダを確認：curl -I https://example.com/page として、X-Robots-Tag、ステータスコード、cache-controlの値を確認する。
4. ページHTMLのmeta robotsを検証：意図せずnoindexを残していないか確認する。
5. 自分が所有するページについては、URL Inspection（Search Console）で権威あるクロール・インデックス情報を確認し、Live Testで現在のレンダリング結果を確認する。
6. 内部リンクを確認：重要ページがグローバルナビ、カテゴリページ、文脈内コンテンツからリンクされ、クローラーが合理的な深さで到達できるようにする。
7. 重複・準重複コンテンツを監査：どのバージョンをインデックスするか決め、適切にcanonical化するかnoindexを使う。

2026年のコンテキスト更新（注意点）

Googleはモバイル版をクロールとインデックスの主要な基準としている。2024年7月以降、GoogleはデフォルトでGooglebot SmartphoneでSearchをクロールするようになった。Googleは2024年初頭に従来のキャッシュ表示を削除したため、'Cached'ビューはもはやトラブルシューティングの資源ではない。Search Generative Experience / AI Overviewsは多くのSERPで主流になっており、インデックスされていてもAI要約に必ず表示されるわけではなく、追加の選択・要約ロジックが使われる。

さらなるトラブルシューティングのヒント

ページがクロール可能でもインデックスされない場合は、サーバーログを確認してクローラーの取得試行とレスポンスコードを確かめる。サーバーログはクローラーが200、3xx、4xx、5xxのどのレスポンスを受け取ったか、どのユーザーエージェントが使われたかを示す。TTFBの遅延、頻繁な5xxエラー、または厳しいレート制限は再訪問頻度を下げる。

JavaScriptに依存したサイトでは、生のHTML（curl）とレンダリング後のDOM（DevTools）を比較して、特定のユーザー操作なしでは現れないコンテンツを見つける。重要コンテンツが操作を必要とするなら、クローラー向けにサーバーレンダリングまたはプリレンダリングしたバージョンを用意する。

クイックリファレンス：便利なツール

• Google Search Console（URL Inspection、Coverageレポート）。

• Rich Results Test と Schema Markup バリデータ（構造化データ用）。

• Chrome DevTools（Network、Performance、Elements）とヘッドレスレンダラー。

• ヘッダやコンテンツ確認にcurl、権威あるクロール記録にはサーバーログ、Bingのインデックス確認にはBing Webmaster ToolsのSite Explorer。

よくある質問

特定のページがGoogleにインデックスされているかどうかはどう確認する？

自分が所有するページについては、権威ある方法はGoogle Search ConsoleのURL Inspectionだ。クロール、インデックス、リッチ結果の適格性を表示する。第三者のページでは、site:オペレーターなどの公開シグナルは参考になるが決定的ではない。curlとレンダリング後のDOMでコンテンツとヘッダを確認する。

ページがクロールされているがインデックスされない場合、まず何を確認すべき？

まずnoindexのmetaタグやX-Robots-Tagヘッダ、別を指すcanonicalの競合、薄いまたは重複したコンテンツ、レンダリングを妨げるリソースを確認する。curl -Iでヘッダを調べ、URL InspectionのLive Testでレンダリング結果を確認する。

モバイルファーストインデックスはクロール性の監査方法を変えるか？

はい：監査はまずモバイル（スマートフォン）体験を優先する。Googleはモバイル版をクロールとインデックスの主要な基準として使うため、重要コンテンツ、構造化データ、内部リンクがモバイルUA下で存在し正しくレンダリングされることを確認する。

インデックスされていればAI OverviewsやSERP機能に必ず表示されるか？

いいえ。インデックスは検索結果に出るために必要だが、AI Overviewsやその他のSERP機能はさらに選定と要約のロジックを使う。構造化データ、コンテンツの明確さ、権威ある文脈は掲載される可能性を高めるが保証はない。