クロール診断

解決したい混乱

「検索結果に出ない」という症状には、取得できていない、取得できているが除外されている、取得も索引もされているが評価が低い、という異なる原因が含まれます。原因層を特定しないまま施策を重ねると、効果の有無を判定できません。

クロール診断では、症状を取得層・索引層・評価層に分解し、どの層で止まっているかを先に確定させます。

状況この診断は開発中です。判定ロジックは AiventX Web Lab の /lab/ 検証ケースで回帰テストしながら整備しています。

取得層の確認項目

クローラーが実際に受け取るものを、ブラウザ表示と分けて確認します。

索引層の確認項目

取得できている前提で、除外の指示が出ていないかを確認します。robots.txt で拒否されているページの meta noindex は読まれないため、この2つは必ず別のテストケースとして扱います。

• meta robots と X-Robots-Tag の重複・矛盾
• canonical の自己参照／他ページ参照／欠落／チェーン
• サイトマップ収録と索引方針の整合
• 重複本文とパラメータ違いURLの扱い

進め方

診断は固定の手順で行い、判断の根拠を記録に残します。

1. 対象URLの確定

   サイトマップ、内部リンク、実際のログから対象URL集合を作ります。

2. 取得結果の記録

   ステータス、レスポンスヘッダー、初期HTMLを保存します。

3. レンダリング差分

   JavaScript実行前後で本文とリンクがどう変わるかを比較します。

4. 信号の突合

   robots、canonical、サイトマップ、内部リンクの指示が一致しているかを確認します。

5. 原因層の確定

   取得・索引・評価のどこで止まっているかを明示し、改善順序を決めます。

提供状況

現在は AiventX 内部の検証環境に対して実行しており、外部サイトへの提供時期は未定です。判定精度は /lab/ の検証ケースで継続的に測定しています。