クロール挙動テストマトリクス

収録内容

4軸の組み合わせを行として並べ、各行に「期待される取得結果」「期待されるインデックス状態」「本文取得にJavaScript実行が必要か」を記録します。

使用上の注意

robots.txt での拒否と meta noindex は、必ず別の行として扱ってください。robots.txt で拒否したページはクローラーが本文を取得できないため、そのページ内の noindex が機能しているかを確認できません。この2つを1行にまとめると、検証が成立しなくなります。

注意レスポンスコードや遅延を伴う検証は、静的ホスティングだけでは再現できません。エッジ側の実装が必要です。