JavaScript描画とクローラーの距離

結論

主要な回答が初期HTMLに含まれているかどうかは、確認しておく価値があります。含まれていれば取得は確実です。描画後にしか現れない本文は、取得されることもされないこともあり、その差を運用側で制御できません。

確認方法

ブラウザの表示だけを見ていると、この差は見えません。取得内容と表示内容を分けて確認します。

1. 初期HTMLを取得する

   JavaScriptを実行せずにレスポンス本文を保存します。

2. 主要回答を探す

   そのページの主質問に対する回答が、初期HTMLの中にあるかを確認します。

3. 描画後DOMと比較する

   JavaScript実行後のDOMとの差分を取り、何が後から現れるかを列挙します。

4. リンクの差を見る

   描画後にしか存在しない内部リンクがないかを確認します。

影響の出方

描画依存の度合いによって、影響の出る場所が変わります。

検証環境での扱い

AiventX Web Lab では、描画方式の違いを独立した検証ケースとして持っています。静的、描画後、遅延、操作要求を分けているのは、症状が同じでも原因層が違うためです。

現在はフェーズ1のため静的ページが中心で、遅延やHTTPステータスを伴うケースはエッジ側の実装が必要になるフェーズ2で追加します。