Research
AIO評価の難しさは、指標を作ることではなく、その指標が実際の挙動と対応していることを示す点にあります。現時点で検証できている部分と、まだ観測にとどまる部分を分けて記載します。
提供状況: 実験的
評価軸は、ページ単体で判定できるものと、外部の応答を観測しなければ分からないものに分かれます。前者は回帰テストの対象にし、後者は観測記録として別に扱います。
| 軸 | 内容 | 検証方法 | 決定的か |
|---|---|---|---|
| 取得可能性 | 本文と主要回答に到達できるか | 静的HTML／描画後DOMの比較 | 決定的 |
| 回答性 | 質問に対する回答が明示されているか | 比較ペアによる相対評価 | 決定的 |
| 根拠性 | 出典・作成主体・更新日が主張に対応するか | 比較ペアによる相対評価 | 決定的 |
| 一貫性 | 本文・構造化データ・メタ情報が矛盾しないか | 意図的な矛盾ページでの検出率 | 決定的 |
| 外部応答 | 実際のAI検索が引用するか | 固定プロンプトによる時系列観測 | 非決定的 |
同一の事実データを使い、1要素だけを変えた比較ページ群では、構造の有無や回答位置の違いが抽出結果に明確な差として現れます。これはツール側の判定ロジックの検証には十分です。
一方で、この差が実際のAI検索の引用可否にどの程度対応するかは、まだ結論を出せる段階にありません。外部応答は同じ入力でも変動するため、単発の観測から因果を主張しません。
注意このページは実験的な整理であり、確立された評価基準を示すものではありません。外部AIの挙動に関する断定的な主張は行いません。
フェーズ7で、固定したプロンプト集合に対する応答を時系列で記録し、ページ変更との対応を観察する予定です。観測結果は合否判定には使わず、傾向の記録として保持します。
Explore next
最終更新: