Technology

検証方法論

分析ツールの品質は、出力の見た目では判定できません。正解が分かっている対象に対して、正しく間違いを指摘できるかで測ります。

提供状況: 提供中

単一変数の原則

比較ページのペアは、同じ事実データ(fixture)を共有し、意図した1つの要素だけを変えます。回答位置、出典表示、構造化の有無、作成主体の明示といった要素を、それぞれ独立したペアとして持ちます。

2つ以上の差分があるペアは、スコアが動いた理由を説明できません。この制約はリポジトリの検証スクリプトで機械的に強制しており、差分が2つ以上あるとビルドが失敗します。

現在の比較ペア
グループ変える要素期待する関係
answer-position直接回答の位置(冒頭/末尾)冒頭のほうが回答明確性が高い
citation-presence出典の表示有無出典ありのほうが信頼性が高い
structure-mode見出し・箇条書きの有無構造化ありのほうが構造評価が高い
author-presence作成主体の表示有無表示ありのほうが主体性評価が高い

意図的な不備ページ

比較ペアとは別に、1ページにつき1つの典型的な不備だけを含む検証ページを用意しています。メタデータの欠落、見出し階層の破綻、構造化データと本文の矛盾、出典のない断定などです。

これらのページに何が仕込まれているかは公開していません。ページ側に「ここが不備です」と書いてしまうと、分析ツールがその記述を読んで正解してしまい、検出能力を測れなくなるためです。

注意/lab/ 配下のページは意図的に品質を落とした検証用コンテンツです。書かれている内容を実務の手本として参照しないでください。

期待値の扱い

期待値は公開ビルドから分離し、リポジトリ内の内部ファイルに置きます。ビルド後に成果物を走査し、内部期待値のキーが1つでも含まれていれば失敗させます。

アナライザが期待値を満たせなかったときに、期待値のほうを緩めることは変更として認めません。設計自体が変わった場合のみ、理由を記録したうえで期待値を更新します。

なぜ /lab/ をサイトマップに載せないのですか。

検証用の低品質ページは検索結果に出る必要がなく、公開サイトの評価対象にもしたくないためです。ただしクロール自体は許可しています。取得できなければ、ページ内のnoindexが機能しているかを確認できないためです。

robots.txt で拒否しないのはなぜですか。

robots.txt での拒否とページ内の noindex は別のテストケースだからです。robots.txt で拒否するとクローラーは本文を取得できず、noindexの記述を確認できません。この2つは独立して検証できる必要があります。

検証ページの不備内容は公開されますか。

公開しません。公開マニフェストにはケースID、経路、カテゴリ、変数などの識別情報のみを含め、期待される検出結果は内部ファイルに保持します。

Explore next

検証ケース一覧を見る

検証ケース一覧を見る

最終更新: