知的処理および演習 (2-2)

情報検索システムの評価指標

情報検索システムの評価指標

• 効率性 - 時間コストなど
• 有効性
  • 完全性 ... 再現率 $\mathrm{recall}=\frac{R}{C}$
  • 正確性 ... 適合率 $\mathrm{precision}=\frac{R}{N}$

R: システムが出力した適合文書数, C: 全適合文書数, N: システムが出力した文書数

• 情報検索 - 検索性能の評価 (Wikipedia)

Precision は精度と呼ぶ場合もある。正解率 (accuracy) とは異なる。

F値

• 再現率と適合率はトレードオフの関係
  • どちらを優先するかはチューニングが可能。
  • 片方の値を比較してシステムの優劣を判断することはできない。
• F値(F尺度; F-measure): 再現率・適合率を合わせて評価する指標
• F値は再現率 Recall と適合率 Precision の 調和平均 (逆数の算術平均の逆数)

$F=\frac{1}{\frac{1}{2}(\frac{1}{\mathrm{Recall}}+\frac{1}{\mathrm{Precision}})}$

再現率、適合率のどちらを重視するか

• システムの目的により異なる
  • 良質なものがいくつかあればいい場合は適合率重視
  • 漏れのないことが大切な場合は再現率重視
• 裁判所が有罪判決を出す場合には、冤罪を防ぐことが最重要なので適合率重視
• 新型コロナウイルスの水際対策(空港検疫など)で疑いのある人を隔離するのは、 実際に感染している人を100%逃さないことが目的であるので再現率重視

混同行列 (検索)

• 検索: 検索対象を「適合」「不適合」のいずれかに分類するタスク
  • 「適合」「不適合」のような分類 = クラス
  • 検索は 2クラス分類問題
• 混同行列(Confusion matrix): 分類結果をまとめた表

実際の クラス 判定	適合	不適合
適合	真の適合	偽の適合
不適合	偽の不適合	真の不適合

例 (再現率/適合率を求めてみよう)

実際の クラス 判定	適合	不適合
適合	真の適合: 70件	偽の適合: 10件
不適合	偽の不適合: 5件	真の不適合: 15件

混同行列 (一般)

2クラス分類では、一般には Positive/Negative (正/負) の2クラスで考えることが多い。

実際の クラス 判定	Positive	Negative
Positive	True positive(TP: 真陽性)	False positive (FP: 偽陽性)
Negative	False negative(FN: 偽陰性)	True negative(TN: 真陰性)

False positive (偽陽性)

適合していないものを、間違って適合していると判定すること。

False negative (偽陰性)

適合しているものを、間違って不適合なものと判定すること。

Web検索エンジンの評価

• Webのように検索対象の規模が大きい場合
  • 再現率は実質的に計算不能なので、近似的な評価をすることに

情報検索システムの評価方法

• テストコレクションによる評価
  • 正解のクラス(適合/不適合など)を人が付与したデータ集合を用いる評価
  • 検索にもいろいろな種類があるため、検索タスクごとにテストコレクションが用意される
• ワークショップとしての実施
  • 同一のテストコレクションを用いて、複数の組織が結果を出す
  • 結果について参加者が集まり議論
• 代表的なワークショップ
  • TREC (トレック)
    • Text REtrieval Conference (TREC) (公式)
    • TREC (Wikipediaの古い説明)
  • NTCIR (エンティサイル)
    • 情報検索システム評価用テストコレクション構築プロジェクト (NTCIR Project) (国立情報学研究所)