知的処理および演習 (2-1)

情報検索とは

本日のゴール

• 情報検索の概念を知る
  • 情報要求の4階層
• 情報検索システムの評価方法を知る
  • 精度・再現率

復習: 情報推薦と情報検索

• 情報推薦
  • 個人の属性や行動履歴をもとに勝手に推薦してくる
  • 個人化(personalize)されている
• 情報検索
  • 検索語を入力すると検索対象(Webページなど)が示される
  • 個人化されていないことが多い

能動的/受動的な情報アクセス

• 探して取り出す - 能動的
  • 検索 (retrival) - 検索要求をシステムに与える
  • 目的とするタスクがある
• やってくるものを受け取る - 受動的
  • 流れてくる情報を眺める
    • とりあえずテレビをつける
    • とりあえずニュースサイトを見る
    • とりあえずはてなブックマークの人気エントリを見る
    • フィードリーダで流れてくるものを見る
    • X (Twitter) のタイムラインを見る
  • 目的は日々の情報収集、ひまつぶし
  • cf. フィルタリング (filtering) - やってくるものを絞り込む

能動的 - 情報検索

検索要求(検索語など)を自分で考える。

検索要求はさまざま。

• 富士山の高さについて書いてあるWebページはどれ？ → Web検索
• 富士山の高さは何メートルかな？ → 質問応答システム（事実を扱う）
• 集団的自衛権の論点は何かな？ → 質問応答システム（議論を扱う）
• 自分が買うべきデジカメは？ → 推薦システム
• おじいちゃんは元気かな？ → 見守りシステム？
• 自分はいったい何者？ → 街の占い師？

Web検索は直接の解を与えない。もっと高いレベルの要求に応えたい。

ユーザが情報を利用する目的

• ユーザが検索するのは、なんらかの情報が必要なとき
  • 一般には、なにか問題があり、それを解決するために必要な情報を検索
• ユーザが、なにか情報が必要だと感じる時、それを「情報要求」の状態にあるという。

情報要求 (information need)

ユーザがある目的を達成するために現在持っている知識では不十分であると感じている状態

• これをさらに分類したものに、Taylor による情報要求の4階層がある

情報要求の4階層 (Taylor, 1968)

Q1: 直感的要求

現状に満足していないことは認識しているが、それを具体的に言語化してうまく説明できない状態

Q2: 意識された要求

頭の中では問題を意識できるが、曖昧な表現やまとまりのない表現でしか言語化できない状態

Q3: 形式化された要求

問題を具体的な言語表現で言語化することができる状態

Q4: 調整済みの要求

問題を解決するために必要な情報の情報源が同定できるくらい問題が具体化された状態

• どの状態にあるかによって問題解決のための戦略も異なる

情報検索へのアプローチ

情報検索 (広義)

ユーザの持つ問題(情報要求)を解決できる情報を見つけだすこと

情報検索 (狭義)

ユーザの検索質問(query)に適合する文書を文書集合の中から見つけだすこと

• Web検索エンジンは狭義の情報検索を実現するもの
  • 情報要求は Taylor の Q4 の段階まで具体化されていないと検索質問をつくれない
  • 結果として出力するのはページ集合であり、問題の答えではない
• ChatGPTなどの対話型AIサービスはより上位の要求に対応できる

参考: 対話型の検索エンジン

• 広義の情報検索を実現するための手法としては、 ユーザのフィードバックにより検索の方向性を変えていく方法や、 対話型システムなどがある。
• 検索結果を分類し、さらに絞り込めるようにする検索エンジンが実用化されている(流行らなかった)。
  • Carrot²
  • Yippy
  • Google (検索ツール - ワンダーホイール) -> 提供終了
  • Googleニュース (参考: 同一トピックの記事を自動でまとめる)
• どのような検索要求なら有効か？ どの程度の精度があれば実用になるか？

情報検索と個人化

パーソナライズド検索

同じクエリでも人によって求める情報が異なる。

• ログインして Google 検索, Google Maps
• 検索結果を過去の検索履歴や現在位置で調整
• 検索であるが個人化(personalization)していて情報推薦的

情報の蓄積と利用

情報はどこから探す? 蓄積されたものから。(探偵ではないので)

多くの情報がすでに蓄積され、また、日々蓄積され続けている。

• 図書館の蔵書 (出版物)
• Web - 一般サイト、掲示板、ブログ、ソーシャルメディア
• 官公庁・企業の持つデータ
  • 企業では社内の膨大なデータを検索したりマイニングしたりしている。
  • 官公庁では、オープンデータ(ex. LOD)としてデータを公開する流れがある。

Webのアーカイビング

過去のWebも歴史的遺産として保存。

• Internet Archive "Wayback Machine" (1996年より)
  • Microsoft (日本) 公式ページ (1996年11月11日)
  • 電大公式ページ (1996年11月2日)

オープンデータ

• 誰でも自由に使えて、かつ再配布できるようなデータ。
• 形式が重要
  • 5★オープンデータ
  • オープンデータの5つの段階とデータ形式 (総務省)
  • Linked Open Data (LOD) - データ間の意味的な対応付けを実現
    • Webの全てをデータベースにするLinked Open Data（LOD）とクエリ言語SPARQLの基礎 (@IT)
• 日本では、政府など行政機関が持つ公共データの公開を指すことが多い。
  • 防災・減災情報などがクローズアップされているが、本来多様なもの。
  • オープンデータ (デジタル庁)
  • データセット (e-govデータポータル)
  • 活用することで、新ビジネスの創出、行政の効率化などが期待できる。

情報の収集

検索対象(検索されるもの)

• Web検索: なるべく多くのWebページ
• 生成AI(LLM): それ+α

クローラ: Webサイトの情報を収集

• 検索エンジン
• 生成AI (事前学習用・追加情報用)

Web APIで得られる情報も一部収集。

生成AIと検索

ChatGPTをWeb検索の代替として使う人が増えている。検索はオワコン？

ChatGPT などの対話型AIサービスの問題点

• 最新の情報を持っていない
• 公開されている情報しか持っていない

LLM (Large Language Model; 大規模言語モデル)

• 大規模なデータセットにより言葉の使われ方を事前学習
  • データサイズ: GPT-4 で10兆トークン(推定)
  • データソース: 主にWeb上のデータ
• 学習データを逐次追加できる仕組みではない
• モデル全体が更新されるまで新しい情報は入らない

新しい情報は検索で探せばいいのでは？

RAG: 生成AIによる検索

RAG (Retrieval-Augmented Generation; 検索拡張生成)

生成AIが外部の情報を取得して答える。

• Web検索をして最新の情報を取得
• Webにないデータをデータベースから取得

Agentic RAG (エージェント型RAG)

• 検索して得られた結果が十分かを判断
• 不十分であればクエリを修正して再検索
• 複雑な質問に対応 (例: 複数の商品を調べて比較)