* フォーマット + SGMLタグと内容の間等の不要なスペース、改行はなくした方がいい。 * 辞書項目 + 機械可読な辞書項目は現実に即していないのでなくした方がいい。 + 検索課題が曖昧にならないために、辞書や同義語は検索要求説明に書く。 * 検索課題 + 項目、その内容はBMIRにしたがう。 * 予備実験と本実験 + 予備実験の際は、BMIRなどで使われている既知の検索課題を用いるかも しれない。正し、BMIRの検索課題には著作権(情報処理学会)が付いている。 + 本実験では、未知の課題にする。課題を誰がどのように決めるかは、 予備試験後きちんと決める。 + 予備試験は、コンテストそのものが機能するか。例えば、データの交換や正解 の作成、参加者にとっては、やる作業の認識、システムの動作確認、それから 関根にとっては、質問文の作成、情報の交換、そういった目的でやるのあって、 スコア等は気にしていません。 * BMIRの検索要求 + 私は権利の問題をクリアして、BMIR-J2の検索要求のいくつかをトレーニングデータ として使いたいと思います。場合によってはスコアに関係ない参考データとして、オ フィシャルランデータにも含めてはどうかと思っています。一番の興味は、BMIRで作 成した正解の信頼性がいくらか判断できること、また、IREXでも正解を作成して もらえば、作成方法と結果の違いをBMIRと比較して考察すると意味があると考えるか らです。また、BMIRが新しいテストコレクションの構築に貢献することになり、宣伝 にもなります。 権利の問題については、皆さんと相談させていただいて、情報処理学会とRWCに お願いしようと思います。 * 用語 他との整合性を考えIREXでは以下のようにする。 ---------- TREC/NACSIS BMIR NACSIS(日本語) IREX(タグ) IREX(日本語) topic (検索要求) 検索課題 topic 検索課題 title タイトル description 検索要求(行) 検索要求 description 検索要求 narrative 検索要求説明(行) コメント narrative 検索要求説明 concepts 概念 --- --- その他(日本語訳) information need 情報要求 search request 検索要求 serach statement 問合せ query 問い合わせ(DB?)、検索質問、検索式、検索条件(?) structured query 検索式、検索条件(?) lnatural language query ? ----------