情報検索正解判定ガイドライン (version 981103)
          ---------------------------------------------

                                                    1998年11月3日

１．イントロダクション

このドキュメントはＩＲＥＸのＩＲの正解判定を行なう際のガイドラインを
示します。この内容は特に予備試験での正解判定作業を対象に考えられてお
り、最終的な本試験においては、予備試験の結果により変更の可能性があり
ます。


１．１．ＩＤ

それぞれの判定者にはＩＤをお渡しします。このＩＤと判定者の氏名の対応
は公開しません。(関根と井佐原のみが把握します。)
ＩＤは4桁で、番号は以下のような意味を持ちます。

   1**：  学生判定者
   2**：  上級判定者
   9**：  最終判定者

上級判定者がひとりの場合には、それがそのまま最終判定となります。
また、最終判定者のＩＤは(代表)上級判定者の一番上の数字を9から2に
変更したものをご利用ください。


２．判定結果

判定結果のレベルは以下の3種類があります。

    A：記事の主題が検索課題に関連している。
    B：主題ではないが記事の一部が関連する。または、なんらかの関連が
      ある。
    C：関連しない。


特に、判定に迷う場合には以下の基準を参考にしてください。

    A: その記事の主題を一文で表現した際に、検索課題がその一文の表現
      と密接に関係する事が明白であること。

    B: その検索課題でレポートを作成する事を要求された際に、その記事が
      参考になると思われるもの。

    C: その他。


３．学生判定の実施

３．１．学生判定者の場合の"?"について

学生判定は、それぞれの判定結果が不安な場合には、それを表明できます。
それぞれ、A?,B?,C?で表現します。つまり学生は以下の6種類の判定をして
もらいます。。

    学生  A ：記事の主題が検索課題に関連している。
          A?：Aだと思うが不安
          B ：主題ではないが記事の一部が関連する。または、なんらかの関連がある。
          B?：Bだと思うが不安
          C ：関連しない
          C?：Cだと思うが不安

ただし、？があまりに多くなる事を避けるため、？の付く判定の結果の目安
は約5%(20記事に1つ)以下とします。ただし、結果の正確さの方が重要である
ため、本当に不安であるのに無理して判断する必要はありません。


３．２．独立した判断、判断の一貫性

他の人と相談する事なく独立して、一貫性を保った判定を行なってください
。特に同じ団体に数名の判定者がいる場合には、同じ課題を配布する事があ
りますが、同じ課題を判定している人とは、判定が最後まで終るまでは相談
しあわないで独立に行なってください。迷ってしまう判定は必ず存在すると
思いますが、それに対し「正しい判定」を追及するよりも、同じように迷え
る物には同じ判定を行なうという一貫性の方が大事です。


３．２．期間、報酬

予備試験では20時間までのアルバイト料を用意してありますので、その範囲
内でできるだけお願いします。アルバイト料(時間)の請求は自己申告制とし
ます。実際にかかった時間を測定しておいてください。判定プログラムは各
判定の時間を測定し、ファイルに記録します。これは、判定の難しさを計る
という研究が目的であり、アルバイト料の計算のためではありませんが、こ
の時間があまりにも申告した時間と異なる場合には調査を行ないます。


４．上級判定の実施

４．１．判定の種類

上級判定では、？の使用は許されません。何かひとつ選んでください。また
、ツールを使うと学生判定の結果を条件式にに通して自動判定が可能です。
すべての学生判定が同一であった場合には、その判定をそのまま利用する事
を推奨します。(ツールの使い方についてはマニュアルを御覧ください。)

４．２．最終判定

上級判定者がひとりの場合にはそれがそのまま最終判定となります。複数の
場合には、上記同様、ツールを利用して一部は自動的に判定できますが、最
終的にはすべての結果をひとつにしてください。