サンプルシステム
                      ----------------


このディレクトリにはサンプルＩＲシステム(SimpleIR.perl)の結果を使用
してＩＲＥＸのＩＲの評価がどのように行なわれるかを説明します。


1. まず、サンプルシステムを「国連軍の派遣」の課題に走らせます。

  > SympleIR.perl 国連 国連軍 派遣 > dryrun1003_1199.irt


2. この結果提出ファイルをTRECフォーマットに変換します。

  > $IREX_ROOT/IR_TOOLS/bin/irex-kekka-trec -f dryrun1003 dryrun1003_1199.irt


3. 正解ファイル(sample_judge_1003.irj)をTREC形式に変換します。
  (このファイルは学生判定のひとつが入っているだけであり、最終判定
   結果とは異なります。)

  > $IREX_ROOT/IR_TOOLS/bin/irex-seikai-trec -f sample_judge_1003a.trj -a sample_judge_1003.irj
  > $IREX_ROOT/IR_TOOLS/bin/irex-seikai-trec -f sample_judge_1003b.trj -b sample_judge_1003.irj


4. TRECのスコアラをインストールします。
  (スコアラは、IREXのIRのホームページにリンクがあります。
   trec_eval.hの9行目と10行目を以下のように書き替えてからmakeを
   してください。

    #define NUM_CUTOFF  8
    #define CUTOFF_VALUES  {5, 10, 15, 20, 30, 100, 200, 300}


5. スコアラを走らせます。

     trec_eval sample_judge_1003a.trj dryrun1003_1199.trt > dryrun1003_1199_a.scr
     trec_eval sample_judge_1003b.trj dryrun1003_1199.trt > dryrun1003_1199_b.scr


6. スコアラの結果が以下のファイルに作成されました。

     dryrun1003_1199_a.scr : A, A? を正解とした場合
     dryrun1003_1199_b.scr : A, A?, B, B? を正解とした場合