IERX・第1回打ち合わせ議事録　　 　 　　　　　　　　　　　　　　　　　　(財)計量計画研究所 言語情報研究室 木田敦子 補足修正 ニューヨーク大学 関根聡 ----------------------------------------------------- 0 第1回打ち合わせ 1 運営に関する報告 2 内容について 　　　評価について 　　　コンテストの形式について 　　　正解例作成について 　　　予備実験（ドライラン）について 　　　IREXに関わるメンバー 課題、将来への期待 3 今後のミーティング ----------------------------------------------------- 0 第1回打ち合わせ 日時：平成10年5月29日10:00〜12:15 場所：学術情報センター出席者：江里口、(NTTデータ通信)、小川(リコー)、神門(学術 情報センター)、木谷(NTTデータ通信)、酒井、住田(東芝)、関根(ニューヨーク大学)、 西野(富士通研究所)、野口(松下電器)、野畑(東京大学)、藤井(図書館情報大学)、若尾 (通信・放送機構)(五十音順、敬称略)、木田(計量計画研究所) 議題：・運営に関する報告 　　　・IREXの内容についての検討 1 運営に関する報告 ・顧問 　　・決定　　：長尾先生 　　・依頼予定：田中穂積先生(東工大)、Mr.Grishman(NY大)、石川先生(図書館情報大) ・学会関係 　　・人工知能学会から援助が出そうである。 ・ワークショップ補助という形式で援助を受けたい。 　　・ワークショップを人工知能学会と併設することを検討する（時期を確認）。 ・評価の日程 (評価＝参加者が答えを作るために検索システムを走らせる作業) 　　・HPでは1998年12月頭としているが、半年ほど延期する。 　　　 −1999年4月中のゴールデンウィークから1週間以上離した時期とする。 　　　 −正式日程はワークショップの併設を考えている人工知能学会の日程を見てから 　　　　 決定 2 内容について ◇ 評価について ・期間と日程 　　日程：NEの評価をIRよりも早い時期に行う 　　期間：IR…1週間ぐらい ／ NE…3日間ぐらい 　　　［意見］期間中に予備日として土曜、日曜を含めて欲しい。 　　　　　　　IRの方が時間がかかるので、先にIRの評価を行う方がよい。 ・評価の方法 　　IR：300記事程度を各参加者に提出してもらう。 100記事程度が正解になる質問文(query)にする。 TREC型のqueryに辞書的なの情報を足したものとする。 　　NE：トピック限定、トピックフリーの二種について行う。 　　　評価に使う記事は、トレーニングに使用してはならない。　 （９５年の後半を予定） ◇ コンテストの形式について ・コンテストの宣伝について 　　(a)新聞にIREXの記事を載せて、一般にもオープンにする。 　　(b)学会の中だけで行う 　　　［意見］(a)は「企業の宣伝に使ってはいけない」というスタンスと矛盾しない か。 　　　　　　　(a)は数値重視になるのではないか。 　　　　　　　→全体として、(b)を支持する傾向。素人は数値を重視するので、オー プンにすることは数字の一人歩きにつながり危険だから。 ・記名式とする。 　（無記名方式にすると数値を出せないので、論文が書きにくい） ・毎日新聞のデータにはキーワードがついているが、それを使わないという協定を守っ て欲しい。（SGML形式に変換するツールがあるので、そのツールで変換したデータだ けを使って欲しい） 　　　［意見］キーワードを使ってもいいのではないか。 ・［意見］学会が中心になって運営してくれる方が企業としては動きやすい。 ・作成したデータは公開するが、参加者と非参加者の差を作ることが望ましい。 これは、参加者には、各団体の個別データをも配布するという形でできるのではないか。 ◇ 正解例作成について ・学生に依頼する方向で考えている 　　　［意見］サーチャーの経験者を集めた会社があり、そこに依頼することも可能。 ただし、高い。 複数の人に作らせるなら、正解作成後に、作成者同士話し合いを持たせ、 判断の食い違いを解消させるのも有効な手段である。 ◇ 予備実験（ドライラン）について ・IRは、年末までに予備実験をする。そのための質問文を11月までに用意する。 ・予備実験では、質問の数は少なくし、それに対して解答が多く出るようなものにす る。 ・予備実験の解答を見て、その後の方針を考える。 ・予備実験までの予定 　　　　6月いっぱいまで：定義などのたたき台を作る 　　　　9月まで　　　　：たたき台をもとに議論 　　　　11月　　　　　 ：予備実験 ◇ IREXに関わるメンバー ・現在、ミーティングの参加者も含め、２０団体程度から参加への 前向きな意向をいただいている。 ◇ 課題、将来への期待 ・今回は将来への最初のステップとしての意義を持つ。 ・IREX2では、より多くの課題を含め大きく成長させたい。 ・評価の方法を検討する必要がある。（再現率、適合率だけではないはず） −＞将来への課題としたい。 3 今後のミーティング ・予備実験の結果、集まる必要があるようなら行う。