BABYL OPTIONS: Version: 5 Labels: Note: This is the header of an rmail file. Note: If you are seeing it in rmail, Note: it means the file has no messages in it.  1, filed,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id LAA07428; Fri, 8 May 1998 11:39:43 -0400 Received: from NONKI.CS.NYU.EDU by cs.nyu.edu (SMI-8.6/1.20) id LAA02047; Fri, 8 May 1998 11:39:42 -0400 Received: by NONKI.CS.NYU.EDU (4.1/1.30) id AA17247; Fri, 8 May 98 11:38:21 EDT Date: Fri, 8 May 98 11:38:21 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) Message-Id: <9805081538.AA17247@NONKI.CS.NYU.EDU> To: sekine@cs.nyu.edu, isahara@crl.go.jp Subject: IREX Content-Type: text Content-Length: 1540 *** EOOH *** Return-Path: Date: Fri, 8 May 98 11:38:21 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) To: sekine@cs.nyu.edu, isahara@crl.go.jp Subject: IREX Content-Type: text Content-Length: 1540 ＮＹＵの関根です。 先日、ワシントンで行なわれたＭＵＣ／Tipsterの会議に出てきました。 今回は新しく要約のコンテストが加わり、多くの参加者から色々な技術を 基にした面白い発表がありました。もちろん、検索のTRECや抽出のMUCも 色々と楽しい者がありました。(ＮＬ研究会に向けてまとめを書こうと 日本人参加者の中で話がまとまりましたので、できたら見てください。) で、前々から日本でもこのようなコンテストがあったら楽しいのになと 思っていたのですが、そのような話を通信総研の井佐原さんとしていた所、 井佐原さんも昔から興味があったようで、資金を提供するので、そのような コンテストをやろうという話になりました。私も井佐原さんも、コンテストを 主催するという点では、いい立場にいると思うので、僕等は縁の下の力持ちに なって、色々な大学、研究機関、企業に参加してもらって、コンテストが 開けたらと考えています。 とりあえず、時間と資金上の制約から、コンテストは情報検索(TREC)と 情報抽出の基礎的技術である固有表現(組織名、地名、人名など,MUC/NE)を 抽出するという2テーマを考えています。 この話の叩き台をホームページに書きましたので、是非見てください。 (http://cs.nyu.edu/cs/projects/proteus/irex) 参加してもらいたいというのはベースラインですが、興味あれば、 実行委員になってもらい、色々と助けてもらえるとありがたいです。 また、近くに興味のありそうな人がいましたら情報を回してください。 くったくのない意見をいただけるとありがたいです。 どうぞよろしくお願いいたします。 関根  1, filed,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id LAA05688; Tue, 12 May 1998 11:40:14 -0400 Received: from NONKI.CS.NYU.EDU by cs.nyu.edu (SMI-8.6/1.20) id LAA20249; Tue, 12 May 1998 11:40:08 -0400 Received: by NONKI.CS.NYU.EDU (4.1/1.30) id AA18650; Tue, 12 May 98 11:38:28 EDT Date: Tue, 12 May 98 11:38:28 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) Message-Id: <9805121538.AA18650@NONKI.CS.NYU.EDU> To: sekine@cs.nyu.edu, isahara@crl.go.jp Subject: IREX Content-Type: text Content-Length: 3599 *** EOOH *** Return-Path: Date: Tue, 12 May 98 11:38:28 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) To: sekine@cs.nyu.edu, isahara@crl.go.jp Subject: IREX Content-Type: text Content-Length: 3599 ＮＹＵの関根です。 ＩＲＥＸに関し返事をいただいた方ありがとうございました。 前のメイルは約30人の方に出したのですが、1/3くらいの方から前向きな (大部分は非常に前向きな)返事をいただきました。ありがとうございます。 返事を見ていると、このようなコンテストへの期待が感じられますし、 皆様の協力の基、成功裏にコンテストを行なえると確信いたしました。 どうぞよろしくお願いいたします。 質問などにまとめて返事をしようと思います。 まずは、メイリングリストの開設の案内です。ＩＲＥＸに関するメイリング リストを開設します。来週から運営したいと思いますので、メイリングリストに 参加したい方はsekine@cs.nyu.eduまで申し出てください。 このメイルを直接受け取ってない方も歓迎です。 URLをもう一度、http://cs.nyu.edu/cs/projects/proteus/irex 以下、皆様からいただいた質問への回答です。 - 予算、日程と実現可能性 予算は正直言って限られています。最初はＭＵＣのような情報抽出もやりたい と考えていたのですが、予算(及び時間)の都合上、今回は諦めました。 ホームページにある課題と日程は、実現可能であると考えています。 唯一の心配はアルバイトの確保ですが、これはどうにかなると思っています。 (今から今年末のアルバイトを確保する訳にもいきませんし) - 実行委員の仕事 基本的に、基準作りの議論に参加していただきたいと思っています。 その他、全体の方向や、将来についての意見をいただければ幸いです。 (もちろん、解答作りなどの仕事を手伝っていただければありがたいです。) - BMIRとの関係 立案段階からBMIRの中心人物の一人であるＮＴＴｄａｔａの木谷さんには 色々相談させてもらっています。また、学情の神門さんからもノウハウや色々な情報 をいただいています。基本的にBMIR自身をそのまま使う事は(答が知られているので) 難しいですが、例えば、質問文を参考にさせてもらったり、そのデータ自身を システム開発用のデータとして利用する事はできると思います。 BMIR開発者の方々、開発御苦労様でした。非常に有益なデータですし、 色々な点で参考にさせていただきたいと思います。 - MUC/TRECとの関係 彼等からの資金提供といった話は、グリッシュマンによると、「可能だと思うよ」 という事ですが、アメリカ政府のお金を使うのも嫌なので遠慮しました。 また、先日のTipsterの会議で、「TRECの一部としてやれば」とORDの人などに 言われましたが、彼等の日程は来まっていますし(夏に実施)、今回は少なくとも 一緒にはやりません。(と言ってもTREC,MUCの次回はなさそうです。Tipsterは この秋に終了します。) ただ、グリッシュマンには、顧問になってもらう約束をもらいました。 (グリッシュマンはＭＵＣのco-chairで私の上司です。) - タスクについて ＮＥの定義は、ＭＥＴの定義を改良するというのが課題ですが、 先日、Ｔｉｐｓｔｅｒの会議に参加した日本人で深夜すぎまで 議論して、ほぼ叩き台となるに十分なものはできたと思います。 (あと、僕が活字にするという作業がありますが) 検索については、BMIRの経験や、TRECの話を参考に考えています。 - データの公開について 作成したデータは基本的には公に公開したいですが、コンテストへの参加を 促すためにも参加者と非参加者の間で、なんらかの差をつけたいと思っています。 (何か妙案ありませんか？) - 将来の方向 私も井佐原さんも、今回のコンテストは将来の大きなコンテストの為の 緒になればというスタンスです。ＭＵＣもそうやって大きくなってきて います。その他、ＮＥＣの村木さんや、沖の福本さんからも、将来への 助言をもらっています。是非、今回のコンテストを成功させて、大きくして いきたいと思っています。  1,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id AAA00059; Thu, 14 May 1998 00:09:22 -0400 Received: from tjms1f.is.s.u-tokyo.ac.jp by cs.nyu.edu (SMI-8.6/1.20) id AAA14936; Thu, 14 May 1998 00:09:21 -0400 Received: from is.s.u-tokyo.ac.jp (pigeon [133.11.7.70]) by tjms1f.is.s.u-tokyo.ac.jp (8.8.8/3.6W) with ESMTP id MAA18863; Thu, 14 May 1998 12:57:17 +0900 (JST) Message-Id: <199805140357.MAA18863@tjms1f.is.s.u-tokyo.ac.jp> To: sekine@nonki.cs.nyu.edu Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu Subject: Re: IREX In-Reply-To: Your message of "Wed, 13 May 98 08:16:57 EDT" References: <9805131216.AA20056@NONKI.CS.NYU.EDU> X-Mailer: Mew version 1.54 on Emacs 19.28.1, Mule 2.3 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Thu, 14 May 1998 12:49:34 +0900 From: TSUJII Junichi Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 1143 *** EOOH *** Return-Path: To: sekine@nonki.cs.nyu.edu Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu Subject: Re: IREX In-Reply-To: Your message of "Wed, 13 May 98 08:16:57 EDT" References: <9805131216.AA20056@NONKI.CS.NYU.EDU> X-Mailer: Mew version 1.54 on Emacs 19.28.1, Mule 2.3 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Thu, 14 May 1998 12:49:34 +0900 From: TSUJII Junichi Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 1143 辻井です。 井佐原 さんとあったときにも、いったのですがいまのままのCompetition には、negativeです。 この種のCompetitionは、研究にとって有益な方向づけする点と、逆に あまり望ましくない方向にひきづる点があります。アメリカがCompetitionを 始めたころは、それまでの非常に分散化した（したがって、比較できない）研究 をまとめていくとか、理論にかたより過ぎていた研究を実際の技術にまで高める、 という意味では、positiveだったのでしょうが、個人的な意見としては、 現時点では、negativeな面が大きくなっていると思っています。 この種の研究や、Competitionを意味がないものとして排除する気はありませんし、 うまくやれば研究成果もあがるでしょうから、野畑 君が実行委員として参加し、 成果をあげることを援助するつもりですが、 > ただ、辻井先生には顧問になっていただけるとありがたいです。 は、上記の意見から、この種のcompetititionを積極的にpromoteするのは、誠実で ない気がしますので、遠慮します。これは、strongly againstというより、 passive or neutralという意味に解釈してください。 辻井  1, filed,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id IAA01771; Thu, 14 May 1998 08:17:10 -0400 Received: from NONKI.CS.NYU.EDU by cs.nyu.edu (SMI-8.6/1.20) id IAA17359; Thu, 14 May 1998 08:17:06 -0400 Received: by NONKI.CS.NYU.EDU (4.1/1.30) id AA20690; Thu, 14 May 98 08:16:50 EDT Date: Thu, 14 May 98 08:16:50 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) Message-Id: <9805141216.AA20690@NONKI.CS.NYU.EDU> To: tsujii@is.s.u-tokyo.ac.jp Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu, isahara@crl.go.jp In-Reply-To: TSUJII Junichi's message of Thu, 14 May 1998 12:49:34 +0900 <199805140357.MAA18863@tjms1f.is.s.u-tokyo.ac.jp> Subject: IREX Content-Type: text Content-Length: 2748 *** EOOH *** Return-Path: Date: Thu, 14 May 98 08:16:50 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) To: tsujii@is.s.u-tokyo.ac.jp Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu, isahara@crl.go.jp In-Reply-To: TSUJII Junichi's message of Thu, 14 May 1998 12:49:34 +0900 <199805140357.MAA18863@tjms1f.is.s.u-tokyo.ac.jp> Subject: IREX Content-Type: text Content-Length: 2748 関根です。 色々と御指摘ありがとうございます。 この種のCompetitionは、研究にとって有益な方向づけする点と、逆に あまり望ましくない方向にひきづる点があります。アメリカがCompetitionを 始めたころは、それまでの非常に分散化した（したがって、比較できない）研究 をまとめていくとか、理論にかたより過ぎていた研究を実際の技術にまで高める、 という意味では、positiveだったのでしょうが、個人的な意見としては、 現時点では、negativeな面が大きくなっていると思っています。 これは、現時点のアメリカの状況という意味でしょうか？ 現時点の日本の状況という意味でしょうか？ 前者の意味でかつ 情報抽出の話に限れば、辻井先生の意見に完全に同意します。 技術的課題の浸透、技術内容の収束状況を見ていると、 グリッシュマンには悪いですが、これ以上、同じテーマで 大勢が参加した競争としてやっていく意義はあまり感じられません。 (実際に終ってしまう予定ですし。) ただし、アメリカの状況でも、情報検索や要約は、まだまだ面白い 状況にあります。問題点の認識や技術の方向も発展的ですし、 今回のTipsterで話された要約の話では、色々な技術が使用され 集まって同じ課題でやっていく意味は十分にあると思います。 日本の状況は、情報抽出においては、未にそれが何を意味するのか 定まっていませんし(当然ながら、アメリカの定義をそのまま持ち込む 必要はありません。皆で知恵を出しあって考えればいい訳です。)、 情報検索や要約にしても、発散的、発展的な状況にあると思いますので、 何か、それらをひきつけるボンドのようなものがあったら効果的だと 思います。(何もコンテストが唯一の方法とは思いません。先日の 志賀の島のワークショップ、ＢＭＩＲなんかも非常にいい方法だ と思います。) もし、よければ、辻井先生の言われるnegativeな面の具体的な内容を お教えいただけないでしょうか？ この種の研究や、Competitionを意味がないものとして排除する気はありませんし、 うまくやれば研究成果もあがるでしょうから、野畑 君が実行委員として参加し、 成果をあげることを援助するつもりですが、 どうもありがとうございます。 彼は非常にやる気になっています。 彼の能力ならば、12月までに間にあわせられると思います。 > ただ、辻井先生には顧問になっていただけるとありがたいです。 は、上記の意見から、この種のcompetititionを積極的にpromoteするのは、誠実で ない気がしますので、遠慮します。これは、strongly againstというより、 passive or neutralという意味に解釈してください。 分りました。 これからも、色々と御意見をいただければ、ありがたいと思います。 関根 # 辻井先生からのメイルをＩＲＥＸのメイリングリストで # 紹介して構わないでしょうか？  1, filed, answered,, Summary-line: 15-May tsujii@is.s.u-tokyo.ac.jp #Re: IREX Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id EAA10757; Fri, 15 May 1998 04:45:40 -0400 Received: from tjms1f.is.s.u-tokyo.ac.jp by cs.nyu.edu (SMI-8.6/1.20) id EAA29967; Fri, 15 May 1998 04:45:37 -0400 Received: from is.s.u-tokyo.ac.jp (pigeon [133.11.7.70]) by tjms1f.is.s.u-tokyo.ac.jp (8.8.8/3.6W) with ESMTP id RAA02337; Fri, 15 May 1998 17:33:49 +0900 (JST) Message-Id: <199805150833.RAA02337@tjms1f.is.s.u-tokyo.ac.jp> To: sekine@nonki.cs.nyu.edu Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu, isahara@crl.go.jp, tsujii@is.s.u-tokyo.ac.jp Subject: Re: IREX In-Reply-To: Your message of "Thu, 14 May 98 08:16:50 EDT" References: <9805141216.AA20690@NONKI.CS.NYU.EDU> X-Mailer: Mew version 1.54 on Emacs 19.28.1, Mule 2.3 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Fri, 15 May 1998 17:26:07 +0900 From: TSUJII Junichi Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 4275 *** EOOH *** Return-Path: To: sekine@nonki.cs.nyu.edu Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, sekine@cs.nyu.edu, isahara@crl.go.jp, tsujii@is.s.u-tokyo.ac.jp Subject: Re: IREX In-Reply-To: Your message of "Thu, 14 May 98 08:16:50 EDT" References: <9805141216.AA20690@NONKI.CS.NYU.EDU> X-Mailer: Mew version 1.54 on Emacs 19.28.1, Mule 2.3 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Fri, 15 May 1998 17:26:07 +0900 From: TSUJII Junichi Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 4275 > > もし、よければ、辻井先生の言われるnegativeな面の具体的な内容を > お教えいただけないでしょうか？ > あまり整理されていませんが 。。。 [1] システムperformanceを比較すると、integrateされたシステム全体としての 比較になるために、個々の要素的な技術への目い配りが十分でなくなる。この 弊害は、多分、情報検索のように統合性がつよいものによりつよく現れると おもいます。 あるgenericな技術の評価が、そのgenericな技術の特定のinstanceを組み込んだ 特定のシステムの、特定条件下でのperformanceで評価されてしまう危険性があること。 これは、ある特定の条件下で、ある特定の統合のしかたをした統合システムの 評価を、その統合システムのなかで使われている要素技術の評価に結び付けて しまう、しかも、genericな技術の評価に結び付けるという、落ち着いて考える とその論理的な誤謬はあきらかなものですが、数字がひとり歩きするとよく起こる 間違いでする。 システムの統合性が高まれば高まるほど、起こりやすい誤謬でしょう。これまで、 NLPとIRの関係で常に出てきた問題で、しかも、つねにNLPのIRへの利用にnegativeな 結論を出してきた歴史があるので、注意が必要だと思います。 [2] 技術の使用環境のパラメータが不明なことから、間違った結論を一般化したり、 （それ以外にも大切な問題があるのに）特定の特殊な問題に多くのグループが 力をさきすぎる傾向がでること。 前半部分は、[1]の問題と重複しています。本当は、diverseした環境があって、 環境しだいでは、役にたつ技術が不当にrejectされるキケンがあること。 情報検索は、今後、いろんな違った環境（対象のテキスト量、一件あたりの サイズ、ドメインの複雑度、ユーザの種類、ユーザの一様度などの異なる、という 意味です）で使われるはずで、こういった環境のパラメータを吟味せずに Precision/Recallといった数値で競争させると、あまり良い結果にはならない のではないか、と思っています。これは、提案のCompetitionだけでなく、 これまでのIR研究全体に対して、なんとなく感じている不満です。 後半部分は、固有名の認識のような課題です。たしかに特定のapplicationには 重要でしょうけれど、大勢でCompeteする必要があるかしら、と思います。 この課題については、大体の手法が確定してきているようですから （そうではなくて、まだあたらしい技術がでるのかしら ？）、すでに 技術をもっているグループ（複数でもよいですが）が、そのプログラムなりデータ をソースまで含めて公開してくれて、みんなでそれを良くして、共有の財産にした ほうが、いまさら競争するよりいいのではないか、とおもいますが。。。 （注）今、この方向で、Linguistic Data や Programを共有する方向でのコンソー シアムを作ろうと、たなか 先生などと動いているのですが、協力してください。 むしろ、現時点で競争してアイデアを出させて意味があるとしたら、もうすこし 一般的な日本語の語構成規則を関与する問題とか、意味カテゴリが関与する問題とか ではないでしょうか ？ それと、多分、情報検索の研究の場合でも、Competitionという枠組でやるよりも （こちらの方が張合いがあるのでしょうが）、みんなが共有できる（できれば 使用環境のパラメータを変えた、複数の）テスト・セットを作るということの方が 研究のためには、大切だとおもいます。Competitionは、２次的だと思います。 [3] 以前、橋田 さん が中心になって、Dialogue Systemsの競争をしていたと 思いますが、あの結果は、どうなったのでしょうか。その経験をよく聞いておく 方が良い思います。 彼らから誘いを受けたときにも、我々のグループは積極的に関与しなかった のですが、これは、我々がその時点でDialogue Systemsに興味を持っていなかった のと、上の２つの理由が関係しています。 つまり、Dialogue Systemのように統合性の強い技術を、使用環境のパラメータ をよく吟味しないで、特定の使用環境を設定して表面上のperformanceの競争だけを させると、結果として、何もわからないことにならないか、と思ったわけです。 Summarizationの競争は、これと同じような危険性を持っていますから、よく 課題設定を吟味しないと、うまくいかないとおもいます。 > > > # 辻井先生からのメイルをＩＲＥＸのメイリングリストで > # 紹介して構わないでしょうか？ > ええ、紹介してもらっても結構です。 辻井  1, filed,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id LAA03100; Tue, 19 May 1998 11:49:02 -0400 Received: from NONKI.CS.NYU.EDU by cs.nyu.edu (SMI-8.6/1.20) id LAA19146; Tue, 19 May 1998 11:49:00 -0400 Received: by NONKI.CS.NYU.EDU (4.1/1.30) id AA22609; Tue, 19 May 98 11:48:35 EDT Date: Tue, 19 May 98 11:48:35 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) Message-Id: <9805191548.AA22609@NONKI.CS.NYU.EDU> To: tsujii@is.s.u-tokyo.ac.jp Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, isahara@crl.go.jp, sekine@cs.nyu.edu In-Reply-To: TSUJII Junichi's message of Fri, 15 May 1998 17:26:07 +0900 <199805150833.RAA02337@tjms1f.is.s.u-tokyo.ac.jp> Subject: IREX Content-Type: text Content-Length: 9146 *** EOOH *** Return-Path: Date: Tue, 19 May 98 11:48:35 EDT From: sekine@NONKI.CS.NYU.EDU (Satoshi Sekine) To: tsujii@is.s.u-tokyo.ac.jp Cc: torisawa@is.s.u-tokyo.ac.jp, nova@is.s.u-tokyo.ac.jp, yucca@is.s.u-tokyo.ac.jp, isahara@crl.go.jp, sekine@cs.nyu.edu In-Reply-To: TSUJII Junichi's message of Fri, 15 May 1998 17:26:07 +0900 <199805150833.RAA02337@tjms1f.is.s.u-tokyo.ac.jp> Subject: IREX Content-Type: text Content-Length: 9146 長いコメントありがとうございます。 こちらも長くなると思いますが、また意見をいただけたら幸いです。 > [1] システムperformanceを比較すると、integrateされたシステム全体としての > 比較になるために、個々の要素的な技術への目い配りが十分でなくなる。この > 弊害は、多分、情報検索のように統合性がつよいものによりつよく現れると > おもいます。 はい、僕もそう思います。 Dialeagueへの批判はこの辺りだと思います。 ただ、僕の経験した音声の会議で非常に面白い報告がありました。 これは、評価後に各参加団体へアンケートが回され、細い技術の どれがどれだけ認識率の向上に寄与したかというのの統計が得られました。 ほぼ全参加団体が回答し、これから作られた10(参加団体)x30(技術)の マトリックスは非常に見ていて面白いです。こんな事が情報検索でも できれば、例えば、情報検索に形態素解析は役に立つかといった疑問に *ひとつ*の答が得られると思います。 > あるgenericな技術の評価が、そのgenericな技術の特定のinstanceを組み込んだ > 特定のシステムの、特定条件下でのperformanceで評価されてしまう危険性があること。 例えば、上記で私は注意深く「*ひとつ*の答」と書きましたが、 こういった区別は、アメリカの参加者を見ているとちゃんと認識されていると 思います。どちらかというと、この不分別(generic<->specific instance, score<->techniqueの区別の無知)はコンテストの外(特に日本人)から良く 聞きます。例えば、僕等は音声認識にパーザーは有効かという課題で、 音声のコンテストに参加しました。結果は想像通り、今の所役には立たない という事だったのですが、僕の発表の後の質疑応答は非常に盛り上がりましたし、 後で、グリッシュマンがスポンサーから聞いたのですが、僕の結果は非常に 面白かったと言われました。 その他、各コンテストでかなり低い点の参加者もいますが、雰囲気としては、 彼等を馬鹿にしている参加者はまったくいないと言っていいと思います。 皆、ここをどうすればいい、とかここはどうなっているとか前向きな意見が 多いですし、日本で開催した時にもそうなると信じています。 これらのコンテストの数字は2次的な物であり、数字が大事な訳ではない というのは、研究者なら分っている事だと思います。ただ、研究者外の人が どう取るかという問題はあります。日本の資金元(通産省だの文部省？？)が、 そこまで分ってくれるかどうかという危惧は確かにあります。 > しかも、つねにNLPのIRへの利用にnegativeな > 結論を出してきた歴史があるので、注意が必要だと思います。 negativeならnegativeでいいと思います。 ただ、挑戦する機会と、同じプラットフォームでの評価というのが コンテストをやる目的です。 やってみなければ、いつまでたっても分らない訳ですから、 3年石の上に座っているより、アメリカの真似でもいいからやってみよう、 それで問題点を見つけたらそれを解決するように進んでいこう というのが僕等の姿勢です。最初から独自な方法を求めるという理想に 固執するよりも、まずやってみて独自性は後から来るものだという事で いいと思います。TipsterのプログラムもICOTを受けてものもだと こちらのスポンサーが言っていました。 > [2] 技術の使用環境のパラメータが不明なことから、間違った結論を一般化したり、 > （それ以外にも大切な問題があるのに）特定の特殊な問題に多くのグループが > 力をさきすぎる傾向がでること。 > 前半部分は、[1]の問題と重複しています。本当は、diverseした環境があって、 > 環境しだいでは、役にたつ技術が不当にrejectされるキケンがあること。 これらに危惧に関しては上記に書きました。 > 情報検索は、今後、いろんな違った環境（対象のテキスト量、一件あたりの > サイズ、ドメインの複雑度、ユーザの種類、ユーザの一様度などの異なる、という > 意味です）で使われるはずで、こういった環境のパラメータを吟味せずに > Precision/Recallといった数値で競争させると、あまり良い結果にはならない > のではないか、と思っています。これは、提案のCompetitionだけでなく、 > これまでのIR研究全体に対して、なんとなく感じている不満です。 はい、確かにそう思います。 これに対しては、今後コンテストが大きくなってくれば、TRECと同じように 色々な環境下でのコンテストを行ないたいと思います。TRECでは今回も 数種類のコンテストがありますし、これまでのコンテストの課題を積算すると 非常にバラエティーに富んだ内容になっていると思います。このような事が 行なえたのもコンテストを開催し、多くの参加者があり、多くの資金を 得られたおかげだと思います。僕や、今回のコンテストに積極的な人の中には このような状況を夢見ている人が多いと思います。 それから、実際に今回も学情の神門さんが、学術文献での検索を実現させようと 努力してくれています。来年のコンテストで実現できるかは疑問ですが。 > 後半部分は、固有名の認識のような課題です。たしかに特定のapplicationには > 重要でしょうけれど、大勢でCompeteする必要があるかしら、と思います。 実際、情報検索への興味の方が多いですので、 必要だとか、興味があると思う人が参加するでしょう。 ただ、この課題は、今後の情報抽出(原文では情報検索とあったが、 筆者のミス)を目指した物です。 情報抽出の形については、このコンテストやその他、色々を通じて 課題が形成できたらいいと思います。 > この課題については、大体の手法が確定してきているようですから > （そうではなくて、まだあたらしい技術がでるのかしら ？） ＭＵＣ６までは、手で作ったパターンを基にした手法が主流でした。 実際の最高得点のＳＲＡもこの手法でした。 しかし、今回のＭＵＣ７では教師付き学習が主流で、一位は 学習とルールベースの巧妙なハイブリッドシステムで 2位のＳＲＡ(IsoQuest)も完全なルールベースからスコア付きルールベースに 移行していました。3位はＢＢＮのＮｇｒａｍモデルで、4位はＮＹＵの ＭＥに基いた方法です。(ＮＹＵのは巧妙ではない(？)ハイブリッドとも 言える形でタスクインデペンドであるという特徴があります) こんな結果を見るのも非常に面白いし、興奮しました。 こんな事が日本でもあると面白いと思いますし、研究界にも 有益だと思います。 照応や他のタスクでも自動学習の手法の提案がありました。 まだ点数は低いですが、皆、注目しています。 これもコンテストの利点だと思うのですが。 > 、すでに > 技術をもっているグループ（複数でもよいですが）が、そのプログラムなりデータ > をソースまで含めて公開してくれて、みんなでそれを良くして、共有の財産にした > ほうが、いまさら競争するよりいいのではないか、とおもいますが。。。 企業の場合は無理に近いでしょうね。 データを一緒に作ろうという案には全面的に賛成です。 コンテストをやるというのは、その為にも非常に有効な方法だと思います。 > （注）今、この方向で、Linguistic Data や Programを共有する方向でのコンソー > シアムを作ろうと、たなか 先生などと動いているのですが、協力してください。 はい、全面的に協力いたします。 御存知だと思いますが、ＬＤＣで最近、(「集められている」ではなく) 「作られている」データのほとんどは、ＤＡＲＰＡのコンテスト関係の データです。ここらにもコンテストをやる意義はあると思います。 もし、大きな所のお金が出たら、同じような状況になれますよね。 この点に関しては、ＮＥＣの村木さんも考えてくれたようで、 具体的な提案を頂きました。 > むしろ、現時点で競争してアイデアを出させて意味があるとしたら、もうすこし > 一般的な日本語の語構成規則を関与する問題とか、意味カテゴリが関与する問題とか ではないでしょうか ？ 面白そうですね。 今度、日本でお会いした時に、具体的に教えていただけますでしょうか？ > それと、多分、情報検索の研究の場合でも、Competitionという枠組でやるよりも > （こちらの方が張合いがあるのでしょうが）、みんなが共有できる（できれば > 使用環境のパラメータを変えた、複数の）テスト・セットを作るということの方が > 研究のためには、大切だとおもいます。Competitionは、２次的だと思います。 はい、Competitionは、２次的だと思います。 辻井先生の言われているような「張合い」が大事だと思っているのです。 > [3] 以前、橋田 さん が中心になって、Dialogue Systemsの競争をしていたと > 思いますが、あの結果は、どうなったのでしょうか。その経験をよく聞いておく > 方が良い思います。 橋田さんにも賛同をいただきました。 過去の経験は参考にさせていただくつもりです。 > つまり、Dialogue Systemのように統合性の強い技術を、使用環境のパラメータ > をよく吟味しないで、特定の使用環境を設定して表面上のperformanceの競争だけを > させると、結果として、何もわからないことにならないか、と思ったわけです。 まさに、そのような結果になっていると思います。 > Summarizationの競争は、これと同じような危険性を持っていますから、よく > 課題設定を吟味しないと、うまくいかないとおもいます。 今回のTipsterの会議でも、その点が議論されました。 どのような対象をどのように要約してどのように評価するか、 難しいと思います。北陸の奥村さんやＴＡＯの若尾さんにも 非常に前向きな賛同をいただきましたので、今後、面白い事に なっていくと思います。 どうもありがとうございます。 関根