BABYL OPTIONS: Version: 5 Labels: Note: This is the header of an rmail file. Note: If you are seeing it in rmail, Note: it means the file has no messages in it.  1, filed,, Summary-line: 18-Aug to: irex@karc.crl.go.jp #[irex 44] Mailing List, Meeting, Data Distribution Criteria & Evaluation method Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id PAA15227; Tue, 18 Aug 1998 15:57:52 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id PAA14727; Tue, 18 Aug 1998 15:57:48 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id EAA27627; Wed, 19 Aug 1998 04:53:20 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id EAA29511; Wed, 19 Aug 1998 04:53:18 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id EAA19195; Wed, 19 Aug 1998 04:47:18 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id EAA19190 for ; Wed, 19 Aug 1998 04:47:17 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id EAA20258 for ; Wed, 19 Aug 1998 04:48:41 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id EAA29502 for ; Wed, 19 Aug 1998 04:53:14 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id EAA09237 for ; Wed, 19 Aug 1998 04:53:08 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id PAA01077; Tue, 18 Aug 1998 15:52:43 -0400 Date: Tue, 18 Aug 1998 15:52:43 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199808181952.PAA01077@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 44 Subject: [irex 44] Mailing List, Meeting, Data Distribution Criteria & Evaluation method Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 3367 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Tue, 18 Aug 1998 15:52:43 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 44 Subject: [irex 44] Mailing List, Meeting, Data Distribution Criteria & Evaluation method Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 3367 IREXに関していくつか連絡事項です。 1.メイリングリスト (Non-native Japanese speakers in our mailing List) ＭＬに数人（現在6人？)日本語を読めない方も参加しています。 各内容について簡単な英語で表題だけでも記していただけるといいと 思います。特に私からの公式な物はその題目を英語でも書きます。 皆様のメイルにおいては英語を付けなくても！全く！構いませんが、 私のメイルに英語が付いているのを奇妙に思わないでください。 Now, we have several (6?) people who can't read Japanese in our ML. I recommend people to write some information in English. In particular, the title of the formal announcement will always be written in English, as well. (Just the topic of each content is enough. If those people think they are interested in the content, they may be able to ask someone (or me) to translate) 2.第2回ミーティング (The second meeting (September,16,1998 - Tokyo)) 第2回のIREXミーティングを以下のように行ないます。 お集りください。 日時：1998年9月16日(水) 10時-17時 10時ー12時： ＩＲ 13時ー14時： 全体の話題 14時ー17時： ＮＥ 場所： (財)計量計画研究所 5階会議室 〒162-0845 東京都新宿区市ケ谷本村町2番9号(東京多聞ビル) tel: 03-3268-9911 行き方： JR、地下鉄市ケ谷駅(1)から、外堀を渡る橋(2)を渡り、左に折れ 外堀沿いを行きます。住友ビルの交番(3)のY時を左に、そのまま 外堀沿いを行き、それから約2分くらいの所にあります。 ここ \ * 3\ ------------++----- ======== ||2 =====外堀 JR1|| ----++------- / \地下鉄1 3.正解データの配布基準 (Data distribution discrimination against non-participants) NE,IR共、正解データは作成した後、一般に公開します。 ただし、IRについては作成に手間がかかるのと、参加を促すために 以下のように公開内容に差を付けようと思います。 * 参加者、審判者には、各システムが出したランクの情報、 各判定者が行なった判定結果とそれにかかった時間の情報を データに付与します。システム、判定者の名前は匿名とします。 この場合の参加者とはIRの参加者のみを言います。NEのみに参加 している方にはIRの詳細データは公開しません。希望者は是非 IRの審判に加わっていただけるといいと思います。 * それ以外の方には(IREXに無関係な方も含めて)、IRのデータは 関連記事であるかどうかの最終判断として作られた0/1のデータ のみを公開します。 4.審判の資格 (Qualification to be a referee) NE,IR共に参加者は審判としては加われません。これは大学の学生が 参加した場合でも、その先生は審判とはなれません。過去に共同研究を 行なったが、現在すでに共同研究が終了している場合に、その システムまたはそれに基づいた改良システムを使用して一方のみが 参加する場合には、他方のグループがその研究を継続していない事を 条件として、審判として参加する事を許します。  1,, Summary-line: 3-Sep to: irex@karc.crl.go.jp #[irex 46] The 2nd IREX meeting Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id KAA03170; Thu, 3 Sep 1998 10:18:19 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id KAA10281; Thu, 3 Sep 1998 10:18:10 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id XAA21419; Thu, 3 Sep 1998 23:14:10 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id XAA26040; Thu, 3 Sep 1998 23:14:09 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id XAA19901; Thu, 3 Sep 1998 23:08:09 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id XAA19896 for ; Thu, 3 Sep 1998 23:08:08 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id XAA00794 for ; Thu, 3 Sep 1998 23:09:19 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id XAA26026 for ; Thu, 3 Sep 1998 23:14:05 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id XAA03183 for ; Thu, 3 Sep 1998 23:13:58 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id KAA27275; Thu, 3 Sep 1998 10:13:55 -0400 Date: Thu, 3 Sep 1998 10:13:55 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809031413.KAA27275@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 46 Subject: [irex 46] The 2nd IREX meeting Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 2551 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Thu, 3 Sep 1998 10:13:55 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 46 Subject: [irex 46] The 2nd IREX meeting Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 2551 This is the last announcement of the second meeting with the tentative agenda. 第2回ミーティング ================= 第2回のIREXミーティングを以下のように行ないます。お集りください。 出席予定の方は関根(sekine@cs.nyu.edu)までメイルを下さい。 (すでに関根に意志表明をされた方は、構いません) 日時：1998年9月16日(水) 10時-17時 10時ー12時： ＩＲ (時間が足りなかったら、お昼を食べながら延長という 形になると思います。) 13時ー14時： 全体の話題 14時ー17時： ＮＥ 場所： (財)計量計画研究所 5階会議室 〒162-0845 東京都新宿区市ケ谷本村町2番9号(東京多聞ビル) tel: 03-3268-9911 行き方： JR、地下鉄市ケ谷駅(1)から、外堀を渡る橋(2)を渡り、左に折れ 外堀沿いを行きます。住友ビルの交番(3)のY時を左に、そのまま 外堀沿いを行き、それから約2分くらいの所にあります。 ここ \ * 3\ ------------++----- ======== ||2 =====外堀 JR1|| ----++------- / \地下鉄1 ミーティング議事案 ================== * IR - 予備試験の課題の決定 - 提出ファイルのフォーマット - 判定プログラム、ツールのデモ(可能ならば) - 検索対象記事の範囲 (報道、社説、コラム、解説、投書、スポーツ) - 検索課題のレベル設定(0、2、3、5段階) - 検索課題の内容(Narrativeの細かさ、内容) - 正解判定方法(判定ランク、学生5段階、最終2段階) - 正解判定者(資格、候補者、募集) - 予備試験の日程 * 全体の運営 - 参加者予定団体の公表 - ワークショップの形態 参加者のみのクローズドかオープンか - 結果の公表の仕方 団体名を明確に公表 略称のみを公表し、略称と団体名の対応は公表しない - ＩＲＥＸ２ 形態、スポンサー 新しい課題(情報抽出、要約、分類、続報、形態素解析、構文解析、語義) - データ公開 - ＩＲ正解判定者(資格、候補者、募集) - 予備試験の日程 - 今後の予定 * NE - NE定義 - NE_TRIAL - 対象記事 - 予備試験の日程 - ツールのデモ  1,, Summary-line: 3-Sep kando@rd.nacsis.ac.jp #[irex 47] Re: The 2nd IREX meeting Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id KAA03230; Thu, 3 Sep 1998 10:31:11 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id KAA10398; Thu, 3 Sep 1998 10:30:59 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id XAA21516; Thu, 3 Sep 1998 23:27:15 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id XAA26337; Thu, 3 Sep 1998 23:27:13 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id XAA20046; Thu, 3 Sep 1998 23:21:14 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id XAA20041 for ; Thu, 3 Sep 1998 23:21:13 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id XAA00800 for ; Thu, 3 Sep 1998 23:22:24 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id XAA26332 for ; Thu, 3 Sep 1998 23:27:10 +0900 (JST) Received: from atlas.rd.nacsis.ac.jp (atlas.rd.nacsis.ac.jp [136.187.19.12]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with ESMTP id XAA03390 for ; Thu, 3 Sep 1998 23:27:09 +0900 (JST) Received: from lune.rd.nacsis.ac.jp (lune.rd.nacsis.ac.jp [136.187.41.48]) by atlas.rd.nacsis.ac.jp (8.8.7+2.7Wbeta7/3.6Wbeta7/97112517) with SMTP id XAA21208; Thu, 3 Sep 1998 23:30:04 +0900 (JST) Received: by lune.rd.nacsis.ac.jp (SMI-8.6/SMI-SVR4) id XAA28137; Thu, 3 Sep 1998 23:28:42 +0900 Date: Thu, 3 Sep 1998 23:28:42 +0900 From: kando@rd.nacsis.ac.jp (Noriko Kando) Message-Id: <199809031428.XAA28137@lune.rd.nacsis.ac.jp> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu X-Sun-Charset: ja_JP.iso2022-7 Reply-To: irex@karc.crl.go.jp X-Sequence: irex 47 Subject: [irex 47] Re: The 2nd IREX meeting Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 321 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Thu, 3 Sep 1998 23:28:42 +0900 From: kando@rd.nacsis.ac.jp (Noriko Kando) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu X-Sun-Charset: ja_JP.iso2022-7 Reply-To: irex@karc.crl.go.jp X-Sequence: irex 47 Subject: [irex 47] Re: The 2nd IREX meeting Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 321 >> 第2回のIREXミーティングを以下のように行ないます。お集りください。 学情センターの神門です。 関根さんには以前ご連絡いたしましたが、たいへん申し訳ないのですが、 9/21に大きなdead lineがあるため、出席できるかどうか、わかりません。 よろしくお願いいたします。 神門.  1, filed,, Summary-line: 3-Sep to: irex@karc.crl.go.jp #[irex 48] The 2nd IREX meeting - Questions - Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id QAA07621; Thu, 3 Sep 1998 16:22:34 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id QAA13989; Thu, 3 Sep 1998 16:22:29 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id FAA22784; Fri, 4 Sep 1998 05:18:35 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id FAA01465; Fri, 4 Sep 1998 05:18:34 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id FAA23106; Fri, 4 Sep 1998 05:12:34 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id FAA23101 for ; Fri, 4 Sep 1998 05:12:33 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id FAA00878 for ; Fri, 4 Sep 1998 05:13:44 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id FAA01460 for ; Fri, 4 Sep 1998 05:18:30 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id FAA06333 for ; Fri, 4 Sep 1998 05:18:23 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id QAA07726; Thu, 3 Sep 1998 16:18:20 -0400 Date: Thu, 3 Sep 1998 16:18:20 -0400 Message-Id: <199809032018.QAA07726@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu From: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 48 Subject: [irex 48] The 2nd IREX meeting - Questions - Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 1566 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Thu, 3 Sep 1998 16:18:20 -0400 To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu From: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 48 Subject: [irex 48] The 2nd IREX meeting - Questions - Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 1566 運営に関して2つ、参加者の意志をいただきたい事項があります。 会社の場合には重要な内容となると思いますので、ミーティングまでに 各参加者ごとに答を用意してくださるようお願いします。 There are two questions we would like to ask participants. Please prepare your answer before the meeting (or send me e-mail if you won't participate). 1. ワークショップの形態 Should the workshop be an open workshop or a closed workshop? 以下の2種類の方法が考えられます。なるべくオープンにしたいと思うので すが、研究者以外の人(報道関係など)が、順位だけをそのまま受け取り、 順位の情報だけが一人歩きをする事を避けるために、参加者は研究者に限 りたいという要求があります。一方、今回は参加しなかったけれども、2回 目には興味があるといった人には是非参加してもらいたいと思います。 皆様はどのような形態が適当だと思われますか？ * 参加者のみのクローズド * オープン * ?? 2. 結果の公表の仕方 How shall we call you when we will report the results? Anonymous, nickname or real name? 特に企業の方には、実名がそのまま出る事を嫌う方がいらっしゃると思い ますので略称のみを予稿集などには公表し、実名を出さないという方法も 考えられます。もちろん、予稿集に各団体が数字を載せれば誰が誰かおお よそ分ってしまうので、完全な匿名を実現するのは難しいと思います。 どのようにしたらよいか参加者の意見を聞いて決めたいと思います。 * 団体名を明確に公表 * 略称のみを公表し、略称と団体名の対応は公表しない * ??  1,, Summary-line: 4-Sep inui@pluto.ai.kyutech.ac. #[irex 49] Re: The 2nd IREX meeting Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id VAA09438; Thu, 3 Sep 1998 21:22:47 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id VAA17644; Thu, 3 Sep 1998 21:22:45 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id KAA24214; Fri, 4 Sep 1998 10:18:50 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id KAA06252; Fri, 4 Sep 1998 10:18:48 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id KAA25360; Fri, 4 Sep 1998 10:12:49 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id KAA25355 for ; Fri, 4 Sep 1998 10:12:47 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id KAA00947 for ; Fri, 4 Sep 1998 10:13:58 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id KAA06247 for ; Fri, 4 Sep 1998 10:18:44 +0900 (JST) Received: from pluto.ai.kyutech.ac.jp (root@pluto.ai.kyutech.ac.jp [131.206.1.22]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with ESMTP id KAA08909 for ; Fri, 4 Sep 1998 10:18:43 +0900 (JST) Received: from pluto787 (pluto787.pluto.ai.kyutech.ac.jp [131.206.22.132]) by pluto.ai.kyutech.ac.jp (8.8.7/3.6Wbeta6-Pluto-Server-Sep/06/1997) with SMTP id KAA10621 for ; Fri, 4 Sep 1998 10:18:37 +0900 (JST) Message-Id: <4.0.1-J.19980904101753.00e26f10@pluto00.pluto.ai.kyutech.ac.jp> X-Sender: inui@pluto.ai.kyutech.ac.jp X-Mailer: QUALCOMM Windows Eudora Pro Version 4.0.1-J Date: Fri, 04 Sep 1998 10:18:41 +0900 To: irex@karc.crl.go.jp From: INUI Kentaro In-Reply-To: <199809031413.KAA27275@noreen.cs.nyu.edu> Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Reply-To: irex@karc.crl.go.jp X-Sequence: irex 49 Subject: [irex 49] Re: The 2nd IREX meeting Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text/plain; charset="ISO-2022-JP" Content-Length: 250 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f X-Sender: inui@pluto.ai.kyutech.ac.jp X-Mailer: QUALCOMM Windows Eudora Pro Version 4.0.1-J Date: Fri, 04 Sep 1998 10:18:41 +0900 To: irex@karc.crl.go.jp From: INUI Kentaro In-Reply-To: <199809031413.KAA27275@noreen.cs.nyu.edu> Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Reply-To: irex@karc.crl.go.jp X-Sequence: irex 49 Subject: [irex 49] Re: The 2nd IREX meeting Sender: owner-irex@karc.crl.go.jp Content-Type: text/plain; charset="ISO-2022-JP" Content-Length: 250 関根さん： 九工大の乾です． > 第2回ミーティング すみません．16日は都合により出席できません． NL研には参りますので，アルバイトの件など，なにかありましたら，そのときにお願 いいたします． いぬい  1,, Summary-line: 7-Sep sasaki@cslab.kecl.ntt.co. #[irex 50] Re: The 2nd IREX meeting Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id XAA24106; Sun, 6 Sep 1998 23:48:28 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id XAA18142; Sun, 6 Sep 1998 23:48:22 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id MAA16650; Mon, 7 Sep 1998 12:44:27 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id MAA11010; Mon, 7 Sep 1998 12:44:26 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id MAA18729; Mon, 7 Sep 1998 12:38:26 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id MAA18724 for ; Mon, 7 Sep 1998 12:38:25 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id MAA02214 for ; Mon, 7 Sep 1998 12:39:34 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id MAA11005 for ; Mon, 7 Sep 1998 12:44:22 +0900 (JST) Received: from tama5.ecl.ntt.co.jp (tama5.ecl.ntt.co.jp [129.60.39.102]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with ESMTP id MAA12698 for ; Mon, 7 Sep 1998 12:44:21 +0900 (JST) Received: from nttmail2.ecl.ntt.co.jp (nttmail2.ecl.ntt.co.jp [129.60.39.101]) by tama5.ecl.ntt.co.jp (8.8.8/3.6W/tama5) with ESMTP id MAA21975 for ; Mon, 7 Sep 1998 12:44:17 +0900 (JST) Received: from mail2.kecl.ntt.co.jp by nttmail2.ecl.ntt.co.jp (8.8.8/3.6W/nttmail2) with ESMTP id MAA13209 for ; Mon, 7 Sep 1998 12:44:53 +0900 (JST) Received: from gentzen.icl.kecl.ntt.co.jp by mail2.kecl.ntt.co.jp (8.8.8/kecl2.1/MX-2a) with ESMTP id MAA06445; Mon, 7 Sep 1998 12:44:15 +0900 (JST) Received: by gentzen.icl.kecl.ntt.co.jp (8.8.8/kecl2.1b/Std-1) with ESMTP id MAA07113; Mon, 7 Sep 1998 12:46:06 +0900 (JST) Message-Id: <199809070346.MAA07113@gentzen.icl.kecl.ntt.co.jp> To: irex@karc.crl.go.jp In-reply-to: Your message of "Thu, 03 Sep 1998 10:13:55 -0400." <199809031413.KAA27275@noreen.cs.nyu.edu> Cc: kato@cslab.kecl.ntt.co.jp Date: Mon, 07 Sep 1998 12:46:05 +0900 From: Yutaka SASAKI Reply-To: irex@karc.crl.go.jp X-Sequence: irex 50 Subject: [irex 50] Re: The 2nd IREX meeting Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 491 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f To: irex@karc.crl.go.jp In-reply-to: Your message of "Thu, 03 Sep 1998 10:13:55 -0400." <199809031413.KAA27275@noreen.cs.nyu.edu> Cc: kato@cslab.kecl.ntt.co.jp Date: Mon, 07 Sep 1998 12:46:05 +0900 From: Yutaka SASAKI Reply-To: irex@karc.crl.go.jp X-Sequence: irex 50 Subject: [irex 50] Re: The 2nd IREX meeting Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 491 関根様 こんにちは。 NTT コミュニケーション科学研究所の佐々木です。 > 第2回のIREXミーティングを以下のように行ないます。お集りください。 > ... > 日時：1998年9月16日(水) 10時-17時 NTT コミュニケーション科学研究所からは、加藤恒昭、佐々木裕の２名が 参加させていただきますので、よろしくお願いします。 --- {^g^} 佐々木裕＠ＮＴＴコミュニケーション科学研究所 (sasaki@cslab.kecl.ntt.co.jp)  1,, Summary-line: 12-Sep to: irex@karc.crl.go.jp #[irex 51] The 2nd IREX meeting (Agenda - long version) Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id KAA07961; Sat, 12 Sep 1998 10:07:12 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id KAA00750; Sat, 12 Sep 1998 10:07:09 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id WAA09321; Sat, 12 Sep 1998 22:59:37 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id WAA28392; Sat, 12 Sep 1998 22:59:35 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id WAA18246; Sat, 12 Sep 1998 22:53:36 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id WAA18241 for ; Sat, 12 Sep 1998 22:53:35 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id WAA05426 for ; Sat, 12 Sep 1998 22:54:39 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id WAA28385 for ; Sat, 12 Sep 1998 22:59:30 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id WAA14480 for ; Sat, 12 Sep 1998 22:59:24 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id JAA14489; Sat, 12 Sep 1998 09:59:22 -0400 Date: Sat, 12 Sep 1998 09:59:22 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809121359.JAA14489@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 51 Subject: [irex 51] The 2nd IREX meeting (Agenda - long version) Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 24805 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Sat, 12 Sep 1998 09:59:22 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 51 Subject: [irex 51] The 2nd IREX meeting (Agenda - long version) Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 24805 第2回ミーティングの議案です。この内容は、ミーティングで 討議するための案でしかありません。活発な議論をお願いします。 また、この議案以外の内容を提案してくださるのも歓迎です。 ミーティングには、このコピーと、ＩＲ，ＮＥそれぞれ関係する 課題の定義のコピー(ホームページから入手できます)をお持ち くださるよう、お願いします。また、前にお願いしました2つの 質問事項に関する答を用意していただけるようお願いします。 This is the agenda (long version) of the second meeting of IREX. It's just a proposal, discussions are expected. We will post the discussions after the meeting to the homepage. 関根 --------------------------------------------------- 　　　　　　第２回　ＩＲＥＸミーティング 議題 1. IR 1.1 検索対象記事の範囲 BMIRでは経済、工学、工業一般の記事のみを対象としていますが、IREXでは 報道、社説、コラム、解説、投書、スポーツなどを含んだ94、95年の毎日新 聞記事の全体を検索対象にしたいと思います。 1.2 検索課題の内容(Description,Narrativeの細かさ) 検索要求(Description) {検索課題の簡潔な表現。主に修飾語を伴なった名詞句。} 3つまでの自立語群と付属語(「に関して」のような独立に意味を持たない ものも附属語とする)で表現する。 一般に検索システムに入力される単語の上限を考慮し、検索要求は 自立語3語で表現します。検索要求を作成する際には、まず情報要求を考え、 それに対し検索要求、検索要求説明を作るという方法を取ります。 したがって、検索要求のみを見て人間が頭に浮べる内容が本当の情報要求 であるかどうか揺れる場合が存在すると思われますが、なるべく、 そのような状況にならないように調整します。つまり、検索要求で使われた 3つの自立語群を適切なand/orで補った検索式を作成した場合に、その式 から人間が頭に浮べるであろう情報要求が検索課題となるべく重なるように 調整します。 検索要求説明(Narrative) {人間が見て可能な限り曖昧なく判断ができる程度に詳細な検索要求の記述。 複数の文で表現され、必要ならば、辞書記述、同義語、具体例も含む。} BMIRでは、「シソーラス展開が必要」など検索システムに対するコメントが 付いていますが、IREXでは、人間の判定者が判定に困らないような課題の説 明を2、3文の自然言語文でするという形にしたいと思います。 したがって、検索要求説明には「〜を除く。」といったNegativeな表現も 含まれる可能性があります。 1.3 検索課題のレベル設定 BMIRでは、ファンクションの観点を導入し、課題を6つのグループに分けてい ます。ファンクションは以下の5つがあり、それらの組み合わせで6つのグル ープを作ってあります。 F1: 基本機能 キーワード、シソーラス、論理式 F2: 数値・レンジ機能 数値の比較、範囲 F3: 構文解析機能 複数のキーワードの間の係り受けの理解 F4: 内容解析機能 言語知識、文脈、言葉の深い意味の理解 F5: 知識処理機能 世界知識、常識、推論 グループA: 基本機能のみ F=oxxxx グループB: 数値、レンジ機能必要 F=?o??? グループC: 構文解析機能中心 F=?xoxx グループD: 言語知識利用中心 F=?x?ox グループE: 世界知識利用中心 F=?x?xo グループF: 言語知識と世界知識の併用 F=?x?oo このような形での分類はユニークであり、データの利用を考えた時に役に立 つものであろうと思われますが、実際の検索課題を見てみるとはっきりと分 類できる物ではなく、曖昧な部分がみられます。特にF3とF4での係り受け解 析とより深い言語知識の違いや、F4,F5の言葉の深い意味、世界知識、常識の 多くは何らかの形でシソーラスの問題に帰着できるのではないかと思われま す。ただ、F2を除いて見てみると、構文的な視点と意味的な視点に分けるの は意味があると思われます。意味的な視点は、広い意味でのシソーラスが一 般的に中心的な役割を担うと考えられますが、その問題のレベルについて主 観的な定義を見い出す事は可能と思われますが、それが客観的、絶対的な物 となりえるかどうかは疑問です。構文的な差については以下のような3つのレ ベルが考えられると思われます。 1. 単一名詞句または複数名詞句がAND/ORに翻訳容易な付属語で接続してい る物 2. 「AのB」「Aに関するB」「Aに対するB」のような2つの名詞句と1つの付 属語 3. 2つ以上の自立語が利用され、格解析などの複雑な解析が必要な表現 前に書いたように、意味的な分類は客観的な判断が難しいが、上記の構文的 な分類は比較的容易にできると考えられます。IREXでは上記の構文的な分類 を採用したらどうかと思います。本試験では30検索課題を予定していますが 各レベル毎に10課題づつを採用したらどうかと思います。 一方、検索課題だけを見てレベルが判断できるのであろうかという疑問もあ ります。(TREC6の論文に、実験的に困難さのレベルを課題のみから判断する のは不可能だという話しもあります。)実際は検索システムに応じてどのよ うな技術を使ってもいい訳でありますし、予め分類しておく事が可能である か、また有効であるかどうか疑問の余地があります。 判定が終ってから、検索課題と参加システムのパフォーマンスの関係から 自動クラスタリングなどを通して、課題をグループ分けしたり、システムの 特徴を分析したりするのは非常に興味深い事だと思います。 1.4 予備試験の課題の決定 以下の14個のBMIRの検索課題に対して、毎日新聞の94、95年記事で調査を行 なった。論理式による文字列マッチングで記事を抜き出し、それらの一部を 眺めるという事で、予想される該当記事数や、難易度などを推定した。また 、検索課題の文面などについての考察も行なった。論理式の右にある数字は マッチした記事の数。 各項目の最初の*の数が多い程、適している課題だと判断した。 (最後に適している課題をレベルごとにまとめる。) *** 103.lst 「任天堂またはセガ」 (任天堂 | セガ) 228 予想該当記事数 100 Narrativeにあるように「任天堂、セガに関することが主に記述されていれば Aランク」というのは曖昧である。例えば、セガの社員の私生活に関する事や セガの社長インタビュー、セガが参画している協議会、ゲーム機一般の事等 迷えるものが多数ある。Narrativeを以下のようにしたらいいように思う。 任天堂、セガの会社としての活動や活動の結果が示されているもの。他社や 一般の話の中で参照されているだけのものは除く。 * 107.lst 「ビデオデッキ」 (ビデオデッキ | ＶＣＲ) 33 (ビデオ | ＶＴＲ | ＶＣＲ) 2252 予想該当記事数 ? ビデオデッキについて書かれているものならば何でもいいのか？ ビデオと 書かれているが、ビデオデッキの事を意味するものをどれだけ認定できるか が問題なのであろうか？ 実際そのような例はあまりないように思える。 * 117.lst 「千人以上の人員削減を計画している企業」 (人員削減 | リストラ | 解雇) 1674 予想該当記事数 ? 同じ企業の話が重複する場合が多いと思われる。 * 119.lst 「電話料金の値下げ」 (電話料 & 値下) 21 予想該当記事数 10 同じ内容について複数の記事がある。イベントとしては3つのみ。 *** 122.lst 「政党に対する献金」 ((政治 | 政党) & 献金) 908 予想該当記事数 700 (BMIR) 予想該当記事数 100 (改良) NARRATIVEにある「政党に対する企業からの献金の話題」だと非常に広い。 これを以下のようにするといい感じになる。 政党に対する企業からの特定の献金 政党に対する企業からの特定の献金の話題。対象になる政党か企業名が記事 から分れば正解とする。 *** 123.lst 「国連軍派遣」 ((国連軍 | ＵＮ軍) & 派遣) 67 (国連 & 派遣) 1023 予想該当記事数 50 自衛隊の国連軍への派遣問題は除く ** 126.lst 「地価の下落」 (地価 & (値下 | 下落)) 286 予想該当記事数 50 NARRATIVEにある、「社会、経済、事業への影響を見る目的」というのと 「単に言葉が出現したものを除く」というのが矛盾するような感があるが、 実際の地価下落を述べているものは50くらい。それによる社会等への影響 を述べているものは200くらいある。 ** 129.lst 「冷夏の被害」 (冷夏 & 被害) 12 冷夏 180 予想該当記事数 50 冷夏の被害ではなく冷夏の影響とすると、冷夏によるプラスの結果も出て 面白いかもしれない。例「スギ花粉の減少」。実際には93年が冷夏であり それによる影響が書かれているものばかり。 * 132.lst 「コンピュータ製品の市場動向」 ((コンピュータ | 計算機 | パソコン | オフコン) & (市場 | 販売 | 売上 | 売行)) 907 予想該当記事数 30 市場の統計的な情報のみとすると範囲が極端に狭くなる。 ** 136.lst 「赤字国債の発行」 (国債 | 発行) 365 (赤字国債) 322 予想該当記事数 100 検索課題としては技術的に面白いが、内容は同一のものを言っており(各年 1つづつ)、実際の興味として面白いかは疑問。 ** 140.lst 「太陽エネルギーの利用」 (太陽エネルギー | ソーラパワー) 41 ((太陽 | ソーラ) & エネルギー) 172 ((太陽 | ソーラ) & (エネルギー | 発電 | カー | 自動車)) 426 予想該当記事数 50 * 146.lst 「日本企業による逆輸入」 (逆輸入) 103 予想該当記事数 50 統計の中で使われていたり、社会現象としての説明も多い。 ** 149.lst 「円高対策のためのメーカーの海外進出」 (円高 & (メーカー | 製造業) & 海外進出) 33 予想該当記事数 ? 「海外進出」部分をどのようにキーワード化したらいいか難しい。 そういった意味で面白い課題かもしれない。 * 158.lst 「企業の社会貢献」 ((企業 | 会社) & (貢献 | 奉仕 | 慈善 | 寄付 | 寄与 | 寄贈) 922 予想該当記事数 20 レベル1： 「任天堂またはセガ」 レベル2： 「国連軍派遣」 (「国連軍の派遣」) 「地価の下落」 「冷夏の被害」 「赤字国債の発行」 「太陽エネルギーの利用」 レベル3： 「政党に対する企業からの特定の献金」 「円高対策のためのメーカーの海外進出」 === 新しい検索課題 === レベル1： * 201.lst 「液化天然ガス（ＬＮＧ）」 (液化天然ガス | ＬＮＧ) 45 (天然ガス) 160 予想該当記事数 30 ** 202.st 「製薬会社」 (製薬) 930 予想該当記事数 150 レベル2： * 203.lst 「年金の見直し」 (年金 & (見直し | 改善 | 審議)) 301 (年金 & (見直し | 改善 | 審議 | 改正 | 改革)) 301 予想該当記事数 100 レベル3： ** 204.lst 「日本のＮＧＯによる人権問題に関する活動」 ((ＮＧＯ | 非政府 | 民間) & 人権) 293 予想該当記事数 50 * 205.lst 「環境問題に対する日本政府の施政」 ((環境 | 堤防 | 湖水 | 水質 | 光化学) & 日本) 3716 予想該当記事数 ? (<100) 1.5 提出ファイルのフォーマット プログラム、ファイルの流れ -------------------------- ＩＲ結果提出ファイル(1), ＩＲ結果提出ファイル(2)、、、、 ＩＲ結果提出ファイル(N) || | \/ | | || | \/ | ＩＲ結果統合ファイル ---> | || /\ | \/ | | <-------------| | || | | \/ | | (判定結果付き)ＩＲ結果統合ファイル <----* | || | \/ | <--------------------------* || \/ ＩＲスコアファイル ファイルフォーマット -------------------- <ＩＲ結果提出ファイル> ==例== 901 002 9408312013 9409049267 9511120931 9503050928 9409019278 9408202938 9401010293 9401102943 ... ... ... ==BNF== file := system_id ir_result* system_id := number ir_result := individual_result individual_result := topic_id candidate* topic_id := number candidate := document_information docno_information := number <ＩＲ結果統合ファイル> ==例== 002 9408312013 .... 4 5 4 .... 視点を換ると、主旨は違ってくる .... ... ... ... ==BNF== file := ir_merge_result ir_merge_result := topic_id result_information topic_id := number rerult_information := docno_information system_information* judge_information* comment* docno_information := number system_information := judge_information := number comment := string PID = 判定者ＩＤ TIME = 判定にかかった時間(繰り返し(訂正)があった場合には合計) REPEAT = 繰り返しの回数 <ＩＲスコアファイル> 未定 1.6 判定プログラム、ツールのデモ 1. ir_output_merge 各参加者が提出してきたＩＲ結果提出ファイルをマージする。 2. ir_merge_merge ＩＲ結果統合ファイル同士をマージする。 3. ir_judge ＩＲ結果統合ファイルを元に、人間が記事の検索課題に対する関連性を 判定するためのツール。 4. ir_scorer 各参加者のＩＲ結果提出ファイルをＩＲ正解ファイルと突き合せその 適合率、再現率のカーブを出力する。 5. sgml_fomat_checker BNFで書いたSGMLのフォーマットに与えられたファイルが適合しているか 確認するためのツール。 1.7 正解判定方法(判定ランク、学生5段階、最終2段階) まず、学生2人に同じ課題の判定をしてもらいます。 学生の判定では以下の5段階の評価をしてもらいます。 5：確実に関連する (BMIRのＡに相当) 4：関連するかもしれない、なんらかの関連がある (BMIRのＢに相当) 3：わからない、 2：ほぼ関連しない 1：確実に関連しない 学生に渡す作業指針には、「なるべく、1と5が全体のうちのある割合(90/95%)以上に なるようにしてください」というような文面を入れて、2や4ばかり付けるのを 排除する方法が必要だと思っています。 2人にやってもらいますが、5&5,1&1のような結果が出た物については、それで 結果を確定し、以降見直しの作業をしない事にします。(5&4,1&2の場合は どうするか、予備試験の結果を見て判断しようと思います。) この後、判定基準が分れたものは、学生同士話してもらい、判定が揺れた物の 数を減らしてもらうという方法もあります。 最終的に判定が揺れた物については、関根なりボランティアベースで誰かが 判定を行ないます。最終結果は、関連する、関連しないの1/0です。 1.8 正解判定者 NE,IR共に参加者は審判としては加われません。これは大学の学生が 参加した場合でも、その先生は審判とはなれません。過去に共同研究を 行なったが、現在すでに共同研究が終了している場合に、その システムまたはそれに基づいた改良システムを使用して一方のみが 参加する場合には、他方のグループがその研究を継続していない事を 条件として、審判として参加する事を許します。 1.9 その他 - TRECでいうautomatic query construction のみ。manualはなし。 2. 全体の運営 2.1 参加予定者リスト 以下のリスト以外に、参加の意志を間接的にいただいている団体が国内海外 あわせて5、6団体あります。 予備試験(判定、正解作成) IR NE IR学生 IR最終 NE アドイン研究所 ○ RWC情報ベース機能三菱研究室 ○ 茨城大学 ○ ＮＥＣ ○ ○ NTT基礎研究所 ○ NTTコミュミケーション科学研究所 ○ NTTデータ ○ ○ 沖電気工業 ○ ○ オムロン ○ ○ 学術情報センター ○ 九州工業大学 ○ 九州大学 ○ 岐阜大学 ○ ○ ＫＤＤ研究所 ○ 計量計画研究所 ○ ○ 京都大学 ○ ○ シャープ株式会社 ○ 津田塾大学 ○ 東京工業大学 ○ 東京大学 ○ ○ 東芝 ○ 図書館情報大学 ○ ○ 徳島大学 ○ 豊橋技術科学大学 ○ ○ ニューヨーク大学 ○ ○ ○ 日立製作所 ○ 富士通 ○ 富士通研究所(1) ○ 富士通研究所(2) ○ 北陸先端大学 ○ ○ 松下電器産業 ○ ○ 山形大学 ○ 郵政省通信総合研究所 ○ ○ 横浜国立大学 ○ ○ リコー ○ 2.2 ワークショップの形態 以下の2種類の方法が考えられます。なるべくオープンにしたいと思うので すが、研究者以外の人(報道関係など)が、順位だけをそのまま受け取り、 順位の情報だけが一人歩きをする事を避けるために、参加者は研究者に限 りたいという要求があります。一方、今回は参加しなかったけれども、2回 目には興味があるといった人には是非参加してもらいたいと思います。 * 参加者のみのクローズド * オープン * ?? ワークショップは、以下のような内容にしようと考えています。 * 全体の話(課題の説明、スコアの説明、人間のパフォーマンス等) * 各団体からのシステムの発表(各10ー20分) * ＩＲＥＸ２での課題等、将来に向けた議論 * デモ(？) 今の参加者の数から言って2日間のワークショップになると思います。 予稿集は発行する予定にしています。 2.3 結果の公表の仕方 特に企業の方には、実名がそのまま出る事を嫌う方がいらっしゃると思い ますので略称のみを予稿集などには公表し、実名を出さないという方法も 考えられます。もちろん、予稿集に各団体が数字を載せれば誰が誰かおお よそ分ってしまうでしょうが、完全な匿名は非常に難しいと思います。 参加者の意見を聞いて決めたいと思います。 * 団体名を明確に公表 * 略称のみを公表し、略称と団体名の対応は公表しない * ?? 2.4 ＩＲＥＸ２ * ＩＲＥＸ２を開催するための手段、スポンサーを考えています。今後 に継げるためになるべく束縛の少ないいい所を捜したいと思います。 案やコメントがありましたらお寄せください。 * 技術的な課題として新しい物を色々と取り入れたいと思います。 意見、提案等をお寄せください。 情報抽出、要約、分類、続報、形態素解析、構文解析、語義 ＩＲ (Ｉ／Ｆ、 多言語、 フィルタリング、ルーチン) 2.5 データ公開 NE,IR共、正解データは作成した後、一般に公開します。 ただし、IRについては作成に手間がかかるのと、参加を促すために 以下のように公開内容に差を付けようと思います。 * 参加者、審判者には、各システムが出したランクの情報、 各判定者が行なった判定結果とそれにかかった時間の情報を データに付与します。システム、判定者の名前は匿名とします。 この場合の参加者とはIRの参加者のみを言います。NEのみに参加 している方にはIRの詳細データは公開しません。希望者は是非 IRの審判に加わっていただけるといいと思います。 * それ以外の方には(IREXに無関係な方も含めて)、IRのデータは 関連記事であるかどうかの最終判断として作られた0/1のデータ のみを公開します。 2.6 予備試験の日程 1998年の10月と本試験の行なわれる1999年の4月は曜日が一緒ですので まったく同じ日付で予備試験を行ないたいと思います。 1998年10月5日 ＩＲ検索課題配布 1998年10月12日 ＩＲ検索結果提出 (日本時間23時59分まで) 1998年10月13日 ＮＥ評価対象データ配布 1998年10月16日 ＮＥ抽出結果提出 (日本時間23時59分まで) ただし、予備試験は任意参加ですので、多少(1週間程度)遅れた提出も受 け付けます。本試験では1分遅れたものも受け付けません。(遅れたという ラベル付きの扱いになります。) 判定結果は11月末日を目標に作成したいと思います。 データの交換はすべてメイルで行ないます。 提出先はirex-submit@karc.crl.go.jpになります。 (予備試験までに用意します。) 2.7 今後の予定 予備実験で大きな問題が発覚しないかぎり、顔を合せてのミーティングは 本実験まで今回が最後にしたいと思います。主にメイルを利用して連絡を しあいたいと思います。 2.8 予稿集でのシステム説明 各参加団体の数ページのシステムと実験に関する論文の他に 共通のdescription form(システムに関するアンケート)を行ないます。 例えば、IRで形態素解析を使っているかどうか、NEで辞書の規模等。 (TRECのProceedings等を参照のこと) 全部の参加者が回答していただけるようにお願いします。 3. NE 3.1 NE定義 NE定義内の問題点について議論したいと思います。 3.2 NE_TRIAL NE_TRIALですが、NEに参加される予定の方は試してみる事を、推奨いたしま す。皆様から送られてきたデータを見て、定義の確認、それからトレーニン グデータの作成をしたいと思っております。どうぞよろしくお願いいたしま す。 ftp cs.nyu.edu > cd pub/local/sekine > binary > get IREX980727.tar.gz IREX/NE_TRIAL/READMEを御覧ください。 3.3 対象記事 NEの対象記事は、誰も見ていない記事を使用するのが理想的な方法だと思い ます。これは、すでに94、95年の毎日新聞を含めた記事を利用してシステム 開発を行なっている団体があるためで、この問題を解決するために、毎日新 聞社に話して99年のデータを使用させてもらえるように交渉します。 3.4 ツールのデモ NEscorer : NEのスコアラー (NE) mai2sgml : 毎日新聞のデータをSGML形式に変換するプログラム (NE/IR) pntag : nemacs/mule上で固有表現をタグ付けする為のツール (NE) tea : 固有表現のデータとオフセット形式のデータの変換ツール (NE)  1,, Summary-line: 16-Sep yogawa@charlie.src.ricoh. #[irex 52] Re: The 2nd IREX meeting (Agenda - long version) Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id UAA06244; Tue, 15 Sep 1998 20:59:28 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id UAA26514; Tue, 15 Sep 1998 20:59:21 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id JAA28518; Wed, 16 Sep 1998 09:54:36 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id JAA28024; Wed, 16 Sep 1998 09:54:33 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id JAA12224; Wed, 16 Sep 1998 09:48:34 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id JAA12219 for ; Wed, 16 Sep 1998 09:48:33 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id JAA06543 for ; Wed, 16 Sep 1998 09:49:34 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id JAA28015 for ; Wed, 16 Sep 1998 09:54:28 +0900 (JST) Received: from ricohigw.ricoh.co.jp (ricohigw.ricoh.co.jp [202.32.12.1]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with ESMTP id JAA20871 for ; Wed, 16 Sep 1998 09:54:26 +0900 (JST) Received: from charlie.src.ricoh.co.jp (charlie.src.ricoh.co.jp [133.139.213.4]) by ricohigw.ricoh.co.jp (8.8.8+2.7Wbeta7/3.6Wbeta7) with ESMTP id JAA06741; Wed, 16 Sep 1998 09:54:07 +0900 (JST) Received: from charlie (localhost [127.0.0.1]) by charlie.src.ricoh.co.jp (8.8.7/3.5W) with SMTP id JAA03074; Wed, 16 Sep 1998 09:54:06 +0900 (JST) Message-Id: <199809160054.JAA03074@charlie.src.ricoh.co.jp> To: irex@karc.crl.go.jp, sekine@noreen.cs.nyu.edu Cc: sekine@cs.nyu.edu In-Reply-To: Your message of "Sat, 12 Sep 1998 09:59:22 -0400" References: <199809121359.JAA14489@noreen.cs.nyu.edu> X-Mailer: Mew version 1.06 on Emacs 19.28.2, Mule 2.2 Mime-Version: 1.0 Date: Wed, 16 Sep 1998 09:54:06 +0900 From: OGAWA Yasushi Reply-To: irex@karc.crl.go.jp X-Sequence: irex 52 Subject: [irex 52] Re: The 2nd IREX meeting (Agenda - long version) Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 26244 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f To: irex@karc.crl.go.jp, sekine@noreen.cs.nyu.edu Cc: sekine@cs.nyu.edu In-Reply-To: Your message of "Sat, 12 Sep 1998 09:59:22 -0400" References: <199809121359.JAA14489@noreen.cs.nyu.edu> X-Mailer: Mew version 1.06 on Emacs 19.28.2, Mule 2.2 Mime-Version: 1.0 Date: Wed, 16 Sep 1998 09:54:06 +0900 From: OGAWA Yasushi Reply-To: irex@karc.crl.go.jp X-Sequence: irex 52 Subject: [irex 52] Re: The 2nd IREX meeting (Agenda - long version) Sender: owner-irex@karc.crl.go.jp Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 26244 小川＠リコーです。 本日社内でやっている会議が午前中いっぱいまでかかりそうなので、 ミーティングには参加できなくなりました。申し訳ありません。 > > > 第2回ミーティングの議案です。この内容は、ミーティングで > 討議するための案でしかありません。活発な議論をお願いします。 > また、この議案以外の内容を提案してくださるのも歓迎です。 > > ミーティングには、このコピーと、ＩＲ，ＮＥそれぞれ関係する > 課題の定義のコピー(ホームページから入手できます)をお持ち > くださるよう、お願いします。また、前にお願いしました2つの > 質問事項に関する答を用意していただけるようお願いします。 > > > This is the agenda (long version) of the second meeting of IREX. > It's just a proposal, discussions are expected. We will post > the discussions after the meeting to the homepage. > > > 関根 > > --------------------------------------------------- > 　　　　　　第２回　ＩＲＥＸミーティング 議題 > > > 1. IR > > 1.1 検索対象記事の範囲 > > BMIRでは経済、工学、工業一般の記事のみを対象としていますが、IREXでは > 報道、社説、コラム、解説、投書、スポーツなどを含んだ94、95年の毎日新 > 聞記事の全体を検索対象にしたいと思います。 > > > 1.2 検索課題の内容(Description,Narrativeの細かさ) > > 検索要求(Description) > > {検索課題の簡潔な表現。主に修飾語を伴なった名詞句。} > > 3つまでの自立語群と付属語(「に関して」のような独立に意味を持たない > ものも附属語とする)で表現する。 > > 一般に検索システムに入力される単語の上限を考慮し、検索要求は > 自立語3語で表現します。検索要求を作成する際には、まず情報要求を考え、 > それに対し検索要求、検索要求説明を作るという方法を取ります。 > したがって、検索要求のみを見て人間が頭に浮べる内容が本当の情報要求 > であるかどうか揺れる場合が存在すると思われますが、なるべく、 > そのような状況にならないように調整します。つまり、検索要求で使われた > 3つの自立語群を適切なand/orで補った検索式を作成した場合に、その式 > から人間が頭に浮べるであろう情報要求が検索課題となるべく重なるように > 調整します。 > > 検索要求説明(Narrative) > > {人間が見て可能な限り曖昧なく判断ができる程度に詳細な検索要求の記述。 > 複数の文で表現され、必要ならば、辞書記述、同義語、具体例も含む。} > > BMIRでは、「シソーラス展開が必要」など検索システムに対するコメントが > 付いていますが、IREXでは、人間の判定者が判定に困らないような課題の説 > 明を2、3文の自然言語文でするという形にしたいと思います。 > > したがって、検索要求説明には「〜を除く。」といったNegativeな表現も > 含まれる可能性があります。 > > > 1.3 検索課題のレベル設定 > > BMIRでは、ファンクションの観点を導入し、課題を6つのグループに分けてい > ます。ファンクションは以下の5つがあり、それらの組み合わせで6つのグル > ープを作ってあります。 > > F1: 基本機能 キーワード、シソーラス、論理式 > F2: 数値・レンジ機能 数値の比較、範囲 > F3: 構文解析機能 複数のキーワードの間の係り受けの理解 > F4: 内容解析機能 言語知識、文脈、言葉の深い意味の理解 > F5: 知識処理機能 世界知識、常識、推論 > > グループA: 基本機能のみ F=oxxxx > グループB: 数値、レンジ機能必要 F=?o??? > グループC: 構文解析機能中心 F=?xoxx > グループD: 言語知識利用中心 F=?x?ox > グループE: 世界知識利用中心 F=?x?xo > グループF: 言語知識と世界知識の併用 F=?x?oo > > このような形での分類はユニークであり、データの利用を考えた時に役に立 > つものであろうと思われますが、実際の検索課題を見てみるとはっきりと分 > 類できる物ではなく、曖昧な部分がみられます。特にF3とF4での係り受け解 > 析とより深い言語知識の違いや、F4,F5の言葉の深い意味、世界知識、常識の > 多くは何らかの形でシソーラスの問題に帰着できるのではないかと思われま > す。ただ、F2を除いて見てみると、構文的な視点と意味的な視点に分けるの > は意味があると思われます。意味的な視点は、広い意味でのシソーラスが一 > 般的に中心的な役割を担うと考えられますが、その問題のレベルについて主 > 観的な定義を見い出す事は可能と思われますが、それが客観的、絶対的な物 > となりえるかどうかは疑問です。構文的な差については以下のような3つのレ > ベルが考えられると思われます。 > > 1. 単一名詞句または複数名詞句がAND/ORに翻訳容易な付属語で接続してい > る物 > 2. 「AのB」「Aに関するB」「Aに対するB」のような2つの名詞句と1つの付 > 属語 > 3. 2つ以上の自立語が利用され、格解析などの複雑な解析が必要な表現 > > 前に書いたように、意味的な分類は客観的な判断が難しいが、上記の構文的 > な分類は比較的容易にできると考えられます。IREXでは上記の構文的な分類 > を採用したらどうかと思います。本試験では30検索課題を予定していますが > 各レベル毎に10課題づつを採用したらどうかと思います。 > > 一方、検索課題だけを見てレベルが判断できるのであろうかという疑問もあ > ります。(TREC6の論文に、実験的に困難さのレベルを課題のみから判断する > のは不可能だという話しもあります。)実際は検索システムに応じてどのよ > うな技術を使ってもいい訳でありますし、予め分類しておく事が可能である > か、また有効であるかどうか疑問の余地があります。 > > 判定が終ってから、検索課題と参加システムのパフォーマンスの関係から > 自動クラスタリングなどを通して、課題をグループ分けしたり、システムの > 特徴を分析したりするのは非常に興味深い事だと思います。 > > > 1.4 予備試験の課題の決定 > > 以下の14個のBMIRの検索課題に対して、毎日新聞の94、95年記事で調査を行 > なった。論理式による文字列マッチングで記事を抜き出し、それらの一部を > 眺めるという事で、予想される該当記事数や、難易度などを推定した。また > 、検索課題の文面などについての考察も行なった。論理式の右にある数字は > マッチした記事の数。 > > 各項目の最初の*の数が多い程、適している課題だと判断した。 > (最後に適している課題をレベルごとにまとめる。) > > *** 103.lst 「任天堂またはセガ」 > (任天堂 | セガ) 228 > 予想該当記事数 100 > > Narrativeにあるように「任天堂、セガに関することが主に記述されていれば > Aランク」というのは曖昧である。例えば、セガの社員の私生活に関する事や > セガの社長インタビュー、セガが参画している協議会、ゲーム機一般の事等 > 迷えるものが多数ある。Narrativeを以下のようにしたらいいように思う。 > > 任天堂、セガの会社としての活動や活動の結果が示されているもの。他社や > 一般の話の中で参照されているだけのものは除く。 > > * 107.lst 「ビデオデッキ」 > (ビデオデッキ | ＶＣＲ) 33 > (ビデオ | ＶＴＲ | ＶＣＲ) 2252 > 予想該当記事数 ? > > ビデオデッキについて書かれているものならば何でもいいのか？ ビデオと > 書かれているが、ビデオデッキの事を意味するものをどれだけ認定できるか > が問題なのであろうか？ 実際そのような例はあまりないように思える。 > > * 117.lst 「千人以上の人員削減を計画している企業」 > (人員削減 | リストラ | 解雇) 1674 > 予想該当記事数 ? > > 同じ企業の話が重複する場合が多いと思われる。 > > * 119.lst 「電話料金の値下げ」 > (電話料 & 値下) 21 > 予想該当記事数 10 > > 同じ内容について複数の記事がある。イベントとしては3つのみ。 > > *** 122.lst 「政党に対する献金」 > ((政治 | 政党) & 献金) 908 > 予想該当記事数 700 (BMIR) > 予想該当記事数 100 (改良) > > NARRATIVEにある「政党に対する企業からの献金の話題」だと非常に広い。 > これを以下のようにするといい感じになる。 > > 政党に対する企業からの特定の献金 > 政党に対する企業からの特定の献金の話題。対象になる政党か企業名が記事 > から分れば正解とする。 > > *** 123.lst 「国連軍派遣」 > ((国連軍 | ＵＮ軍) & 派遣) 67 > (国連 & 派遣) 1023 > 予想該当記事数 50 > > 自衛隊の国連軍への派遣問題は除く > > ** 126.lst 「地価の下落」 > (地価 & (値下 | 下落)) 286 > 予想該当記事数 50 > > NARRATIVEにある、「社会、経済、事業への影響を見る目的」というのと > 「単に言葉が出現したものを除く」というのが矛盾するような感があるが、 > 実際の地価下落を述べているものは50くらい。それによる社会等への影響 > を述べているものは200くらいある。 > > ** 129.lst 「冷夏の被害」 > (冷夏 & 被害) 12 > 冷夏 180 > 予想該当記事数 50 > > 冷夏の被害ではなく冷夏の影響とすると、冷夏によるプラスの結果も出て > 面白いかもしれない。例「スギ花粉の減少」。実際には93年が冷夏であり > それによる影響が書かれているものばかり。 > > * 132.lst 「コンピュータ製品の市場動向」 > ((コンピュータ | 計算機 | パソコン | オフコン) & (市場 | 販売 | 売上 | 売行)) 907 > 予想該当記事数 30 > > 市場の統計的な情報のみとすると範囲が極端に狭くなる。 > > ** 136.lst 「赤字国債の発行」 > (国債 | 発行) 365 > (赤字国債) 322 > 予想該当記事数 100 > > 検索課題としては技術的に面白いが、内容は同一のものを言っており(各年 > 1つづつ)、実際の興味として面白いかは疑問。 > > ** 140.lst 「太陽エネルギーの利用」 > (太陽エネルギー | ソーラパワー) 41 > ((太陽 | ソーラ) & エネルギー) 172 > ((太陽 | ソーラ) & (エネルギー | 発電 | カー | 自動車)) 426 > 予想該当記事数 50 > > * 146.lst 「日本企業による逆輸入」 > (逆輸入) 103 > 予想該当記事数 50 > > 統計の中で使われていたり、社会現象としての説明も多い。 > > ** 149.lst 「円高対策のためのメーカーの海外進出」 > (円高 & (メーカー | 製造業) & 海外進出) 33 > 予想該当記事数 ? > > 「海外進出」部分をどのようにキーワード化したらいいか難しい。 > そういった意味で面白い課題かもしれない。 > > * 158.lst 「企業の社会貢献」 > ((企業 | 会社) & (貢献 | 奉仕 | 慈善 | 寄付 | 寄与 | 寄贈) 922 > 予想該当記事数 20 > > レベル1： 「任天堂またはセガ」 > > レベル2： 「国連軍派遣」 (「国連軍の派遣」) > 「地価の下落」 > 「冷夏の被害」 > 「赤字国債の発行」 > 「太陽エネルギーの利用」 > > レベル3： 「政党に対する企業からの特定の献金」 > 「円高対策のためのメーカーの海外進出」 > > === 新しい検索課題 === > > レベル1： > > * 201.lst 「液化天然ガス（ＬＮＧ）」 > (液化天然ガス | ＬＮＧ) 45 > (天然ガス) 160 > 予想該当記事数 30 > > ** 202.st 「製薬会社」 > (製薬) 930 > 予想該当記事数 150 > > レベル2： > > * 203.lst 「年金の見直し」 > (年金 & (見直し | 改善 | 審議)) 301 > (年金 & (見直し | 改善 | 審議 | 改正 | 改革)) 301 > 予想該当記事数 100 > > レベル3： > > ** 204.lst 「日本のＮＧＯによる人権問題に関する活動」 > ((ＮＧＯ | 非政府 | 民間) & 人権) 293 > 予想該当記事数 50 > > * 205.lst 「環境問題に対する日本政府の施政」 > ((環境 | 堤防 | 湖水 | 水質 | 光化学) & 日本) 3716 > 予想該当記事数 ? (<100) > > > 1.5 提出ファイルのフォーマット > > プログラム、ファイルの流れ > -------------------------- > > ＩＲ結果提出ファイル(1), ＩＲ結果提出ファイル(2)、、、、 > ＩＲ結果提出ファイル(N) > || | > \/ | > | > || | > \/ | > ＩＲ結果統合ファイル ---> | > || /\ | > \/ | | > <-------------| | > || | | > \/ | | > (判定結果付き)ＩＲ結果統合ファイル <----* | > || | > \/ | > <--------------------------* > || > \/ > ＩＲスコアファイル > > > ファイルフォーマット > -------------------- > > <ＩＲ結果提出ファイル> > > ==例== > 901 > > 002 > > 9408312013 > 9409049267 > 9511120931 > 9503050928 > 9409019278 > 9408202938 > 9401010293 > 9401102943 > ... > > > > > ... > > > ... > > ==BNF== > > file := system_id ir_result* > system_id := number > ir_result := individual_result > individual_result := topic_id candidate* > topic_id := number > candidate := document_information > docno_information := number > > > <ＩＲ結果統合ファイル> > > ==例== > > 002 > > > 9408312013 > > > > .... > 4 > 5 > 4 > .... > 視点を換ると、主旨は違ってくる > .... > > > ... > > > > > ... > > > ... > > ==BNF== > > file := ir_merge_result > ir_merge_result := topic_id result_information > topic_id := number > rerult_information := docno_information system_information* judge_information* comment* > docno_information := number > system_information := > judge_information := number > comment := string > > > PID = 判定者ＩＤ > TIME = 判定にかかった時間(繰り返し(訂正)があった場合には合計) > REPEAT = 繰り返しの回数 > > > <ＩＲスコアファイル> > > 未定 > > > 1.6 判定プログラム、ツールのデモ > > 1. ir_output_merge > 各参加者が提出してきたＩＲ結果提出ファイルをマージする。 > > 2. ir_merge_merge > ＩＲ結果統合ファイル同士をマージする。 > > 3. ir_judge > ＩＲ結果統合ファイルを元に、人間が記事の検索課題に対する関連性を > 判定するためのツール。 > > 4. ir_scorer > 各参加者のＩＲ結果提出ファイルをＩＲ正解ファイルと突き合せその > 適合率、再現率のカーブを出力する。 > > 5. sgml_fomat_checker > BNFで書いたSGMLのフォーマットに与えられたファイルが適合しているか > 確認するためのツール。 > > > 1.7 正解判定方法(判定ランク、学生5段階、最終2段階) > > まず、学生2人に同じ課題の判定をしてもらいます。 > 学生の判定では以下の5段階の評価をしてもらいます。 > > 5：確実に関連する (BMIRのＡに相当) > 4：関連するかもしれない、なんらかの関連がある (BMIRのＢに相当) > 3：わからない、 > 2：ほぼ関連しない > 1：確実に関連しない > > 学生に渡す作業指針には、「なるべく、1と5が全体のうちのある割合(90/95%)以上に > なるようにしてください」というような文面を入れて、2や4ばかり付けるのを > 排除する方法が必要だと思っています。 > > 2人にやってもらいますが、5&5,1&1のような結果が出た物については、それで > 結果を確定し、以降見直しの作業をしない事にします。(5&4,1&2の場合は > どうするか、予備試験の結果を見て判断しようと思います。) > この後、判定基準が分れたものは、学生同士話してもらい、判定が揺れた物の > 数を減らしてもらうという方法もあります。 > 最終的に判定が揺れた物については、関根なりボランティアベースで誰かが > 判定を行ないます。最終結果は、関連する、関連しないの1/0です。 > > > 1.8 正解判定者 > > NE,IR共に参加者は審判としては加われません。これは大学の学生が > 参加した場合でも、その先生は審判とはなれません。過去に共同研究を > 行なったが、現在すでに共同研究が終了している場合に、その > システムまたはそれに基づいた改良システムを使用して一方のみが > 参加する場合には、他方のグループがその研究を継続していない事を > 条件として、審判として参加する事を許します。 > > > 1.9 その他 > > - TRECでいうautomatic query construction のみ。manualはなし。 > > > 2. 全体の運営 > > 2.1 参加予定者リスト > > 以下のリスト以外に、参加の意志を間接的にいただいている団体が国内海外 > あわせて5、6団体あります。 > > 予備試験(判定、正解作成) > IR NE IR学生 IR最終 NE > > アドイン研究所 ○ > RWC情報ベース機能三菱研究室 ○ > 茨城大学 ○ > ＮＥＣ ○ ○ > NTT基礎研究所 ○ > NTTコミュミケーション科学研究所 ○ > NTTデータ ○ ○ > 沖電気工業 ○ ○ > オムロン ○ ○ > 学術情報センター ○ > 九州工業大学 ○ > 九州大学 ○ > 岐阜大学 ○ ○ > ＫＤＤ研究所 ○ > 計量計画研究所 ○ ○ > 京都大学 ○ ○ > シャープ株式会社 ○ > 津田塾大学 ○ > 東京工業大学 ○ > 東京大学 ○ ○ > 東芝 ○ > 図書館情報大学 ○ ○ > 徳島大学 ○ > 豊橋技術科学大学 ○ ○ > ニューヨーク大学 ○ ○ ○ > 日立製作所 ○ > 富士通 ○ > 富士通研究所(1) ○ > 富士通研究所(2) ○ > 北陸先端大学 ○ ○ > 松下電器産業 ○ ○ > 山形大学 ○ > 郵政省通信総合研究所 ○ ○ > 横浜国立大学 ○ ○ > リコー ○ > > 2.2 ワークショップの形態 > > 以下の2種類の方法が考えられます。なるべくオープンにしたいと思うので > すが、研究者以外の人(報道関係など)が、順位だけをそのまま受け取り、 > 順位の情報だけが一人歩きをする事を避けるために、参加者は研究者に限 > りたいという要求があります。一方、今回は参加しなかったけれども、2回 > 目には興味があるといった人には是非参加してもらいたいと思います。 > > * 参加者のみのクローズド > * オープン > * ?? > > ワークショップは、以下のような内容にしようと考えています。 > > * 全体の話(課題の説明、スコアの説明、人間のパフォーマンス等) > * 各団体からのシステムの発表(各10ー20分) > * ＩＲＥＸ２での課題等、将来に向けた議論 > * デモ(？) > > 今の参加者の数から言って2日間のワークショップになると思います。 > 予稿集は発行する予定にしています。 > > > 2.3 結果の公表の仕方 > > 特に企業の方には、実名がそのまま出る事を嫌う方がいらっしゃると思い > ますので略称のみを予稿集などには公表し、実名を出さないという方法も > 考えられます。もちろん、予稿集に各団体が数字を載せれば誰が誰かおお > よそ分ってしまうでしょうが、完全な匿名は非常に難しいと思います。 > 参加者の意見を聞いて決めたいと思います。 > > * 団体名を明確に公表 > * 略称のみを公表し、略称と団体名の対応は公表しない > * ?? > > > 2.4 ＩＲＥＸ２ > > * ＩＲＥＸ２を開催するための手段、スポンサーを考えています。今後 > に継げるためになるべく束縛の少ないいい所を捜したいと思います。 > 案やコメントがありましたらお寄せください。 > > * 技術的な課題として新しい物を色々と取り入れたいと思います。 > 意見、提案等をお寄せください。 > > 情報抽出、要約、分類、続報、形態素解析、構文解析、語義 > ＩＲ (Ｉ／Ｆ、 多言語、 フィルタリング、ルーチン) > > > 2.5 データ公開 > > NE,IR共、正解データは作成した後、一般に公開します。 > ただし、IRについては作成に手間がかかるのと、参加を促すために > 以下のように公開内容に差を付けようと思います。 > > * 参加者、審判者には、各システムが出したランクの情報、 > 各判定者が行なった判定結果とそれにかかった時間の情報を > データに付与します。システム、判定者の名前は匿名とします。 > この場合の参加者とはIRの参加者のみを言います。NEのみに参加 > している方にはIRの詳細データは公開しません。希望者は是非 > IRの審判に加わっていただけるといいと思います。 > > * それ以外の方には(IREXに無関係な方も含めて)、IRのデータは > 関連記事であるかどうかの最終判断として作られた0/1のデータ > のみを公開します。 > > > 2.6 予備試験の日程 > > 1998年の10月と本試験の行なわれる1999年の4月は曜日が一緒ですので > まったく同じ日付で予備試験を行ないたいと思います。 > > 1998年10月5日 ＩＲ検索課題配布 > 1998年10月12日 ＩＲ検索結果提出 (日本時間23時59分まで) > 1998年10月13日 ＮＥ評価対象データ配布 > 1998年10月16日 ＮＥ抽出結果提出 (日本時間23時59分まで) > > ただし、予備試験は任意参加ですので、多少(1週間程度)遅れた提出も受 > け付けます。本試験では1分遅れたものも受け付けません。(遅れたという > ラベル付きの扱いになります。) > > 判定結果は11月末日を目標に作成したいと思います。 > データの交換はすべてメイルで行ないます。 > 提出先はirex-submit@karc.crl.go.jpになります。 > (予備試験までに用意します。) > > > 2.7 今後の予定 > > 予備実験で大きな問題が発覚しないかぎり、顔を合せてのミーティングは > 本実験まで今回が最後にしたいと思います。主にメイルを利用して連絡を > しあいたいと思います。 > > > 2.8 予稿集でのシステム説明 > > 各参加団体の数ページのシステムと実験に関する論文の他に > 共通のdescription form(システムに関するアンケート)を行ないます。 > 例えば、IRで形態素解析を使っているかどうか、NEで辞書の規模等。 > (TRECのProceedings等を参照のこと) > 全部の参加者が回答していただけるようにお願いします。 > > 3. NE > > 3.1 NE定義 > > NE定義内の問題点について議論したいと思います。 > > > 3.2 NE_TRIAL > > NE_TRIALですが、NEに参加される予定の方は試してみる事を、推奨いたしま > す。皆様から送られてきたデータを見て、定義の確認、それからトレーニン > グデータの作成をしたいと思っております。どうぞよろしくお願いいたしま > す。 > > ftp cs.nyu.edu > > cd pub/local/sekine > > binary > > get IREX980727.tar.gz > > IREX/NE_TRIAL/READMEを御覧ください。 > > > 3.3 対象記事 > > NEの対象記事は、誰も見ていない記事を使用するのが理想的な方法だと思い > ます。これは、すでに94、95年の毎日新聞を含めた記事を利用してシステム > 開発を行なっている団体があるためで、この問題を解決するために、毎日新 > 聞社に話して99年のデータを使用させてもらえるように交渉します。 > > > 3.4 ツールのデモ > > NEscorer : NEのスコアラー (NE) > mai2sgml : 毎日新聞のデータをSGML形式に変換するプログラム (NE/IR) > pntag : nemacs/mule上で固有表現をタグ付けする為のツール (NE) > tea : 固有表現のデータとオフセット形式のデータの変換ツール (NE)  1, filed,, Summary-line: 20-Sep to: irex@karc.crl.go.jp #[irex 53] The 2nd meeting short report Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id WAA25884; Sun, 20 Sep 1998 22:21:10 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id WAA11817; Sun, 20 Sep 1998 22:21:08 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id LAA05645; Mon, 21 Sep 1998 11:16:39 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id LAA02376; Mon, 21 Sep 1998 11:16:37 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id LAA25461; Mon, 21 Sep 1998 11:10:40 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id LAA25456 for ; Mon, 21 Sep 1998 11:10:34 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id LAA08911 for ; Mon, 21 Sep 1998 11:11:28 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id LAA02343 for ; Mon, 21 Sep 1998 11:16:25 +0900 (JST) Received: from nonki.cs.nyu.edu (NONKI.CS.NYU.EDU [128.122.140.99]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id LAA27977 for ; Mon, 21 Sep 1998 11:16:08 +0900 (JST) Received: by nonki.cs.nyu.edu (SMI-8.6/1.20) id WAA09413; Sun, 20 Sep 1998 22:15:51 -0400 Date: Sun, 20 Sep 1998 22:15:51 -0400 From: sekine@nonki.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809210215.WAA09413@nonki.cs.nyu.edu> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 53 Subject: [irex 53] The 2nd meeting short report Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 1694 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Sun, 20 Sep 1998 22:15:51 -0400 From: sekine@nonki.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 53 Subject: [irex 53] The 2nd meeting short report Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 1694 This is a breif report of the meeting and some other news. 1.議事録 The minutes of the meeting will be distributed shortly. 正式な議事録は、ＩＢＳの方々に作成していただいていますが、 できあがり次第公開します。ここでは、非常に重要な事だけ速報と してお伝えします。 2.定義について The revised definition/guidline will be produced ASAP. IR,NEの定義ともミーティングでの議論を反映して定義を、できるかぎり 早急に作成します。NEの定義については公開後1ヶ月程度(10月中旬まで)の 議論の時間を設けます。 3.予備試験の日程 The dry run will be conducted on November. ミーティング前にお配りした議案では予備試験は10月となって いましたが、当初の予定通り11月に行なう事とします。 詳細は議事録で公開します。 4.NEの本試験について The NE formal run will be done on Mainichi (1999 April-May) material. 毎日新聞との交渉では、こちらの予定以上の提案を相手側からいただき、 結局、99年の100記事を無償でいただけることになりました。また、 公平さを維持するために、ミーティングで、システムの開発を4月13日で 凍結しそれから1ヶ月間の記事を使って、本試験を行なうという形式が 提案され、この方法を取る事となりました。 5.NACSISとの協力 (IR) Cooperation with NACSIS. NACSISのコンテストも盛り上るようにと、NACSISと協力できる所はしていこう という話をしました。特にIRの出力のフォーマットは統一するか、変換プログラムを 提供して、両方の参加者に対し負担の少なくなるような仕組を作りたいと思います。 また、ワークショップは9月に共同、または連続して行なえるようにと考えています。  1, filed,, Summary-line: 22-Sep to: irex@karc.crl.go.jp #[irex 54] IREX talk at Tipster workshop Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id RAA11921; Tue, 22 Sep 1998 17:44:44 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id RAA10754; Tue, 22 Sep 1998 17:44:41 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id GAA24116; Wed, 23 Sep 1998 06:40:14 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA00523; Wed, 23 Sep 1998 06:40:12 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id GAA16272; Wed, 23 Sep 1998 06:34:15 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id GAA16267 for ; Wed, 23 Sep 1998 06:34:14 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id GAA10129 for ; Wed, 23 Sep 1998 06:35:11 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA00518 for ; Wed, 23 Sep 1998 06:40:09 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id GAA29728 for ; Wed, 23 Sep 1998 06:40:06 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id RAA19544; Tue, 22 Sep 1998 17:40:03 -0400 Date: Tue, 22 Sep 1998 17:40:03 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809222140.RAA19544@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 54 Subject: [irex 54] IREX talk at Tipster workshop Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 616 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Tue, 22 Sep 1998 17:40:03 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 54 Subject: [irex 54] IREX talk at Tipster workshop Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 616 IREXメイリングリストの皆様： 来月の13日から開かれるTipsterのワークショップで5ー10分に渡り ＩＲＥＸの紹介をいたします。基本的な紹介と 「Tipster終れども、その精神は死なず」 というような話をしようと思っているのですが、特に話すべき事、 話すべきではない事など、助言がありましたらお願いします。 スライドの締切が今週なので、早目にお願いします。 I will describe the IREX project at the Tipster 24-month workshop October 13-15. It will be a 5-10 minute talk. If you have any suggestions, please let me know by this Thursday. Thanks. 関根  1, filed,, Summary-line: 24-Sep to: irex@karc.crl.go.jp #[irex 55] Minutes of the 2nd IREX meeting Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id RAA00073; Thu, 24 Sep 1998 17:29:34 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id RAA18377; Thu, 24 Sep 1998 17:29:30 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id GAA11092; Fri, 25 Sep 1998 06:24:49 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA17228; Fri, 25 Sep 1998 06:24:47 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id GAA02911; Fri, 25 Sep 1998 06:18:51 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id GAA02906 for ; Fri, 25 Sep 1998 06:18:49 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id GAA10942 for ; Fri, 25 Sep 1998 06:19:44 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA17223 for ; Fri, 25 Sep 1998 06:24:43 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id GAA24730 for ; Fri, 25 Sep 1998 06:22:36 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id QAA20600; Thu, 24 Sep 1998 16:34:50 -0400 Date: Thu, 24 Sep 1998 16:34:50 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809242034.QAA20600@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 55 Subject: [irex 55] Minutes of the 2nd IREX meeting Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 15743 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Thu, 24 Sep 1998 16:34:50 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 55 Subject: [irex 55] Minutes of the 2nd IREX meeting Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 15743 第２回 ＩＲＥＸミーティング 議事録 (Minutes of the 2nd IREX meeting) (財)計量計画研究所 言語情報研究室 この議事録は、主に(財)計量計画研究所の方々に作成していただきましたが、 最終的なチェックは関根が行ないました。間違えなどある場合の責任は 関根にあります。 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ −−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−− 0 第2回ミーティング 1. IR 1.1 検索対象記事の範囲 1.2 検索課題の内容(Description,Narrativeの細かさ) 1.3 検索課題のレベル設定 1.4 予備試験の課題の検討 1.5 提出ファイルのフォーマット 1.6 判定プログラム、ツールのデモ 1.7 正解判定方法(判定ランク、学生5段階、最終2段階) 1.8 正解判定者 1.9 その他 2. 全体の運営 2.1 参加予定者リスト 2.2 ワークショップの形態 2.3 結果の公表の仕方 2.4 ＩＲＥＸ２ 2.5 データ公開 2.6 予備試験の日程 2.7 今後の予定 2.8 予稿集でのシステム説明 2.9 その他 3. NE 3.0 全般に関わること 3.1 NE定義 3.2 NE_TRIAL 3.3 対象記事 3.4 ツールのデモ −−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−− 0 第2回ミーティング ￣￣￣￣￣￣￣￣￣￣ 日時：平成10年9月16日10:00〜17:30 場所：計量計画研究所 5階会議室 出席者：池田(ＮＥＣ)井佐原、村田、内元(通信総研)、江里口、木谷(ＮＴＴデータ通信)、 荻野(ＩＢＭ)、落谷(富士通研)、影浦、松村 (学術情報)、加藤、佐々木、中渡瀬(ＮＴＴ)、 黒橋(京大)、剣持、宮本(横国大)、酒井(東芝)、佐々木 (徳島大)、関根(ＮＹＵ)、 徳永 (アドイン研究所)、豊浦(三菱)、丹羽 (日立)、野口(松下)、野畑(東大)、 福島(ＮＥＣ)、福本、桝井(沖電気)、藤井(図情大)、帆足(ＫＤＤ研究所)、 望月(北陸先端大)、山本 (筑波大)、若尾(ＴＡＯ)（五十音順、敬称略）、 乾、丸元、木田(計量計画研究所) 1. IR ￣￣￣ 1.1 検索対象記事の範囲 ￣￣￣￣￣￣￣￣￣￣￣ ・94、95年の毎日新聞記事の全体(報道、社説、コラム、解説、投書、スポーツなどを含んだ)を 検索対象にする。 ・重複している記事(大阪版と東京版に同じ記事がある場合など)は、除いてはどうか。 ・週間サマリーを入れると精度が上がるので除いてはどうか。 ・著作権のない短い記事は除いへはどうか。 ［意見］ ・内容の薄い短い記事は検索対象から外すべきではないか。 ・記事が要求に関係しているかどうかだけではなく、どのくらい重要性を持っているかも 問題になるのではないか。 ・問題点を洗い出すために、最初は記事全部を検索対象にしてはどうか。 ［結論］ ・今回は記事全部を検索対象とする(重複記事、週間サマリー、著作権のない記事も含む)。 1.2 検索課題の内容(Description,Narrativeの細かさ) ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ●検索要求(Description) {検索課題の簡潔な表現。主に修飾語を伴なった名詞句。} ・検索要求は3つまでの自立語群と付属語(「に関して」のような独立に意味を 持たないものも附属語とする)で表現する。 ・検索要求で使われた3つの自立語群を適切なand/orで補った検索式を作成した 場合に、その式から人間の頭に浮かぶ情報要求が検索課題と重なるように調整する。 ●検索要求説明(Narrative) {人間が見て可能な限り曖昧なく判断ができる程度に詳細な検索要求の記述。 複数の文で表現され、必要ならば、辞書記述、同義語、具体例も含む。} ・人間が見て一意に絞れる検索要求を二、三文の自然言語文で表現する。 ［意見］ ・一見簡潔なqueryでも、実際に検索してみると曖昧な場合がある。 ・検索要求(Description)と検索要求説明(Narrative)は、あらかじめ分けておく。判定の際にもよい。 ・長いqueryを使った場合と短いqueryを使った場合では、結果が違いが出る。 ・TRECでも長いqueryと短いqueryがあり、選べるようになっていた。 短いqueryと長いqueryに対して、二種類の正解を作ってはどうか。 ［結論］ ・各参加者はDescriptionのみを使用したか、Narrativeも使用したか申告してもらう。 ・判定はDescription,Narrativeの両方の情報を利用して行なう。 ・「〜を除く」というネガティブ表現は非常に難しいので、予備試験では タグを付けて出題し、その結果を見て本試験の課題にするかどうか決定する ・Descriptionで用いた言葉をNarrativeでも使用するとは限らない。 1.3 検索課題のレベル設定 ￣￣￣￣￣￣￣￣￣￣￣￣ ・意味的な分類は客観的な判断が難しいが、構文的な分類は比較的容易である。 構文的な分類を採用してはどうか。 ・構文的な分類には以下の3レベルが考えられる。 1. 単一名詞句または複数名詞句がAND/ORに翻訳容易な付属語で接続している物 2. 「AのB」「Aに関するB」「Aに対するB」のような二つの名詞句と1つの付属語 3. 二つ以上の自立語が利用され、格解析などの複雑な解析が必要な表現 ・本試験では30検索課題を予定、各レベル毎に10課題ずつとしてはどうか。 ［意見］ ・検索結果を見ないで、単語のみからレベルを類推するのは難しい。検索結果を見ながら レベル設定を行ってはどうか。 ・難易度に関係なく全課題にシステムを走らせるだろうから、レベル設定は検索結果を 出した後で行ってはどうか。 ［結論］ ・原則としてレベル設定はしない 1.4 予備試験の課題の検討 ￣￣￣￣￣￣￣￣￣￣￣￣ ［意見］ ・予備試験はなるべく易しいもので行う。 ・予備試験とは言え全部易しいのは問題があるので、ある程度は予測してやる。 ［結論］ ・BMIRの課題(今回の議題の資料で挙げたもの)から少なくとも2〜3個入れる。 ・予備試験のレベルは、難しいものから易しいものまで入れる。 1.5 提出ファイルのフォーマット ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ <ＩＲ結果提出ファイル> ・結果は1トピックにつき300件。300を越えるものは、超えた部分は評価の対象外とする。 ・今回はランクのみを使う。スコアは任意で提出(オプション扱い)。 <ＩＲスコアファイル> ・基本的には再現率・適合率。 ・正解を2種類にする場合は、二つ作成する。 1.6 判定プログラム、ツールのデモ ￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ・特記事項なし。 1.7 正解判定方法(判定ランク) ￣￣￣￣￣￣￣￣￣￣￣￣￣￣ ・まず学生2人が同じ課題の判定を行う。 ・学生の判定では以下の5段階の評価をしてもらう。 5：確実に関連する (BMIRのＡに相当) 4：関連するかもしれない、なんらかの関連がある (BMIRのＢに相当) 3：わからない、 2：ほぼ関連しない 1：確実に関連しない ・二人の判定が分れたものは、学生同士で話し合う。 ・最判定は、関連する、関連しないの2段階で評価する。 ［意見］ ・典型的な query を皆にやってもらい、判定の傾向を見てみる。 ・TRECの場合は3人(メイン1，サブ2)で判定。サブの得点はメインの半分以下となる。 ・BMIRの判定 A：一致 B：一部一致 ---+---参照 +---少し触れる C：不一致 ・ＢＭＩＲでは「主題は○○だが、テキストの××の部分が一部該当」のように根拠を 　記した。 ［結論］ ・学生6段階、最終3段階で評価する。 学生 6：確実に関連する (BMIRのＡに相当) 5：6だが不安 4：一部関連する、なんらかの関連がある (BMIRのＢに相当) 3：4だが不安 2：関連しない 1：2だが不安 最終 6：確実に関連する (BMIRのＡに相当) 4：一部関連する、なんらかの関連がある (BMIRのＢに相当) 2：関連しない ・学生判定で不安を表明する場合は理由を述べる事を推奨する。 1.8 正解判定者 ￣￣￣￣￣￣￣ ・NE,IR共に参加者は審判としては加われない。大学の学生が参加した場合でも、 その先生は審判とはなれない。 ・過去に共同研究をやっていて、そのシステムまたはその改良システムを使用して 一方のみが参加する場合には、もう一方はその研究を継続していない事を条件に 審判として参加できる。 1.9 その他 ￣￣￣￣￣ ・TRECでいうautomatic query construction のみとする。TRECではmanualで検索式を 作るというのがあるが、IREXではそれはなし。 ・本試験ではシステムは一つに限るが、予備試験では複数のシステムを出してもよい。 ただし、全部評価できるかどうかは分らない(参加者数による)。 2. 全体の運営 ￣￣￣￣￣￣￣ 2.1 参加予定者リスト ￣￣￣￣￣￣￣￣￣￣ 2.2 ワークショップの形態 ￣￣￣￣￣￣￣￣￣￣￣￣ ・なるべくオープンにしたいが、順位情報の一人歩きを避けるためにコンテスト 参加者のみに限りたいという要求もある。 * 参加者のみを希望：4社(企業は上司と相談しないとわからない) * オープンでも可 ：4社以外 ・ワークショップの内容として以下のものを予定。 * 全体の話(課題の説明、スコアの説明、人間のパフォーマンス等) * 各団体からのシステムの発表(各10ー20分) * ＩＲＥＸ２での課題等、将来に向けた議論 * デモ(？) ・2日間のワークショップになる予定。 ・予稿集は発行する予定。 2.3 結果の公表の仕方 ￣￣￣￣￣￣￣￣￣￣ ・団体名を実名で公表するか、略称で公表するか。 * 団体名を明確に公表(約半数の参加者) * 略称のみを公表し、略称と団体名の対応は公表しない(約半数の参加者) ［意見］ ・略称で出しても明らかにわかるものはどうすればよいか。 (例)「計量計画研究所」の略称「IBS」 ・どんな略称をつけてもいいというわけにはいかない。 (例)「計量計画研究所」の略称を「IBM」とする、など。 ［結論］ ・公式結果の所での団体名はＩＤ番号で公表する。 ・各結果とシステムのアンケートは連結させるので、そのような技術を使って そのくらいの成績を納めたかは分るようにする。 ・ＩＤ番号はランダムに作成し、各参加団体に送る。 ・各参加者は自分の発表の中では自由に結果を公表してよい。 ・この方法でやった時に、前述の4社に問題があるか調べてもらう。 2.4 ＩＲＥＸ２ ￣￣￣￣￣￣￣ ・ＩＲＥＸ２を開催するための手段、スポンサーを考えている。 ・技術的な課題として新しい物を取り入れたい。 ［意見］ ・予算全体で1000万円以上あるのが望ましい。 (cf.)今回の予算は200万円。大部分を学生の正解作成のアルバイト代に使用。 ・国から取ってくるのがよいのではないか。 2.5 データ公開 ￣￣￣￣￣￣￣ ・NE,IR共、正解データは一般に公開する。 ・ただし、IRについては作成に手間がかかるのと、参加を促すために、以下のように 公開内容に差をつける。 * IR参加者、審判者には、各システムが出したランクの情報、各判定者の判定結果と それにかかった時間などのIRの詳細データを公開。 * それ以外の人には(IREXに無関係な人も含む)、IRのデータは関連記事かどうかの 最終判断として作られた0/1のデータのみを公開。 ［意見］ ・規定に同意しなければデータをダウンロードできないようにするなど、もう少し 制約をつけてはどうか。 2.6 予備試験の日程 ￣￣￣￣￣￣￣￣￣ <日程に関すること> ・予備試験の日程を議案にあったものより約一ヶ月遅らせる。 (変更前) 1998年10月5日 ＩＲ検索課題配布 1998年10月12日 ＩＲ検索結果提出 (日本時間23時59分まで) 1998年10月13日 ＮＥ評価対象データ配布 1998年10月16日 ＮＥ抽出結果提出 (日本時間23時59分まで) (変更後) 1998年11月9日 ＩＲ検索課題配布 1998年11月16日 ＩＲ検索結果提出 (日本時間23時59分まで) 1998年11月17日 ＮＥ評価対象データ配布 1998年11月20日 ＮＥ抽出結果提出 (日本時間23時59分まで) ・判定結果は1998年12月末を目標に作成。 <日程以外に関すること> ・予備試験では多少(1週間程度)遅れた提出も受け付けるとしていたが、本試験同様 遅れた提出は受け付けないことに変更。 ・基本的にデータの交換はメイルで行うが、問題があればFTPの使用も考える。 ・予備試験のデータ：本試験参加の予定の人には平等に同じものを配る。 ・予備試験のスコア：参加者のみに流し、外には流さない。 2.7 今後の予定 ￣￣￣￣￣￣￣ ・予備実験で大きな問題が出なければ、本試験終了までミーティングはなし。 ・連絡手段はメイルを主とする。 2.8 予稿集でのシステム説明 ￣￣￣￣￣￣￣￣￣￣￣￣￣ ・各参加団体のシステムと実験に関する論文の他に、共通のdescription form (システムに関するアンケート)を行う。 2.9 その他 ￣￣￣￣￣ ・学会の後援 人工知能学会 (ワークショップに資金を提供してもらえる予定) 言語処理学会 、 電子協 ・NACSISのコンテストとの協力 IRの出力フォーマットを統一するか、変換プログラムを提供する ワークショップは9月に共同、または連続で行う (cf.) NACSISのIRコンテストのホームページ http://www.rd.nacsis.ac.jp/projects/test-collection/ 3. NE ￣￣￣ 3.0 全般に関わること ￣￣￣￣￣￣￣￣￣￣ ・正解データの作成は、関根(ＮＹＵ)、江里口(ＮＴＴデータ)が担当する。 ・定義については、10月16日まで議論を行い、10月17日にfixする。fix版はIREXの 　ホームページに掲載する。予備試験で重要な問題が発生したら、その時点で 修正を行う可能性もある。 ・「タグの範囲」「タグの種類」が一致しているものを正解とする。 3.1 NE定義 ￣￣￣￣￣ ・改訂版NE定義(ホームページから辿れる。9月末日までに作成予定)を参照。 3.2 NE_TRIAL ￣￣￣￣￣￣￣ ・NE本試験参加予定者は、NE_TRIALをやってみることを推奨する。 3.3 対象記事 ￣￣￣￣￣￣ ・すでに94、95年の毎日新聞を使ってシステム開発を行っている団体がある。 そこで、対象記事として毎日新聞の99年のデータを使用できるよう交渉する。 ・99年の毎日新聞データを使えない場合は、一ヶ月分の記事を手入力する。 ［意見］ ・公平を期すために、システムの開発は3月末日で凍結、4月1日から16日の記事を使って本試験を行う。 ・ドメインスペスフィック、ジェネラルともに4月1日から本試験の日までのデータを使う。 ・年度末は忙しいので、3月末〆切は避けたい。 ・5月13日を本試験とするなど、ある程度期間をおいてはどうか。 ・毎日新聞に限らず、99年に発行された書類は見ない(見る＝システム開発用に使用する)。 これを紳士協定とする。 ・新聞記事などを直接見なければ、知識は使ってもよい。 ［結論］ ・システムの開発は4月13日で凍結、そこから一ヶ月分の記事を使って5月13日に本試験を行う。 ・予備試験は94、95年毎日新聞から選んだ一般的な記事を対象とする。 3.4 ツールのデモ ￣￣￣￣￣￣￣￣ ・特記事項なし。 　　 以上  1, filed,, Summary-line: 24-Sep to: irex@karc.crl.go.jp #[irex 56] NE definition Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id SAA00402; Thu, 24 Sep 1998 18:04:13 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id SAA18826; Thu, 24 Sep 1998 18:04:01 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id GAA11262; Fri, 25 Sep 1998 06:59:38 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA17564; Fri, 25 Sep 1998 06:59:36 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id GAA03005; Fri, 25 Sep 1998 06:53:39 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id GAA03000 for ; Fri, 25 Sep 1998 06:53:39 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id GAA10952 for ; Fri, 25 Sep 1998 06:54:33 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id GAA17559 for ; Fri, 25 Sep 1998 06:59:33 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id GAA24928 for ; Fri, 25 Sep 1998 06:59:31 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id RAA20631; Thu, 24 Sep 1998 17:59:30 -0400 Date: Thu, 24 Sep 1998 17:59:30 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809242159.RAA20631@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 56 Subject: [irex 56] NE definition Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 805 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Thu, 24 Sep 1998 17:59:30 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp Cc: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 56 Subject: [irex 56] NE definition Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 805 ＩＲＥＸメイリングリストの方： The NE definition for the base of discussions for the next one month is ready. You can find it through the IREX homepage. http://cs.nyu.edu/cs/projects/proteus/irex/NE/df980924.txt 先日のミーティングの結果を反映したNE定義を作成しました。 特にミーティングに参加された方でもそうでない方でも、間違えの指摘、 議論等をよろしくお願いします。(実際、ＩＢＳの方にもらった議事録と 私の記憶が喰い違っている事もありましたので、間違えもあると思います。) この定義を基に議論をした上、10月16日まで議論を行ない、その結果の 定義を基に予備実験を行ないます。予備実験で問題がでた場合には マイナーチェンジを行なう可能性がありますが、10月16日時点での定義を 本試験でも基本的に使用します。 関根  1, answered,, Summary-line: 25-Sep isozaki@theory.brl.ntt.co #[irex 57] Re: NE definition Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id WAA01761; Thu, 24 Sep 1998 22:10:54 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id WAA24520; Thu, 24 Sep 1998 22:10:50 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id LAA13418; Fri, 25 Sep 1998 11:05:56 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id LAA23751; Fri, 25 Sep 1998 11:05:55 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id KAA06762; Fri, 25 Sep 1998 10:59:58 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id KAA06756 for ; Fri, 25 Sep 1998 10:59:56 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id LAA11059 for ; Fri, 25 Sep 1998 11:00:51 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id LAA23746 for ; Fri, 25 Sep 1998 11:05:50 +0900 (JST) Received: from tama3.tas.ntt.co.jp (tama3.tas.ntt.co.jp [192.68.248.40]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with ESMTP id LAA27945 for ; Fri, 25 Sep 1998 11:05:48 +0900 (JST) Received: from nttmail.ecl.ntt.co.jp (nttmail.tas.ntt.co.jp [192.68.248.11]) by tama3.tas.ntt.co.jp (8.8.8/3.6W/tama3) with ESMTP id LAA27009 for ; Fri, 25 Sep 1998 11:05:47 +0900 (JST) Received: from gulag.brl.ntt.co.jp by nttmail.ecl.ntt.co.jp (8.8.8/3.6W/nttmail) with ESMTP id LAA16660 for ; Fri, 25 Sep 1998 11:05:45 +0900 (JST) Received: by gulag.brl.ntt.co.jp(8.8.8/brl.mx15g) with TCP; Fri, 25 Sep 1998 11:05:27 +0900 (JST) Received: by theory.brl.ntt.co.jp (8.8.5/brl-s.1) with TCP; Fri, 25 Sep 1998 11:06:06 +0900 (JST) Message-Id: <199809250206.LAA01475@theory.brl.ntt.co.jp> To: irex@karc.crl.go.jp Cc: isozaki@theory.brl.ntt.co.jp In-Reply-To: Your message of "Thu, 24 Sep 1998 17:59:30 -0400" References: <199809242159.RAA20631@noreen.cs.nyu.edu> X-Mailer: Mew version 1.70 on Emacs 19.28.3 / Mule 2.2 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Fri, 25 Sep 1998 11:06:06 +0900 From: Hideki ISOZAKI Reply-To: irex@karc.crl.go.jp X-Sequence: irex 57 Subject: [irex 57] Re: NE definition Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 724 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f To: irex@karc.crl.go.jp Cc: isozaki@theory.brl.ntt.co.jp In-Reply-To: Your message of "Thu, 24 Sep 1998 17:59:30 -0400" References: <199809242159.RAA20631@noreen.cs.nyu.edu> X-Mailer: Mew version 1.70 on Emacs 19.28.3 / Mule 2.2 Mime-Version: 1.0 Content-Transfer-Encoding: 7bit Date: Fri, 25 Sep 1998 11:06:06 +0900 From: Hideki ISOZAKI Reply-To: irex@karc.crl.go.jp X-Sequence: irex 57 Subject: [irex 57] Re: NE definition Sender: owner-irex@karc.crl.go.jp Content-Type: Text/Plain; charset=iso-2022-jp Content-Length: 724 >特にミーティングに参加された方でもそうでない方でも、間違えの指摘、 >議論等をよろしくお願いします。(実際、ＩＢＳの方にもらった議事録と この間の第2回ミーティングの議事録に私の名前が入ってません。;-( NEの定義の方ですが、3.1.I が二つあります。 3.1.1 組織名の 九州工業大学工学部 は 3.1.C によれば 九州工業大学工学部 だと思います。 ところでこの間の祝日はお彼岸の中日ですか？ 磯崎秀樹 ＮＴＴ基礎研究所 情報科学研究部 〒243-0198 神奈川県厚木市森の里若宮3-1  1, filed,, Summary-line: 25-Sep to: irex@karc.crl.go.jp #[irex 58] NE definition Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id JAA06145; Fri, 25 Sep 1998 09:46:37 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id JAA00566; Fri, 25 Sep 1998 09:46:34 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id WAA19901; Fri, 25 Sep 1998 22:42:13 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id WAA14179; Fri, 25 Sep 1998 22:42:11 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id WAA16740; Fri, 25 Sep 1998 22:36:14 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id WAA16735 for ; Fri, 25 Sep 1998 22:36:13 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id WAA11641 for ; Fri, 25 Sep 1998 22:37:07 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id WAA14174 for ; Fri, 25 Sep 1998 22:42:07 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id WAA08612 for ; Fri, 25 Sep 1998 22:42:05 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id JAA20928; Fri, 25 Sep 1998 09:42:04 -0400 Date: Fri, 25 Sep 1998 09:42:04 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809251342.JAA20928@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu In-reply-to: Hideki ISOZAKI's message of Fri, 25 Sep 1998 11:06:06 +0900 <199809250206.LAA01475@theory.brl.ntt.co.jp> Reply-To: irex@karc.crl.go.jp X-Sequence: irex 58 Subject: [irex 58] NE definition Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 964 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Fri, 25 Sep 1998 09:42:04 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu In-reply-to: Hideki ISOZAKI's message of Fri, 25 Sep 1998 11:06:06 +0900 <199809250206.LAA01475@theory.brl.ntt.co.jp> Reply-To: irex@karc.crl.go.jp X-Sequence: irex 58 Subject: [irex 58] NE definition Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 964 この間の第2回ミーティングの議事録に私の名前が入ってません。;-( 大変申し訳ありませんでした。 ホームページを通した議事録では改訂させていただきます。 NEの定義の方ですが、3.1.I が二つあります。 3.1.1 組織名の 九州工業大学工学部 は 3.1.C によれば 九州工業大学工学部 だと思います。 以上の2点は次のバージョンの際に訂正します。 ところでこの間の祝日はお彼岸の中日ですか？ ふむ。 祝日という言い方をすれば、「秋分の日」というのかもしれませんが、 私の辞書によると「お彼岸」は特定の週を言い、中日というのも 特定の日を言うようですね。(春と秋に2回あるのが難ですが。。。) 「開校記念日」よりもずっと特定的ですが「みみの日」と同じように 扱えばいいのかな？ 関根  1, filed,, Return-Path: Received: from cs.nyu.edu by griffin.cs.nyu.edu (SMI-8.6/1.20) id MAA13296; Sat, 26 Sep 1998 12:58:24 -0400 Received: from ns.crl.go.jp by cs.nyu.edu (SMI-8.6/1.20) id MAA12384; Sat, 26 Sep 1998 12:58:21 -0400 Received: from crlgw.crl.go.jp ([133.243.18.250]) by ns.crl.go.jp (8.9.0/3.6W) with ESMTP id BAA26191; Sun, 27 Sep 1998 01:54:09 +0900 (JST) Received: from po.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id BAA01232; Sun, 27 Sep 1998 01:54:07 +0900 (JST) Received: (from uchimoto@localhost) by po.crl.go.jp (8.8.8/3.5Wbeta) id BAA24142; Sun, 27 Sep 1998 01:48:11 +0900 (JST) X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Received: from karc.crl.go.jp (karc [133.243.25.98]) by po.crl.go.jp (8.8.8/3.5Wbeta) with ESMTP id BAA24137 for ; Sun, 27 Sep 1998 01:48:10 +0900 (JST) Received: from crlgw.crl.go.jp (crlgw [133.243.18.250]) by karc.crl.go.jp (8.8.2+2.6Wbeta9/3.4W4) with ESMTP id BAA11979 for ; Sun, 27 Sep 1998 01:49:03 +0900 (JST) Received: from mailgate.crl.go.jp (crlgw [133.243.18.250]) by crlgw.crl.go.jp (8.8.8+2.7Wbeta7/3.5Wpl7-MS980331) with ESMTP id BAA01227 for ; Sun, 27 Sep 1998 01:54:04 +0900 (JST) Received: from noreen.cs.nyu.edu (NOREEN.CS.NYU.EDU [128.122.140.11]) by mailgate.crl.go.jp (8.8.8+2.7Wbeta7/3.6W) with SMTP id BAA18624 for ; Sun, 27 Sep 1998 01:53:46 +0900 (JST) Received: by noreen.cs.nyu.edu (SMI-8.6/1.20) id MAA22156; Sat, 26 Sep 1998 12:53:31 -0400 Date: Sat, 26 Sep 1998 12:53:31 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) Message-Id: <199809261653.MAA22156@noreen.cs.nyu.edu> To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 59 Subject: [irex 59] IREX homepage & IR definition are updated Errors-To: owner-irex@karc.crl.go.jp Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 256 *** EOOH *** Return-Path: X-Authentication-Warning: po.crl.go.jp: uchimoto set sender to owner-irex@karc.crl.go.jp using -f Date: Sat, 26 Sep 1998 12:53:31 -0400 From: sekine@noreen.cs.nyu.edu (Satoshi Sekine) To: irex@karc.crl.go.jp CC: sekine@cs.nyu.edu Reply-To: irex@karc.crl.go.jp X-Sequence: irex 59 Subject: [irex 59] IREX homepage & IR definition are updated Sender: owner-irex@karc.crl.go.jp Content-Type: text Content-Length: 256 ＩＲＥＸメイリングリストの皆様： ＩＲＥＸのホームページ(日程、議事録)とＩＲの課題の説明を更新しました。 関係する方は見ていただいて質問や議論をお願いいたします。 IREX homepage & IR rule/definition are updated 関根