roberta-classical-chinese-base-ud-goeswithの解析手法を他の言語に応用する

古典中国語(漢文)の句間係り受け解析用に開発したroberta-classical-chinese-base-ud-goeswithだが、色々とチューニングしてみた結果、単体の係り受け解析モデルとしても、かなり高性能となった。

UD 2.11のUD_Classical_Chinese-Kyotoで評価・テスト(LAS/MLAS/BLEX)

	lzh_kyoto-dev.conllu	lzh_kyoto-test.conllu
roberta-classical-chinese-base-ud-goeswith	80.87/77.87/79.33	81.43/78.09/79.59
Stanza 1.4.2	68.32/64.70/67.44	72.10/67.97/70.86
Trankit 1.1.1	58.28/52.88/56.76	68.59/63.37/67.01
UDPipe 2 [classical_chinese-kyoto-ud-2.10-220711]	68.28/64.35/67.36	71.28/66.93/69.83

これに気を良くして、この係り受け解析手法(系列ラベリングによる隣接行列logitsの生成)を、他の言語に応用することを考えてみた。ただ、この手法ではLEMMAの生成が難しいため、FORMとLEMMAがほぼ同一とみなせる言語(つまりは孤立語など)に、まずは挑戦してみることにした。

現代中国語

UD 2.11のUD_Chinese-GSDで評価・テスト(LAS/MLAS/BLEX)

	zh_gsd-dev.conllu	zh_gsd-test.conllu
roberta-base-chinese-ud-goeswith	55.37/49.66/54.62	57.95/51.95/57.51
Stanza 1.4.2	64.48/61.60/65.52	67.04/63.62/67.81
Trankit 1.1.1	74.55/73.05/77.98	75.71/74.40/79.05
UDPipe 2 [chinese-gsd-ud-2.10-220711]	64.44/61.55/65.09	66.63/63.69/67.38

UD 2.11のUD_Chinese-GSDSimpで評価・テスト(LAS/MLAS/BLEX)

	zh_gsdsimp-dev.conllu	zh_gsdsimp-test.conllu
roberta-base-chinese-ud-goeswith	55.45/50.08/54.85	58.14/52.34/57.68
Stanza 1.4.2	65.82/63.29/67.11	68.08/65.05/69.00
Trankit 1.1.1	74.47/72.94/77.87	74.86/72.99/78.06
UDPipe 2 [chinese-gsdsimp-ud-2.10-220711]	64.87/62.03/65.74	66.63/63.68/67.31

UD 2.11のUD_Vietnamese-VTBで評価・テスト(LAS/MLAS/BLEX)

	vi_vtb-dev.conllu	vi_vtb-test.conllu
roberta-base-vietnamese-ud-goeswith	69.17/60.28/59.99	70.48/61.14/61.27
Stanza 1.4.2	41.28/19.59/34.15	41.46/18.83/35.82
Trankit 1.1.1	54.21/26.77/45.72	55.14/25.84/48.57
UDPipe 2 [vietnamese-vtb-ud-2.10-220711]	37.21/16.96/31.05	36.86/15.42/31.81

トークン長を決めかねたので、文字トークンモデル・音節トークンモデルと、その中間的なモデル(sentencepieceによる最大4文字トークン)を作ってみた。

spaCy-ThaiのUD_Thai-Corporaで評価・テスト(LAS/MLAS/BLEX)

	th_lst-ud-dev.conllu	th_lst-ud-test.conllu
roberta-base-thai-char-ud-goeswith	69.77/61.57/66.76	56.79/47.54/53.87
roberta-base-thai-syllable-ud-goeswith	77.04/70.47/75.52	64.87/56.71/63.11
roberta-base-thai-spm-ud-goeswith	77.53/71.49/75.50	65.66/56.11/63.50
spaCy-Thai 0.7.3	35.07/28.84/36.11	36.19/23.24/34.15