ＣＯＥサマーセミナー2006年：XML文書検索

2.1. 歴史

1960 年代から、記述的マークアップ方法の標準化を目指した、多くのプロジェクトがあったが、中でもIBM のCharles Goldfarb 率いるメンバーが開発したGML (Generalized Markup Language) が最も成功し、さらに、ANSI (American National Standards Institute) とともにSGML (Standard Generalized Markup Language) を開発し、1986 年にISO (International Standards Organizations) はSGML を標準(ISO 8879: Information Processing Text and Office Systems -Standard Generalized Markup Language) として認可した。SGML はマークアップ言語というよりメタ言語（言語を記述するための言語、ここではマークアップ言語を定義する言語）の側面のほうがむしろ強く、テキストに付加された情報と本文とを区別するのに使用される文字列のようなものをいう。SGML は特定用途向けマークアップ言語を定義するのに使用でき、これらをSGML のアプリケーション（応用）と呼ばれる。そのようなアプリケーションは、文書のどの場所にどんなタグが使われるかといった仕様書を作成することによって構成される。

DTD (Document Type Definition) と呼ばれる仕様書は書いた文書が規格に沿って書かれているかをチェックするのに利用でき、もし仕様に沿ってなければすぐに判るようになっている。こういう目的に使われるソフトウェアをパーサ（構文解析ツール）と呼び、文書の検証過程に使われる。

2.2. HTML

SGML の一つの応用にHTML (Hyper Text Markup Language) がある。これはWWW (World Wide Web) の基本的なマークアップ言語である。HTML はウェブページを作成する際に良く使われる要素（タグ）のセットを定義している。例えば、段落なら<p>、レベルの異なる見出しに対しては<h1>、<h2> などがあり、ページ内に画像を埋め込むには<img>、他のページへのリンクを張るには<a> といったタグが用意されている。非常に限られたセットではあるが、これに対応するソフトウェアを書くことは簡単であり（この手のソフトウェアはブラウザまたはウェブブラウザと呼ばれている）、WWW の大規模な成長と継続的なサポートを見れば、十分に成功しているといえる。

しかしながら、HTML で有効なタグセットは少なかった、そしてすぐに限界が見えてしまい、各ブラウザメーカーは競って独自のタグを考案しようとした、当然独自のタグは他のブラウザには対応していないだろう。他にはSGML の仕様が複雑であり、検証ソフトを作ることが困難という問題もすぐに生じた。そのようなことから、多くのユーザーは使用したブラウザが文書を表示することができるなら、画面を見ることでHTML 文書の検証の代わりにしていた。一方で、ブラウザメーカはユーザの底辺を拡大するために、多少文法が間違っていてもできるだけ推測して画面に表示するように努力した。

2.3. SGML からXML へ

この状況を解決して、最適な道筋を経てWWW に提供するために、W3C は使い易く、実装し易いSGML の簡易型のバージョンを開発する任務を主だった専門家のワークグループに課した。W3C とはWWW で利用される技術の標準化をすすめる団体のことで、WWW 技術に関わりの深い企業、大学・研究所、個人などが集まって、1994 年10 月に発足した。SGML の簡易バージョンの開発の結果、1998 年2 月にXML (eXtensible Markup Language) としてW3C 勧告として公表された。

XML は文書型（ドキュメントタイプ）を簡単に定義でき、また、定義なしでも動作する。XML は多言語文書のために文字コードにUnicode を採用していて、しかもXML 文書の検証に対して簡潔であり、効率的な規則がある。産業界はXML の開発と標準化に関わり、即座に成功を立証した。現在では、XML はテキストエンコーディングに広く使用されるだけではなく、メタデータ、データ交換、およびメッセージング（データの送受信）に使用されたりする。XML マークアップのボキャブラリには、コンピュータグラフィック、数式、化学業界、地理情報、書誌学の記録、企業取引、報道などといった多くの分野に適した仕様がある。

2.4. XML を詳しく見ていこう

XML 文書は7 つの異なった構成要素を含んでいる：

• 要素(Element)
• テキスト(Text)
• 属性(Attribute)
• 実体(Entity)
• コメント(Comment)
• 処理命令(Processing Instructions)
• CDATA （文字データ(Character Data)）

<firstDoc n="1">
<p>This is an instance of a "firstDoc" document</p>
</firstDoc>

<p>Two <a>elements, <b>overlapping</a> each</b> other.</p> 

<p>Two <a>elements, <b>overlapping</b> each</a> other.</p> 

2.5. XML スキーマ言語

前節で述べたように、オリジナルのXML の仕様ではDTD を使った文書構造とコンテンツの設計（いわゆるスキーマ）を可能にしていた。どのように使用するのかを上記の例を使い、XML 文書にDTD の定義を含めると以下のようになる：

<!DOCTYPE firstDoc [ 
<!ELEMENT firstDoc (p+) > 
<!ATTLIST firstDoc n CDATA #IMPLIED> 
<!ELEMENT p (#PCDATA)> 
]> 
<firstDoc n="1"> 
<p>This is an instance of a "firstDoc" document</p> 
</firstDoc> 
</firstDoc>

• DTD はSGML の開発ともにに開発された。ファイル拡張子は「.dtd」
• XML Schema はW3C によって開発された。ファイル拡張子は「.xsd」
• Relax NG （リラクシングと発音）はJames Clark とMurata Makoto （村田真）によって開発され、OASIS とISO で承認されている。ファイル拡張子は「.rng または.rnc」

3.1. XPath 構文

XPathで最も一般的な式は、ロケーションパスである。 ロケーションパスにより、XML文書のあるノード (現在のコンテクストノード) を基準として、ノード集合（０以上のノード） が指定される。

ロケーションパスを構成する各ロケーションステップは、次の3つの要素から構成される。

• 軸 (axis)
• ノードテスト (node test)
• 述語 (predicate)

//div[@type='poem']

/TEI/text/body/p/rm/@key]

図 1. ロケーションパスの３要素

この三つの要素で複雑なXPathを組み合わせる：

/div[@type='poem']/lg[@type='近體詩:七言:七言排律']/l[@xml:lang="zh-Latn-x-pinyin"]

/七言絕句[1]/絶句[1]/句[2]

/七言絕句[1]/絶句[1]/句[contains(., '寒山')]

/七言絕句[1]/絶句[1]/句/substring(., string-length(.))

3.2. XML文書におけるXpath軸

Xpath軸は文書の中の一つのノードから周辺にあるノードを指す。結果はノード集合である。 以下はこのXML文書で要素をたどる１１個の軸の使用を確認して欲しい。全部で１３個の軸があるが、属性軸(attribute axis)と名前空間軸(namespace axis) は要素内の軸となる、そのあとを紹介する。

<七言絕句>
    <作者>張繼</作者>
    <題名>楓橋夜泊</題名>
    <絶句>
        <句 n="1">月落烏啼霜滿天，</句>
        <句 n="2">江楓漁火對愁眠。</句>
        <句 n="3">姑蘇城外寒山寺，</句>
        <句 n="4">夜半鐘聲到客船。</句>
    </絶句>
</七言絕句>

3.2.1. 要素をたどる軸

3.2.1.1. ancestor

コンテクストノードの祖先ノード

図 2. ancestor

XPath	$node/ancestor::*
コンテクストノード	/七言絕句[1]/絶句[1]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/ancestor::*

3.2.1.2. ancestor-or-self

コンテクストノード自身とコンテクストノードの祖先ノード

図 3. ancestor-or-self

XPath	$node/ancestor-or-self::*
コンテクストノード	/七言絕句[1]/絶句[1]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/ancestor-or-self::*

3.2.1.3. child

コンテクストノードの子ノード

図 4. child

XPath	$node/child::*
簡潔構文XPath	$node/*
コンテクストノード	/七言絕句[1]/絶句[1]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/child::*

3.2.1.4. descendant

コンテクストノードの子孫ノード

図 5. descendant

XPath	$node/descendant::*
コンテクストノード	/七言絕句[1]
コンテクストノード + XPath	/七言絕句[1]/descendant::*

3.2.1.5. descendant-or-self

コンテクストノード自身とコンテクストノードの子孫ノード

図 6. descendant-or-self

XPath	$node/descendant-or-self::*
コンテクストノード	/七言絕句[1]
コンテクストノード + XPath	/七言絕句[1]/descendant-or-self::*

3.2.1.6. following

XML文書の文書順でコンテクストノードより後方にある全てのノード

図 7. following

XPath	$node/following::*
コンテクストノード	/七言絕句[1]/題名[1]
コンテクストノード + XPath	/七言絕句[1]/題名[1]/following::*

3.2.1.7. following-sibling

コンテクストノードの兄弟ノードのうち後方のノード

図 8. following-sibling

XPath	$node/following-sibling::*
コンテクストノード	/七言絕句[1]/題名[1]
コンテクストノード + XPath	/七言絕句[1]/題名[1]/following-sibling::*

3.2.1.8. parent

コンテクストノードの親ノード

図 9. parent

XPath	$node/parent::*
コンテクストノード	/七言絕句[1]/絶句[1]/句[2]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/句[2]/parent::*

3.2.1.9. preceding

XML文書の文書順でコンテクストノードより前方にある全てのノード

図 10. preceding

XPath	$node/preceding::*
コンテクストノード	/七言絕句[1]/絶句[1]/句[2]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/句[2]/preceding::*

3.2.1.10. preceding-sibling

コンテクストノードの兄弟ノードのうち前方のノード

図 11. preceding-sibling

XPath	$node/preceding-sibling::*
コンテクストノード	/七言絕句[1]/絶句[1]/句[2]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/句[2]/preceding-sibling::*

3.2.1.11. self

コンテクストノード自身

図 12. self

XPath	$node/self::*
コンテクストノード	/七言絕句[1]/絶句[1]/句[2]
コンテクストノード + XPath	/七言絕句[1]/絶句[1]/句[2]/self::*

3.3. XPath 関数

XPath 2.0に１００個以上の関数が定義されているが、XQueryはこれを更に拡張し、XQuery用のXPath関数を定義する。ここではそのなかから一部分だけを紹介する。

//句[contains(., '寒山')]

4.1. 優しいXQuery実例

演習資料にxquery1.xqというファイルのなかの一番簡単なXQueryの例がある：

xquery1.xq:
//句

xquery2.xq:
for $k in //句
return
$k

for $k in //句
return
substring($k, 1, 1)

4.2. 名前空間とXQuery

xquery3.xqで違うファイルの内容を処理する。それはTEIのXML文書（P5）であり、なかにはXML名前空間が定義されて、XQueryでも同じ名前空間でなければ処理できない。xquery3.xq一行目にまず名前空間宣言があり、tei:という名前空間識別子をTEIの名前空間("http://www.tei-c.org/ns/1.0")にマップする。このXQueryで以下のTEIの名前空間をtei:で省略可能となる。

xquery3.xq:
declare namespace tei="http://www.tei-c.org/ns/1.0";

for $l in doc('bjy.xml')//tei:l[contains(., '心')]
let $pin := $l/following-sibling::tei:l[1]
return
<l pin="{$pin}">{string($l)}</l>

4.3. XQuery式を出力XML内に書き込む

XQueryの結果を出力するときには、XML文書のツリーのなかに書き込むことがよくある：

xquery4.xq:
declare namespace tei="http://www.tei-c.org/ns/1.0";
let $q := '心'
return
<div xmlns="http://www.tei-c.org/ns/1.0">
{
for $l in doc('bjy.xml')//tei:l[contains(., $q)]
let $pin := $l/following-sibling::tei:l[1]
let $title := $l/ancestor::div[1]/head[1]
return
<p>
<head>{string($title)}</head>
<l pin="{$pin}">{string($l)}</l>
</p>
}
</div>  

4.4. HTMLを出力する

xquery5.xq
declare namespace tei="http://www.tei-c.org/ns/1.0";

<html>
<head><title>検索結果</title></head>
<body>
<ul>
{
for $r in doc('zztj-sample.xml')//tei:rm[@key='r00793']
let $h := $r/ancestor::tei:div[2]/tei:head[1]/@n
let $y := xs:int(substring-after($h, '-'))
order by $y 
return
<li>{string($h)}:{$r}</li>
}
</ul>
</body>
</html>