內(nèi)容標(biāo)簽和關(guān)系標(biāo)簽相結(jié)合的漢語(yǔ)篇章標(biāo)注規(guī)范

王 荀，李素建，王宇昕

(北京大學(xué) 計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100871)

?

內(nèi)容標(biāo)簽和關(guān)系標(biāo)簽相結(jié)合的漢語(yǔ)篇章標(biāo)注規(guī)范

王 荀，李素建，王宇昕

(北京大學(xué) 計(jì)算語(yǔ)言學(xué)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100871)

篇章標(biāo)注是自然語(yǔ)言處理中的重要任務(wù)，很多其他任務(wù)，如自動(dòng)摘要、機(jī)器問(wèn)答等都可以通過(guò)篇章標(biāo)注得到對(duì)文本內(nèi)容和語(yǔ)義的認(rèn)識(shí)，從而獲得更好的結(jié)果。與此同時(shí)，篇章理解的理論如篇章修辭結(jié)構(gòu)(RST)，向心理論(CT)等與實(shí)際問(wèn)題的結(jié)合并不緊密，難以實(shí)用。該文中我們參考現(xiàn)有的語(yǔ)言學(xué)理論和一些語(yǔ)篇標(biāo)注庫(kù)(如RST-DT，PDTB)，并結(jié)合自然語(yǔ)言處理任務(wù)特點(diǎn)，提出了一套用于篇章標(biāo)注的漢語(yǔ)標(biāo)注體系。這個(gè)體系能夠比較準(zhǔn)確和全面地描述出篇章的內(nèi)容和邏輯關(guān)系，并很好地服務(wù)于實(shí)際任務(wù)的需要。

篇章語(yǔ)義標(biāo)注；修辭結(jié)構(gòu)理論；關(guān)系標(biāo)簽；內(nèi)容標(biāo)簽

1 引言

在自然語(yǔ)言處理中，很多任務(wù)，如自動(dòng)摘要、機(jī)器問(wèn)答等，單純依靠統(tǒng)計(jì)的方法只能抽取到文本表面的特征，而且過(guò)分依賴(lài)于頻次等信息。如果可以對(duì)篇章進(jìn)行語(yǔ)義分析，得到對(duì)篇章的內(nèi)容和邏輯關(guān)系的認(rèn)識(shí)，便可以輔助模型的設(shè)計(jì)或者算法的改進(jìn)從而獲得更好的結(jié)果。但是現(xiàn)有的篇章語(yǔ)義分析的理論如修辭結(jié)構(gòu)理論(Rhetoric Structure Theory，RST)[1]、語(yǔ)篇向心理論(Centering Theory)[2]等與實(shí)際問(wèn)題的結(jié)合并不緊密，導(dǎo)致語(yǔ)義關(guān)系難以得到充分利用。

本文參考話(huà)語(yǔ)分析理論，特別是RST等篇章結(jié)構(gòu)方面的理論，并結(jié)合自然語(yǔ)言處理中常見(jiàn)任務(wù)的特點(diǎn)，提出一套用于篇章標(biāo)注的標(biāo)簽體系。這個(gè)體系由內(nèi)容標(biāo)簽和關(guān)系標(biāo)簽兩套標(biāo)簽體系構(gòu)成，能夠比較準(zhǔn)確和全面地描述出篇章的重點(diǎn)內(nèi)容和語(yǔ)義關(guān)系，可以很好地滿(mǎn)足實(shí)際任務(wù)的需要，同時(shí)保持了體系的完備性，兼顧了理論和實(shí)際的雙重需求。

2 篇章標(biāo)注的相關(guān)工作

篇章關(guān)系是指文本的組成部分之間的語(yǔ)義關(guān)聯(lián)。一般只考慮相鄰的部分之間的語(yǔ)義關(guān)系。研究篇章關(guān)系時(shí)的語(yǔ)義單位，一般是句子或者小句，也有以短語(yǔ)為基本單位的，彼此組合起來(lái)形成更大的單位，自底向上層層聯(lián)合，直至形成一篇文檔被完全標(biāo)注。一般使用樹(shù)狀結(jié)構(gòu)來(lái)描述語(yǔ)義關(guān)系，也有使用圖模型的。

目前篇章標(biāo)注中代表性的工作，一個(gè)是基于RST理論的RST-DT (RST-Discoures Treebank)語(yǔ)料庫(kù)[3]。RST-DT語(yǔ)料庫(kù)基于RST理論標(biāo)注了385篇Wall Street Journal文章。RST理論認(rèn)為篇章內(nèi)部存在著不同的語(yǔ)義關(guān)系，整個(gè)文本由這些關(guān)系連接起來(lái)而成為一個(gè)整體。

其中另外一個(gè)目前應(yīng)用較廣泛的是2006年發(fā)布的PDTB[4]，最新的版本是2008 PDTB-V2[5]。PDTB的標(biāo)簽設(shè)置相對(duì)比較簡(jiǎn)單，它將連接詞視為謂詞，將具有語(yǔ)義關(guān)系的成分視為謂詞的論元。PDTB將語(yǔ)義關(guān)系分為三層，最高層主要有四種語(yǔ)義關(guān)系，分別是Comparison、Temporal、Contingency和Expansion。每種關(guān)系下面可以繼續(xù)再分，最多有三層，其中第二層有16種關(guān)系。PDTB一共標(biāo)注了一百萬(wàn)字規(guī)模的華爾街新聞文章。其他還有基于框架語(yǔ)義學(xué)的FrameNet語(yǔ)料庫(kù)，它是基于框架語(yǔ)義學(xué)，以動(dòng)詞為核心，專(zhuān)注于事件和場(chǎng)景的描述，共有大約1 200個(gè)框架。而Graphbank則使用圖來(lái)對(duì)語(yǔ)義關(guān)系進(jìn)行描述的。

中文的篇章語(yǔ)義分析工作基本上采用RST的框架，主要對(duì)修辭關(guān)系進(jìn)行標(biāo)注，而并不對(duì)內(nèi)容和關(guān)系進(jìn)行區(qū)分。在此基礎(chǔ)上的工作有樂(lè)明[6]在財(cái)經(jīng)類(lèi)文章上進(jìn)行的標(biāo)注；婁開(kāi)陽(yáng)[7]在新聞?wù)Z料上進(jìn)行了比較系統(tǒng)的語(yǔ)義關(guān)系分析研究，標(biāo)注了數(shù)百篇新聞?wù)Z料，并進(jìn)行了統(tǒng)計(jì)和分析，對(duì)新聞敘事的宏觀(guān)和微觀(guān)結(jié)構(gòu)的表現(xiàn)形式進(jìn)行了詳盡說(shuō)明；李毅等[8]基于奧運(yùn)語(yǔ)料的語(yǔ)義成分標(biāo)注規(guī)范等。這些研究基本是在RST的框架內(nèi)進(jìn)行的，對(duì)漢語(yǔ)的篇章分析進(jìn)行了有意義的研究，取得了一定成果。

總結(jié)以上幾種語(yǔ)篇標(biāo)注的體系和語(yǔ)料庫(kù)，我們可以發(fā)現(xiàn)，RST-DT和GraphBank是將整個(gè)文本作為一個(gè)整體進(jìn)行理解和標(biāo)注，而PDTB和FrameNet主要用來(lái)描述文本片段。前者能夠較好地描述文本內(nèi)部的語(yǔ)義關(guān)系，而后者可以對(duì)文本片段進(jìn)行詳盡的說(shuō)明。而在自然語(yǔ)言處理的實(shí)踐中，對(duì)文本語(yǔ)義的把握和對(duì)細(xì)節(jié)的分析理解對(duì)自然語(yǔ)言處理都很重要。目前的種種方法，并不能很好地兼顧二者。從這一點(diǎn)出發(fā)，我們?cè)O(shè)計(jì)一種新的篇章標(biāo)注體系，來(lái)對(duì)文本篇章進(jìn)行標(biāo)注。

3 標(biāo)注體系的設(shè)置

在對(duì)文本進(jìn)行篇章分析的時(shí)候，我們一方面需要對(duì)篇章的語(yǔ)義關(guān)系進(jìn)行標(biāo)注；另一方面還需要對(duì)一些重要內(nèi)容進(jìn)行標(biāo)注，以便在整體上把握篇章結(jié)構(gòu)的同時(shí)，在局部也可以得到更詳細(xì)的理解。標(biāo)注過(guò)程中，我們提出了所應(yīng)遵循的標(biāo)注基本原則。

3.1 標(biāo)注的基本原則

分層的原則： 篇章的構(gòu)成是分層的。在不同的層次關(guān)系的種類(lèi)和緊密程度不一樣。我們?cè)O(shè)計(jì)了一個(gè)多層體系來(lái)描述篇章。 3.2中將對(duì)篇章的分層體系結(jié)構(gòu)進(jìn)行詳細(xì)說(shuō)明。

簡(jiǎn)單的原則： 使用盡可能少的標(biāo)簽，清晰地描述出篇章重要的內(nèi)容和邏輯關(guān)系。我們將關(guān)系標(biāo)簽和內(nèi)容標(biāo)簽分開(kāi)使用。文章的單位彼此之間用關(guān)系連接起來(lái)，而重要的內(nèi)容使用內(nèi)容標(biāo)簽單獨(dú)標(biāo)識(shí)出來(lái)。這樣的設(shè)計(jì)層次比較清晰。保證了標(biāo)注體系的完備性。另外將內(nèi)容標(biāo)簽和關(guān)系標(biāo)簽分開(kāi)，保證了基本的關(guān)系標(biāo)簽的穩(wěn)定性。而內(nèi)容標(biāo)簽可以根據(jù)標(biāo)注對(duì)象進(jìn)行擴(kuò)展，保證了體系的靈活性。

異質(zhì)的原則： 在不同的層面，關(guān)心的側(cè)重點(diǎn)不同。標(biāo)簽也有不同的適用范圍，這一點(diǎn)跟RST是有區(qū)別的。 在RST-DT中，不同的層面使用相同的關(guān)系。

這些原則將在本文提出的標(biāo)簽體系中得到體現(xiàn)。

3.2 篇章的體系結(jié)構(gòu)

整個(gè)體系的層次如下，篇由關(guān)系比較單調(diào)和松散的章組成；章由一個(gè)或者幾個(gè)意義段組成；意義段由意義段或者自然段組成。自然段下轄句子。句子內(nèi)部又可以分為句子基本單位。每一層的單元彼此之間以及上下級(jí)層次之間存在著關(guān)系，從而構(gòu)成整個(gè)篇章。

篇是自然存在的一篇文章，結(jié)構(gòu)完整，信息完備。章是篇的直接組成成分，一篇可以由若干章組成而且一般包含若干章。章內(nèi)容比較完整，彼此之間的獨(dú)立性較強(qiáng)，章之間的關(guān)系也較少，較簡(jiǎn)單。同一章內(nèi)部的段落之間聯(lián)系比較緊密。章由一個(gè)或者多個(gè)意義段組成。章之間也可以彼此組合形成章。意義段由一個(gè)或者若干個(gè)彼此之間聯(lián)系緊密的自然段組成的，意義段往往關(guān)注一方面內(nèi)容。自然段由句子和一個(gè)較長(zhǎng)的停頓組成。句子內(nèi)部可以進(jìn)一步切分為基本單位。章作為文章中比較高的層次，一篇中章的數(shù)目比較少，章之間的以及章和篇的關(guān)系也比較簡(jiǎn)單。所以描述這種關(guān)系的標(biāo)簽，也比較簡(jiǎn)單。除去一般的關(guān)系標(biāo)簽外，章和篇之間還可以加入實(shí)現(xiàn)、附屬、背景、前言等類(lèi)似的關(guān)系標(biāo)簽，來(lái)描述邏輯和內(nèi)容上難以描述，形式上比較明顯的章與篇的關(guān)系。

段落之間的關(guān)系可以從多個(gè)層面進(jìn)行描述。有的是很明顯而不需要標(biāo)注的： 比如段落之間的先后關(guān)系；是否屬于同一個(gè)章節(jié)等。還有的是隱藏的，需要判斷的： 比如邏輯和內(nèi)容上的聯(lián)系。我們的標(biāo)簽體系要描述的為后者。段落的跨度比較大，彼此之間關(guān)系的性質(zhì)也不一樣，有的段落之間關(guān)系比較疏松，有的則很緊密。關(guān)系比較緊密的自然段合在一起稱(chēng)為意義段。段與段的結(jié)合，最后構(gòu)成章。

句子和段落之間的關(guān)系是最重要的。對(duì)于段落以上的層面，由于數(shù)目所限，通常不能提供足夠的信息，而且如果要直接服務(wù)于摘要或者問(wèn)答等應(yīng)用系統(tǒng)，粒度太大，并不適合。而句子作為組成篇章的基本單位，可以提供足夠的信息。所以這個(gè)層面的描述是非常重要的。句子的內(nèi)部可以進(jìn)行進(jìn)一步的切分，小句之間存在比較緊密的關(guān)系。

由上面的分析可知篇章天然具有一種層次結(jié)構(gòu)，對(duì)于不同層次我們關(guān)心的重點(diǎn)也不同，因而使用的標(biāo)簽也不同。

3.3 關(guān)系標(biāo)簽和內(nèi)容標(biāo)簽的設(shè)定

關(guān)系標(biāo)簽： 是兩個(gè)相鄰成分之間的關(guān)系。所有的關(guān)系都必須在相鄰的兩個(gè)成分之間。

內(nèi)容標(biāo)簽： 是單個(gè)篇章成分本身的內(nèi)容所具有的意義特征。

關(guān)系標(biāo)簽是必須的，內(nèi)容標(biāo)簽是可選的，內(nèi)容標(biāo)簽可以是對(duì)關(guān)系標(biāo)簽的一個(gè)補(bǔ)充。例如，因果關(guān)系中，可以使用內(nèi)容標(biāo)簽補(bǔ)充說(shuō)明是原因部分還是結(jié)果部分。(RST里面因果和果因是兩個(gè)不同的標(biāo)簽，本文中將二者合并為一個(gè)，加上內(nèi)容標(biāo)簽來(lái)說(shuō)明因果和果因的區(qū)別。)

內(nèi)容標(biāo)簽獨(dú)立于關(guān)系標(biāo)簽，用來(lái)說(shuō)明成分的主要內(nèi)容，比如功能、用途、原因、結(jié)果等。內(nèi)容標(biāo)簽的設(shè)計(jì)比較靈活，而關(guān)系標(biāo)簽的數(shù)目和種類(lèi)則是固定的，不能增減。這樣可以同時(shí)滿(mǎn)足標(biāo)簽體系的靈活性和穩(wěn)定性。

關(guān)系標(biāo)簽的設(shè)定： 我們主要參考RST的標(biāo)簽體系，根據(jù)統(tǒng)計(jì)規(guī)律，將比較類(lèi)似的標(biāo)簽進(jìn)行合并，同時(shí)將使用比較廣泛的標(biāo)簽進(jìn)行細(xì)分，并結(jié)合要處理的文本和實(shí)際問(wèn)題，設(shè)計(jì)如表1所示的關(guān)系標(biāo)簽體系。

表1 關(guān)系標(biāo)簽

續(xù)表

內(nèi)容標(biāo)簽和關(guān)系標(biāo)簽是獨(dú)立的，用來(lái)對(duì)部分文本的內(nèi)容或者功能進(jìn)行說(shuō)明。它隨著標(biāo)注對(duì)象的變化而變化。內(nèi)容標(biāo)簽的設(shè)置和關(guān)系標(biāo)簽的設(shè)置是彼此獨(dú)立的，但是它們的標(biāo)注并非截然分開(kāi)。文本應(yīng)當(dāng)首先進(jìn)行關(guān)系標(biāo)簽的標(biāo)注，形成層次的結(jié)構(gòu)；然后內(nèi)容標(biāo)簽標(biāo)注在結(jié)構(gòu)中的成分上。即內(nèi)容標(biāo)簽標(biāo)注的對(duì)象應(yīng)當(dāng)是關(guān)系標(biāo)注中的一個(gè)單位。下面我們給出標(biāo)注的具體樣例和分析。

4 標(biāo)注樣例

我們分別在醫(yī)學(xué)文本和新聞?wù)Z料上進(jìn)行了標(biāo)注，下面給出幾個(gè)標(biāo)注的樣例。

文本如圖1 中所示的那樣，來(lái)自醫(yī)學(xué)文獻(xiàn)(內(nèi)科學(xué)部分)，根據(jù)文字內(nèi)容，我們采用的內(nèi)容標(biāo)簽如表2所示。使用關(guān)系標(biāo)簽和內(nèi)容標(biāo)簽同時(shí)進(jìn)行標(biāo)注的結(jié)果如圖2所示。

表2 醫(yī)學(xué)文本的內(nèi)容標(biāo)簽

圖1 醫(yī)學(xué)文本及基本單位的切分(部分)

圖2 醫(yī)學(xué)文本標(biāo)注結(jié)果(部分)

內(nèi)容標(biāo)簽與文本內(nèi)容緊密相關(guān)，用來(lái)對(duì)文本的重要內(nèi)容進(jìn)行標(biāo)識(shí)和說(shuō)明。其中“#”后面的部分是該成分的內(nèi)容標(biāo)簽，用來(lái)說(shuō)明此成分的內(nèi)容。由于篇幅所限，我們只截取了標(biāo)注結(jié)果的一個(gè)片段。從結(jié)果可以看出，我們可以清晰地描述文本的篇章結(jié)構(gòu)，并標(biāo)識(shí)出重要的內(nèi)容。其中關(guān)系標(biāo)簽描述了整個(gè)文本的篇章結(jié)構(gòu)和彼此之間的語(yǔ)義關(guān)系；內(nèi)容標(biāo)簽對(duì)重要的片段進(jìn)行標(biāo)記。醫(yī)學(xué)文本的結(jié)構(gòu)關(guān)系相對(duì)比較簡(jiǎn)單，我們下面使用新聞?wù)Z料來(lái)對(duì)文本關(guān)系標(biāo)簽的標(biāo)注進(jìn)行詳細(xì)說(shuō)明。以1998年1月4日 《人民日?qǐng)?bào)》第三版-科威特散記為例，我們對(duì)整個(gè)篇章進(jìn)行標(biāo)注。文本及基本單位的切分如圖3所示。

圖3 科威特散記文本及基本單位切分

標(biāo)注關(guān)系標(biāo)簽時(shí)需要注意，呈現(xiàn)出多種關(guān)系時(shí)，一般來(lái)說(shuō)優(yōu)選最強(qiáng)的關(guān)系。這個(gè)最強(qiáng)是指在上下文中表現(xiàn)出的最強(qiáng)、最明顯的關(guān)系。

篇章關(guān)系標(biāo)注的結(jié)果見(jiàn)圖4。其中為了方便起見(jiàn)，我們將段上和段內(nèi)的關(guān)系分開(kāi)描述。在實(shí)際標(biāo)注中，我們開(kāi)發(fā)了一套篇章標(biāo)注軟件，來(lái)實(shí)現(xiàn)基本單位的切分(稱(chēng)為“分段分句”)、關(guān)系標(biāo)簽的標(biāo)注(稱(chēng)為“關(guān)系標(biāo)注”)和內(nèi)容標(biāo)簽的標(biāo)注(稱(chēng)為“內(nèi)容標(biāo)注”)。圖5所示的是關(guān)系標(biāo)注的界面。

目前為止，我們已經(jīng)標(biāo)注了將近十萬(wàn)字的醫(yī)學(xué)文本，并對(duì)新聞、專(zhuān)利、說(shuō)明書(shū)等進(jìn)行了試標(biāo)注。在標(biāo)注的同時(shí)我們也根據(jù)語(yǔ)料，對(duì)標(biāo)注體系不斷進(jìn)行調(diào)整。

圖4 散文文本關(guān)系標(biāo)注結(jié)果

圖5 標(biāo)注軟件的界面

5 總結(jié)和展望

本文提出了一套全新的文本標(biāo)注體系，我們分別在新聞?wù)Z料和醫(yī)學(xué)文本上進(jìn)行了標(biāo)注，從試標(biāo)注的結(jié)果來(lái)看，這套標(biāo)簽體系可以描述篇章的語(yǔ)義關(guān)系，同時(shí)標(biāo)識(shí)出重要內(nèi)容。對(duì)自動(dòng)摘要、機(jī)器翻譯、自動(dòng)問(wèn)答等應(yīng)用都有很大的作用。特別是將內(nèi)容和語(yǔ)義關(guān)系分開(kāi)，很好地保證了標(biāo)注體系的理論上完備性，另外又保證了重要信息可以被標(biāo)識(shí)出來(lái)。對(duì)整體語(yǔ)義結(jié)構(gòu)和對(duì)文本片段都有較強(qiáng)的描述能力。之后我們將對(duì)更多的文本進(jìn)行標(biāo)注，并不斷完善這套體系。

[1] Mann William C, Sandra A Thompson. Rhetorical Structure Theory: Description and Construction of Text Structures[C]//Proceedings of University of Southern California, Information Sciences Institute, 1986.

[2] Walker M A. Centering Theory in Discourse[M]. Oxford:Clarendon Press, 1998.

[3] Carlson Lynn, Daniel Marcu, Mary Ellen Okurowski. Building a discourse-tagged corpus in the framework of rhetorical structure theory[C]//Proceedings of the Second SIGdial Workshop on Discourse and Dialogue-Volume 16. Association for Computational Linguistics, 2001.

[4] The Penn Discourse TreeBank 1.0 Annotation Manual[R]. The PDTB Research Group. March 29, 2006.

[5] Prasad Rashmi, Diresh Nikhll, Lee Alan, et al. The penn discourse treebank 2.0[C]//Proceedings of the 6th International Conference on Language Resources and Evaluation (LREC 2008). 2008.

[6] 樂(lè)明. 漢語(yǔ)財(cái)經(jīng)評(píng)論的修辭結(jié)構(gòu)標(biāo)注研究[C].第九屆全國(guó)計(jì)算語(yǔ)言學(xué)學(xué)術(shù)會(huì)議，2007

[7] 婁開(kāi)陽(yáng). 現(xiàn)代漢語(yǔ)新聞?wù)Z篇的結(jié)構(gòu)研究[M],北京: 世界圖書(shū)出版公司，2008.

[8] 李毅，亢世勇，孫茂松，孫道功. 基于奧運(yùn)語(yǔ)料的語(yǔ)義成分標(biāo)注規(guī)范[C].全國(guó)第八屆計(jì)算語(yǔ)言學(xué)聯(lián)合學(xué)術(shù)會(huì)議，南京，2005.

[9] Baker Collin F, Charles J Fillmore, John B. Lowe. The berkeley framenet project[C]//Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics-Volume 1. Association for Computational Linguistics, 1998.

[10] Fillmore Charles J. Frame Semantics and the Nature of Language[J]. Annals of the New York Academy of Sciences, 1976,280(1): 20-32.

Exploration on Chinese Discourse Tagging Scheme

WANG Xun, LI Sujian, WANG Yuxin

(Key Laboratory of Computational Linguistics(Peking University) Ministry of Education Peking University, Beijing 100871, China)

Discourse Tagging is fundamental in natural language processing and helpful to a deep understanding of the texts. Many application tasks, such as automatic summarization, question & answering and so on, would benefit a lot from a thorough understanding of the text. On the basis of the existing discourse theories such as Rhetoric Structure Theory or Centering Theory, this paper designs a new discourse tagging system, which covers both the logical relations and text content or the practical needs of real natural language processing tasks.

discourse tagging; rhetoric structure theory; relation tag; content tag

王荀(1988—)，碩士，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理，文本分析，統(tǒng)計(jì)機(jī)器學(xué)習(xí)。E?mail：wangxun．pku@gmail．com李素建(1975—)，通訊作者，博士，副教授，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理，自動(dòng)文摘、篇章分析。E?mail：lisujian@pku．edu．cn王宇昕(1990—)，碩士，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理。E?mail：arkipku@gmail．com

1003-0077(2015)03-0065-06

2013-04-08 定稿日期： 2013-07-29

國(guó)家自然科學(xué)基金(61273278)；國(guó)家社會(huì)科學(xué)項(xiàng)目(12&ZD227)；國(guó)家科技支撐計(jì)劃子課題項(xiàng)目(2011BAH10B04-03)；國(guó)家863計(jì)劃(2012AA011101)。

TP391

A