藏文自動分詞技術(shù)研究綜述

于詩畫　趙小兵

【摘 要】藏文分詞是藏文信息處理中最為基礎(chǔ)卻又十分重要的工作，而藏文的自動分詞是提高藏文信息處理工作效率的重要技術(shù)。本文主要從藏文自動分詞的意義、國內(nèi)研究現(xiàn)狀、分詞方法以及目前所面臨的主要問題等方面來簡單闡述藏文自動分詞技術(shù)的相關(guān)內(nèi)容。

【關(guān)鍵詞】分詞；藏文分詞；分詞方法

1 藏文自動分詞的主要意義

分詞其實就是按照一定的標準或規(guī)范將一系列連續(xù)的字序列重新劃分成詞序列的過程。在英文中， 單詞之間是以空格作為自然分界符的，因此在詞的理解上較為直觀，它直接跨越了分詞這一處理過程。而藏文的詞與詞之間是不具備任何形式的分界符的，這便給藏文的信息處理增加了一定的難度。而一段藏文在經(jīng)過分詞后，如果讓計算機來處理這樣一段由詞組成的藏文句子，它首先需要對句子的詞法進行分析，然后才能夠進一步去理解整個句子的具體含義。因此，藏文詞的正確切分在藏文信息處理工作中顯得尤為重要。

在保障詞的正確切分過程中，如果僅僅通過人工的方式進行分詞處理，顯然是一個龐大而復雜的過程，并且會存在許多的弊端。而在飛速發(fā)展的信息技術(shù)社會背景下，如果用計算機按照一定的規(guī)則和程序來代替人工進行藏文文本的自動分詞，將具有很大的研究意義。目前，藏文信息處理技術(shù)的應(yīng)用已經(jīng)在文字處理的基礎(chǔ)上逐漸面向語言信息處理，但是作為語言的基本組成單元，分詞處理仍然是藏文信息處理中一項不可或缺的基礎(chǔ)工作。因為分詞結(jié)果的質(zhì)量將直接影響到藏文檢索主題排序、藏文機器翻譯、藏文語音識別等藏文信息處理技術(shù)的應(yīng)用和發(fā)展。進而，藏文自動分詞技術(shù)的研究與發(fā)展也即將對藏族人民的生活、學習和工作等具有積極的作用和重要的意義。

2 國內(nèi)藏文自動分詞的研究現(xiàn)狀

迄今為止，隨著藏文信息處理技術(shù)的不斷研究與深入，藏文自動分詞技術(shù)也取得了很多令人矚目的成果。比如，目前在國內(nèi)公開發(fā)表的關(guān)于藏文分詞方面的研究和系統(tǒng)有很多：1999年，中國藏學研究中心的扎西次仁所發(fā)表的“一個人機互助的藏文分詞和詞登錄系統(tǒng)的設(shè)計”可以看作是藏語分詞研究開始的標志[1]； 2001年，陳玉忠設(shè)計實現(xiàn)了《一個基于格助詞和接續(xù)特征的藏文分詞系統(tǒng)》[2]。此外，祁坤鈺提出了切分與格框架、標注一體化的藏語三級切分體系的藏文分詞方法[3]；才智杰實現(xiàn)了一種藏文分詞方法，并首次提出了基于規(guī)則的方法“還原法”來處理藏語分詞中緊縮詞識別問題等[3]。

而由于標注語料資源的限制，采用機器學習方法在最近三年才逐漸受到重視。其中，劉匯丹、李亞超各自采用基于條件隨機場的音節(jié)標注方法，把分詞看成判斷音節(jié)在詞中位置的過程，并取得了很好的效果，該方法基于統(tǒng)計機器學習模型，是藏文分詞研究的最新研究成果[4]。

3 藏文自動分詞的基本步驟

藏語是黏著性語言， 藏語句子的組織過程就是在詞與詞、短語與短語之間添加格助詞并與句末動詞有效地結(jié)合的過程。因此，藏文分詞的關(guān)鍵是如何結(jié)合藏語字、詞、句各類形式特征來確定格助詞及其接續(xù)特征規(guī)則的識別算法。

藏語句子的各個功能性成分主要是詞和格助詞及其接續(xù)特征詞的結(jié)合體，同時還有一些則是短語或子句與格助詞組成的連續(xù)結(jié)合體，統(tǒng)一稱之為塊。由短語或子句組成的句節(jié)內(nèi)詞的切分必須借助詞典和接續(xù)特征規(guī)則。句節(jié)內(nèi)無法切分的“堆塊”以及由屬格格助詞引起的“截斷”問題在分析階段需綜合各類知識才能解決。據(jù)此，有專家提出利用字切分特征和字性庫先“認字”，再用標點符號和關(guān)聯(lián)詞 “斷句”，用格助詞“分塊”，再用詞典“認詞”，充分利用各類接續(xù)特征“分詞”的多級切分策略。

4 藏文自動分詞面臨的主要問題

目前的藏文分詞處理通常都是首先由計算機對藏文文本進行自動分詞，然后再對分詞結(jié)果附以人工校對。但無論是計算機自動分詞還是人工校對，前提是都需要符合一定的分詞標準或規(guī)范以保證分詞結(jié)果的正確性，從而也為藏文信息處理的后續(xù)工作提供統(tǒng)一的輸入。但即使如此，也并不能完全保證分詞結(jié)果的正確性，因為藏文自動分詞還面臨著兩個最大的困難：一是歧義切分問題，二是未登錄詞識別問題。

4.1 歧義切分問題

在分詞過程中，文句中某個片段可能存在兩個或兩個以上切分形式的字段，稱為分詞歧義字段[5]。針對分詞中的歧義現(xiàn)象，人們從不同的角度提出了不同的分類方式，從歧義字段的主要構(gòu)成形式來分，藏文分詞中歧義分為兩種： 一種是交集型歧義字段，另一種是組合型歧義字段。據(jù)統(tǒng)計，藏文中交集型歧義占歧義問題的90%以上[6]，因此， 如何解決好交集型歧義字段的切分問題，對于藏文歧義字段的切分具有重要的意義。

而對于藏文分詞中交集型歧義問題的研究，一般采用兩種解決方法。一是采用雙向掃描匹配方法，即對同一字段分別進行正向最大匹配和逆向最大匹配，如果掃描結(jié)果不同，則認為是交集型歧義；也有人采用最大概率方法來消解交集型歧義，主要利用詞頻信息來找出最佳的切分結(jié)果。但是由于高頻單音節(jié)對切分結(jié)果的影響，有時也往往無法得出期望的切分結(jié)果。因此，無論是哪一種消歧方法，還都有待于在實驗中不斷改進。

4.2 未登錄詞問題

大規(guī)模的藏文本處理中，會遇到很多機器可讀詞典中未收錄不能識別的詞匯，“包括中外人名、地名、機構(gòu)組織名、事件名、貨幣名、縮略名、派生詞及各種專業(yè)術(shù)語等，這些詞總稱為未登錄詞”。未登錄詞包括兩大類：一類是新涌現(xiàn)的普通詞匯或?qū)I(yè)術(shù)語；另一類是專有名詞，例如：人名、地名、國名、組織機構(gòu)等名。未登錄詞在藏語真實文本中普遍存在。

有實驗統(tǒng)計，用含7萬詞條的詞典，對2萬余字的藏文網(wǎng)頁新聞文本語料進行自動切分后發(fā)現(xiàn)，其中有20%的詞不在詞典中；對1萬字的藏文科技文本進行自動切分，其中有40%的詞不在詞典中；對6萬字藏文文學、新聞、民俗等多種文本進行自動切分，發(fā)現(xiàn)絕大多數(shù)錯誤是由未登錄詞造成。未登錄詞是影響藏文分詞正確率的主要因素，對分詞精度的影響超過了歧義切分。因此，要從根本上提高藏文分詞效率，解決未登錄詞問題尤為重要。

5 結(jié)語

藏文分詞是藏文文本處理中最基礎(chǔ)也最為首要的工作，其分詞的正確性將直接影響到藏文信息處理的有效性與應(yīng)用價值；而藏文自動分詞技術(shù)則是藏語自然語言處理中的一項關(guān)鍵技術(shù)，因為該項技術(shù)不僅直接運用于藏文文字識別、藏文語音處理、藏語機器翻譯、藏語教學技術(shù)研究等方面，而且也是未來藏語的智能化研究以及藏語文化、信息傳播與交換的直接動力與基礎(chǔ)支撐；同時這也將對藏族地區(qū)的社會生活與社會發(fā)展帶來深遠的影響。當然，藏文自動分詞技術(shù)還并為成熟，還有很多亟待解決的問題，如程序中關(guān)于unicode編碼處理的問題、藏文文字的在線輸入問題、人工標注庫的建立和完善等，這就需要相關(guān)研究人員投入進一步的研究工作。

【參考文獻】

[1]何向真，李亞超，馬寧，于洪志.基于音節(jié)標注的藏文自動分詞研究[J].計算機應(yīng)用研究，2015，07：1989-1991.

[2]索郎桑姆.藏語語料庫構(gòu)建與加工技術(shù)研究[D].西藏大學，2013.

[3]劉匯丹.藏文分詞及文本資源挖掘研究[D].中國科學院大學，2012.

[4]湯小娜.詞義消歧在統(tǒng)計機器翻譯中的應(yīng)用研究[D].廈門大學，2007.

[5]李偉.中文分詞歧義消解技術(shù)的研究[D].青島科技大學，2014.

[6]艾金勇.“藏文自動分詞技術(shù)研究”報告[R].2013，12.

[責任編輯：楊玉潔]