語(yǔ)言科學(xué)發(fā)展的新分支——自然語(yǔ)言處理

邵澤國(guó)

(上海師范大學(xué)人文傳播學(xué)院，上海 200234)

自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)、語(yǔ)言學(xué)、數(shù)學(xué)、認(rèn)知學(xué)等學(xué)科的交叉學(xué)科，是語(yǔ)言科學(xué)發(fā)展的一個(gè)新的學(xué)科分支［1］。它立足于實(shí)驗(yàn)、理論和計(jì)算來(lái)實(shí)現(xiàn)計(jì)算機(jī)對(duì)語(yǔ)言文字信息的自動(dòng)分析和理解，是個(gè)實(shí)用性強(qiáng)、應(yīng)用范圍廣的學(xué)科［2］。在機(jī)器翻譯、文本處理、語(yǔ)音分析與識(shí)別、人機(jī)交互、信息檢索等領(lǐng)域有著廣泛的應(yīng)用。特別是近年來(lái)隨著網(wǎng)絡(luò)信息的大爆炸，自然語(yǔ)言處理技術(shù)被認(rèn)為是處理信息網(wǎng)絡(luò)世界中語(yǔ)言載體的核心技術(shù)。

1 自然語(yǔ)言處理的概念

語(yǔ)言科學(xué)搭起了人文科學(xué)與自然科學(xué)的橋梁，自然語(yǔ)言處理［3］(Natural Language Processing，NLP)正是以語(yǔ)言為對(duì)象，利用計(jì)算機(jī)技術(shù)來(lái)分析、理解和處理自然語(yǔ)言。它是典型邊緣交叉學(xué)科，涉及到語(yǔ)言科學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)、認(rèn)知學(xué)、邏輯學(xué)等。人們把用計(jì)算機(jī)處理自然語(yǔ)言的過(guò)程在不同時(shí)期或側(cè)重點(diǎn)不同時(shí)又稱(chēng)為自然語(yǔ)言理解(Natural Language Understanding，NLU)、人類(lèi)語(yǔ)言技術(shù)(Human Language Technology，HLT)、計(jì)算語(yǔ)言學(xué)［4］(Computational Linguistics)、計(jì)量語(yǔ)言學(xué)(Quantitative Linguistics)、數(shù)理語(yǔ)言學(xué)(Mathematical Linguistics)。

人類(lèi)最早將自然語(yǔ)言與計(jì)算機(jī)聯(lián)系在一起是機(jī)器翻譯。當(dāng)發(fā)現(xiàn)語(yǔ)言的計(jì)算機(jī)處理過(guò)程不是一個(gè)簡(jiǎn)單的機(jī)械過(guò)程時(shí)，人們將注意力聚焦在自然語(yǔ)言的理解上［5］，即追求語(yǔ)言含義的真正解釋?zhuān)瑥亩纬捎勺匀徽Z(yǔ)言理解［6］這一學(xué)科。隨著人們對(duì)“理解”的日益加深，逐漸拓寬了自然語(yǔ)言同計(jì)算機(jī)結(jié)合的認(rèn)識(shí)，從“理解”變?yōu)椤疤幚怼?，即而有了自然語(yǔ)言處理［7］。之后，隨著人類(lèi)學(xué)的發(fā)展，人們用“人類(lèi)語(yǔ)言技術(shù)”這一更確切的術(shù)語(yǔ)來(lái)命名面向人類(lèi)語(yǔ)言的處理技術(shù)的研究。

在這個(gè)研究過(guò)程中若側(cè)重于從計(jì)算角度來(lái)看待語(yǔ)言學(xué)的性質(zhì)，或以自然語(yǔ)言為對(duì)象來(lái)研究算法，則稱(chēng)之為計(jì)算語(yǔ)言學(xué)，它是用計(jì)算機(jī)模擬人去分析、處理自然語(yǔ)言。若側(cè)重于以計(jì)算機(jī)作為工具手段對(duì)自然語(yǔ)言進(jìn)行計(jì)量研究，則稱(chēng)為計(jì)量語(yǔ)言學(xué)，它是利用計(jì)算機(jī)來(lái)獲取語(yǔ)言中隱含的數(shù)量規(guī)律。如果是專(zhuān)注于對(duì)自然語(yǔ)言進(jìn)行各種類(lèi)型的信息處理和加工技術(shù)研究，且強(qiáng)調(diào)計(jì)算機(jī)實(shí)現(xiàn)，則稱(chēng)之為自然語(yǔ)言處理。如果是專(zhuān)注于以數(shù)學(xué)方法來(lái)刻畫(huà)語(yǔ)言的各種特點(diǎn)，從而形成表述嚴(yán)密的語(yǔ)言理論體系，則稱(chēng)之為數(shù)理語(yǔ)言學(xué)。

事實(shí)上，自然語(yǔ)言處理同自然語(yǔ)言理解、人類(lèi)語(yǔ)言技術(shù)、計(jì)算語(yǔ)言學(xué)、計(jì)量語(yǔ)言學(xué)、數(shù)理語(yǔ)言學(xué)相互之間沒(méi)有嚴(yán)格的界限，一般把自然語(yǔ)言處理等同于計(jì)算語(yǔ)言學(xué)。

2 自然語(yǔ)言處理的發(fā)展歷程及現(xiàn)狀

2.1 國(guó)際情況

(1)萌芽階段。1954年，美國(guó)喬治敦(Georgetown)大學(xué)與IBM公司合作，在IBM－701型計(jì)算機(jī)上進(jìn)行了俄語(yǔ)翻譯成英語(yǔ)的機(jī)器翻譯實(shí)驗(yàn)，這是世界上首次將計(jì)算機(jī)應(yīng)用在非數(shù)值計(jì)算的信息處理領(lǐng)域。

(2)成長(zhǎng)階段［7］。20世紀(jì)60年代，出現(xiàn)了一批基于諾姆·喬姆斯基(Noam Chomsky，美國(guó)語(yǔ)言學(xué)家)的轉(zhuǎn)換—生成語(yǔ)法的語(yǔ)言處理系統(tǒng)。如麻省理工學(xué)院拉法勒(B.Raphael)的信息檢索系統(tǒng)SIR、韋森鮑姆的ELIZA。這些系統(tǒng)采用的主要技術(shù)是模式識(shí)別中的句法匹配，沒(méi)有成熟的句法分析。1972年伍茲(Woods)在他的自然語(yǔ)言信息檢索系統(tǒng)(LUNAR)提出了著名的擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)(Augmented Transition Network，ATN)。同年，威諾甘德(T.Winogand)的自然語(yǔ)言理解系統(tǒng)(SHRDLU)嵌入了一個(gè)句法分析程序、一個(gè)語(yǔ)義分析程序、一個(gè)問(wèn)題求解器，是一個(gè)句法、語(yǔ)義和推理的組合系統(tǒng)。1975年，香克(R.Schank)設(shè)計(jì)了基于本人概念從屬理論的 MARGIE(Meaning Analysis，Response Generation，and Inference on English)系統(tǒng)，系統(tǒng)由概念分析器、推理器和篇章生產(chǎn)器3部分組成。

(3)實(shí)際應(yīng)用階段［8－9］。20 世紀(jì) 80 年代，出現(xiàn)了各種新的語(yǔ)法體系，如Gazder的廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法(Generalied Phrase Structure Grammar)、Bresnan 與Kaplan的詞匯功能語(yǔ)法(Lexical Functional Grammar)、M.kay的功能合一語(yǔ)法(Functional Unification Grammar)等。90年代語(yǔ)料庫(kù)語(yǔ)言學(xué)(Corpus Linguistice)的研究蔚然成風(fēng)，許多國(guó)家和學(xué)術(shù)機(jī)構(gòu)相繼推出了不同語(yǔ)種的超大型語(yǔ)料庫(kù)或知識(shí)庫(kù)。

這些語(yǔ)言學(xué)上的成果大幅提高了自然語(yǔ)言處理系統(tǒng)的能力，涌現(xiàn)出了諸如美國(guó)METAL和LOGOS，日本PIVOT和HICAT，法國(guó)ARIANE以及德國(guó)SUSY等著名實(shí)用性系統(tǒng)。

2.2 國(guó)內(nèi)情況

屬于漢藏語(yǔ)系的中國(guó)在自然語(yǔ)言處理方面的研究與應(yīng)用目前稍落后于印歐語(yǔ)系的歐美等國(guó)家，這是由于漢語(yǔ)自身的特點(diǎn)和計(jì)算機(jī)技術(shù)的落后決定的。但近年來(lái)我國(guó)無(wú)論在自然語(yǔ)言處理的理論方面，還是在應(yīng)用方面都取得了可喜成績(jī)。典型代表:理論方面有黃曾陽(yáng)(中國(guó)科學(xué)院聲學(xué)研究所)先生的概念層次網(wǎng)絡(luò)理論(Hierarchical Net Work of Concept);應(yīng)用方面有北京大學(xué)的《現(xiàn)代漢語(yǔ)語(yǔ)法信息詞典》，清華大學(xué)的《漢語(yǔ)語(yǔ)素?cái)?shù)據(jù)庫(kù)》，董振東先生的知網(wǎng)(How Net)，潘悟云先生的漢語(yǔ)方言地理信息系統(tǒng)平臺(tái)，中國(guó)社會(huì)科學(xué)院文學(xué)研究所的千萬(wàn)詞級(jí)漢語(yǔ)語(yǔ)料庫(kù)，臺(tái)灣中央研究院的千萬(wàn)級(jí)古代、近代、現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)，清華大學(xué)的ZW大型通用漢語(yǔ)語(yǔ)料庫(kù)等［10］。

近期有學(xué)者指出漢語(yǔ)言是世界上方言語(yǔ)種最多、文獻(xiàn)資料最豐富、唯一保持歷史延續(xù)性的語(yǔ)言，未來(lái)自然語(yǔ)言處理技術(shù)的突破有可能在中國(guó)出現(xiàn)。

3 自然語(yǔ)言處理的意義和方法

3.1 意義

1950年，圖靈(Alan Mathison Turing)提出了被后人稱(chēng)為人工智能直接起源之一的著名的“圖靈測(cè)試”。而這個(gè)測(cè)試正是機(jī)器理解人類(lèi)語(yǔ)言的典型范例，所以更多的學(xué)者把自然語(yǔ)言處理看作是人工智能的一個(gè)分支。語(yǔ)言是人類(lèi)智能與智慧的高度表現(xiàn)，因而對(duì)自然語(yǔ)言處理的研究也有助于人們揭開(kāi)人類(lèi)智能的奧秘、認(rèn)識(shí)自己，為智能科學(xué)的發(fā)展和突破貢獻(xiàn)力量。

作為一個(gè)邊緣交叉學(xué)科，自然語(yǔ)言處理的發(fā)展受益于相關(guān)學(xué)科的發(fā)展，同時(shí)也會(huì)促進(jìn)相關(guān)學(xué)科，特別是信息科學(xué)、語(yǔ)言學(xué)、認(rèn)知學(xué)、心理學(xué)的進(jìn)步。

自然語(yǔ)言處理也為國(guó)民經(jīng)濟(jì)的發(fā)展和社會(huì)的進(jìn)步帶來(lái)了動(dòng)力。隨著信息時(shí)代的到來(lái)，自然語(yǔ)言處理已在機(jī)器翻譯、信息檢索、人機(jī)交互、語(yǔ)音識(shí)別、語(yǔ)音合成、文本分類(lèi)、自動(dòng)文摘、問(wèn)答系統(tǒng)等應(yīng)用領(lǐng)域里發(fā)揮了重要作用，這正是這門(mén)學(xué)科的實(shí)用價(jià)值所在。

3.2 方法

自然語(yǔ)言處理的方法到目前可以歸納為規(guī)則法、統(tǒng)計(jì)法、規(guī)則統(tǒng)計(jì)法。從方法論上又將規(guī)則法稱(chēng)為理性主義方法，統(tǒng)計(jì)法稱(chēng)為經(jīng)驗(yàn)主義方法［11］。

(1)規(guī)則方法。通常是先由語(yǔ)言學(xué)家撰寫(xiě)“規(guī)則庫(kù)”，例如“詞典”，再由計(jì)算機(jī)科學(xué)家編寫(xiě)算法程序，對(duì)“規(guī)則庫(kù)”進(jìn)行解釋和執(zhí)行，如圖1所示。具體是由句法分析器按照設(shè)定的自然語(yǔ)言語(yǔ)法把輸入句分析為句法結(jié)構(gòu)，再根據(jù)語(yǔ)義規(guī)則把語(yǔ)法符號(hào)結(jié)構(gòu)映射到語(yǔ)義符號(hào)結(jié)構(gòu)。

圖1 規(guī)則方法的流程

(2)統(tǒng)計(jì)法。統(tǒng)計(jì)法是通過(guò)對(duì)語(yǔ)料庫(kù)中的訓(xùn)練數(shù)據(jù)來(lái)估計(jì)統(tǒng)計(jì)模型中的參數(shù)，從而建立統(tǒng)計(jì)性的語(yǔ)言處理模式。這里“語(yǔ)料庫(kù)”由語(yǔ)言學(xué)家建立，計(jì)算機(jī)科學(xué)家負(fù)責(zé)建立統(tǒng)計(jì)模型、利用語(yǔ)料庫(kù)訓(xùn)練模型參數(shù)以及編寫(xiě)算法解決問(wèn)題，如圖2所示。

圖2 統(tǒng)計(jì)方法的流程

(3)規(guī)則統(tǒng)計(jì)法。其實(shí)是規(guī)則法與統(tǒng)計(jì)法的融合，充分吸收兩者的有點(diǎn)。規(guī)則方法易于表達(dá)復(fù)雜的語(yǔ)言知識(shí)且語(yǔ)言知識(shí)的表達(dá)較直觀、靈活;但語(yǔ)言知識(shí)的覆蓋率低，缺乏言知識(shí)的沖突統(tǒng)一解決機(jī)制。而統(tǒng)計(jì)方法的統(tǒng)計(jì)模型提供了統(tǒng)一的沖突解決機(jī)制，且大規(guī)模數(shù)保證了語(yǔ)言知識(shí)的大覆蓋率;同時(shí)它又不善于表示復(fù)雜的、深層次的語(yǔ)言知識(shí)，對(duì)于數(shù)據(jù)稀缺的語(yǔ)言沒(méi)有好的解決方案。

統(tǒng)計(jì)方法在發(fā)展的過(guò)程中不斷改進(jìn)，逐漸吸收規(guī)則方法的優(yōu)點(diǎn)來(lái)彌補(bǔ)自身的缺陷，統(tǒng)計(jì)模型趨于復(fù)雜，甚至一些模型直接建立在規(guī)則表示的基礎(chǔ)上，從而能夠表達(dá)很復(fù)雜的語(yǔ)言知識(shí)。兩者的巧妙融合形成了規(guī)則統(tǒng)計(jì)法。目前該方法成為了自然語(yǔ)言處理的主流方法。

3.3 漢語(yǔ)處理方法

雖然國(guó)外的自然語(yǔ)言(印歐語(yǔ)系)處理技術(shù)先進(jìn)于國(guó)內(nèi)，但國(guó)外的眾多理論和方法難以照搬應(yīng)用于漢語(yǔ)言處理中。原因在于表意體系的漢語(yǔ)與表音體系的印歐語(yǔ)在自身特征上有較大差異。印歐語(yǔ)在詞匯、語(yǔ)法、語(yǔ)用、語(yǔ)境諸層面上有明顯的特征區(qū)分，相互間又有對(duì)應(yīng)關(guān)系。但漢語(yǔ)在各層面上難以劃分，特別是句法和語(yǔ)法間的界限相當(dāng)模糊。另外，漢語(yǔ)沒(méi)有嚴(yán)格意義上的形態(tài)變化(形態(tài)標(biāo)記)，對(duì)詞沒(méi)有一致認(rèn)可的定義和明顯的分詞的自然形態(tài)界限［12］?？傊疂h語(yǔ)處理要難于印歐語(yǔ)的處理，突出的問(wèn)題是:

(1)漢語(yǔ)的歧義。歧義是自然語(yǔ)言的普遍現(xiàn)象，當(dāng)語(yǔ)言形式不能完全決定語(yǔ)言?xún)?nèi)容(語(yǔ)義)時(shí)即稱(chēng)為歧義。在語(yǔ)言的語(yǔ)音、詞匯、句法、語(yǔ)境上都存在歧義現(xiàn)象。漢語(yǔ)言文字是字形、字音分離的文字(不考慮有音無(wú)字的名族語(yǔ))，所以一字多音，一音多字現(xiàn)象較多。再加上漢語(yǔ)詞匯較難定義，句法、語(yǔ)法界限模糊，使得漢語(yǔ)的排歧相當(dāng)困難。目前多是綜合利用語(yǔ)法和語(yǔ)義知識(shí)，結(jié)合字典、語(yǔ)法規(guī)則庫(kù)及上下文信息來(lái)進(jìn)行排歧，但效果并不理想，特別是語(yǔ)境歧義無(wú)法解決。

(2)漢語(yǔ)語(yǔ)法兼類(lèi)。語(yǔ)法兼類(lèi)即詞的同形異類(lèi)，同一形式的詞具有兩種或兩種以上的語(yǔ)法功能類(lèi)別。如“連”這個(gè)詞兼有副詞、介詞、動(dòng)詞、名詞、和量詞5種詞性。兼類(lèi)詞雖然數(shù)量不多，但出現(xiàn)的頻率較高，且越是常用詞，其兼類(lèi)現(xiàn)象越嚴(yán)重。

(3)分詞。漢語(yǔ)句子中的詞與詞間沒(méi)有標(biāo)識(shí)符號(hào)，所以要理解和處理漢語(yǔ)句子就要先把句子中的詞正確的切分出來(lái)。詞才是計(jì)算機(jī)處理的核心對(duì)象。

(4)詞性標(biāo)注。建立句法結(jié)構(gòu)樹(shù)的首要任務(wù)是詞性標(biāo)注，即明確文本中所有語(yǔ)法兼類(lèi)詞在具體語(yǔ)境下所屬的詞性。在語(yǔ)法平面內(nèi)現(xiàn)有的詞性標(biāo)注法有:基于規(guī)則的方法、基于統(tǒng)計(jì)的方法、基于神經(jīng)網(wǎng)絡(luò)的方法、規(guī)則與統(tǒng)計(jì)混合法。

(5)電子詞典。電子詞典包含了語(yǔ)料加工處理所需有關(guān)詞的各種語(yǔ)言學(xué)知識(shí)，包括分詞、詞性標(biāo)注、短語(yǔ)分析等。電子詞典的規(guī)模和質(zhì)量決定了自然語(yǔ)言處理系統(tǒng)的成敗。

(6)規(guī)則庫(kù)。語(yǔ)言是有規(guī)則的，規(guī)則是可以描述和處理的。規(guī)則庫(kù)就是把語(yǔ)言學(xué)知識(shí)歸納成一套文法規(guī)則，用于判斷匹配成的句子是否合法。最典型的語(yǔ)言學(xué)知識(shí)表示方法有:依存語(yǔ)法(Dependency Grammar)、格語(yǔ)法(Case Grammar)、語(yǔ)法樹(shù)方法(Syntax Tree)、轉(zhuǎn)換生成語(yǔ)法(Transformational Generative Grammar)、擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò)法(Augmented Transition Network)、語(yǔ)義網(wǎng)絡(luò)(Semantic Network)理論、蒙塔鳩語(yǔ)法(MONTAGUE GRAMMAR)、系統(tǒng)語(yǔ)法(System Grammar)、概念依存理論(Conceptual Dependency Theory)和現(xiàn)代語(yǔ)法理論。20世紀(jì)80年代后，國(guó)外又推出了一些新的語(yǔ)法理論和方法，較有影響力的有:廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法(Generalized Phrase Structure Grammar)、頭驅(qū)動(dòng)的短語(yǔ)結(jié)構(gòu)語(yǔ)法(Head－Driven Phrase Structure Grammar)、詞匯功能語(yǔ)法(Lexical Functional Grammar)、功能合一語(yǔ)法(Functional Unification Grammar)、鏈語(yǔ)法(Link Grammar)、范疇語(yǔ)法(Categorial Grammar)、依存語(yǔ)法(Dependency Grammar)、樹(shù)嫁接語(yǔ)法(Tree Adjoining Grammar)。

(7)統(tǒng)計(jì)信息庫(kù)。包含了對(duì)語(yǔ)料庫(kù)信息的各種統(tǒng)計(jì)結(jié)果，如帶詞性標(biāo)注的詞頻統(tǒng)計(jì)、鄰接詞同現(xiàn)概率統(tǒng)計(jì)和短語(yǔ)結(jié)構(gòu)分布信息等，它為基于統(tǒng)計(jì)的語(yǔ)料庫(kù)處理技術(shù)提供了客觀的語(yǔ)言分布數(shù)據(jù)。這些數(shù)據(jù)可以認(rèn)為是計(jì)算機(jī)從大規(guī)模語(yǔ)料中獲得的語(yǔ)言學(xué)知識(shí)，它不僅有助于計(jì)算機(jī)信息處理，更對(duì)語(yǔ)言學(xué)研究起到推動(dòng)作用。

4 結(jié)束語(yǔ)

語(yǔ)言是人類(lèi)智慧的最重要特征，可以說(shuō)人類(lèi)的語(yǔ)言和大腦是世界上最復(fù)雜的兩樣?xùn)|西，而計(jì)算機(jī)是研究它們的有效輔助工具［13］。因此對(duì)自然語(yǔ)言處理的研究及應(yīng)用是人類(lèi)社會(huì)發(fā)展必須且必將邁過(guò)的一道障礙。

［1］馮志偉.計(jì)算語(yǔ)言學(xué)基礎(chǔ)［M］.北京:商務(wù)印書(shū)館，2001.

［2］馮志偉.自然語(yǔ)言的計(jì)算機(jī)處理［M］.上海:上海外語(yǔ)教育出版社，1996

［3］江銘虎.自然語(yǔ)言處理［M］.北京:高等教育出版社，2006.

［4］俞士汶.計(jì)算語(yǔ)言學(xué)概論［M］.北京:商務(wù)印書(shū)館，2007.

［5］劉開(kāi)瑛，郭炳炎.自然語(yǔ)言處理［M］.北京:科學(xué)出版社，1991.

［6］馮志偉.自然語(yǔ)言處理的形式模型［M］.中國(guó)科學(xué)技術(shù)大學(xué)出版社，2010.

［7］陳肇雄，高慶獅.自然語(yǔ)言處理［J］.計(jì)算機(jī)研究與發(fā)展，1989(11):1－16.

［8］宗成慶.統(tǒng)計(jì)自然語(yǔ)言處理［M］.北京:清華大學(xué)出版社，2011.

［9］陳力為，袁琦主編.計(jì)算語(yǔ)言學(xué)進(jìn)展與應(yīng)用［M］.北京:清華大學(xué)出版社，1995

［10］劉玉屏.計(jì)算機(jī)在漢語(yǔ)方言研究中的應(yīng)用［J］.寧夏大學(xué)學(xué)報(bào)，2002(1):53－57.

［11］陸致極.漢語(yǔ)方言數(shù)量研究探索［M］.北京:語(yǔ)文出版社，1992.

［12］俞士汶.計(jì)算語(yǔ)言學(xué)前瞻［M］.北京:商務(wù)印書(shū)館，2005.

［13］鄭錦全.語(yǔ)言學(xué)——結(jié)合人文關(guān)懷與科技應(yīng)用的學(xué)科［J］.暨南學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版，2005(5):94－97.