基于概率的語(yǔ)言研究發(fā)展簡(jiǎn)述

陳 衡

關(guān)于語(yǔ)言特性，有這樣一組對(duì)立的觀點(diǎn)：一種觀點(diǎn)是把語(yǔ)言看作是判定性的規(guī)則，另一種觀點(diǎn)是把語(yǔ)言看作有意義的趨勢(shì)［1-3］。前者認(rèn)為語(yǔ)言特性可以用邏輯或規(guī)則加以描述，后者認(rèn)為語(yǔ)言特性是一種概率性或蓋然性［4-6］。

認(rèn)為語(yǔ)言特性是判定性的規(guī)則的以喬姆斯基為主要代表。喬姆斯基把索緒爾對(duì)語(yǔ)言與言語(yǔ)的區(qū)分重新解釋為語(yǔ)言能力和語(yǔ)言行為，認(rèn)為語(yǔ)言學(xué)家應(yīng)該研究的是語(yǔ)言能力而非語(yǔ)言行為，而且其對(duì)語(yǔ)言能力研究的判定標(biāo)準(zhǔn)就是看是否符合這一語(yǔ)言母語(yǔ)者的語(yǔ)感，而非真實(shí)的語(yǔ)言文本。

與語(yǔ)言是判定性相對(duì)的觀點(diǎn)是認(rèn)為語(yǔ)言是概率性的。德·波格蘭德（De Beaugrande）統(tǒng)計(jì)出喬姆斯基在《句法結(jié)構(gòu)》和《句法理論要略》兩書(shū)中分別分析了28個(gè)和24個(gè)人造句子，這種只靠研究者內(nèi)省的方式是不能夠令人信服的［7］。對(duì)語(yǔ)言是判定性的提出批評(píng)最多的是功能語(yǔ)言學(xué)家，尤其是系統(tǒng)功能語(yǔ)言學(xué)家，如Halliday認(rèn)為喬姆斯基的舉例不是來(lái)自真實(shí)語(yǔ)篇，因此它無(wú)法如實(shí)概括語(yǔ)言的實(shí)質(zhì)［1］。

對(duì)于語(yǔ)言學(xué)中的這兩種觀點(diǎn)，到目前為止仍各有人堅(jiān)持，仍是討論的熱點(diǎn)之一［8］。

一、概率語(yǔ)言學(xué)的產(chǎn)生及背景

2001年美國(guó)語(yǔ)言學(xué)會(huì)在華盛頓召開(kāi)，并舉行了第一次“語(yǔ)言學(xué)中的概率理論”專題討論會(huì),討論結(jié)果一是認(rèn)為概率理論的應(yīng)用讓語(yǔ)言學(xué)家們?cè)谔骄空Z(yǔ)言理論以及具體問(wèn)題時(shí)有了可以測(cè)量語(yǔ)言特性梯度 （gradience）的方法；二是Rens Bob,Jennifer Hays,Stefanie Jannedy等人主編的《概率語(yǔ)言學(xué)》出版。這本書(shū)介紹了概率理論的基本知識(shí)，以及其在語(yǔ)言學(xué)各個(gè)分支中的應(yīng)用研究。在前言中，編者這樣說(shuō)道：“眾多的證據(jù)表明語(yǔ)言是概率性的。在語(yǔ)言理解及生成過(guò)程中，概率在讀?。╝ccess）、歧義消解以及語(yǔ)言生成方面起著重要作用。在學(xué)習(xí)方面，概率在切分和總結(jié)方面發(fā)揮作用。在音系和形態(tài)方面，概率在可接受度判斷和交替（alternation）方面發(fā)揮作用。在句法和語(yǔ)義方面，概率在范疇梯度、句法合法性判斷以及翻譯方面發(fā)揮作用。而更重要的是，概率在模擬語(yǔ)言演變和變異方面發(fā)揮關(guān)鍵作用?！保?］vii

其實(shí)，早在這次會(huì)議之前，就有運(yùn)用概率研究語(yǔ)言的傳統(tǒng)。在英國(guó)，馬琳諾夫斯基最早對(duì)數(shù)量統(tǒng)計(jì)和概率做過(guò)間接陳述，將語(yǔ)言看作是說(shuō)話人腦子中的思想轉(zhuǎn)移到聽(tīng)話人的腦子中的方法是錯(cuò)誤的，我們需要因經(jīng)驗(yàn)和情境而論［9］。即在不同的情境下每個(gè)句子出現(xiàn)的概率是不一樣的，這個(gè)思想就是語(yǔ)境論的思想。弗斯非常強(qiáng)調(diào)意義的語(yǔ)境理論，他認(rèn)為真實(shí)的語(yǔ)言在作為語(yǔ)篇的語(yǔ)言中出現(xiàn)，因此記錄下來(lái)的真實(shí)語(yǔ)篇才是語(yǔ)言學(xué)家要關(guān)注的主要內(nèi)容［10］。Halliday和Sinclair繼承了弗斯的思想。

在歐洲，自1930年以來(lái)，布拉格學(xué)派的語(yǔ)言學(xué)家們就一直從事某些語(yǔ)法過(guò)程中頻率作用的定量研究，如音節(jié)類型和結(jié)構(gòu)的概率分布，句子中信息位置的概率分布，言語(yǔ)不同部分出現(xiàn)的相對(duì)頻率等［11］。

而在美國(guó)，語(yǔ)文學(xué)家Zipf也非常關(guān)心語(yǔ)言的定量研究。他研究了詞頻與語(yǔ)篇長(zhǎng)度的關(guān)系，文本中詞頻與秩次的關(guān)系等。Zipf發(fā)現(xiàn)，如果把一個(gè)文本中的詞語(yǔ)（該次運(yùn)用的英文文本）進(jìn)行頻次統(tǒng)計(jì)，并把頻次按從大到小的次序排列，即排在第一的秩次為1，頻次為f1，排在第二的秩次為2，頻次為f2，以此類推，那么秩次r與其對(duì)應(yīng)的頻次f滿足下列關(guān)系［12］：

這個(gè)定律表明，在英語(yǔ)中，只有少數(shù)高頻單詞被使用，大部分單詞很少被使用。Zipf將其解釋為“最小努力原則”，即為語(yǔ)言學(xué)中最常用、最具解釋性的“經(jīng)濟(jì)性原則”：人們總是習(xí)慣用少量的詞語(yǔ)來(lái)表達(dá)較多的內(nèi)容。Halliday曾評(píng)論說(shuō)這個(gè)詞語(yǔ)頻率作為語(yǔ)言的一個(gè)特性是可以接受的，如英語(yǔ)的“gd”比“walk”出現(xiàn)頻率高，比“stroll”更高，因此，沒(méi)有必要將語(yǔ)法的定量范式拒之門(mén)外［13］。

Zipf定律是一種簡(jiǎn)單的冪函數(shù)，它描述的這種詞語(yǔ)分布又被稱為冪率分布，其實(shí)，不止詞語(yǔ)，其他很多自然、社會(huì)現(xiàn)象都符合冪率分布定律，像人均收入的分布、姓氏的分布、網(wǎng)頁(yè)點(diǎn)擊次數(shù)分布等都是一種冪率分布，因此Zipf定律也被借鑒到其他類型的統(tǒng)計(jì)中去，它是一個(gè)具有社會(huì)學(xué)意義的普適規(guī)律。這是運(yùn)用概率研究語(yǔ)言對(duì)其他學(xué)科的一大貢獻(xiàn)。

二、概率語(yǔ)言學(xué)的分支研究

（一）概率音系學(xué)

音系學(xué)研究人類語(yǔ)言傳達(dá)意義的語(yǔ)音結(jié)構(gòu)知識(shí)。人們?cè)诶谜Z(yǔ)音造詞時(shí)會(huì)經(jīng)常利用已有的語(yǔ)音元素和結(jié)構(gòu)，因此它具有很強(qiáng)的能產(chǎn)性。語(yǔ)音結(jié)構(gòu)的能產(chǎn)性是生成音系學(xué)的基礎(chǔ)，而這種帶有變量形式語(yǔ)法的概念常常被認(rèn)為與音系學(xué)是概率的這一觀點(diǎn)相對(duì)。實(shí)際上，這是一種偏見(jiàn)，因?yàn)楦怕世碚摼褪且迅怕寿x給這些變量；如果沒(méi)有變量，也就不會(huì)有統(tǒng)計(jì)學(xué)習(xí)模型了。一旦我們從語(yǔ)音結(jié)構(gòu)中抽象出了一些變量，原則上，我們就可以根據(jù)我們的研究需求而給某個(gè)變量賦上概率值，以獲取科學(xué)的結(jié)果。

概率音系學(xué)理論既包括抽象的變量部分，也包括概率分布部分。在概率分布部分，它是分層次的，包括：（1）參數(shù)語(yǔ)音學(xué)；（2）語(yǔ)音編碼；（3）詞典中的詞型；（4）音系語(yǔ)法；（5）形態(tài)音位對(duì)應(yīng)。概率音系學(xué)要研究的就是什么樣的分布對(duì)應(yīng)什么樣的變量，以及各個(gè)層次分布之間的關(guān)系等。這樣的研究對(duì)于我們理解人類語(yǔ)言的本質(zhì)有重要意義，而這是非概率類研究所不能達(dá)到的。

（二）概率句法學(xué)

研究概率句法學(xué)的學(xué)者主要集中在計(jì)算語(yǔ)言學(xué)或統(tǒng)計(jì)語(yǔ)言學(xué)方面，如Daniel Jurafsky、Christopher D.Manning、Michael Collins等。概率句法包括n元模型、概率上下文無(wú)關(guān)語(yǔ)法（PCFG），詞匯化的概率上下文無(wú)關(guān)語(yǔ)法（LPCFG）、概率依存語(yǔ)法（PDG）。

n元模型是一種統(tǒng)計(jì)語(yǔ)言模型，嚴(yán)格說(shuō)它不是語(yǔ)言學(xué)本體中的句法理論，它主要利用的是詞的共現(xiàn)頻數(shù)信息，因此更多的是基于信息論的理論。n元模型最初用來(lái)識(shí)別語(yǔ)音，取得了較好的效果。n元模型的提出者賈里尼克，是一位自然語(yǔ)言處理的大師，他曾聽(tīng)過(guò)信息論鼻祖香農(nóng)，以及語(yǔ)言學(xué)大師雅各布森和喬姆斯基的課，博士畢業(yè)后任教于康奈爾大學(xué)，后到IBM，領(lǐng)導(dǎo)華生實(shí)驗(yàn)室，在自然語(yǔ)言處理尤其是語(yǔ)音識(shí)別方面做出重要貢獻(xiàn)。

PCFG是在喬姆斯基概率上下文無(wú)關(guān)語(yǔ)法的基礎(chǔ)上在每個(gè)生成過(guò)程中增加概率因素，用以判斷不同句法樹(shù)的合法性程度，但它有其局限性：一是概率估計(jì)基于純粹的結(jié)構(gòu)因素，沒(méi)有考慮詞匯的共現(xiàn)因素，即沒(méi)有考慮局部詞匯上下文；二是相對(duì)較長(zhǎng)的句子，較短的句子的概率值要偏大。因此，在實(shí)際的語(yǔ)言描述能力上，它比n元語(yǔ)言模型的描述能力要更差些。

LPCFG是在PCFG的基礎(chǔ)上發(fā)展完善而來(lái)，針對(duì)PDFG的兩個(gè)問(wèn)題提出解決辦法。針對(duì)問(wèn)題一，在派生過(guò)程中加入中心詞這一特征；針對(duì)問(wèn)題二，規(guī)范派生?；贚PCFG的句法分析的正確率能達(dá)到91.4%，遠(yuǎn)遠(yuǎn)超過(guò) PDFG［14］。

PDG是建立在依存語(yǔ)法的基礎(chǔ)之上的，各種類型的依存語(yǔ)法與對(duì)應(yīng)的短語(yǔ)結(jié)構(gòu)語(yǔ)法實(shí)質(zhì)是同構(gòu)的。Macdonald等認(rèn)為，基于PDG的句法分析的正確率與基于LPCFG差不多，但在效率上要遠(yuǎn)遠(yuǎn)超過(guò)后者［15］。

（三）概率社會(huì)語(yǔ)言學(xué)

社會(huì)語(yǔ)言學(xué)探究的是人類各個(gè)層次上的語(yǔ)言學(xué)現(xiàn)象與社會(huì)的關(guān)聯(lián)模式，包括語(yǔ)音、句法、語(yǔ)義及話語(yǔ)等。但社會(huì)語(yǔ)言學(xué)有其不同于其他分支的特點(diǎn)。其他語(yǔ)言計(jì)量研究的分支是與基于直覺(jué)和范疇思考的流派相競(jìng)爭(zhēng)，而社會(huì)語(yǔ)言學(xué)從產(chǎn)生開(kāi)始就是基于經(jīng)驗(yàn)前提的。過(guò)去社會(huì)語(yǔ)言學(xué)研究的內(nèi)容包括尋找統(tǒng)一的統(tǒng)計(jì)模型和工具，連接社會(huì)結(jié)構(gòu)與語(yǔ)言形式的相關(guān)系數(shù)的解讀等。而隨著社會(huì)學(xué)理論的發(fā)展以及對(duì)社會(huì)語(yǔ)言學(xué)理解的加深，研究者們面臨著社會(huì)語(yǔ)言學(xué)觀點(diǎn)的極大改變：從靜態(tài)社會(huì)范疇分析轉(zhuǎn)變?yōu)橄扔跀?shù)據(jù)分析的簡(jiǎn)單決策分析。而范式理論這一基于頻率的模型在語(yǔ)言學(xué)的各個(gè)分支中的出現(xiàn)，融合了社會(huì)理論對(duì)社團(tuán)實(shí)踐中的參與人所起作用的理解。在范式理論中，范疇并不是預(yù)先存在的，而是動(dòng)態(tài)的，是通過(guò)對(duì)大量數(shù)據(jù)的概括總結(jié)而來(lái)。這樣，社會(huì)語(yǔ)言學(xué)又與概率重新結(jié)合。概率社會(huì)語(yǔ)言學(xué)研究的中心問(wèn)題包括：是什么因素影響說(shuō)話者選擇使用這一個(gè)而不是另一個(gè)語(yǔ)言變體的決定？怎樣最好地對(duì)這一決定發(fā)生時(shí)的語(yǔ)言與社會(huì)同步影響過(guò)程進(jìn)行建模？某一語(yǔ)言變體是怎樣反映社會(huì)成員關(guān)系的？某些語(yǔ)言形式在社會(huì)景觀中的交替出現(xiàn)反映了語(yǔ)言結(jié)構(gòu)內(nèi)部什么樣的共時(shí)與歷時(shí)工作機(jī)制？

（四）概率心理語(yǔ)言學(xué)

20世紀(jì)50年代有許多基于統(tǒng)計(jì)和概率的心理語(yǔ)言學(xué)的研究，但這種研究在60到80年代停滯了，直到90年代才開(kāi)始復(fù)蘇。盡管概率理論不是很好的描述模型，但卻是很好的規(guī)范模型（normative model）。概率理論起源于人們?cè)诿鎸?duì)不確定性時(shí)進(jìn)行推理的認(rèn)知建模。

概率在語(yǔ)言理解的過(guò)程中有三個(gè)已被證明的作用。第一，從心理詞匯或語(yǔ)法中獲取語(yǔ)言結(jié)構(gòu)任務(wù)。一般地，概率大的語(yǔ)言結(jié)構(gòu)獲取的速度更快，所需時(shí)間更短。第二，歧義消解。歧義在語(yǔ)言理解的過(guò)程中無(wú)處不在：分詞、詞性標(biāo)注、詞義標(biāo)注、句法語(yǔ)義理解等。概率在此發(fā)揮的作用是，一個(gè)釋義的概率越大，那么它被選擇的概率也就越大。第三，概率還可能在解釋語(yǔ)言處理的復(fù)雜性上發(fā)揮作用。在語(yǔ)言處理模型中，那些復(fù)雜性比較高的往往是由于一些低概率釋義情形的存在，或者是釋義的突然轉(zhuǎn)換。概率的計(jì)算往往必須依賴于語(yǔ)言單位在實(shí)際使用中的出現(xiàn)頻率。

三、概率語(yǔ)言學(xué)的拓展

從概率出發(fā)研究語(yǔ)言是正確的，但從目前的研究成果來(lái)看，如果去掉自然語(yǔ)言工程方向的一些成果［8］，其在語(yǔ)言學(xué)本體研究中并沒(méi)有引發(fā)重大的改革或發(fā)現(xiàn)。正如Munro在評(píng)論P(yáng)robabilistic Linguistics一書(shū)時(shí)所作的批評(píng)：這本書(shū)主要關(guān)注的是概率，而非語(yǔ)言的層級(jí)性［1］；Jurafsky在書(shū)中所聲稱的在2000年的計(jì)算語(yǔ)言學(xué)大會(huì)上77%的文章都在一定形式上使用了概率模型，其實(shí)際情況是沒(méi)有一篇探究語(yǔ)言的層級(jí)性或漸變性作為主要目標(biāo)，他們非常樂(lè)意將概率知識(shí)加進(jìn)他們的模型中，卻使用基于范疇（理性主義方法）準(zhǔn)確性的方法去評(píng)測(cè)結(jié)果。這就完全顛倒了將概率理論引入語(yǔ)言學(xué)中的目的，因此Munro發(fā)出了這是否會(huì)阻礙概率語(yǔ)言學(xué)發(fā)展的強(qiáng)烈疑問(wèn)。

從概率出發(fā)研究語(yǔ)言的還有從功能語(yǔ)言學(xué)中分化出的語(yǔ)料庫(kù)語(yǔ)言學(xué)，以及繼承了Zipf定量研究方法并發(fā)展起來(lái)的計(jì)量語(yǔ)言學(xué)。

Michael Halliday和John Sinclair都是Firth的直接學(xué)術(shù)繼承人，前者開(kāi)創(chuàng)了系統(tǒng)功能語(yǔ)言學(xué)，后者開(kāi)創(chuàng)了語(yǔ)料庫(kù)語(yǔ)言學(xué)，并都保留了Firth的語(yǔ)言學(xué)思想精髓。從對(duì)概率的直接運(yùn)用程度上，語(yǔ)料庫(kù)語(yǔ)言學(xué)要更貼近概率語(yǔ)言學(xué)，而系統(tǒng)功能語(yǔ)言學(xué)在語(yǔ)境論和社會(huì)論的方向上走得太遠(yuǎn)，逐漸剝離了語(yǔ)言事實(shí)。語(yǔ)料庫(kù)語(yǔ)言學(xué)在概率的運(yùn)用上也不是沒(méi)有問(wèn)題，基于語(yǔ)料庫(kù)的研究所遇到的問(wèn)題與前面Munro所批評(píng)的基本類似，即其研究似乎只是對(duì)基于范疇方法的一種驗(yàn)證，盡管也有所拓展，但本質(zhì)還是如此。不過(guò)隨著語(yǔ)料庫(kù)語(yǔ)言學(xué)的發(fā)展，以及新的統(tǒng)計(jì)手段的不斷創(chuàng)造與運(yùn)用，語(yǔ)料庫(kù)驅(qū)動(dòng)的方法逐漸推廣開(kāi)來(lái)，這將對(duì)從根本上改變語(yǔ)料庫(kù)語(yǔ)言學(xué)只是對(duì)理性方法的一種驗(yàn)證這一偏見(jiàn)發(fā)揮重要作用。

計(jì)量語(yǔ)言學(xué)繼承了Zipf的語(yǔ)言定量研究方法，而且更加注重在概率的基礎(chǔ)上構(gòu)建語(yǔ)言學(xué)的理論［16-18］。關(guān)于計(jì)量語(yǔ)言學(xué)的產(chǎn)生，一個(gè)有趣的現(xiàn)象是，美國(guó)語(yǔ)言學(xué)家Zifp所運(yùn)用并倡導(dǎo)的語(yǔ)言定量研究方法沒(méi)有在美國(guó)散開(kāi)，卻在歐洲開(kāi)花結(jié)果?！澳壳斑@一領(lǐng)域的主要代表人物大多來(lái)自德國(guó)、奧地利及東歐國(guó)家，其中最著名的是德國(guó)波鴻大學(xué)的Altmann教授。他在計(jì)量語(yǔ)言學(xué)的諸多領(lǐng)域均有重要貢獻(xiàn)，是Zipf之后最重要的計(jì)量語(yǔ)言學(xué)家，被譽(yù)為現(xiàn)代計(jì)量語(yǔ)言學(xué)的奠基人之一?！保?9］計(jì)量語(yǔ)言學(xué)有自己的國(guó)際學(xué)會(huì)，以及會(huì)刊《計(jì)量語(yǔ)言學(xué)學(xué)刊》，其主編特里爾大學(xué)的科勒教授是一位計(jì)量語(yǔ)言學(xué)的重量級(jí)人物。

計(jì)量語(yǔ)言學(xué)相較于語(yǔ)料庫(kù)語(yǔ)言學(xué)以及統(tǒng)計(jì)語(yǔ)言學(xué)來(lái)說(shuō)，更加注重語(yǔ)言學(xué)理論的建設(shè)，這就是為Munro所詬病的后兩者所缺乏的東西。經(jīng)過(guò)幾十年的努力，各國(guó)計(jì)量語(yǔ)言學(xué)學(xué)者已經(jīng)發(fā)現(xiàn)了不少的具有普適性的計(jì)量語(yǔ)言學(xué)定律，主要有：以Zipf定律為代表的分布定律、以Menzerath-Alttman定律為代表的函數(shù)定律和和以Piotrowski-Alttman定律為代表的演化定律。除了這些單個(gè)的定律外，協(xié)同語(yǔ)言學(xué)理論作為一個(gè)完整理論發(fā)展起來(lái)，并從詞匯層向句法層拓展。另外，值得一提的是，目前，中國(guó)的計(jì)量語(yǔ)言學(xué)蓬勃發(fā)展，取得了一些成果［20］，計(jì)量語(yǔ)言學(xué)會(huì)會(huì)長(zhǎng)K?hler教授甚至說(shuō)，國(guó)際計(jì)量語(yǔ)言學(xué)的研究中心正在從歐洲轉(zhuǎn)移至中國(guó)。

四、結(jié)語(yǔ)

概率性是語(yǔ)言的一個(gè)主要特性，運(yùn)用概率來(lái)研究語(yǔ)言是符合客觀規(guī)律的，也是符合語(yǔ)言事實(shí)的。當(dāng)然，概率語(yǔ)言學(xué)在發(fā)展過(guò)程中也遇到一些問(wèn)題，解決問(wèn)題的辦法一是真正地用概率的思想來(lái)研究語(yǔ)言，而不是基于范疇方法的一種驗(yàn)證，要在概率研究的基礎(chǔ)上發(fā)現(xiàn)規(guī)律，加強(qiáng)理論構(gòu)建，形成系統(tǒng)。二是把握當(dāng)前多學(xué)科交叉研究的潮流［21］，積極吸收其他相關(guān)學(xué)科如數(shù)學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)、心理學(xué)、物理學(xué)等值得借鑒的地方，以促進(jìn)自身快速發(fā)展。其中尤其值得一提的是，當(dāng)前大數(shù)據(jù)研究成為潮流［22］，而語(yǔ)言研究所需的語(yǔ)料在互聯(lián)網(wǎng)上取之不盡、用之不竭，這是概率語(yǔ)言學(xué)發(fā)展的一大機(jī)遇。