摘要:統(tǒng)計語言學(xué)是應(yīng)用統(tǒng)計數(shù)學(xué)的方法來研究語言現(xiàn)象的語言學(xué)科,研究領(lǐng)域廣泛,學(xué)界常常運(yùn)用統(tǒng)計語言學(xué),通過分析語言單位的出現(xiàn)頻率及作家的用詞頻率、詞長分布和句長分布,確定作家的寫作風(fēng)格。通過“判定《靜靜的頓河》作者”“證明《紅樓夢》是否出自一人之手”兩個案例可以看出,統(tǒng)計語言學(xué)的研究方法在進(jìn)入文學(xué)研究領(lǐng)域后,取得了非常好的實(shí)用效果。但是,在實(shí)際應(yīng)用中,除了各類詞匯等可控變量,還有其他潛在因素導(dǎo)致統(tǒng)計語言學(xué)的結(jié)論有時并非絕對精準(zhǔn)。通過進(jìn)行多方面、深層次地原因分析和推斷,我們發(fā)現(xiàn),要得到準(zhǔn)確的研究結(jié)果,必須做好研究的前期準(zhǔn)備,要選擇具有相似語言環(huán)境的語料,要注意避開文學(xué)語言的形象思維影響,不能濫用統(tǒng)計語言學(xué)研究方法,并在操作過程中嚴(yán)格控制各種變量,以科學(xué)的思想指導(dǎo)研究。
關(guān)鍵詞:統(tǒng)計語言學(xué) 語言風(fēng)格研究 實(shí)際應(yīng)用
作為大數(shù)據(jù)時代語言學(xué)研究的一個熱點(diǎn)領(lǐng)域,統(tǒng)計語言學(xué)(statistical linguistics)屬于數(shù)理語言學(xué)的一個分支,涉及語言學(xué)、計算機(jī)科學(xué)和數(shù)學(xué)等多個學(xué)科門類,是應(yīng)用數(shù)理統(tǒng)計、概率論和信息論等統(tǒng)計數(shù)學(xué)的方法來研究語言現(xiàn)象的語言學(xué)科。
一、統(tǒng)計語言學(xué)的研究領(lǐng)域
相較于自然科學(xué),人文科學(xué)的研究多涉及人(包括研究者本人)的大腦,因此很容易導(dǎo)致“自我中心性錯誤”和“內(nèi)省性錯誤”。無論是過多地依賴本人的經(jīng)驗(yàn),還是過多地依賴自己的內(nèi)省來做出判斷,都會導(dǎo)致研究缺乏客觀性與科學(xué)性,其價值是有限的。統(tǒng)計語言學(xué)則是倡導(dǎo)用科學(xué)的方法進(jìn)行實(shí)驗(yàn),進(jìn)而得出結(jié)論,“特別注重語言本身的系統(tǒng)性和動態(tài)性特點(diǎn),強(qiáng)調(diào)語言描寫的真實(shí)性和精確性”。
從其研究內(nèi)容看,統(tǒng)計語言學(xué)大致可分為語音統(tǒng)計學(xué)、詞匯統(tǒng)計學(xué)、語法統(tǒng)計學(xué)和語義統(tǒng)計學(xué),分別研究語言的語音、詞匯、語法和語義的統(tǒng)計特征。從其功能看,統(tǒng)計語言學(xué)可分為描述統(tǒng)計與推斷統(tǒng)計:描述統(tǒng)計的作用是對數(shù)據(jù)進(jìn)行整理、歸納和總結(jié),壓縮數(shù)據(jù),把握其一般性的特征和全貌;推斷統(tǒng)計則是根據(jù)描述統(tǒng)計提供的結(jié)果,進(jìn)一步對有關(guān)聯(lián)系加以推斷。
“統(tǒng)計語言學(xué)可用來發(fā)現(xiàn)語言學(xué)內(nèi)在規(guī)律(詞頻與詞排序之間的關(guān)系)、常用詞和非常用詞、詞語搭配、短語獲取、語言習(xí)得、語域變異以及作品風(fēng)格分析等領(lǐng)域。”可以看到,統(tǒng)計語言學(xué)的研究領(lǐng)域廣泛,但其中最主要、最熟稔的實(shí)際應(yīng)用,當(dāng)屬通過語言單位的出現(xiàn)頻率及作家的用詞頻率、詞長分布和句長分布,確定作家的寫作風(fēng)格。統(tǒng)計語言學(xué)進(jìn)入文學(xué)研究領(lǐng)域后,還催生出了另一個學(xué)科,即文藝風(fēng)格學(xué),一種應(yīng)用現(xiàn)代語言學(xué)成果和技術(shù)來分析研究文學(xué)作品的邊緣學(xué)科。如蘇聯(lián)學(xué)者用該方法研究赫爾岑、屠格涅夫的語言風(fēng)格,國內(nèi)也有人用這種方法研究巴金、曹禺、老舍等人的語言風(fēng)格。
二、統(tǒng)計語言學(xué)與語言風(fēng)格研究
黎運(yùn)漢在《漢語風(fēng)格學(xué)》中指出:“語言表現(xiàn)風(fēng)格是綜合運(yùn)用風(fēng)格手段的結(jié)果,從調(diào)音、遣詞、擇句到設(shè)格、謀篇等的風(fēng)格手段,綜合地反映在一篇文章、一部作品,或一種語體,或一個作家的作品,或一個時代的作家的作品,或一個民族的作家的作品里,這就從成了他們各自的表現(xiàn)風(fēng)格?!睋Q言之,語言風(fēng)格的差異,正是由于作者使用特定語言單位的頻率不同而造成的。于是,通過對語言結(jié)構(gòu)特征的分析,我們可以比較直觀地感受到不同文體與不同作者的風(fēng)格,得出不同作者語言風(fēng)格的同一性或區(qū)別性特征,而不僅僅是通過一系列描述型的論述,闡述文體或者語言風(fēng)格問的差異。統(tǒng)計語言學(xué)的誕生,使語言單位的出現(xiàn)頻率和分布數(shù)據(jù)變得重要,成為一種彰顯作家語言風(fēng)格的數(shù)學(xué)特征。
運(yùn)用統(tǒng)計語言學(xué)判定作家風(fēng)格的數(shù)學(xué)特征,其具體過程是:選取兩位作家的公認(rèn)代表作品作為語料樣本,首先對樣本進(jìn)行分詞處理,以文本為基本單位計算各類語言要素在文本中所占的頻率和百分比,根據(jù)兩個樣本的平均值,比較語言要素分布是否具有差異。一般而言,為了測試數(shù)學(xué)統(tǒng)計特征是否能夠有效辨別不同作家語言風(fēng)格,還可以選用一個作家的其他作品為語料樣本,計算該樣本與統(tǒng)計所用語料樣本的相關(guān)性。
鑒于其在判定作家風(fēng)格方面的顯著功效,統(tǒng)計語言學(xué)也被成功地運(yùn)用到“作者考證”這個充滿爭議的研究領(lǐng)域中。在通過分析匿名文章的寫作風(fēng)格進(jìn)而判定其真正作者方面,統(tǒng)計語言學(xué)也展現(xiàn)出了非常好的應(yīng)用效果。以往,當(dāng)某本名著的作者產(chǎn)生爭議時,我們只能夠憑借經(jīng)驗(yàn)、歷史文獻(xiàn)和作家生平記錄來進(jìn)行考證。如今有了統(tǒng)計語言學(xué),我們可以通過嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)分析,提出更有說服力的證據(jù)。
三、實(shí)際應(yīng)用案例
(一)《靜靜的頓河》的作者糾紛案
統(tǒng)計語言學(xué)最著名的實(shí)際應(yīng)用,就是成功破解了文學(xué)史上關(guān)于《靜靜的頓河》的作者糾紛案。
《靜靜的頓河》在蘇聯(lián)文學(xué)史上占有較高的地位。此書全景式地描寫了俄國內(nèi)戰(zhàn)時期頓河流域的社會景觀,甚至有人將其與《戰(zhàn)爭與和平》等名著相提并論。然而自從《靜靜的頓河》第一冊出版,就飽受剽竊的質(zhì)疑。原因是作者肖洛霍夫少年參軍,僅僅接受了幾年正規(guī)教育,青年時期就能寫出如此高水準(zhǔn)的長篇小說,實(shí)在讓文學(xué)界人士難以信服。更令人疑惑的是,肖洛霍夫本人生前對于自己剽竊的指控一直未曾公開表態(tài)。直到1999年,《靜靜的頓河》手稿被找到,經(jīng)鑒定,有605頁手稿是肖霍洛夫的筆跡,還有285頁是肖洛霍夫的家人代為謄寫的。但隨即有人提出反對意見,聲稱該手稿其實(shí)是對克留柯夫原稿的抄寫,并不能消除肖霍洛夫剽竊的嫌疑。于是,《靜靜的頓河》一書真正作者的爭議,伴隨著各種各樣的謠言和似真似假的匿名誹謗,眾說紛紜,真相始終撲朔迷離。學(xué)者們做出的各種學(xué)術(shù)考證,也始終難以讓讀者們普遍接受,更不用說使學(xué)界信服。
挪威奧斯陸大學(xué)的前蘇聯(lián)文學(xué)教授蓋爾克其薩對肖洛霍夫、克留柯夫其他代表作品和《靜靜的頓河》分別采樣,對三部作品的平均句長、句長分檔、不同詞類及其在句中的順序、某些詞匯特點(diǎn)、詞頻等進(jìn)行了統(tǒng)計和分析,整理、歸納總結(jié)這些數(shù)據(jù)后,得出了令人信服的結(jié)論。為了更好地對比,蓋爾克其薩把《靜靜的頓河》、肖洛霍夫的其他代表作品及克留柯夫的代表作品分成了三組,逐一研究統(tǒng)計:
首先研究的是一部作品中不同的詞匯量與總詞匯量的百分比,三組的數(shù)據(jù)分別為64.6%、65.5%和58.9%。其中克留科夫的作品的百分比明顯低于肖霍洛夫的作品和《靜靜的頓河》。因此可以推斷,克留柯夫的作品具有重復(fù)使用相同詞匯的特點(diǎn)。
其次研究的是詞匯分布頻率,選取20個俄文中常見的詞匯,比較這些詞匯占作品中的全部詞匯的百分比,三組的數(shù)據(jù)分別為23.3%、22.8%、26.2%,明顯可以看出肖霍洛夫的作品與《靜靜的頓河》更為接近。
最后研究的是作品中出現(xiàn)過一次的詞匯所占的百分比,三組的數(shù)據(jù)分別為81.9%、80.9%和76.9%。克留柯夫的作品仍然與另外兩部表現(xiàn)出較大的差異
研究表明,所有參數(shù)都存在一致的趨勢,但克留柯夫作品的與《靜靜的頓河》之間,存在著顯著的統(tǒng)計差異。《靜靜的頓河》的語言風(fēng)格與肖洛霍夫作品的語言風(fēng)格幾乎完全一致,與克留柯夫的作品語言風(fēng)格卻存在較大差異,這就令人信服地證明了《靜靜的頓河》的真正作者。由此可見,統(tǒng)計語言學(xué)的介入,使蘇聯(lián)文學(xué)界的這宗多年懸而未決的疑案真相得以明晰。
(二)《紅樓夢》后四十回作者歸屬案
在中國,作為四大名著之一的《紅樓夢》自問世以來就有很多懸而未決的問題,尤其是關(guān)于《紅樓夢》是否出于一人之手的爭論。從前,普遍的說法是:《紅樓夢》的前八十回是曹雪芹所作,后四十回系時代稍后的高鶚?biāo)?;或者認(rèn)為前八十回與后四十回不是同一人所作;再者便是堅(jiān)持認(rèn)為前八十回、后四十回均為曹雪芹一人所作。可以看到,問題的焦點(diǎn)聚集在后四十回的作者歸屬問題上。自清代以來,做“紅學(xué)”研究的學(xué)者們對這一問題雖歷經(jīng)多方考證,仍然是莫衷一是、眾說紛紜。
然而,在統(tǒng)計學(xué)進(jìn)入文學(xué)研究領(lǐng)域,統(tǒng)計語言學(xué)的研究成果被引入紅學(xué)研究之后,這一結(jié)論又面臨著新的挑戰(zhàn)。1981年,美國威斯康星大學(xué)的講師陳炳藻發(fā)表的論文《從詞匯上的統(tǒng)計論<紅樓夢>的作者問題》中,通過對重要關(guān)鍵詞的詞頻統(tǒng)計與分析得出后四十回仍為曹雪芹所寫的結(jié)論。陳炳藻同時還另選了《兒女英雄傳》作為對照組進(jìn)行比較研究,具體方法是從每組里任選八萬字作為樣本,從各樣本中挑出名詞、動詞、形容詞、副詞、虛詞共五類,運(yùn)用統(tǒng)計學(xué)方法算出各組之間用詞的相關(guān)程度。陳炳藻的分析結(jié)果是:《紅樓夢》前八十回與后四十回所用詞匯的相關(guān)程度遠(yuǎn)遠(yuǎn)超過《紅樓夢》與《兒女英雄傳》所用詞匯的相關(guān)程度,根據(jù)上述描寫統(tǒng)計結(jié)果,推斷出前八十回與后四十回均為曹雪芹一人所作這一結(jié)論。
與陳炳藻的分析不同,1987年陳大康在《從數(shù)理語言學(xué)看后四十回的作者》一文中,同樣運(yùn)用統(tǒng)計學(xué)相關(guān)原理,將《紅樓夢》一百二十回分成三組,每組四十回,并統(tǒng)計了其中所含字、詞、句等88個項(xiàng)目,“用斯米爾諾夫總體分布檢驗(yàn)法得到前八十回與后四十回作者不同的結(jié)論”。陳大康發(fā)現(xiàn)前兩組在字詞選用、字詞特征及句式規(guī)律上都表現(xiàn)出了驚人的相似性,而后四十回則迥異,由此得出后四十回非曹雪芹所作的結(jié)論。
張衛(wèi)東、劉麗川通過統(tǒng)計《紅樓夢》中230個非常用字尤其是4個粗話臟詞和3個異體字的使用情況,以及每回結(jié)尾的差異,發(fā)現(xiàn)前八十回與后四十回有極大的差異,由此認(rèn)為該小說并非由一人完成。
以上都是運(yùn)用統(tǒng)計語言學(xué)的方法來解決語言學(xué)問題的實(shí)例。在語言陳述也無能為力的情況下,通過描述統(tǒng)計數(shù)據(jù)對數(shù)據(jù)進(jìn)行歸納總結(jié),有力地證明假設(shè),或根據(jù)統(tǒng)計提供的結(jié)果推斷出科學(xué)的結(jié)論,這正是統(tǒng)計語言學(xué)的魅力所在。
四、實(shí)際應(yīng)用中出現(xiàn)的差異及原因分析
在運(yùn)用統(tǒng)計語言學(xué)解決問題時,要求必須針對實(shí)驗(yàn)的性質(zhì)特征選擇合適的檢驗(yàn)方法,同時在檢驗(yàn)開始前要盡量找出所有的變量,盡量控制除自變量外的其他影響因素,合理操作實(shí)驗(yàn),以避免檢驗(yàn)結(jié)果不準(zhǔn)確的情況發(fā)生。在這過程中,如果忽略了其中的任何一條,都可能引起操作結(jié)果的差異。
除了上述注意事項(xiàng),一些其他的潛在因素也會影響推斷統(tǒng)計的精確度,甚至有時會得出迥異的結(jié)論。例如上述關(guān)于《紅樓夢》是否出于一人之手的爭論,歷次分析同樣是采用了統(tǒng)計學(xué)的方法,卻得出了截然相反的結(jié)論。結(jié)合兩書及作者情況的不同,筆者認(rèn)為得出截然相反結(jié)論的原因如下:
1.文學(xué)作品中的語言雖然經(jīng)過作者的刻意經(jīng)營,是對自然語言的變形,但并不是無限度地扭曲,其用詞脫離不了作品內(nèi)容?!秲号⑿蹅鳌纷鳛椤都t樓夢》文本的參照對象,其對比結(jié)果是否先天存在偏差,仍然有待商榷?!秲号⑿蹅鳌分饕磉_(dá)女主人公的豪俠仗義并輔以愛情描述,《紅樓夢》以賈寶玉、林黛玉的愛情悲劇為主線并輔以封建社會的衰敗闡述。單純從故事內(nèi)容來講,兩書表達(dá)的主題不同,在敘述描寫時選詞自然也應(yīng)有所不同,其用詞造句的差異是不言而喻的?!秲号⑿蹅鳌分械娜宋镆允芯耖g人士為主,相應(yīng)的市井俚語也會多一些。言談用語詼諧活潑、俏皮有趣?!都t樓夢》中的人物以貴族門第人士為主,言談用語規(guī)矩略刻板一些,對文言虛詞的使用也會相應(yīng)多一些??梢酝茢?,兩書所用詞匯的相關(guān)程度存在較大差異,與其內(nèi)容的不同有一定的關(guān)系。
2.《兒女英雄傳》全書采用評話形式,《紅樓夢》是白話文著作。龔千炎在《<兒女英雄傳>是<紅樓夢>通向現(xiàn)代北京話的中途站》中指出:“《兒女英雄傳》反映的基本是19世紀(jì)中葉的北京話,《紅樓夢》反映的基本是18世紀(jì)中葉的北京話,從北京話的近期歷史看,《兒女英雄傳》是《紅樓夢》通向現(xiàn)代北京話的中途站?!睗h語發(fā)展到近代,特別是白話文的進(jìn)一步普及,對兩書的選詞用句有著必然的影響。正是因?yàn)椤秲号⑿蹅鳌返恼Z法上承《紅樓夢》,下探現(xiàn)代北京話,具有許多過渡期的特點(diǎn),從而導(dǎo)致了兩書的所用詞匯相關(guān)程度呈現(xiàn)較大差異。
3.《兒女英雄傳》的作者文康,與《紅樓夢》的作者曹雪芹并非同一人,語言風(fēng)格自然不會相近。文康與曹雪芹同為“八旗子弟”,兩篇作品都不自覺流露出他們的滿族意識,比如尊崇女性、注重禮節(jié)以及對滿族興衰和滿族命運(yùn)的關(guān)注等等。但是,他們的人生境況雖然相似,文康卻不具備曹雪芹那種人文關(guān)懷、審美情思和“舉世皆濁我獨(dú)清”的高潔性情,而更近似于一個屈服于封建“禮”的束縛之下的世俗之人,兩人的語言風(fēng)格也必然存在較大不同。
綜上,由于《兒女英雄傳》與《紅樓夢》除了名詞、動詞、形容詞、副詞、虛詞等可控變量以外,還存在其他各種潛在的影響因素,導(dǎo)致在進(jìn)行對比研究時得出了具有差異的結(jié)果?!皬哪壳皝砜矗瑢W(xué)界的研究多是從某些方面對《紅樓夢》尤其是后四十回的作者歸屬進(jìn)行判定?!惫P者認(rèn)為,若要解決這一懸案,唯有系統(tǒng)深入地對《紅樓夢》整體的語言風(fēng)格進(jìn)行研究,再對前八十回與后四十回的進(jìn)行比較,得出來的結(jié)果方能令人信服。
五、在實(shí)際應(yīng)用中應(yīng)注意的問題
統(tǒng)計語言學(xué)進(jìn)入文學(xué)研究領(lǐng)域后如魚得水,特別是在作家語言風(fēng)格的研究中大顯身手。但是基于科學(xué)研究的嚴(yán)謹(jǐn)性,我們也必須看到在統(tǒng)計語言學(xué)應(yīng)用過程中必須注意的問題。
(一)選擇具有相似語言環(huán)境的語料
統(tǒng)計語言學(xué)的結(jié)論之所以被認(rèn)為是科學(xué)的,正是由于其依賴于數(shù)據(jù)的橫向分析和縱向分析。但是,分析研究文學(xué)作品語言風(fēng)格,不能只是單方面地從字、詞、詞類等層面進(jìn)行,還應(yīng)考慮句法、語義、語篇等層面的問題。特別是考慮到時代不同、地域不同等外部因素對語言的影響,極易導(dǎo)致語言學(xué)上的定性定量分析結(jié)果出現(xiàn)偏差,因此,必須注意的一點(diǎn)是,在選取語料時應(yīng)注意選擇具有相似語言環(huán)境的語料。
(二)注意避開文學(xué)語言的形象思維影響
“語言具有奇妙的結(jié)構(gòu),數(shù)學(xué)具有邏輯之美?!毕噍^于人文科學(xué)容易導(dǎo)致的“自我中心性錯誤”和“內(nèi)省性錯誤”,自然科學(xué)尤其是數(shù)理研究具有明顯的準(zhǔn)確性、客觀性優(yōu)勢。統(tǒng)計語言學(xué)如同拆分機(jī)器一般,將文學(xué)作品中的語句逐一拆分為最小單位的零件,然后進(jìn)行分類歸納整理,分析每個語言單位所發(fā)揮的作用,最終使整體研究結(jié)果無限接近于準(zhǔn)確。
但是,數(shù)學(xué)統(tǒng)計方法還不能從根本上代替語言學(xué)原有的研究手段,畢竟文學(xué)作品有其不能忽視的特點(diǎn)。文學(xué)是用形象思維的方法創(chuàng)造的,而統(tǒng)計語言學(xué)講求的是邏輯思維,使兩者有著不可分割的聯(lián)系,卻也有著截然不同的性質(zhì)。文學(xué)語言往往停留在理解的層次,其風(fēng)格是看不見摸不著的,所以訴諸于語言。在統(tǒng)計語言學(xué)中,不管是詞類劃分、語音分類,還是語法公式的總結(jié)等等,都是在邏輯思維下的結(jié)果,最后得出的結(jié)論都是有形的、具體的語言材料。文學(xué)語言雖然能夠適用從自然語言角度來的分析方法,但這個過程也是容易因形象思維和邏輯思維的不同引起差異,這是我們必須要注意的。要得到準(zhǔn)確的研究結(jié)果,必須做好研究的前期準(zhǔn)備,并在操作過程中嚴(yán)格控制各種變量,以科學(xué)的思想指導(dǎo)研究。
(三)統(tǒng)計語言學(xué)的應(yīng)用不能無的放矢
統(tǒng)計語言學(xué)的出現(xiàn),使我們文學(xué)研究的方法從定性走向定量,得以具體地描述作家語言風(fēng)格。值得注意的是,統(tǒng)計語言學(xué)法在應(yīng)用時一定要有個明確的目的,至少應(yīng)該有一個基于理論的推斷或猜想,比如判定不同作者之間風(fēng)格的不同,或者對未知作者的假設(shè)與猜想。有了假設(shè)和猜想,然后再用各式各樣的語言結(jié)構(gòu)統(tǒng)計分析去證明。切忌為了統(tǒng)計而統(tǒng)計,導(dǎo)致統(tǒng)計語言學(xué)的濫用或者做了無用功。
六、結(jié)語
統(tǒng)計語言學(xué)在比較不同作者文學(xué)作品的風(fēng)格特征,識別同一作者的不同寫作風(fēng)格,推測文學(xué)作品的來源,判定匿名文學(xué)作品的作者,辨別文學(xué)作品真?zhèn)蔚榷鄠€方面都得到了廣泛而深入的運(yùn)用。通過以上案例可以看到,基于語料庫和數(shù)理統(tǒng)計方法,通過分析作家的用詞頻率、詞長分布和句長分布等數(shù)據(jù),確定作家的語言結(jié)構(gòu)分布特征(即統(tǒng)計語言學(xué)視角下的語言風(fēng)格),已經(jīng)成為對語言風(fēng)格進(jìn)行描寫的重要方法。多年來,統(tǒng)計語言學(xué)用于作者判定的一系列實(shí)驗(yàn),破解了許多未知作者的疑案,充分證明了這種方法是可行可信的。更重要的是,基于統(tǒng)計語言學(xué)研究成果得出的對比分析結(jié)果,都可以從語言學(xué)的角度進(jìn)行分析和解釋,而不是紙上談兵。
統(tǒng)計語言學(xué)的實(shí)際應(yīng)用不止于此,有待于繼續(xù)深入研究。“標(biāo)注體系和工具對統(tǒng)計結(jié)果的影響,語言風(fēng)格在字、詞、句等語言結(jié)構(gòu)和語法、語義、語用層面的全面計量描寫等,都是今后值得繼續(xù)和深入研究的課題?!北疚膬H作管中窺豹之用,以期能夠讓統(tǒng)計語言學(xué)在文學(xué)領(lǐng)域的研究引起更多重視,并能引入更多的科學(xué)統(tǒng)計方法做這方面的研究,從而使未來統(tǒng)計語言學(xué)的方法與成果更加精準(zhǔn),甚至用途也能夠進(jìn)一步拓展。
作者簡介:萬曉雯,女,濟(jì)南市歷下區(qū)燕山學(xué)校教師。