Web學術語料庫的特征及其應用初探

羅志高

(重慶工商大學 外語學院，重慶 400067)

1.引言

20世紀中后期，語料庫語言學興起，大規(guī)模電子語料庫逐漸出現(xiàn)，1964年布朗語料庫(Brown Corpus，100萬詞)在美國創(chuàng)建，這是世界上第一個電子語料庫，之后相繼有了LOB(100萬詞)和LLC(50萬詞)。BROWN、LOB和 LLC并稱為三大經(jīng)典語料庫。(Kennedy，1998)20世紀90年代前后，隨著計算機儲存容量不斷增大，光電字符識別技術不斷發(fā)展，出現(xiàn)了更大規(guī)模的語料庫，如COBUILD(45億詞)、ICLE(250萬詞)、BNC(1億詞)、ANC(1億詞)和ICE(24個分庫各100萬詞)等，語料庫作為自然語言集合體，規(guī)模越來越大。

20世紀90年代，網(wǎng)絡上出現(xiàn)了海量電子文本和數(shù)據(jù)，學者們開發(fā)出了第一代網(wǎng)絡語料庫WebCorp(Web as Corpus)，它以海量網(wǎng)絡文本為語料，以搜索引擎和網(wǎng)絡檢索軟件為檢索工具，并以傳統(tǒng)語料庫方式提供檢索結(jié)果。但是，作為第一代網(wǎng)絡語料庫，WebCorp存在語料代表性、語料加工、檢索速度慢等缺點(邢富坤，2006)。第二代網(wǎng)絡語料庫Web學術語料庫應運而生，其英語全稱是WebCorp Linguist’s Search Engine，縮寫為 WebCorp LSE。

2.Web學術語料庫及其特征

Web學術語料庫是一個學術性網(wǎng)絡語料庫檢索系統(tǒng)，其語料來源于網(wǎng)絡，但按語言學標準進行了篩選，并進行了語言學標注，專門服務于語言教學與研究。它集成了網(wǎng)絡、搜索引擎和傳統(tǒng)語料庫的優(yōu)點，具有自己的特征。

2.1 獨特搜索引擎與爬蟲工具

在Web學術語料庫出現(xiàn)之前，也有學者把網(wǎng)絡當作語料庫從事語言研究，并利用商業(yè)搜索引擎檢索語言信息。可為語言學家利用網(wǎng)絡資源提供巨大幫助，然而這些研究都依賴商業(yè)搜索引擎，因而時受詬病，稱其檢索信息不可靠。有鑒于此，Web學術語料庫建立了自己的搜索引擎和爬蟲工具，爬蟲工具得到“種子”和參數(shù)后，就按指令從網(wǎng)絡上下載文檔，或從網(wǎng)絡文檔上實時提取新詞。爬蟲工具可設置的參數(shù)包括:每個領域網(wǎng)頁下載數(shù)量、要抓取文件類型、要排除的字符串或網(wǎng)頁等。爬蟲工具能根據(jù)網(wǎng)頁超級鏈接，從一個網(wǎng)頁爬到另一個網(wǎng)頁，并下載各種類型的文檔，包括HTML、PDF、Word、PS以及 TXT文檔。然后，離線語料處理工具對其進一步處理，如語料離線標注、日期提取與整理等。

Web學術語料庫定期檢索網(wǎng)絡、更新語料，并按日期存儲語料。因此，相對于傳統(tǒng)語料庫，該庫語料新穎、時尚。此外，其搜索引擎和爬蟲工具還具有以下特點:(1)根據(jù)黑名單不檢索或不下載某些網(wǎng)頁;(2)記錄錯誤和重新檢索部分網(wǎng)頁;(3)提取日期、作者、標題和次標題信息;(4)分析網(wǎng)址并提取指定部分的內(nèi)容;(5)按日期儲存文檔;(6)剔除廣告標語和鏈接;(7)剔除網(wǎng)頁中非文字符號。

2.2 網(wǎng)絡文本格式全而有代表性

大多數(shù)語料庫研究使用網(wǎng)絡語料時，只考慮HTML 格式文檔(參見 Ide，2002;Fletcher，2004;Baroni＆ Bernardini，2004)。這是因為HTML格式文檔網(wǎng)絡上最多、最容易得到。然而谷歌搜索對象還包含了其他格式文檔，如PDF、DOC和PS格式文檔。Kehoe＆Gee(2007)為了檢驗網(wǎng)絡上各種文件類型數(shù)據(jù)，通過Google文件管理器得到了以下數(shù)據(jù):

表1 谷歌數(shù)據(jù):英文網(wǎng)頁文檔中主要文檔格式及其數(shù)量

Renouf(2005)認為，第一代網(wǎng)絡語料庫的“網(wǎng)絡文本”是不合格語料庫文本，因此，Web學術語料庫重新定義了“網(wǎng)絡文本”:(1)是連貫語篇;(2)語篇完整、意義明確;(3)以完整句子表達內(nèi)容，并帶有句號;(4)包含段落。Web學術語料庫借用了Ide等2002年的“連貫語篇”定義:即至少包含2000個字符，其段落平均字符至少30個。Cavaglia和Kilgarriff(2001)的相關研究也排除了非標記符號不到2000的所有網(wǎng)頁。

表2進一步顯示出，每種網(wǎng)絡文檔格式中，段落平均字符超過30個，且字符總數(shù)超過2000文檔占各自類型文檔總數(shù)百分比:

表2 谷歌數(shù)據(jù):“合格網(wǎng)絡文本”占本類型網(wǎng)絡文本的百分比

從表2可以看出，雖然絕大多數(shù)(約占93%)網(wǎng)絡文檔是HTML格式，但網(wǎng)絡上仍然有相當數(shù)量其他格式文檔，尤其是PDF文檔，且能達到“網(wǎng)絡文本”標準。所以，Web學術語料庫進一步拓展了“網(wǎng)絡文本”概念，即不僅包括 HTML文檔，還包括PDF、Word、PS、RTF和TXT格式文檔，而且設定了“網(wǎng)絡文本”的語言質(zhì)量標準，從而保證了其語料的良好代表性。

HTML格式文檔是網(wǎng)絡上原生格式文檔，為了方便屏幕閱讀，它們往往以短段落形式呈現(xiàn)，因此，HTML文檔段落劃分不嚴謹。此外，網(wǎng)絡上每個子網(wǎng)頁都是獨立文檔，不一定是連貫的完整語篇。為了避免這種情況，Web學術語料庫的爬蟲能根據(jù)網(wǎng)頁上“下一頁”或“更多”鏈接把單獨子文檔拼湊起來，從而形成完整連貫語篇。Web學術語料庫還有一系列工具，用來從網(wǎng)絡上提取非HTML語料，如在線學術期刊文本提取工具、PDF轉(zhuǎn)XML格式工具、RTF文件類型篩選工具。每個工具中都被嵌入了獨特程序，以提取作者、出版日期等信息。

總而言之，Web學術語料庫的語料質(zhì)量高、代表性強，能充分代表網(wǎng)絡上海量、動態(tài)的語言資源。

2.3 海量而新穎的網(wǎng)絡語料

傳統(tǒng)語料庫的一個典型問題在于Zipfan(美國語言學家，1902－1950)規(guī)律。即，在任何自然語言語料庫中，頻率最高詞匯出現(xiàn)次數(shù)幾乎是頻率第二高詞匯出現(xiàn)次數(shù)的兩倍，第二高詞匯又是第三高詞匯的兩倍，依次類推。如此算來，布朗語料庫前135個最常用詞匯就占了其總量的一半。因此，語言學家們希望語料庫越來越大，以保證非常用詞匯及各種用法的出現(xiàn)。所以，Web學術語料庫設計規(guī)模達到100億字符，這幾乎是世界上所有語料庫規(guī)模的總和。

根據(jù)谷歌1998年的數(shù)據(jù)，谷歌緩存數(shù)據(jù)至少有10000億字符。(Brin＆Page，1998)Web學術語料庫雖未含有整個互聯(lián)網(wǎng)，但其篩選后語料不僅具有語言學價值，且能體現(xiàn)或代表全部互聯(lián)網(wǎng)語言資源精髓。Web學術語料庫構(gòu)成如下:(1)一系列特定領域子庫，每月更新;(2)報刊子庫，每日更新;(3)一個多TB微型互聯(lián)網(wǎng)語料子庫。網(wǎng)絡語料每天增加幾百萬網(wǎng)頁，這給Web學術語料庫提供了最新、最全的語料，大大提高了語言研究者找到新發(fā)現(xiàn)的機率。相對于第一代網(wǎng)絡語料庫，Web學術語料庫的語料雖然還是海量，但能計算出大小，其子庫也是規(guī)模已知和可掌握實體，能進行相對詞頻、搭配和比例方面的統(tǒng)計，其檢索結(jié)果和統(tǒng)計信息更準確。

2.4 Web學術語料庫的獨特功能

Web學術語料庫具有傳統(tǒng)語料庫的基本功能，如單詞、短語、結(jié)構(gòu)、通配符檢索或詞性檢索與統(tǒng)計。但它不同于傳統(tǒng)語料庫、普通搜索引擎，它的功能獨特，能對檢索結(jié)果進行復雜分析與處理，且用戶界面簡單易用。

首先，它具有詞匯篩選功能，可以限定其他詞匯同頁共現(xiàn)或不出現(xiàn)。另外，它還有“附近共現(xiàn)”搜索功能，如，在檢索欄輸入“cooks NEAR broth”，檢索行就會同時包含“cook”和“broth”這兩個詞，同時這兩詞之間距離不超過10個單詞，這兩個功能可以提高搜索準確性。

其次，它能從多角度篩選檢索結(jié)果，用戶可以設定參數(shù)，系統(tǒng)自動篩選，或者手動篩選結(jié)果，如用戶指定只顯示某時間段語料，或按日期升序或降序排列語料;檢索結(jié)果能按時間、搭配、排序和原始信息等進行深入分析。其中，語料原始信息包括:語料產(chǎn)生日期、來源網(wǎng)址、所屬領域、字符數(shù)、檢索行和來源網(wǎng)站數(shù)量。

另外，該語料庫還具有瀏覽器日志功能，即能保存用戶檢索要求和結(jié)果，保存時間為一個月;還能記下熱門搜索詞，從而揭示學術熱點。

3.Web學術語料庫的應用探索

基于以上特征和功能，Web學術語料庫有其獨特應用價值。

3.1 用于新詞或稀有用法研究

傳統(tǒng)語料庫以書面語料為主，其建設和更新耗時費力，所以往往只代表特定時段的語言。如Brown、LLC、LOB 代表20 世紀60、70年代英語，BNC和ANC代表20世紀90年代英語，這些語料庫具有時間局限性。而且傳統(tǒng)語料庫容量有限，一般檢索不到荒廢詞或稀有詞匯，而新詞在傳統(tǒng)語料庫更不容易找到。但Web學術語料庫時時更新，語料時間跨度大、新穎、時尚、規(guī)模大，可以應用于新詞、荒廢詞或稀有詞匯的研究。

3.2 用于短語創(chuàng)新性用法研究

Web學術語料庫支持通配符檢索，通配符后面還可以出現(xiàn)數(shù)字，用于規(guī)定短語中該位置最多可出現(xiàn)的單詞數(shù)。比如，檢索要求“it was*3 which”中，其中數(shù)字“3”用于限定通配符所在位置最多可出現(xiàn)3個單詞。這一功能可應用于語言固定結(jié)構(gòu)變異性用法的研究。例如，“all your eggs in one basket”用法似乎已經(jīng)成為“凝固表達式”，但是，語言研究者可以在Web學術語料庫中調(diào)查其變異性或創(chuàng)新性用法。在檢索欄輸入“all your* in one basket”，同時在詞匯篩選欄中輸入“－eggs”，以確保檢索結(jié)果不包含“all your eggs in one basket”的檢索行，檢索結(jié)果如下(檢索時間:2013.08):

me never to put all your Kabbalists in one basket or plate，as the old adage，“Don’t put all your cows in one basket.I know’men’Ahhh，it’s called”Putting all your nuts in one basket.

以上例句顯示出，固定短語也有變異性或創(chuàng)新性用法，至于取代詞與原詞存在怎樣關系，則有待進一步研究。

3.3 用于語言歷時研究

Web學術語料庫有一套時間檢測與標注機制，其爬蟲工具到達某一網(wǎng)頁時，會依次檢測網(wǎng)頁服務器標頭、寫作日期、網(wǎng)頁修改日期、網(wǎng)址所含日期、版權(quán)日期等，并記錄下其中之一，作為語料產(chǎn)生的日期。該語料庫能按時間先后對檢索結(jié)果進行排序，并能以圖表形式顯示檢索詞或短語的出現(xiàn)頻率，出現(xiàn)頻率可以按天、月或年計算，也可以按某個領域、某個國家范圍或某種格式文檔總量計算。

Web學術語料庫還包含專門的歷時語料庫，在語言歷時研究方面有很大價值。以短語“weapons of mass destruction”為例，在檢索欄中輸入該短語(檢索時間:2013.08)，得出的檢索結(jié)果和頻率圖表揭示出以下信息:該短語最早出現(xiàn)于2000年，2003年使用頻率最高。而普通搜索引擎包括谷歌，搜索時間范疇也僅限于一年內(nèi)，其可供選擇的時間范圍有:過去24小時、過去1周、過去1個月。

3.4 區(qū)別歧義搜索或稀有用法研究

Web學術語料庫可以限定某個詞匯共現(xiàn)在同一頁面、文檔、句子，或檢索詞前后一定范圍內(nèi)，從而提高搜索精確度。比如，在檢索欄輸入“energy”，同時在詞匯篩選欄里輸入“positive，－flower”，選擇共現(xiàn)在“句子”(或“整個文檔”)范圍內(nèi)，檢索詞所在句子就會包含“positive”，同時不包含“flower”，因此該語料庫能搜索特定的搭配關系，區(qū)別詞語的歧義性表達。

常見詞匯稀有用法是詞典編撰一大難題，這種用法很難在傳統(tǒng)語料庫找到匹配行。Web學術語料庫的語料來自網(wǎng)絡，時時更新，海量而新穎，再加上該語料庫的“附近共現(xiàn)”功能，Web學術語料庫使得詞典編撰這一難題迎刃而解。例如，在檢索行輸入“sole NEAR shoe”，可以檢索到39個例句(檢索時間:2013.08)，這種檢索方式得到的檢索行中，“sole”意思是“鞋底”，而不是常見的“唯一的”意思。這表明，該共現(xiàn)功能起到創(chuàng)造語義韻的作用(Louw，1993)，從而保證只搜索檢索詞的特定意義。

4.結(jié)語

Web學術語料庫有自己獨特的網(wǎng)絡語料提取、處理、檢索工具等，并且集成在一個網(wǎng)頁界面上，方便易用，即便語料庫初入門的研究者也能輕易上手。傳統(tǒng)語料庫因有自己獨特的語料標注格式或語料庫工具，常常將入門研究者阻擋在門外，而Web學術語料庫的這種集成性使得語料庫這一研究范式能得到更廣泛的應用。Web學術語料庫不僅充分利用了網(wǎng)絡語料的海量、動態(tài)和新穎性，還吸收了搜索引擎和第一代網(wǎng)絡語料庫的優(yōu)點，具有自己獨特的功能與應用，彌補了傳統(tǒng)語料庫的不足。它不僅開拓了英語母語者的研究視野，對外語研究與教學也有很大價值。

［1］Baroni，M.＆ Bernardini，S.BootCaT:Bootstrapping Corpora and Terms from the Web［C］//Proceedings of the4th International Conference on Language Resources and Evaluation(LREC).Lisbon:Lisbon University Press，2004:1313–1316.

［2］Brin，S.＆ L.Page.The Anatomy of a Large － scale Hypertextual Web Search Engine［J］.Computer Networks and ISDN Systems，1998(30):107 －117.

［3］Cavaglià，G.＆ A.Kilgarriff.Corpora from the Web［C］//Fourth Annual CLUCK Colloquium.Sheffield:Sheffield University Press，2001.

［4］Fletcher，W.H.Making the Web More Useful as a Source for Linguistic Corpora［G］//Ulla Connor and Thomas A.Upton.Applied CorpusLinguistics:AMultidimensional Perspective.Rodopi，Amsterdam，2004:191－205.

［5］Ide，N.，R.Reppen ＆ K.Suderman.The American National Corpus:More Than the Web can Provide［C］//Proceedings of the Third Language Resources and Evaluation Conference(LREC).Las Palmas，CanaryIslands，Spain，2002:839－44.

［6］Kehoe，A.＆ Renouf，A.WebCorp:Applying the Web to Linguistics and Linguistics to the Web［C］//World Wide Web2002Conference.Honolulu，Ha-waii，2002.

［7］Kehoe，A.＆ M.Gee.New Corpora from the Web:Making Web TextMore “Text-like”［G］//P. Pahta， I.Taavitsainen，T.Nevalainen ＆ J.Tyrkk.Studies in Variation，Contacts and Change in English Volume2:Towards Multimedia in Corpus Studies.Helsinki:Helsink:University Press，2007.

［8］Kennedy，G.An Introduction to Corpus Linguistics［G］.London:Addison Wesley Longman，1998.

［9］Kilgarriff，A.Web as Corpus［C］//Proceedings of Corpus Linguistics2001.Lancaster University，2001:342– 344.

［10］Louw，B.Irony in the Text or Insincerity in the Writer?The Diagnostic Potential of Semantic Prosodies［C］//Baker，M.，F(xiàn)rancis，G.＆ E.Tognini-Bonelli.Text and Technology.Philadelphia/Amsterdam:John Benjamins，1993.

［11］Renouf，A.WebCorp:Providing a Renewable Data Source for Corpus Linguists［G］//S.Granger and S.Petch－Tyson.Extending the Scope of Corpus－based Research:New Applications，New Challenges.Amsterdam and Atlanta:Rodopi，2003:39 －58.

［12］Volk，M.Exploiting the WWW as a Corpus to Resolve PP Attachment Ambiguities［C］//Proceedings of Corpus Linguistics.Lancaster RECL，2001.

［13］Renouf，A.，A.Kehoe ＆ J.Banerjee.The WebCorp Search Engine:a Holistic Approach to Web Text Search［C］//Electronic Proceedings of CL2005，Birmingnam:University of Birmingham，2005.

［14］邢富坤.Web語料庫及其特征初探——與傳統(tǒng)語料庫的對比研究［J］.外語電化教學，2006(2):62－64.