現(xiàn)代漢語新詞特征探析

摘 要:新詞的識別是自動分詞的一大難點,也是影響分詞性能的重要因素。本文主要探析了新詞的內(nèi)外部特征。內(nèi)部特征主要探析了新詞的長度特征、構(gòu)詞規(guī)則、構(gòu)詞模式、詞綴化傾向、外來詞和功能字的問題;外部特征主要探析了新詞的局部相對詞頻和上下文的自由度。

關(guān)鍵詞:新詞 內(nèi)部特征 外部特征

隨著社會、政治、經(jīng)濟和文化的發(fā)展,越來越多的中文新詞出現(xiàn)在了人們的生活中。據(jù)統(tǒng)計,自20世紀90年代以來,漢語每年大約出現(xiàn)1000個新詞語①。新詞的出現(xiàn)反映了新事物的不斷涌現(xiàn),滿足了人們表達事物的需要,同時也給中文信息處理帶來了挑戰(zhàn)。

一、新詞的界定

從詞語識別的角度來看,廣義的新詞是指所有的未登錄詞,這是相對于詞典詞來說的,詞典中未出現(xiàn)的詞都可以

稱為新詞。具體來講,新詞主要包括命名實體(包括人名、地名、機構(gòu)名等)、表義字串(包括日期、時間、百分數(shù)等)和普通新詞。對于命名實體的識別技術(shù)研究的較多,表義字串的識別也相對較容易。而普通新詞識別的研究則比較少,總體效果也不理想,仍是中文信息處理中的一大難點。

對于普通新詞,根據(jù)其形式和意義結(jié)合的方式又可以分為三種:1.形式新,意義新。如“裸奔”。2.形式新,意義舊。如“小三”。3.形式舊,意義新。如“樓上(網(wǎng)絡(luò)用語)”。本文所研究的新詞主要是從形式的角度進行考慮的,因此,主要是指前兩種新詞。

二、新詞的內(nèi)部特征

(一)新詞詞串的長度特征

1.三音節(jié)詞的數(shù)量呈現(xiàn)增長趨勢

古代漢語詞匯以單音節(jié)詞為主,現(xiàn)代漢語詞匯以雙音節(jié)為主,但是近年來,三音節(jié)詞的比例有所增加。據(jù)統(tǒng)計,在1978年到1987年十年間出現(xiàn)的新詞中,三音節(jié)詞占14.4%②。而教育部、國家語委2006年發(fā)布的報告里面,收錄的三音節(jié)詞占總數(shù)的30.4%③。由此可見,三音節(jié)新詞表現(xiàn)出明顯的增長趨勢。

2.四音節(jié)詞在新詞中所占的比例也在增加

隨著詞語承載的信息量的增加,有些雙音節(jié)詞原來不作為構(gòu)詞成分,如今也成了構(gòu)詞語素。如“山寨”一詞據(jù)說源于廣東方言,通俗說即盜版、仿制等。現(xiàn)在已經(jīng)成了構(gòu)詞語素,可以構(gòu)造出“山寨手機、山寨家電、山寨明星、山寨春晚和山寨熊貓”等詞。而且有些雙音節(jié)構(gòu)詞語素具有較強的能產(chǎn)性,這促使四音節(jié)詞在新詞中所占的比例不斷增加。

(二)內(nèi)部構(gòu)詞規(guī)則

1.常規(guī)的構(gòu)詞規(guī)則

大部分新詞還是由名詞、動詞和形容詞等構(gòu)成,仍然遵循常規(guī)的構(gòu)詞規(guī)則。具體地說,主要有以下幾種構(gòu)詞規(guī)則:(1)名詞+名詞/形容詞/動詞(如:網(wǎng)聊)。(2)容詞+形容詞/名詞/動詞(如:生猛)。(3)動詞+動詞/形容詞/名詞(如:躥紅)。

2.特殊的構(gòu)詞規(guī)則

由于社會的發(fā)展,以及人類自身對詞語的創(chuàng)造性,使得某些特殊詞性的字在新詞語中有了特殊的意義,從而形成了新的構(gòu)詞規(guī)則。如:介詞+名詞(如:在線)、介詞+區(qū)別詞(如:被黑)、名詞+語氣助詞(如:網(wǎng)吧)、區(qū)別詞+名詞(如:黑客)、動詞+區(qū)別詞(如:防黑)、名詞+方位詞(如:樓上)、量詞+量詞(如:頁面)等。由特殊詞性構(gòu)成新詞,概率比較低,是新詞識別的一個難點。

根據(jù)新詞構(gòu)詞的這一特點,我們在識別新詞時,可以建立常規(guī)構(gòu)詞規(guī)則庫和特殊構(gòu)詞規(guī)則庫。

(三)構(gòu)詞模式

新詞的構(gòu)詞模式主要有以下幾種:

1.二元詞:1+1模式;

2.三元詞:1+1+1模式、2+1模式、1+2模式;

3.四元詞:1+2+1模式、2+2模式,3+1模式和1+3模式。不同模式構(gòu)成新詞的頻度不同。其中,1+1模式和2+1模式占新詞總數(shù)的84%④。在三元詞中,2+1模式是1+2的模式的10倍多。在四元詞中,3+1模式的新詞占絕大多數(shù)。

(四)詞綴化傾向

漢語新詞語的構(gòu)詞過程正興起“詞綴化”傾向,凡是同類或近類概念的事物都會很快地打上相應(yīng)的詞匯標記。因此,派生構(gòu)詞的地位也越來越重要。新詞語中的三音節(jié)詞,有些是用一個原有的語素作詞綴,取得新意之后,再加上另外兩個語素構(gòu)成⑤。如“族”這個語素,經(jīng)過近些年的使用,具有了“一類人”的含義,然后由此生成了一系列的派生詞,“奔奔族、捧車族、吊瓶族、合吃族、急婚族、賴校族、洋漂族”等等。漢語新詞語中的四音節(jié)詞,也出現(xiàn)了少量由一個單音節(jié)或者雙音節(jié)詞演變成一個詞綴,并取得新的意義,然后加上另外的三個語素或者兩個語素構(gòu)成的情況。如:現(xiàn)在有很多以“達人”為后綴的四音節(jié)詞,像“城市達人、美麗達人、戀愛達人、灌水達人、優(yōu)酷達人”等等。詞綴化方式構(gòu)成新詞的趨勢有利于新詞的識別,我們可以建立前后綴詞表來幫助識別新詞。

(五)外來詞使用頻繁

隨著我國和世界各國的交流日益頻繁以及我國2008年奧運會的成功舉辦,使得許多外來詞在大眾媒體上頻繁地出現(xiàn),并且人們在日常交際的口語中也開始運用這些詞,這已成為新時期漢語新詞的一個新特點。外來詞主要包括以下幾種:音譯詞(如:托福)、半音譯半意譯(如:沙丁魚)、音譯兼意譯(如:可口可樂)、意譯(如:蜜月)、借詞(如:文明)和字母詞(如:甲型H1N1流感)等。其中,音譯詞、字母詞和借詞等的使用尤為頻繁。有的個別詞甚至比本民族對應(yīng)的詞的影響力還要大。如現(xiàn)在很多人接受了“IT產(chǎn)業(yè)”,而很少說“信息技術(shù)產(chǎn)業(yè)”。

(六)功能字的問題

有些漢字在文本中出現(xiàn)頻率很高,但獨立性很強,很少和別的漢字組合成詞,一般都是作為單字詞出現(xiàn)。如“您、誰、碰、貯、的”等。在分詞規(guī)范中,對于這些詞運用了單獨切分的原則。所以我們可以將這類詞進行歸類,建立功能字庫。這些功能字主要有如下兩大類:

1.某些詞性的詞本身不具有實際的概念意義,只有將其放入一個完整的句子中才有一定作用,其功能主要是用來幫助造句,這些詞很少用來組成新詞、新概念。這類詞主要包括介詞(于)、助詞(的)、連詞(與)、象聲詞(砰)等。

2.某些單字雖然具有實際的概念意義,但由于自身意義的原因,也很少用來組成新詞新語。如“滬、斯”等。在二級字庫中,像這類單字有近500個。

三、新詞的外部特征

(一)局部相對詞頻

新詞在上下文語境中一個重要的特點是重復(fù)出現(xiàn),一個新詞在一個文檔中通常會不止一次地出現(xiàn),尤其是在某一特定領(lǐng)域中更是頻繁地出現(xiàn)。因此,新詞的局部相對詞頻比較高。局部相對詞頻是指某個詞在局部上下文中出現(xiàn)的頻率。即:局部相對詞頻=詞出現(xiàn)的次數(shù)/該詞所在文本的總詞數(shù)。

(二)上下文自由度

新詞作為語言單位凝固下來之后,一般內(nèi)部結(jié)合度比較高,但與外部上下文的關(guān)系比較松散,上下文環(huán)境具有多樣性,大多數(shù)新詞的左右鄰接類別都比較豐富。如:新詞“艷照門”在2008年頻繁出現(xiàn),我們從語料中隨機抽取幾個句子:

(1)就在這樣的一個環(huán)境里,中國娛樂圈爆發(fā)了前所未有、空前絕后的“艷照門”事件。

(2)本站提供完全的明星緋聞信息,緊密跟蹤艷照門最新動向和信息。

(3)關(guān)于陳冠希艷照事件的討論帖已經(jīng)超過2000多萬的點擊、回復(fù)超過10萬條。

(4)“內(nèi)地艷照門”爆料人被抓?

(5)陳冠?！捌G照門”一案前天在香港東區(qū)裁判法院預(yù)審,事件主角陳冠希未出庭。

(6)廣州街頭悄然興起“艷照門”光盤熱。

若以詞為基本單位來計算,“艷照門”的左鄰接集合為{的、跟蹤、陳冠希、內(nèi)地、興起},左鄰接類別為5,右鄰接集合為{事件、最新、爆料人、一案、光盤熱},右鄰接類別為5。“艷照門”的語言環(huán)境變化多樣,已經(jīng)形成了一個獨立使用、不依賴于上下文的語言單元。

四、結(jié)語

新詞還有許多特征,如內(nèi)容上的求新、求異,但這不是本文研究的重點,本文主要是從新詞識別的角度來探析新詞的內(nèi)部特征和上下文語境特征,目的是為計算機識別新詞提供語言學(xué)依據(jù)。目前,這些普通新詞的識別效果仍有待于提高。因此,如何把這些特征更好地整合到新詞識別系統(tǒng)中,提高新詞識別的效果,將是我們今后要研究的主要課題。

注 釋:

①參見《新華新詞語詞典》“前言”,北京:商務(wù)印書館,2003年。

②上海辭書出版社1987年出版的《漢語新詞詞典》收錄了1978年到

1987年十年間出現(xiàn)的新詞共1654條,其中三音節(jié)詞有234條,占總數(shù)的14.4%。

③教育部、國家語委發(fā)布的《2006年中國語言生活狀況報告》,收

錄了2006年出現(xiàn)的新興詞匯171個。其中三音節(jié)詞有52個,占總數(shù)的30.4%

④據(jù)秦浩偉等人對2003年SIGHAN第一屆中文分詞競賽公開數(shù)據(jù)集中

的PK測試集進行統(tǒng)計分析得出:1+1模式和2+1模式占新詞總數(shù)的84%。

⑤據(jù)賀敏等人統(tǒng)計,新詞語中的三音節(jié)詞,有4%是用一個原有的語

素作詞綴,取得新意之后,再加上另外兩個語素構(gòu)成。

參考文獻:

[1]Li Hongqiao,Huang Changning,Gao Jianfeng.The use of SVM for Chinese new word identification[C].Proceedings of First International Joint Conference on Natural Language Processing,2004.

[2]崔世起,劉群.基于大規(guī)模語料庫的新詞檢測[J].計算機研究與發(fā)展,2006,(5).

[3]賀敏,龔才春,張華平.一種基于大規(guī)模語料的新詞識別方法[J].數(shù)據(jù)庫與信息處理,2007,(21).

[4]賈自艷,史忠植.基于概率統(tǒng)計技術(shù)和規(guī)則方法的新詞發(fā)現(xiàn)[J].計算機工程,2004,(10).

[5]羅智勇,宋柔.基于多特征的自適應(yīng)新詞識別[J].北京工業(yè)大學(xué)學(xué)報,2007,(7).

[6]鄭家恒,李文花.基于構(gòu)詞法的網(wǎng)絡(luò)新詞自動識別初探[J].山西大學(xué)學(xué)報(自然科學(xué)版),2002,(2).

(汪青青 南京師范大學(xué)文學(xué)院 210097)