自然語言處理的現(xiàn)狀研究與未來發(fā)展初探

王天笑

摘 要：自然語言處理是人工智能領(lǐng)域所研究的重要課題之一，同時(shí)也是目前最前沿的科技研究熱點(diǎn)之一。探究并實(shí)現(xiàn)人與計(jì)算機(jī)之間使用自然語言進(jìn)行有效通信的各種理論和方法，是未來人工智能的核心驅(qū)動(dòng)力。因此，了解自然語言處理技術(shù)的科學(xué)內(nèi)涵，闡述自然語言處理的研究方法及發(fā)展歷史，深入探究自然語言處理在各個(gè)領(lǐng)域中的應(yīng)用與現(xiàn)狀，進(jìn)一步展望未來的發(fā)展趨勢，是十分必要且有意義的。

關(guān)鍵詞：自然語言；處理；人工智能；機(jī)器學(xué)習(xí)

中圖分類號：TN941.1 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2017）02-0196-02

隨著社會的日益信息化，計(jì)算機(jī)學(xué)科也在逐步發(fā)展成熟，人們也越來越強(qiáng)烈地希望能更好地同計(jì)算機(jī)進(jìn)行交流。而伴隨信息爆炸而來的是更為廣闊的信息檢索需求、日益嚴(yán)峻的信息安全問題以及潛力十足的機(jī)器翻譯市場。如何讓計(jì)算機(jī)實(shí)現(xiàn)自動(dòng)的語言處理功能、挖掘和有效利用海量語言信息顯得尤為重要，也對于人工智能研究領(lǐng)域提出了更新的要求。

1 自然語言處理的含義及任務(wù)

1.1 自然語言處理的含義

1.1.1 什么是自然語言處理

自然語言處理（NLP， Natural Language Processing）是使用機(jī)器處理人類語言的理論和技術(shù)，將語言做為計(jì)算對象來研究相應(yīng)的算法。目的是讓人類可以用自然語言形式跟計(jì)算機(jī)系統(tǒng)進(jìn)行人機(jī)交互，從而更便捷、有效地進(jìn)行信息管理。關(guān)鍵是要讓計(jì)算機(jī)“理解”自然語言，所以自然語言處理又被叫做自然語言理解（NLU， Natural Language Understanding），也稱為計(jì)算語言學(xué)（Computational Linguistics）。

1.1.2 什么是自然語言

根據(jù)新華字典的解釋，自然語言是指以語音為物質(zhì)外殼，由詞匯和語法兩部分組成的符號系統(tǒng)。眾所周知，語言是人類交際的工具，也是人類思維的載體。我們所說的自然語言具體是指約定成俗的、區(qū)別于人工語言的語言，如程序設(shè)計(jì)語言。

1.1.3 什么是處理

處理的含義包括理解、轉(zhuǎn)化、生成等。自然語言處理的具體表現(xiàn)形式包括機(jī)器翻譯、文本摘要、文本分類、文本校對、信息抽取、語音合成、語音識別等。

1.2 自然語言處理的層次性

自然語言的理解和分析過程是一個(gè)層次化過程，許多語言學(xué)家把這一過程劃分為以下五個(gè)層次，從而更好地體現(xiàn)語言本身的構(gòu)成：

1.2.1 語音分析

根據(jù)音位規(guī)則，從語音流中區(qū)分出一個(gè)個(gè)獨(dú)立的音素，再根據(jù)音位形態(tài)規(guī)則找出一個(gè)個(gè)音節(jié)及其對應(yīng)的詞素或詞。

1.2.2 詞法分析

分析目的是找出詞匯的各個(gè)詞素，從中獲得語言學(xué)的信息。

1.2.3 句法分析

對句子和短語的結(jié)構(gòu)進(jìn)行分析，目的是找出詞、短語等的相互關(guān)系以及各自在句中的作用。

1.2.4 語義分析

分析目的是找出詞義、結(jié)構(gòu)意義及其結(jié)合意義，從而確定語言所表達(dá)的真正含義或概念。

1.2.5 語用分析

研究語言所存在的外界環(huán)境對語言使用者所產(chǎn)生的影響。

2 自然語言處理的研究內(nèi)容

2.1 自然語言處理的研究方向

自然語言處理的范圍涉及眾多方面，如機(jī)器翻譯、文本摘要、文本分類、文本校對、信息抽取、語音合成、語音識別等等。大致可分為以下四個(gè)方向：

2.1.1 語言學(xué)方向

把自然語言處理看作語言學(xué)的一個(gè)分支來研究，研究內(nèi)容只涉及語言處理與計(jì)算相關(guān)的方面，不涉及在計(jì)算機(jī)上的具體實(shí)現(xiàn)方法。這個(gè)方向最重要的研究領(lǐng)域是語法形式化理論和數(shù)學(xué)理論。

2.1.2 數(shù)據(jù)處理方向

把自然語言處理作為開發(fā)語言研究相關(guān)程序以及語言數(shù)據(jù)處理的學(xué)科來研究。這一方向早起的研究有屬于數(shù)據(jù)庫的建設(shè)、各種機(jī)器可讀的電子詞典的開發(fā)，近些年來則有大規(guī)模的語料庫的涌現(xiàn)。

2.1.3 人工智能和認(rèn)知科學(xué)方向

把自然語言處理作為在計(jì)算機(jī)上實(shí)現(xiàn)自然語言能力的學(xué)科來研究，探索自然語言理解的只能機(jī)制和認(rèn)知機(jī)制。這一方向的研究與人工智能以及認(rèn)知科學(xué)關(guān)系密切。

2.1.4 語言工程方向

把自然語言處理作為面向?qū)嵺`的、工程化的語言軟件開發(fā)來研究，這一方向的研究一般也被稱為“人類語言技術(shù)”或“語言工程”。

2.2 自然語言處理的應(yīng)用

以上所討論的研究方向基本上涵蓋了當(dāng)今自然語言處理主要的研究內(nèi)容，進(jìn)一步可細(xì)分為具體的應(yīng)用如下：書面語輸入、語言分析和理解、話語分析與對話、語言生成、多語問題的計(jì)算機(jī)處理、口語輸入、口語輸出技術(shù)、自然語言處理中的數(shù)學(xué)方法、信息傳輸與信息存儲、文獻(xiàn)自動(dòng)處理、語言資源、多模態(tài)的計(jì)算機(jī)處理、自然語言處理系統(tǒng)的評測。這些應(yīng)用領(lǐng)域都需要對語言進(jìn)行更形式化的描述，建立合適的算法，并在計(jì)算機(jī)上實(shí)現(xiàn)這些算法，因此，要涉及到的學(xué)科包括數(shù)學(xué)、邏輯學(xué)和計(jì)算機(jī)科學(xué)等，當(dāng)然也需要運(yùn)用到電子科學(xué)技術(shù)。由此我們可以得出，自然語言處理都是一個(gè)多邊緣的交叉型學(xué)科。由于它的對象是語言，因此，本質(zhì)上它是一個(gè)語言學(xué)科，但還涉及到其他眾多的學(xué)科，尤其是數(shù)學(xué)和計(jì)算機(jī)科學(xué)。

3 自然語言處理的發(fā)展概述

3.1 自然語言處理的發(fā)展歷程

1956年之前，人們主要進(jìn)行的都是自然語言處理的基礎(chǔ)性研究。1948年Shannon把離散馬爾可夫過程的概率模型首次應(yīng)用于描述語言的自動(dòng)機(jī)，同時(shí)又把“熵” （Entropy）的概念引用到語言處理中。 就在同一時(shí)期，Kleene研究了有限自動(dòng)機(jī)和正則表達(dá)式。1956年，Chomsky提出了上下文無關(guān)文法，也因此產(chǎn)生了基于規(guī)則和基于概率兩種不同截然不同的自然語言處理方法，進(jìn)而引發(fā)了數(shù)十年該領(lǐng)域研究中兩大陣營有關(guān)孰優(yōu)孰劣的爭執(zhí)。

1956年，人工智能誕生以后，自然語言處理迅速融入了人工智能的研究中。隨機(jī)派學(xué)者在這一時(shí)期利用貝葉斯方法等統(tǒng)計(jì)學(xué)原理取得了一定的進(jìn)步；而以Chomsky為代表的符號派也進(jìn)行了形式語言理論、生成句法和形式邏輯系統(tǒng)的研究。由于這一時(shí)期，多數(shù)學(xué)者注重研究推理和邏輯問題，只有少數(shù)學(xué)者在研究統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)，所以符號派的勢頭明顯強(qiáng)于隨機(jī)派的勢頭。

1967年美國心理學(xué)家Neisser提出了認(rèn)知心理學(xué)，從而把自然語言處理與人類的認(rèn)知聯(lián)系起來。

70年代初，由于自然語言處理研究中的一些問題未能在短時(shí)間內(nèi)得到解決，而新的問題又不斷地涌現(xiàn)，許多人因此喪失了信心，自然語言處理的研究進(jìn)入了低谷時(shí)期。盡管如此，一些發(fā)達(dá)國家的學(xué)者依舊地研究著?；陔[馬爾可夫模型（Hidden Markov Model，HMM）的統(tǒng)計(jì)方法和話語分析（Discourse Analysis）在這一時(shí)期取得了重大進(jìn)展。

80年代，在人們對于過去的工作反思之后，有限狀態(tài)模型和經(jīng)驗(yàn)主義的研究方法開始復(fù)蘇。

90年代以后，隨著計(jì)算機(jī)的速度和存儲量大幅增加，自然語言處理的物質(zhì)基礎(chǔ)大幅改善，語音和語言處理的商品化開發(fā)成為可能；同時(shí)，網(wǎng)絡(luò)技術(shù)的發(fā)展和1994年Internet商業(yè)化使得基于自然語言的信息檢索和信息抽取的需求變得更加突出。自然語言處理的應(yīng)用領(lǐng)域已不再局限于機(jī)器翻譯、語音控制等早期研究方向。

從90年代末到21世紀(jì)初，人們逐漸認(rèn)識到，僅用基于規(guī)則的方法或僅用基于統(tǒng)計(jì)的方法都是無法成功進(jìn)行自然語言處理的?；诮y(tǒng)計(jì)、基于實(shí)例和基于規(guī)則的語料庫技術(shù)在這一時(shí)期開始蓬勃發(fā)展，各種處理技術(shù)開始融合，自然語言處理的研究又迅速發(fā)展并逐漸興旺起來。

3.2 自然語言處理的研究現(xiàn)狀及思考

自然語言處理的研究歷史雖然不是很長，但就目前已經(jīng)取得的成果和地位足以顯示它的重要性和廣闊的應(yīng)用前景。就目前的研究成果來看，部分問題已經(jīng)得到了解決，可以為人們提供可靠的輔助性幫助，比如專業(yè)領(lǐng)域文檔翻譯，電子詞典，搜索引擎，文字錄入等。但隨著信息服務(wù)、通訊、網(wǎng)絡(luò)內(nèi)容管理、情報(bào)處理、國家安全等社會需求的日益迫切，很多基礎(chǔ)問題的研究仍然任重道遠(yuǎn)：比如語義表示和計(jì)算、比如高質(zhì)量的自動(dòng)翻譯。目前所進(jìn)行的研究中，暴露和存在的問題還有很多很多，研究中仍然缺乏堅(jiān)實(shí)的理論基礎(chǔ)；詞匯句法方面的問題尚未解決，已開始挑戰(zhàn)語義、知識等深層次課題；語音識別中采用的統(tǒng)計(jì)語言模型推動(dòng)了發(fā)展，于是目前的統(tǒng)計(jì)模型在迅速向語言深層發(fā)展等等等等。所以，許多技術(shù)離真正實(shí)用其實(shí)還有不少距離，若干理論問題也有待更深入的研究。我們可以從現(xiàn)有的模型和方法改進(jìn)入手，在不成熟技術(shù)的基礎(chǔ)上開發(fā)出更實(shí)用的人機(jī)系統(tǒng)，我們也有理由期待更有效和更健全地理論體系。

3.3 自然語言處理的未來前景及研究意義

從長遠(yuǎn)看，自然語言處理具有廣闊的應(yīng)用領(lǐng)域和令人驚喜的應(yīng)用前景。作為一個(gè)多學(xué)科交叉的新型領(lǐng)域，自然語言處理的繁榮發(fā)展對于很多相關(guān)學(xué)科及方向都具有深遠(yuǎn)的影響力。伴隨著各種詞表詞義詞法語料庫等數(shù)據(jù)資源的日益豐富、分析技術(shù)的快速進(jìn)步、新方法新理論的不斷涌現(xiàn)、研究模型的逐漸迭代更新，不僅可以為理論研究奠定堅(jiān)實(shí)基礎(chǔ)，自然語言處理的快速發(fā)展也將逐步鞏固其在人工智能領(lǐng)域乃至整個(gè)計(jì)算機(jī)科學(xué)研究的核心課題地位。

最后，基于上文對于自然語言處理領(lǐng)域現(xiàn)狀的深入研究與現(xiàn)狀分析，我們可以得出以下結(jié)論：未來該領(lǐng)域的研究方法將更強(qiáng)調(diào)多技術(shù)多領(lǐng)域集成、更強(qiáng)調(diào)理性與經(jīng)驗(yàn)方法相結(jié)合、更強(qiáng)調(diào)模塊構(gòu)件化和工具環(huán)境開發(fā)、更強(qiáng)調(diào)知識與意義的表示和利用、更強(qiáng)調(diào)實(shí)際研究成果的實(shí)用化。

參考文獻(xiàn)：

[1]蔡自興，等.人工智能及其應(yīng)用[M].北京：清華大學(xué)出版社，2001.

[2]俞士汶.自然語言理解與語法研究[M].北京：商務(wù)印書館，1999，1240.

[3]姚天順.自然語言理解-一種讓機(jī)器懂得人類語言的研究[M].清華大學(xué)、廣西科技出版社，2002（第二版）.

[4]汪安圣.認(rèn)知心理學(xué)[M].北京：北京大學(xué)出版社，1997.

[5]王小捷，常寶寶.自然語言處理基礎(chǔ)[M].北京郵電大學(xué)出版社，2002.

[6]馮志偉.自然語言處理的歷史與現(xiàn)狀[J].中國外語，2008.