HNC：讓計(jì)算機(jī)理解人類語(yǔ)言

文/張全

HNC理論及技術(shù)

讓計(jì)算機(jī)擁有像人類一樣的語(yǔ)言智能、理解人類的語(yǔ)言，是自然語(yǔ)言理解的宏偉目標(biāo)，也是當(dāng)今信息時(shí)代面臨的一項(xiàng)重大科學(xué)難題。這一目標(biāo)一旦獲得突破，就相當(dāng)于掌握了制造語(yǔ)言超人的能力。這個(gè)語(yǔ)言超人可以不眠不休，一天24小時(shí)，一目萬(wàn)行閱讀資料，從中提取有用的知識(shí)。這將有力推進(jìn)信息時(shí)代的發(fā)展，從當(dāng)前以數(shù)據(jù)處理為中心的初級(jí)階段演進(jìn)到以知識(shí)處理為中心的高級(jí)階段，形成巨大的語(yǔ)言知識(shí)處理和知識(shí)服務(wù)產(chǎn)業(yè)，并深刻影響計(jì)算機(jī)科學(xué)與技術(shù)的發(fā)展。

隨著因特網(wǎng)的發(fā)展，網(wǎng)絡(luò)上電子文本急速增長(zhǎng)，高效準(zhǔn)確地從因特網(wǎng)的海量信息中獲取有效信息已成為社會(huì)生活中的迫切需求。中國(guó)科學(xué)院聲學(xué)研究所研究員黃曾先生響應(yīng)這一時(shí)代的號(hào)召，面向整個(gè)自然語(yǔ)言處理的一系列問(wèn)題創(chuàng)立了概念層次網(wǎng)絡(luò)（簡(jiǎn)稱HNC）理論，并發(fā)展形成了深入語(yǔ)義內(nèi)容計(jì)算的HNC語(yǔ)言理解處理技術(shù)。HNC是這一理論與技術(shù)的統(tǒng)稱。HNC的出發(fā)點(diǎn)就是運(yùn)用局部聯(lián)想脈絡(luò)和全局聯(lián)想脈絡(luò)來(lái)“幫助”計(jì)算機(jī)理解自然語(yǔ)言，HNC通過(guò)交互引擎的研制來(lái)實(shí)現(xiàn)計(jì)算機(jī)對(duì)語(yǔ)言的理解過(guò)程。

HNC與傳統(tǒng)的自然語(yǔ)言理解處理對(duì)比

下面將HNC與傳統(tǒng)的自然語(yǔ)言理解處理作一個(gè)簡(jiǎn)單對(duì)比。

HNC的研究在多個(gè)國(guó)家級(jí)項(xiàng)目的資助下不斷深化，不僅應(yīng)用于實(shí)際的網(wǎng)絡(luò)信息處理服務(wù)，而且在評(píng)測(cè)中展示出優(yōu)越的性能。2009年中文信息學(xué)會(huì)組織了句法評(píng)測(cè)(CIPS-Pars Eval-2009)，共有來(lái)自美國(guó)、歐洲、中國(guó)大陸和香港地區(qū)的24支隊(duì)伍參加。HNC參加了漢語(yǔ)事件描述單元識(shí)別和漢語(yǔ)功能塊分析兩項(xiàng)目的開放評(píng)測(cè)，盡管語(yǔ)言理論體系上存在比較大的差異，但是仍然取得了第一名和第二名的成績(jī)。

HNC智能網(wǎng)絡(luò)信息檢測(cè)系統(tǒng)

“HNC智能網(wǎng)絡(luò)信息檢測(cè)系統(tǒng)”的最大特點(diǎn)是能夠深入自然語(yǔ)言的語(yǔ)義內(nèi)容深層完成語(yǔ)言分析處理，而不是僅僅利用語(yǔ)言的表層信息進(jìn)行淺層處理，因而能夠準(zhǔn)確獲取文字文本所表達(dá)的語(yǔ)言內(nèi)容。盡管涉及同樣的詞語(yǔ)，HNC技術(shù)卻能夠區(qū)分并準(zhǔn)確判斷網(wǎng)絡(luò)內(nèi)容是否是用戶關(guān)注的內(nèi)容。HNC面向整個(gè)自然語(yǔ)言處理，不僅可以完成單個(gè)語(yǔ)句的分析處理，還可以完成多個(gè)語(yǔ)句圍繞一個(gè)表達(dá)中心形成的句群處理，萃取其中的主題境單元知識(shí)，從而具有強(qiáng)大的語(yǔ)義區(qū)分能力。

HNC團(tuán)隊(duì)已經(jīng)取得了多項(xiàng)科研成果，形成了自主知識(shí)產(chǎn)權(quán)的自然語(yǔ)言理解處理技術(shù)體系，為構(gòu)造各種滿足信息時(shí)代需求的信息處理應(yīng)用技術(shù)奠定了堅(jiān)實(shí)的基礎(chǔ)。同時(shí)，以HNC為基礎(chǔ)的各種應(yīng)用技術(shù)已經(jīng)面市，并成功應(yīng)用于智能網(wǎng)絡(luò)信息檢測(cè)軟件系統(tǒng)中，正在為保障信息安全、凈化互聯(lián)網(wǎng)的網(wǎng)絡(luò)內(nèi)容發(fā)揮著重要作用?！癏NC智能網(wǎng)絡(luò)信息檢測(cè)系統(tǒng)”融合了HNC自然語(yǔ)言理解處理技術(shù)與先進(jìn)的網(wǎng)絡(luò)技術(shù)，主要特點(diǎn)包括：1.根據(jù)用戶需求，針對(duì)網(wǎng)絡(luò)上出現(xiàn)的特定信息文本內(nèi)容進(jìn)行檢測(cè)（例如色情、反動(dòng)、低俗等不良信息）報(bào)警；2.基于最新的自然語(yǔ)言內(nèi)容理解技術(shù)，不同于以往的基于關(guān)鍵字詞的檢測(cè)系統(tǒng)，準(zhǔn)確率高；3.對(duì)不能做出判斷的內(nèi)容能提出警告，供人工判別，和傳統(tǒng)的檢測(cè)系統(tǒng)相比能夠大大地提高網(wǎng)頁(yè)的處理數(shù)量和減少監(jiān)管人員人工干預(yù)的工作量；4.可為用戶定制語(yǔ)言知識(shí)，兼容關(guān)鍵詞處理；5.可對(duì)特定網(wǎng)站內(nèi)容進(jìn)行下載、解析、檢測(cè)并自動(dòng)生成檢測(cè)報(bào)告；6.支持靜態(tài)檢測(cè)和動(dòng)態(tài)監(jiān)測(cè)；7.支持多種編碼方式；8.支持多傳輸協(xié)議解析；9.支持云計(jì)算，快速處理海量文本內(nèi)容。

處理的困境

HNC的應(yīng)用

根據(jù)中國(guó)教育和科研計(jì)算機(jī)網(wǎng)CERNET面向高招網(wǎng)服務(wù)的需求，在“HNC智能網(wǎng)絡(luò)信息檢測(cè)系統(tǒng)”基礎(chǔ)的上建立形成了“不良信息檢測(cè)系統(tǒng)”。這一系統(tǒng)已經(jīng)成為賽爾網(wǎng)絡(luò)體檢中心的一項(xiàng)體檢功能，開始為高招網(wǎng)提供不良信息檢測(cè)的服務(wù)。截止目前已經(jīng)注冊(cè)了一百多個(gè)網(wǎng)站，每次掃描檢測(cè)的網(wǎng)頁(yè)數(shù)超過(guò)14萬(wàn)個(gè)，檢測(cè)系統(tǒng)根據(jù)掃描結(jié)果自動(dòng)生成檢測(cè)報(bào)告，供系統(tǒng)管理員參考。