基于自然語言理解的智能化多媒體信息檢索系統(tǒng)研究*

師東生

(內(nèi)蒙古科技大學(xué)信息工程學(xué)院,內(nèi)蒙古 呼和浩特 014010)

信息檢索 IR（Information Retrieval）是指把用戶所需信息按一定的方式組織起來的過程和技術(shù)[1]。傳統(tǒng)的方式是用戶通過輸入關(guān)鍵字，從大量的文本庫中檢索出滿足需求的文本，來判別文本是否相關(guān)并對相關(guān)文本進(jìn)行排序的數(shù)學(xué)模型。然而隨著網(wǎng)絡(luò)的發(fā)展，信息資源不再以單一的純文本傳遞為主，越來越多的信息資源以其他多媒體形式存儲，如圖像、視頻、音頻等，針對多媒體信息的檢索近年來逐漸成為多媒體信息檢索領(lǐng)域的研究熱點(diǎn)[2]。參考文獻(xiàn)[3]提出了基于本體信息檢索系統(tǒng)的框架，該系統(tǒng)能夠提取和利用網(wǎng)絡(luò)上的語義信息，根據(jù)用戶的檢索條件進(jìn)行推理，進(jìn)而得出較為準(zhǔn)確的結(jié)果；參考文獻(xiàn)[4]提出了基于方法聚類的Web服務(wù)檢索技術(shù)，該技術(shù)充分利用Web服務(wù)的描述信息生成基于方法層的Web服務(wù)建模方法，通過服務(wù)類聚算法產(chǎn)生基于方法層的服務(wù)檢索模型及其相關(guān)算法；參考文獻(xiàn)[5]提出了基于Web的智能信息采集處理系統(tǒng),采用高效的URL去重和基于模版的下載機(jī)制，提高了采集Web資源的性能，并應(yīng)用自然語言處理技術(shù)，對采集信息做智能分類和摘要，在發(fā)布上突出個性化的信息服務(wù)；參考文獻(xiàn)[6][7]闡述了多媒體信息檢索技術(shù)的發(fā)展現(xiàn)狀。然而其研究仍存在以下不足：(1)搜索方式單一，信息相關(guān)性差；(2)不能準(zhǔn)確地把握用戶需求，容易產(chǎn)生搜索歧義；(3)搜索技術(shù)不具備智能化，搜索效率不高。為了解決上述問題，提出了基于自然語言理解的智能化多媒體信息檢索系統(tǒng)IMIRSTNLU(Intelligent Multimedia Information Retrieval System based on The Natural Language Understanding)。

1 IMIRSTNLU模型概述

在該模型中，對多媒體信息的檢索效果由詞語分析和搜索服務(wù)共同決定，只有對多媒體信息詞語分析準(zhǔn)確，搜索服務(wù)才能夠快速查找到與多媒體信息資源庫中最貼近的資源，從而提供最貼近用戶需求的多媒體信息。

該系統(tǒng)首先基于多媒體信息的資源分類，即通過對多媒體信息資源的自然理解，結(jié)合語言學(xué)和語義學(xué)學(xué)科知識、專家知識及信息資源管理模式等，對多媒體信息資源在語義和知識層面上進(jìn)行挖掘，訓(xùn)練成文本、視頻、圖像和音頻四種常見格式的知識庫[8]。

檢索服務(wù)開始時，首先對用戶輸入的詞語進(jìn)行詞語分析，挖掘出與用戶輸入詞語相關(guān)度高的輔助語義，并提供給用戶以確定最終檢索語句。開始檢索時，針對詞語分析確定的語義條件，對知識庫中的知識元采取相似度匹配方法，對多媒體信息的所有知識庫啟動二級搜索模式，即精確搜索和模糊搜索相結(jié)合。精確搜索某一模式知識庫時，對另一模式知識庫進(jìn)行模糊搜索，若查找無結(jié)果，模糊搜索快速啟動成為精確搜索，同時產(chǎn)生模糊搜索對未搜索知識庫進(jìn)行搜索。該方法針對用戶輸入詞語進(jìn)行詞語分析，有效地提高了檢索的準(zhǔn)確率；對知識庫的二級模式搜索，有效地提高了檢索的效率。

檢索結(jié)束后，對檢索結(jié)果進(jìn)行綜合處理，去除無效鏈接、空鏈接及冗余數(shù)據(jù)等，依據(jù)與用戶檢索詞語關(guān)聯(lián)度的高低排列知識庫中的資源記錄，用戶也可設(shè)定排列模式，如時間等。同時對檢索情況的處理結(jié)果，如某一知識元按照用戶檢索習(xí)慣，應(yīng)分類于哪一類知識庫，更新多媒體信息資源的知識庫。與此同時，保存用戶的檢索記錄于用戶資源列表，以便于下次檢索生成更為確切的輔助語義。

2 IMIRSTNLU定義

2.1 基礎(chǔ)定義

定義1 相似度匹配

數(shù)據(jù)以矩陣的形式存儲于數(shù)據(jù)庫表中，數(shù)據(jù)之間存在矩陣的相關(guān)性以及存儲距離，因此根據(jù)不同形式的數(shù)據(jù)，其存儲距離的大小不同，可以判定其相似度的大小。設(shè)數(shù)據(jù)信息E與X和Y的相似度為P，則:

其中PE的相似度為式(1)和式(2)的最小值，且 PE∈P[0,tA]，t為知識庫閥值。

定義2 貼近度

若PE的相似度值超過閥值tA，選擇與之最貼近的閥值知識庫進(jìn)行相似度匹配。假設(shè) PE>tA，且 PE＜tB＜tC＜tD，則對知識庫B進(jìn)行搜索。

定義3詞語分析

對詞語經(jīng)過解釋處理，形成便于用戶理解、有利于搜索的查詢條件。設(shè)詞語分析為M，則它包括M同義詞分析、M近義詞分析、M語義分析和 M歧義分析4個步驟。 設(shè)數(shù)據(jù)信息E，對其進(jìn)行詞語分析，首先會派生數(shù)據(jù)信息E關(guān)鍵詞語相類同的多種信息，其中篩選與數(shù)據(jù)信息E的關(guān)鍵詞描述意思相同的數(shù)據(jù)信息E同義，然后對其進(jìn)行近義詞分析，擴(kuò)大數(shù)據(jù)信息 E的查詢范圍，生成數(shù)據(jù)信息E近義，然后對數(shù)據(jù)信息E同義和E近義進(jìn)行語義分析，篩選與搜索詞語相貼近的數(shù)據(jù)信息E語義，最后經(jīng)過歧義分析，形成搜索查詢條件。

定義4輔助語義

在詞語分析的基礎(chǔ)上，根據(jù)用戶使用習(xí)慣、個人興趣愛好、搜索歷史等條件對用戶搜索查詢條件給予一定的參考，幫助其提交合適、完善和更加準(zhǔn)確的搜索查詢條件。

3 模型介紹

該系統(tǒng)由以下幾部分組成：(1)人機(jī)交互層。當(dāng)用戶輸入檢索詞語后，系統(tǒng)提供相應(yīng)的輔助語義提交給用戶參考，用戶確定滿足實(shí)際需求的最終檢索條件。信息檢索結(jié)束后，搜索內(nèi)容輸出，顯示給用戶。(2)詞語分析層。當(dāng)用戶輸入搜索詞語時，系統(tǒng)首先進(jìn)行詞語分析，對輸入詞語進(jìn)行數(shù)據(jù)挖掘,分析與之相關(guān)聯(lián)的數(shù)據(jù)信息，進(jìn)行同義詞分析、近義詞分析、語義分析、歧義分析等，然后將挖掘的與之相關(guān)聯(lián)的輔助語義推薦給用戶，以供用戶參考。(3)信息檢索層。用戶確定檢索詞語后，根據(jù)數(shù)據(jù)相似度匹配原則，啟動精確搜索和模糊搜索相結(jié)合的模式，對多媒體信息資源知識庫中滿足檢索條件的知識庫記錄進(jìn)行查找。當(dāng)相似度值確定后，屬于某一知識庫，即對該知識庫啟動精確搜索，同時啟動模糊搜索對其余知識庫進(jìn)行搜索。如果搜索為空，則返回該搜索沒有答案。否則輸出該知識庫中的信息記錄。(4)搜索處理層。對搜索結(jié)果進(jìn)行綜合處理，去除無效鏈接，重復(fù)鏈接等，對信息的關(guān)鍵程度進(jìn)行排序，保存搜索記錄于知識庫，并對知識庫進(jìn)行更新[9]，同時把用戶的搜索習(xí)慣添加進(jìn)用戶習(xí)慣資源列表，以供下次搜索參考。通過不斷收集用戶搜索習(xí)慣和搜索結(jié)果，更新用戶習(xí)慣資源列表和知識庫，實(shí)現(xiàn)了用戶個性化搜索。通過對搜索詞語的自然理解解釋，對知識庫的動態(tài)更新、對搜索的二級模式設(shè)置、對輔助語義的記錄等，實(shí)現(xiàn)了智能化，為以后快速定位搜索，創(chuàng)造了條件。具體框架圖如圖1所示。

4 算法分析

IMIRSTNLU模型采用自然語言理解技術(shù)，結(jié)合數(shù)據(jù)挖掘方法，對用戶搜索的數(shù)據(jù)信息進(jìn)行檢索。

知識庫訓(xùn)練分類算法：

//輔助語義添加到用戶習(xí)慣資源列表隊(duì)列；算法流程圖如圖2所示。

5 性能分析

由于目前針對多媒體信息檢索研究還沒有公認(rèn)的數(shù)據(jù)集，所以本實(shí)驗(yàn)設(shè)計(jì)的數(shù)據(jù)庫為文本、音頻、視頻和圖像各10 000份所組成的實(shí)驗(yàn)數(shù)據(jù)庫。實(shí)驗(yàn)平臺為服務(wù)器一臺 IBM3650,基本配置為 2×4 core 2 GB CPU；8 GB內(nèi)存；500 GB硬盤；操作系統(tǒng)為WIN2003 SERVER標(biāo)準(zhǔn)版；編程環(huán)境為VC++2005。由于事先設(shè)定了各知識庫的文件數(shù)量，所以知識庫的組成已經(jīng)得知，如表1所示。

表1 IMIRSTNLU系統(tǒng)知識庫組成

對實(shí)驗(yàn)結(jié)果的評測，采取信息檢索中常用的三個指標(biāo)：檢全率 Recall、檢準(zhǔn)率 Precision和 F1-measure值，其定義如下：

其中I為檢索到的滿足檢索方法的檢索數(shù)，R為檢索結(jié)果數(shù)，W為可供選擇的檢索數(shù)。實(shí)驗(yàn)時分別輸入針對4種知識庫檢索的檢索條件，經(jīng)由IMIRSTNLU系統(tǒng)對其進(jìn)行搜索，經(jīng)過式(3)、式(4)和式(5)對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理計(jì)算，結(jié)果如表2所示。

同時該實(shí)驗(yàn)對多媒體信息檢索的效果與參考文獻(xiàn)[10]的檢索效果進(jìn)行了對比，具體如圖3所示。其中星號表示該實(shí)驗(yàn)的F1-measure值，圓圈表示參考文獻(xiàn)[10]的F1-measure，通過對比可知，該系統(tǒng)的檢準(zhǔn)率與參考文獻(xiàn)[10]相比有明顯的提高,能夠基本實(shí)現(xiàn)智能化理解用戶檢索需求，同時由綜合評價F1-measure值可以看到，該系統(tǒng)的檢索服務(wù)是高效和準(zhǔn)確的。

表2 IMIRSTNLU系統(tǒng)實(shí)驗(yàn)數(shù)據(jù)分析

本文經(jīng)過對自然語言和數(shù)據(jù)挖掘技術(shù)的理解，提出了一種智能化多媒體信息檢索系統(tǒng)，通過對用戶輸入詞語進(jìn)行詞語分析，生成輔助語義幫助用戶參考搜索查詢條件，啟動二級模式搜索，對知識庫實(shí)現(xiàn)全面和準(zhǔn)確的搜索，同時對搜索結(jié)果進(jìn)行綜合處理，對知識庫實(shí)現(xiàn)不斷更新，對用戶使用習(xí)慣進(jìn)行存儲記憶，有效地解決了檢索語義模糊不清,查找范圍不全和準(zhǔn)確率不高的問題。

[1]Liu Ying，Tang Yonglin，Zeng Yuan.A study on improving information retrieval effectiveness for scientific and technical novelty retrieval[C].Proceedings of International Forum on Technological Innovation and Competitive Technical Intelligence’2008，2008:338-347.

[2]JAIN P.Intelligent information retrieval[C].SETIT 2005 3rd International Conference:Sciences of Electronic，Technologies of Information and Telecommunications，2005,3:27-31.

[3]KANNAN R.Topic map:an ontology framework for information Retrieval[C].Proc.of National Conference on Advances in Knowledge Management 2010：195-198.

[4]Peng Dunlu，Zhou Aoying.Web service retrieval technology based on the method of clustering[J].Computer Applications，2007,27(10)：2365-2368.

[5]Zhang Fan，Li Linna，Yang Bingru.The intelligent information collection and processing system design and implementation based on the Web[J].Computer Engineering，2007,33(18)：265-267.

[6]GOYAL P，BEHERA L，MCGINNITY T M.Application of bayesian framework in natural language understanding[J].IETE Tech Rev，2008，25(5)：251-269.

[7]TANENHAUS M K，SARAH B S.Language processing in the natural world[J].Phil’s Trans R Soc Lund B Boil Sic.2008，363(1493)：1105-1122.

[8]LEE C，LEE G， JANG M.Dependency structure language model for information retrieval[C].ETRI,2006,28(3)：337-346.

[9]CAO G，NIE J，BAI J.Integrating word relationships into language models[C].Proc.28th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.Brazil.2005:298-305.

[10]Liu Wei，Chen Junjie.A framework for intelligent metasearch Engine Based on Agent[J].Computer Engineering end Application，2005，3：137-211.