張成琦
(湖南涉外經濟學院,長沙 410205)
智能信息處理技術的應用與研究
張成琦
(湖南涉外經濟學院,長沙 410205)
智能信息處理主要涉及智能搜索和信息處理等方面的功能,應用的主要技術是自然語言處理和理解。本文發(fā)現、總結了智能搜索和信息獲取在自然語言理解應用中相關的問題,闡述了問題存在的根源以及解決辦法。
智能搜索;信息獲??;自然語言處理;自然語言理解
隨著信息化技術的不斷發(fā)展與深入,特別是網絡技術的逐漸普及,人們對信息的需求也是越來越多,質量要求越來越高,這些所涉及到的都是當前計算機智能信息處理技術方面急需解決的難題,鑒于智能搜索和信息獲取理論成熟性、深度,也鑒于它們在自然語言理解實驗中取得了較好的效果,重點討論下智能搜索、信息獲取。
自然語言理解技術就是研究讓計算機理解人們日常所用的語言,通過研究希望建立一種人和計算機之間友好的交互關系,關系建立主要有2種思路,一是實驗模型思路,一種是直接應用模型思路。實驗模型思路,是面向人工智能所期望解決的一般語言理解問題,主要是研究讓計算機理解人的一般語言能力,能在計算機上建立一套計算機能夠識別的語言庫。按照這個思路,最終可能建成言語分析或生成所需的自然語言理解知識庫。而直接應用模型策略是直接以應用為目標,無論哪種情況,都是專門針對某一具體領域采用解決自然語言理解的基本策略。
搜索其實采用的就是過濾器模型,通過標注和匹配兩項工作,從原始數據中篩選出滿足要求的數據。搜索有很多的類型,智能搜索是搜索中最高級的搜索類型,是基于語義搜索,搜索對象小到一句話,大到一段文字。不過它的主要對象是自然語言文本,智能搜索是自然語言處理的重要環(huán)節(jié),它在使用過程的相關問題也就成為大家討論的焦點。
1) 標注。搜索對象是標注的結果,而標注就是產生對文本的描述,標注的關鍵要素就是標注用詞,而通常包含主題詞與自由詞兩種類型。使用主題詞存在的問題比較多,具體表現在詞表不夠用,內容陳舊,而且涉及內容過于復雜。鑒于此原因,使用自由詞標注彌補了使用主題詞的缺陷,同時不需要理解全文,效率較高。
2) 理解搜索要求。用戶提出的查詢數據的要求通常用都是很零散的,用戶提出的數據查詢要求,輸入系統(tǒng)、經由自然語言理解前端句法語義分析器進行分析生成句法樹,然后,系統(tǒng)通常以名詞短語作為搜索的關鍵詞在經過標注的文獻庫中搜索目標對象。
3) 實現智能搜索。智能搜索的大致過程是這樣的,對兩個或多個不同的文檔進行標注,如果標注的結果完全一致,那么說明被標注結果相應的內容也是一致,那所標注的內容也就是用戶所查找的目標對象,最終實現了智能搜索的目的。
信息獲取相對于信息搜索來說,技術更先進,更成熟,它是一門綜合性極強的技術,同時以深入的語言處理基本理論和技術作為支撐,研究多種基本的自然語言處理技術的綜合應用,具有很好的研究價值。下面就信息獲取的基本內涵、語言處理技術以及信息獲取的基本過程等方面內容進行一些基本的討論。
1)信息獲取的內涵。信息獲取是指從一段文本中抽取指定的一類信息,并將其形成結構化的數據,然后填入一個數據庫中供用戶查詢使用的過程。獲取的過程包含三個方面的內容:一是模板元素,主要涉及文章中的專有名詞、時間詞、數量詞和詞組等;二是模板關系,主要涉及命名實體之間的各種關系;三是腳本模板,主要涉及事件之中的各個實體、屬性或關系。
2)語言處理技術。中文信息的處理包含三個種自然語言處理的技術:一是詞切分和詞性標注。主要技術是建立信息獲取的詞切分方法,開發(fā)合適的漢語詞切分和詞類標注軟件。二是短語句法及語義分析,主要涉及句法成分的識別與標注,關鍵詞提取,搜索特征集的提取、索引等。三是句群分析,主要涉及句間成分的傳遞、指代、引用信息表的建立和使用,以及概念關系的推理等。
3)信息獲取的過程。信息獲取過程有4個環(huán)節(jié),一是描述信息,就是指利用信息模式描述大家感興趣的信息,比如<公司名><產品名>。這樣在系統(tǒng)中預定義類似的信息模式,存放在模式庫中,供用戶選用。二是詞法、句法及語義分析,并做各種文本標注。借助合適的詞典、構詞規(guī)則等知識庫的支持,比如名詞短語有人的名字、機構的名稱以及產品名稱等,再比如動詞短語有事件描述與事實陳述等。三是確定信息的最終形式,主要通過上下文文關聯、指代、引用等分析和推理方式實現。四是結果輸出,比如生成一個關系數據庫或給出自然語句陳述等。
[1]傅承德.自然語言理解的方法與策略[M].河南人民出版社.2001,185
[2] 陳力為.計算機語言學研究與應用[M].北京語言學院出版社,1993,134