基于語義的智能Web挖掘技術(shù)研究

陸宇翔　黎炳燕　黃祖康　張捷

摘要：目前，基于語義的Web挖掘技術(shù)結(jié)合了語義Web與Web挖掘兩個領(lǐng)域，并且在一定程度上促進了各自的發(fā)展。本文介紹了語義網(wǎng)與Web挖掘、智能代理相關(guān)概念的體系構(gòu)造，并且提出了基于語義的Web挖掘信息體系模型構(gòu)建智能采集體系的代理框架，通過分析表明該體系模型在一定程度上提升了信息獲取的智能水平。

關(guān)鍵詞：語義；web挖掘；智能技術(shù)

中圖分類號：TP391 文獻標(biāo)識碼：A 文章編號：1009-3044（2018）08-0147-01

1研究概述

Web挖掘與傳統(tǒng)數(shù)據(jù)挖掘不同，能夠有效挖掘互聯(lián)網(wǎng)上非構(gòu)造化異構(gòu)Web文檔集合。Web挖掘的內(nèi)容的類型通常是內(nèi)容、構(gòu)造挖掘與使用記錄挖掘。

伴隨社會經(jīng)濟與相關(guān)資料相關(guān)技術(shù)的全面發(fā)展，搜索活動已被整合到社會經(jīng)濟的各個角落。相關(guān)資料搜索產(chǎn)業(yè)作為國內(nèi)外蓬勃發(fā)展的產(chǎn)業(yè)，已成為社會經(jīng)濟體系的重要組成部分。相關(guān)資料搜索行業(yè)具有廣泛的工作范圍，如政策搜索、管理搜索、工程搜索、相關(guān)技術(shù)搜索、專業(yè)搜索等。各類搜索活動都體現(xiàn)了現(xiàn)代搜索的重要功能之一——科學(xué)決策。但是，伴隨大數(shù)據(jù)時代的到來，相關(guān)資料的存在方式發(fā)生了巨大的變化，數(shù)據(jù)結(jié)構(gòu)與傳輸方式多樣化的多樣性，使得傳統(tǒng)的相關(guān)資料搜索服務(wù)，客戶滿意度低，自發(fā)化程度不高，難以滿足組織與個人的需求。豐富的知識元素與智力是隱藏在巨大而多樣化的相關(guān)資料背后的，但卻沒有及時發(fā)現(xiàn)與有效利用，這嚴(yán)重影響了相關(guān)資料搜索活動的效率。本文在觀察解析文本與網(wǎng)絡(luò)語義智能搜索服務(wù)模式與系統(tǒng)體系結(jié)構(gòu)、文本與網(wǎng)絡(luò)語義觀察解析方法與人工智能相關(guān)技術(shù)在搜索服務(wù)中的應(yīng)用的基礎(chǔ)上，提出了提高搜索服務(wù)智能化水平的建議。

2在多主體框架下構(gòu)建信息智能獲得體系模型

在文本與Web語義觀察解析基礎(chǔ)上構(gòu)建對象本體知識元素庫。經(jīng)過自然語言處理，并將非結(jié)構(gòu)化文本數(shù)據(jù)觀察解析為可操作的相關(guān)資料，使用結(jié)構(gòu)化文本數(shù)據(jù)中的數(shù)據(jù)挖掘相關(guān)技術(shù)與工具提取相關(guān)知識元素，結(jié)合機器學(xué)習(xí)與自然語言處理相關(guān)技術(shù)相結(jié)合，實現(xiàn)了基于公理/規(guī)則的自發(fā)對象本體學(xué)習(xí)，并構(gòu)建了領(lǐng)域?qū)ο蟊倔w?；趯ο蟊倔w知識元素基礎(chǔ)構(gòu)建，將對象本體知識元素運用到領(lǐng)域知識元素的形式化，明確地對資源深度組織與利用，基于知識元素庫的實現(xiàn)，以提供語義支持；基于對象本體知識元素庫對文本與Web資源的語義注釋，經(jīng)過對目標(biāo)文檔的語義標(biāo)注自發(fā)分類索引，實現(xiàn)網(wǎng)絡(luò)資源與域?qū)ο蟊倔w的匹配映射。

代理是一種智能軟件實體，能夠在特定的環(huán)境中與相關(guān)的代理進行通信。代理人通常擁有自主權(quán)、社會性、主動與被動的反應(yīng)能力、自我適應(yīng)能力與機動性。

基于Web挖掘與語義Web的理論，利用智能代理技術(shù)建立了信息智能采集體系模型（agbase-basedsem iantic-ieb），并且對其進行了分析。這個體系模型包含了以下如圖1所示。

基于對象本體知識元素庫的交互指導(dǎo)模式如圖所示。觀察解析使用者的初始需求，建立自發(fā)啟發(fā)式與規(guī)則，智能地引導(dǎo)使用者索引相關(guān)資料，實現(xiàn)使用者需求挖掘；在過程中動態(tài)交互，不斷使用對象本體知識元素庫推論，使用自然語言觀察解析相關(guān)技術(shù)，結(jié)合對象本體知識元素庫，實現(xiàn)使用者的自發(fā)解析與查詢擴展，使使用者在索引相關(guān)資料問題的過程中自發(fā)識別、診斷、交互搜索，設(shè)置使用者問題與搜索系統(tǒng)相關(guān)閾值，進行邊界篩選來解決問題；經(jīng)過知識元素管理、積累與動態(tài)更新搜索服務(wù)知識元素、相關(guān)技術(shù)與流程，搜索服務(wù)伴隨使用者、資源與相關(guān)技術(shù)的變化而發(fā)展。建立搜索與轉(zhuǎn)發(fā)機制，及時搜索與解決系統(tǒng)不能解決的問題。

對象本體代理的主要任務(wù)是維護對象本體庫，以更新與共享對象本體知識元素。對象本體代理使用對象本體的語義知識元素，并擴展查詢請求，即語義處理，語義過濾與結(jié)果集群處理是為了提高返回相關(guān)資料的相關(guān)性。我們還能夠利用Web挖掘相關(guān)技術(shù)來輔助對象本體論學(xué)習(xí)來豐富與擴充對象本體論數(shù)據(jù)庫。

使用者代理與對象本體代理與索引代理進行交互，以完成使用者的查詢請求的提交、概念提取與返回結(jié)果的可視化，以及使用者的評價與反饋。當(dāng)使用者代理接收到使用者的查詢請求時，它使用對象本體代理來執(zhí)行語義擴展與其他處理，然后將處理過的查詢請求發(fā)送給索引代理以獲取相關(guān)資料。使用者代理處理返回的結(jié)果并執(zhí)行可視化處理，同時學(xué)習(xí)使用者的反饋與評估。

RDF數(shù)據(jù)庫主要是從數(shù)據(jù)源中存儲相關(guān)資料采集代理，并以RDF格式、資源數(shù)據(jù)單元、三元組（AOV）形式、挖掘數(shù)據(jù)預(yù)處理（如語義標(biāo)注等）的屬性與屬性值，同時也為對象本體學(xué)習(xí)做準(zhǔn)備。對象本體庫是該系統(tǒng)的核心部分，它提供了共享的語義知識元素，并澄清了RDF數(shù)據(jù)的概念、關(guān)系與推論規(guī)則。它是對象本體學(xué)習(xí)與集成的基礎(chǔ)，為其他代理提供了共享的語義支持，并存儲與管理了對象本體代理所發(fā)現(xiàn)的新對象本體。

協(xié)調(diào)代理是多代理系統(tǒng)的重要組成部分，主要負(fù)責(zé)協(xié)調(diào)相關(guān)資料獲取代理、對象本體代理、挖掘代理、搜索代理等各種代理行為，并使對象本體RDF數(shù)據(jù)庫與代理實現(xiàn)有效的數(shù)據(jù)傳輸與交互。

運用概率推論與證據(jù)推論，模糊推論，如不可控性推論方法，定量表達人們的主觀判斷與處理，在搜索服務(wù)的過程中解決知識元素的不可控性，不可控性相關(guān)資料的計算，以及不確定的資源語義解釋；利用可靠性的方法，主觀的Bayes方法在代表與測量、匹配算法與閾值選擇不可控性的搜索質(zhì)量評價指標(biāo)體系中，解決了證據(jù)組合與結(jié)論不可控性綜合問題的不可控性，定性與定量觀察解析的結(jié)合效應(yīng)；以d-s證據(jù)理論為基礎(chǔ)，對搜索結(jié)果的可信度進行了評價，并對推論過程進行了解釋。

3結(jié)論

在當(dāng)前階段，使用語義Web挖掘能夠有效地提升信息獲取的智能程度。本文以語義Web挖掘信息體系模型為基礎(chǔ)，在智能采集體系中應(yīng)用智能代理技術(shù)，在一定程度上使用了代理通信與協(xié)調(diào)機制，提升了整個體系與智能層的性能。但體系模型需要在實踐中進一步完善，下一步是繼續(xù)研究本體的自動學(xué)習(xí)算法與多個代理協(xié)調(diào)機制，優(yōu)化Web挖掘基于語義信息的智能采集體系模型。