Web環(huán)境下語義挖掘模型的構(gòu)建

劉愛琴，趙慧敏，尚 珊（山西大學(xué)經(jīng)濟(jì)與管理學(xué)院）

1 問題的提出

Web是一種將超文本、多媒體信息、HTTP集中在一起的能動(dòng)態(tài)交互的分布式環(huán)球資源信息網(wǎng)絡(luò)。Web信息以計(jì)算機(jī)可辨別的形式存儲在互聯(lián)網(wǎng)中某個(gè)節(jié)點(diǎn)上，而且能夠根據(jù)服務(wù)器發(fā)出的請求實(shí)現(xiàn)節(jié)點(diǎn)之間信息的傳遞。傳統(tǒng)的Web挖掘模型降低了Web挖掘獲取知識模式的工作效率，所獲取的數(shù)據(jù)信息是非結(jié)構(gòu)化甚至是無結(jié)構(gòu)的，很難保證信息的質(zhì)量，急需對傳統(tǒng)的Web挖掘模型進(jìn)行優(yōu)化，構(gòu)建一種新的Web挖掘模型，準(zhǔn)確又高效地對海量、繁瑣、異構(gòu)且廣泛的Web信息資源進(jìn)行組織。領(lǐng)域本體和語義Web相關(guān)技術(shù)與理論體系的出現(xiàn)為該探究提供了充分的技術(shù)支持和理論依托，促進(jìn)了這一愿望的實(shí)現(xiàn)。［1］

2 相關(guān)研究

2.1 語義Web的研究

語義Web是一種從語義層面理解詞語、概念以及它們之間邏輯關(guān)系的智能網(wǎng)絡(luò)，使人機(jī)交互成為可能。WWW之父TimBerners-Lee在20世紀(jì)90年代末期對語義Web的詮釋認(rèn)為，它實(shí)際上相當(dāng)于一種基于各種技術(shù)與知識表現(xiàn)的綜合。20世紀(jì)60年代末期，Collins、Quillian、Loftus等人開創(chuàng)了語義Web研究的先河。Simon、Schamk、Minsky等學(xué)者也不斷地提出一些理論上的研究成果。在我國，2002年語義Web技術(shù)被納入“國家高技術(shù)研究發(fā)展計(jì)劃”重點(diǎn)技術(shù)之列，得到了政府的大力支持和援助。隨著XML、RDF、Ontology等語義網(wǎng)關(guān)鍵技術(shù)的成熟，其在人工智能領(lǐng)域的應(yīng)用也更加普遍。具有代表性的人機(jī)互動(dòng)工具真正意義上實(shí)現(xiàn)了由計(jì)算機(jī)通過“智能代理”將人類從各種繁瑣的工作中解放出來。

2.2 面向Web的語義挖掘研究

澳大利亞Griffith大學(xué)開展的WebKB項(xiàng)目，借助WordNet設(shè)計(jì)了以本體論為主導(dǎo)的Web語義檢索系統(tǒng)，清除句子歧義、進(jìn)行詞匯拓展，提升用戶信息檢索的準(zhǔn)確度。［2］德國 Karlsruhe大學(xué)設(shè)計(jì)的 Onto-broker系統(tǒng)主要是使用語義恰當(dāng)?shù)臉?biāo)簽，使整個(gè)Web頁面有良好的結(jié)構(gòu)，Web頁面有含義，方便人機(jī)理解，從而實(shí)現(xiàn)用戶檢索信息的自動(dòng)推斷。基于語義Web技術(shù)和相關(guān)理論，Plumbaum提出了一種運(yùn)用JavaScript引擎跟蹤用戶與Web站點(diǎn)會話的新思路，用來挖掘高質(zhì)量的用戶信息。［3］LiYuefeng開發(fā)了一種綜合運(yùn)用語義Web本體映射技術(shù)和基于關(guān)聯(lián)規(guī)則的數(shù)據(jù)挖掘算法，改善Web挖掘中的語義歧義，提高挖掘效率的機(jī)制。［4］紀(jì)明奎與黃麗霞構(gòu)建了一個(gè)把語義Web作為核心的個(gè)性化信息檢索模型，能夠?yàn)橛脩籼峁┓献陨韨€(gè)性化信息需求的全方位資訊服務(wù)。［5］趙良和張?jiān)奇禾骄苛艘哉Z義層次為基礎(chǔ)的Web個(gè)性化資源推薦的方法，具體分析了確定Web頁面重要度的途徑，并詳細(xì)闡述了Web個(gè)性化資源推薦的過程。［6］蔡皎潔等學(xué)者提出對Web文本實(shí)行分詞與詞性標(biāo)注的基本思路和處理過程，并深入探究綜合運(yùn)用各種數(shù)據(jù)挖掘技術(shù)提供的算法和語義分析技術(shù)實(shí)現(xiàn)Web文本特征抽取的方法。［7］

面向Web的語義挖掘模型是將傳統(tǒng)的知識發(fā)現(xiàn)流程進(jìn)一步優(yōu)化的成果。經(jīng)過將Web頁面元素語義化處理使Web頁面有良好的內(nèi)容布局，頁面元素有含義，便于計(jì)算機(jī)更容易理解，極大地改善了最終獲取到的知識模式的質(zhì)量。本文借鑒以往相關(guān)研究的結(jié)果，著重強(qiáng)調(diào)了本體映射技術(shù)對于發(fā)現(xiàn)Web中特定學(xué)科領(lǐng)域概念間相似程度的關(guān)鍵性，以及知識模式的語義修正和擴(kuò)充對于提高知識模式質(zhì)量的重要性。通過將本體技術(shù)與各種數(shù)據(jù)挖掘工具提供的算法相結(jié)合構(gòu)建Web語義挖掘模型，解決Web環(huán)境下數(shù)據(jù)異構(gòu)問題，實(shí)現(xiàn)知識的互享和重用以及質(zhì)量的提升。

3 語義挖據(jù)模型

3.1 理論支撐

3.1.1 數(shù)據(jù)挖掘技術(shù)

數(shù)據(jù)挖掘是從數(shù)據(jù)集中識別并提煉隱藏在其中的、有效的及最終可理解的模式進(jìn)而形成高質(zhì)量語義知識模型的關(guān)鍵過程。它不是自動(dòng)完成的，需要依賴各種算法。數(shù)據(jù)挖掘需要有信息抽取、信息資源整合、數(shù)據(jù)預(yù)處理、數(shù)據(jù)形式轉(zhuǎn)換、挖掘過程實(shí)施、知識模式形成、模式評價(jià)等過程。在Web挖掘?qū)嵤╇A段使用決策樹方法，將Web資源有目的地分成Web文本數(shù)據(jù)、Web鏈接數(shù)據(jù)、Web使用數(shù)據(jù)，從中抽取一些有意義的、隱含的信息組合成網(wǎng)絡(luò)文件，為數(shù)據(jù)預(yù)處理環(huán)節(jié)提供數(shù)據(jù)源。神經(jīng)網(wǎng)絡(luò)算法將信息轉(zhuǎn)化具有適應(yīng)性的處理元素（神經(jīng)元）進(jìn)行邏輯推理，是一種模擬人腦思維進(jìn)行動(dòng)態(tài)信息處理的抽象算法，在解決數(shù)據(jù)挖據(jù)問題上非常適用，主要用于數(shù)據(jù)的分類、預(yù)測以及知識模式的識別等過程。遺傳算法作為一種通過模仿自然界中物種進(jìn)化的基本規(guī)律來實(shí)現(xiàn)任意搜尋最優(yōu)解的數(shù)學(xué)方法，它與BP神經(jīng)網(wǎng)絡(luò)算法正逐漸相互滲透和契合，通過建立兩者之間的聯(lián)系能夠從數(shù)據(jù)庫中抽取潛在有效的知識模式。關(guān)聯(lián)規(guī)則算法首先從原始數(shù)據(jù)集中尋找全部高頻項(xiàng)目組，之后根據(jù)已設(shè)定的支持度和置信度的最低臨界值，選擇合適的數(shù)理統(tǒng)計(jì)與多元分析工具給出的算法，探索各個(gè)高頻項(xiàng)目組之間的關(guān)聯(lián)規(guī)則?？傊?，在當(dāng)今信息爆炸的時(shí)代，各種數(shù)據(jù)挖掘技術(shù)對于從海量的信息中發(fā)掘有效的信息資源倉庫有很明顯的促進(jìn)作用。

3.1.2 領(lǐng)域本體構(gòu)建

領(lǐng)域本體是語義挖掘過程中所獲取的知識模式準(zhǔn)確度的一個(gè)參照，對實(shí)現(xiàn)數(shù)字內(nèi)容有效組織、語義檢索和語義導(dǎo)航等具有重要作用。因此，為了提高語義挖掘獲取知識模式的準(zhǔn)確度和有效性，首先要構(gòu)建領(lǐng)域本體。［8］構(gòu)建領(lǐng)域本體的途徑比較多，現(xiàn)在比較流行的是通過借鑒Gruber提出的本體構(gòu)造規(guī)則以及斯坦福大學(xué)的NatalyaFNoy和DeborahLMcGuinness提出的建議。領(lǐng)域本體的構(gòu)建過程包括：① 確定本體的領(lǐng)域和范圍，為了盡可能地降低本體構(gòu)建的成本，要優(yōu)先考慮重復(fù)使用已存在的本體；② 列舉出領(lǐng)域中的關(guān)鍵術(shù)語、概念，并對領(lǐng)域中的類、類的層次結(jié)構(gòu)以及類的屬性進(jìn)行定義，這部分是對概念模型的描述，需要利用OWL描述語言并借助Protégé＋OWL插件的本體開發(fā)工具來完成；③ 創(chuàng)建實(shí)例；④ 檢驗(yàn)和評價(jià)所構(gòu)建的本體。

3.1.3 本體映射

本體映射是基于已有本體的一種本體學(xué)習(xí)技術(shù)，即對已經(jīng)存在的本體進(jìn)行集合、提取、刪減等操作構(gòu)建出一個(gè)新本體，或?qū)υ瓉肀倔w進(jìn)行優(yōu)化。［9］本體構(gòu)建所具備的主觀性和分散性特征，造成了在同一領(lǐng)域內(nèi)保存有多數(shù)相互關(guān)聯(lián)但又不完全一樣本體的現(xiàn)象。由于這些本體間在語言層次、模型層次上存在不匹配的本體異構(gòu)現(xiàn)象，從而造成了關(guān)聯(lián)數(shù)據(jù)信息交互的障礙，引起相互關(guān)聯(lián)的數(shù)據(jù)集在本體層上關(guān)聯(lián)度降低甚至缺乏。本體映射的核心是尋找不同本體中元素的對應(yīng)關(guān)系，從而實(shí)現(xiàn)不同本體之間的互相操作，形式上比較靈活，能更好地適應(yīng)動(dòng)態(tài)交互的、跨平臺的、分布式的環(huán)境。本文借鑒領(lǐng)域本體概念并結(jié)合各種數(shù)據(jù)挖掘技術(shù)，構(gòu)建了Web環(huán)境下基于本體映射的語義挖掘模型。在整個(gè)本體映射階段：① 標(biāo)準(zhǔn)化所有目標(biāo)本體，即將所有目標(biāo)本體用同一形式來表示；② 解析本體的文檔，從本體中提取出核心特征用于計(jì)算概念相似度；③ 開始相似性值的計(jì)算，并將計(jì)算得到的每對相似性值組合在一起形成一個(gè)多維的概念相似度矩陣；④ 依據(jù)相似度矩陣發(fā)現(xiàn)對應(yīng)的映射規(guī)則和元素間的對應(yīng)關(guān)系，一般包含進(jìn)行映射的前提和對應(yīng)的轉(zhuǎn)化法則。

3.2 語義挖掘模型設(shè)計(jì)

本文構(gòu)建的Web環(huán)境下語義挖掘模型的運(yùn)行機(jī)理是先實(shí)施Web數(shù)據(jù)資源的挖掘，然后利用語義Web本體映射技術(shù)為語義修正和擴(kuò)充提供指導(dǎo)，以便獲取基于語義的高質(zhì)量的知識規(guī)則（見圖1）。具體過程是，先對Web數(shù)據(jù)源進(jìn)行處理，通過各種數(shù)據(jù)挖掘工具給出的算法將Web數(shù)據(jù)源有目的地分成Web文本數(shù)據(jù)、Web鏈接數(shù)據(jù)、Web使用數(shù)據(jù)，然后分別從中抽取一些有價(jià)值的、潛在的信息組合成網(wǎng)絡(luò)文件。由于網(wǎng)絡(luò)文件中除了含有結(jié)構(gòu)化數(shù)據(jù)外，還含有大量半結(jié)構(gòu)化乃至非結(jié)構(gòu)化數(shù)據(jù)，所以需要對這些半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)實(shí)施預(yù)處理操作，以完成非結(jié)構(gòu)化數(shù)據(jù)的刪除以及數(shù)據(jù)形式由半結(jié)構(gòu)化向結(jié)構(gòu)化的變換。目標(biāo)數(shù)據(jù)庫是對經(jīng)過上述過程提取到的高質(zhì)量的信息資源的集成。Web挖掘主要是借助各種數(shù)據(jù)分析工具提供的算法，從目標(biāo)數(shù)據(jù)庫中獲取隱藏在其中的知識模式的過程。在檢驗(yàn)和評價(jià)知識模式階段，首先結(jié)合領(lǐng)域本體的概念體系及其領(lǐng)域?qū)傩裕l(fā)現(xiàn)知識模式中的概念簇和相關(guān)實(shí)例，計(jì)算知識模式中每對概念的相似性值，組合成相似度矩陣，進(jìn)而產(chǎn)生相應(yīng)的映射規(guī)則并發(fā)現(xiàn)不同本體間元素的對應(yīng)關(guān)系。然后將獲取的知識模式和領(lǐng)域本體進(jìn)行對照，并參照領(lǐng)域本體對知識模式進(jìn)行語義修正和擴(kuò)充，最終形成語義知識模型。這樣不僅強(qiáng)調(diào)本體映射技術(shù)對于提升Web數(shù)據(jù)挖掘最終獲取的知識模式的質(zhì)量具有重要的作用，還創(chuàng)新性地將本體映射技術(shù)與數(shù)據(jù)挖掘算法相結(jié)合，發(fā)現(xiàn)知識模式中概念間的關(guān)系，提高知識模式的質(zhì)量。

3.2.1 數(shù)據(jù)預(yù)處理

網(wǎng)絡(luò)文件中的數(shù)據(jù)作為形成知識模式的數(shù)據(jù)源，數(shù)據(jù)預(yù)處理的效率直接影響到最終獲取的知識模式的質(zhì)量。其大致包括以下四個(gè)主要環(huán)節(jié)。

圖1 語義挖掘模型

（1）數(shù)據(jù)清理。數(shù)據(jù)清理作為數(shù)據(jù)預(yù)處理的首要任務(wù)，一般包含偏差檢驗(yàn)及數(shù)據(jù)形式轉(zhuǎn)換兩個(gè)步驟。其基本原理是借助相關(guān)技術(shù)，如數(shù)理統(tǒng)計(jì)方法、數(shù)據(jù)挖掘技術(shù)、預(yù)設(shè)模式規(guī)則法等，清除與挖掘過程無關(guān)或冗余的日志項(xiàng)，刪除重復(fù)記錄，糾正錯(cuò)誤請求等。在數(shù)據(jù)清理環(huán)節(jié)要注意以下幾個(gè)因素：區(qū)分不同用戶需要的信息；通過哪些信息有效識別用戶會話；與知識模式表達(dá)及解釋的數(shù)據(jù)項(xiàng)有哪些；如何篩選通過用戶會話識別的WebRoot瀏覽記錄。通常HTML頁面中與Web挖掘無關(guān)的日志記錄、WebRood的歷史瀏覽日志記錄以及有誤的訪問記錄需要清洗。HTML頁面中與Web挖掘無關(guān)的記錄主要包括一些多媒體文件、文本文件、CSS樣式表等。其中多媒體文件主要是HTML頁面中的圖像（*.gif、*.jpeg、*.jpg）、聲音（*.mp3、*.midi、*.cd）、動(dòng)畫等被引用的資源。在進(jìn)行數(shù)據(jù)清洗時(shí)，這些無關(guān)的記錄可以通過查看URL的后綴來清除，如，所有后綴名為*.gif、*.jpeg、*.jpg、*.mp3、*.midi、*.cd、*.avi、*.swf、*.js、*.css的文件都要被清除。WebRood歷史瀏覽日志記錄主要通過檢查請求頁面的URL后綴來識別，清除所有后綴為Robots.txt的文件。有誤的訪問記錄中通常含有“Error”或“Failure”的狀態(tài)碼，服務(wù)器可以通過尋找Web日志中的狀態(tài)碼來清理有誤的訪問記錄。

（2）用戶識別。用戶識別是從瀏覽器歷史訪問記錄中區(qū)別出對應(yīng)的用戶，建立用戶與所瀏覽頁面之間聯(lián)系的過程。數(shù)據(jù)預(yù)處理階段比較常用的用戶識別方法是通過解析Web日志中的IP地址和UserAgent類型等信息，來區(qū)別同一Web站點(diǎn)上的用戶。一般采用以下規(guī)則識別用戶：① 一個(gè)IP地址只能唯一標(biāo)識一個(gè)用戶，也就是說，IP地址不同代表的用戶也不同；②如果IP地址一致，但是UserAgent信息（如操作系統(tǒng)或?yàn)g覽器類型）只要有一個(gè)存在差異，就可以假定不是同一用戶在訪問該Web站點(diǎn)；③ 假如IP地址與UserAgent信息全部一致，則需要確定每個(gè)被請求的頁面與歷史訪問頁面間是否存在直接的鏈接，如果不存在，則假定同時(shí)有多個(gè)用戶在訪問該Web站點(diǎn)，如果存在，就默認(rèn)被訪問的Web站點(diǎn)上只有一個(gè)用戶。

（3）會話識別。用戶會話是指用戶使用特別指定的IP地址在一個(gè)具體的時(shí)間范圍內(nèi)訪問一個(gè)站點(diǎn)的一連串活動(dòng)。會話識別主要指把相同用戶在一次瀏覽過程中的連續(xù)請求聚類形成有價(jià)值的Web頁面序列。用戶會話識別常用以下規(guī)則：① 新用戶和新會話同時(shí)產(chǎn)生；② 在某個(gè)用戶會話中，若出現(xiàn)引用頁面為空或者不存在的情況，則假設(shè)該用戶又進(jìn)行了新的會話；③ 若兩個(gè)被請求的頁面在時(shí)間上的跨度超出規(guī)定的上限（一般為30min），則假設(shè)新的會話又啟動(dòng)了。

（4）路徑補(bǔ)充。用戶的歷史瀏覽記錄都被存儲在本地緩存存儲區(qū)中，Web服務(wù)器在發(fā)送訪問請求之前會檢驗(yàn)本地緩存區(qū)中是否存在和被訪問的URL相匹配的URL。假如存在，那么訪問請求不再被發(fā)送，直接從本地緩存中抽取目標(biāo)頁面提供給用戶。通常，一些點(diǎn)擊率高的信息都會被存儲在本地緩存區(qū)中。當(dāng)HTML頁面中Meta標(biāo)志設(shè)定過期時(shí)，本地緩存就會失效，很多重要的訪問記錄被遺失。路徑補(bǔ)充是用來填充遺失的頁面引用，改善能夠被區(qū)別出的用戶會話，正確地描述用戶的訪問請求。假如用戶目前請求頁面與最后一次請求頁面之間存在直接鏈接，則說明用戶也許利用“Back”按鈕進(jìn)行后退來緩存網(wǎng)頁讀?。环粗驼J(rèn)為本次用戶會話沒有調(diào)取本地緩存中的資源，且歷史請求頁面中，時(shí)間上最接近現(xiàn)時(shí)被請求頁的頁面即為現(xiàn)時(shí)訪問請求的起源。

3.2.2 概念相似度計(jì)算

概念相似度作為領(lǐng)域本體中概念相似性的度量標(biāo)準(zhǔn)，能夠表示概念間語義路徑距離的遠(yuǎn)近程度。其值的獲得是整個(gè)本體映射階段非常關(guān)鍵的一步，影響著映射規(guī)則的產(chǎn)生和元素間關(guān)系的發(fā)現(xiàn)。目前，要想獲得領(lǐng)域本體概念相似度矩陣，首先要算出領(lǐng)域本體中兩兩概念之間體現(xiàn)出的相似性的值。計(jì)算之前，要判斷這對概念是不是同義，若同義，就可以判定它們?nèi)肯嗤?，相似性值記?。否則，得到該相似性值需要經(jīng)歷兩個(gè)階段：語義初始相似度階段和非上下位關(guān)系相似度階段。語義初始相似性值是根據(jù)每對概念之間的語義路徑距離求得的，還可以認(rèn)為是每對概念語義相似性的約定值，通常用ISim（Ci，Cj）表示概念的語義初始相似度。非上下位關(guān)系相似度可以理解為是基于語義初始相似度，經(jīng)過分析每對概念的非上下位關(guān)系得到的，用Simfss（Ci，Cj）表示。計(jì)算非上下位相似性值之前，需要判斷概念的關(guān)系類型是概念型還是Datatype型：Datatype型的關(guān)系與數(shù)值型數(shù)據(jù)對應(yīng)，與概念無關(guān)；概念型的關(guān)系與概念對應(yīng)，與數(shù)值型數(shù)據(jù)無關(guān)。通過對以上兩種相似性值分別分配權(quán)重，算出它們的加權(quán)和即為每對概念的實(shí)際相似度Sim（Ci，Cj）的值。

定義1：如果領(lǐng)域本體中一對概念C1與C2同義，則它們的實(shí)際相似度Sim（C1，C2）=1。

定義2：一對不是同義的概念Ci和Cj之間上下位關(guān)系表現(xiàn)出的語義初始相似度為

其中，ISim（C1，C2）表示概念C1和C2的語義初始相似度，dl（C1）和 dl（C2）分別代表 C1和C2所處的層次，Dist（C1，C2）是概念C1和C2的語義路徑距離，maxdl是概念在本體中所處的最高層次。α是參數(shù)，可以改變，由領(lǐng)域?qū)＜掖_定，一般≥0。此處，為了方便，將計(jì)算結(jié)果歸一化，需要乘以該參數(shù)。

定義3：若Rdt1和Rdt2是一對Datatype型概念關(guān)系的關(guān)系名，則它們的相似度是

定義4：一對不是同義的概念Ci和Cj之間非上下位關(guān)系表現(xiàn)出的相似度Simfss（Ci，Cj）為

圖2 算法流程

定義5：領(lǐng)域本體中，一對不是同義的概念Ci，Cj的實(shí)際相似度為

其中β、γ分別表示分配給兩種相似度的權(quán)重（一般假設(shè) β=γ=0.5），0＜β＜1，0＜γ＜1，β+γ=1，一般β≥γ。

3.2.3 知識模式的語義修正和擴(kuò)充

知識模式的語義修正和擴(kuò)充以概念相似度算法為基礎(chǔ)，通過知識模式進(jìn)行本體推理，主動(dòng)尋找知識模式中與領(lǐng)域本體概念不一致的詞匯，依據(jù)相應(yīng)的規(guī)則刪除詞匯間關(guān)聯(lián)度相對低的知識模式，并對詞匯進(jìn)行概念的全方位邏輯推理擴(kuò)展。進(jìn)行知識模式的語義修正和擴(kuò)充能夠提高特定學(xué)科領(lǐng)域的核心知識體系所體現(xiàn)的概念間的關(guān)聯(lián)度，從而使數(shù)據(jù)挖掘最后提取到的知識模式更加準(zhǔn)確、有用和全面。知識模式的語義修正和擴(kuò)充的大致過程如下。

（1）使用概念相似度計(jì)算公式求得知識模式各個(gè)詞匯節(jié)點(diǎn)之間的相似性值A(chǔ)。

（2）依據(jù)領(lǐng)域本體概念體系，使用概念相似度計(jì)算公式交叉求解知識模式中具有上下位關(guān)系的詞匯節(jié)點(diǎn)間的概念相似性值B。如果B≥A，就把變換過的概念模式集合保存到知識模式庫中。

（3）依據(jù)領(lǐng)域本體概念體系，使用概念相似度計(jì)算公式交叉求解知識模式中具有非上下位關(guān)系的詞匯節(jié)點(diǎn)間的概念相似性值C，如果C≥A，就把變換過的概念模式集合保存到知識模式庫中。