信息挖掘在航空探測(cè)數(shù)據(jù)處理方面的應(yīng)用

陳瑋麗 張文建

華北電力大學(xué) 北京 102206

0 前言

航空物探在地質(zhì)研究、生態(tài)治理、短缺資源的探測(cè)，有著廣泛的應(yīng)用。目前主流的航天探測(cè)技術(shù)主要有四種：航空磁測(cè)技術(shù)、航空電磁測(cè)量技術(shù)、航空能譜測(cè)量技術(shù)、航空重力測(cè)量技術(shù)。

1 數(shù)據(jù)挖掘技術(shù)概況

1.1 數(shù)據(jù)挖掘技術(shù)現(xiàn)狀

重要信息的挖掘方法由以下3個(gè)環(huán)節(jié)構(gòu)成：(1)資料內(nèi)容的搜集，(2)數(shù)據(jù)信息的挖掘發(fā)現(xiàn)，(3)數(shù)據(jù)挖掘的結(jié)果展示，數(shù)據(jù)挖掘可以與用戶智能交互，數(shù)據(jù)挖掘主要是根據(jù)分析每個(gè)重要信息，從廣泛的數(shù)據(jù)中尋找其中的規(guī)律的技術(shù)，資料的搜集是從與其相關(guān)聯(lián)的數(shù)據(jù)源中篩選有價(jià)值的數(shù)據(jù)并處理成用于數(shù)據(jù)挖掘的數(shù)據(jù)集；數(shù)據(jù)信息的挖掘發(fā)現(xiàn)是用某種特定的算法，將數(shù)據(jù)集所含的規(guī)律找出來(lái)；數(shù)據(jù)的規(guī)律表示是以用戶可接受的方法將找出的規(guī)律呈現(xiàn)出來(lái)，數(shù)據(jù)挖掘是一個(gè)多學(xué)科的交叉領(lǐng)域，這些學(xué)科包括數(shù)據(jù)庫(kù)技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、模式識(shí)別、信息檢索、神經(jīng)網(wǎng)絡(luò)、基于知識(shí)的系統(tǒng)、人工智能、高性能計(jì)算和數(shù)據(jù)可視化等，數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、和演變分析等。

典型的數(shù)據(jù)挖掘如圖1所示。

圖1 典型的數(shù)據(jù)挖掘

1.2 數(shù)據(jù)挖掘分析技術(shù)的應(yīng)用

數(shù)據(jù)挖掘是一門交叉學(xué)科，隨著數(shù)據(jù)庫(kù)和互聯(lián)網(wǎng)路的發(fā)展，在金融、通信、等許多領(lǐng)域得到廣泛的應(yīng)用，其應(yīng)用領(lǐng)域在不斷拓展。

幾個(gè)典型的應(yīng)用，如(1)預(yù)測(cè)功能：通過(guò)對(duì)大量資料中走向的分析，對(duì)將要可能發(fā)生的事件進(jìn)行預(yù)測(cè)對(duì)客戶群體進(jìn)行科學(xué)準(zhǔn)確的預(yù)測(cè)。(2)客戶群體價(jià)值判斷作用：根據(jù)對(duì)客戶的價(jià)值判斷，發(fā)現(xiàn)單位的優(yōu)質(zhì)客源，提高經(jīng)濟(jì)運(yùn)行效率，降低成本。(3)智能跟蹤：通過(guò)對(duì)已有的數(shù)據(jù)資料進(jìn)行研究判斷，找出其中的異常點(diǎn)，對(duì)可能發(fā)生的情況進(jìn)行預(yù)測(cè)。(4)復(fù)合型營(yíng)銷：根據(jù)對(duì)資源和服務(wù)結(jié)合的營(yíng)銷策略的分析，準(zhǔn)確定位貨物間的組合銷售方案，設(shè)計(jì)復(fù)合銷售策略。例如，在零售業(yè)進(jìn)行消費(fèi)者消費(fèi)情況分析，根據(jù)結(jié)果對(duì)貨架重新擺放，從而提高銷售量等。(5)針對(duì)性服務(wù)：對(duì)個(gè)人的消費(fèi)案例進(jìn)行分析，發(fā)現(xiàn)其特定的消費(fèi)習(xí)慣，可有針對(duì)性地設(shè)計(jì)方案銷售。(6)數(shù)據(jù)庫(kù)的直接銷售：一般來(lái)說(shuō)，向客戶隨機(jī)發(fā)出大量直銷郵件，可能僅有不到 1%的反饋信息。但是依據(jù)小規(guī)模郵件直銷的結(jié)果內(nèi)容，數(shù)據(jù)挖掘能夠建立一個(gè)科學(xué)的方案，找出其中可能做出響應(yīng)的個(gè)人，將響應(yīng)率提高到10%，甚至更高從而削減了成本，提高了銷量。(7)提升工作效率：通過(guò)對(duì)日常工作數(shù)據(jù)判斷，找到優(yōu)化解決方案，提高效率。(8)創(chuàng)新探索：通過(guò)對(duì)豐富的無(wú)規(guī)則的科學(xué)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)其中規(guī)律，發(fā)現(xiàn)未知現(xiàn)象。(9)對(duì)象的劃分例如，銀行業(yè)將客戶分成不同的群體，向其提供不同的個(gè)性化投資產(chǎn)品。

綜上所述，數(shù)據(jù)挖掘能夠高效的處理分析復(fù)雜數(shù)據(jù)，并能夠科學(xué)的實(shí)現(xiàn)智能交互，能夠很好的解決目前航空航天資料內(nèi)容多、查詢難度大、分析困難、利用率低的難題。

2 數(shù)據(jù)挖掘技術(shù)引入航空物探數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)思路

2.1 航空物探數(shù)據(jù)庫(kù)系統(tǒng)概況

航空物探數(shù)據(jù)庫(kù)系統(tǒng)使用到的主要工具見(jiàn)表1。

表1 開(kāi)發(fā)和設(shè)計(jì)工具

各個(gè)部分的功能模塊見(jiàn)表2。

表2 功能模塊

以上內(nèi)容為系統(tǒng)開(kāi)發(fā)的工具組成部分。

目前航空物探的系統(tǒng)能夠?qū)崿F(xiàn)航空物探數(shù)據(jù)的數(shù)據(jù)入庫(kù)存儲(chǔ)、實(shí)時(shí)檢查和查詢?nèi)蠊δ堋５瞧洳樵兒痛鎯?chǔ)效率相對(duì)較低。比如，系統(tǒng)對(duì)大字段數(shù)據(jù)的讀寫速度慢。當(dāng)一次處理的數(shù)據(jù)量達(dá)到上百兆時(shí)，系統(tǒng)處理時(shí)間達(dá)數(shù)分鐘。

2.2 數(shù)據(jù)挖掘在數(shù)據(jù)庫(kù)中的引入

2.2.1 數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘方法中受到認(rèn)可的方法包括決策樹(shù)算法、傳算法、聚類算法、關(guān)聯(lián)規(guī)則等。

聚類算法是一種功能強(qiáng)大的資料管理算法，這種算法具有可擴(kuò)展項(xiàng)能、分析有損數(shù)據(jù)、可處理的維度數(shù)更高、對(duì)于資料數(shù)據(jù)的記錄順序不敏感、能夠被解釋、兼顧約束條件、高智能交互特點(diǎn)，充分利用數(shù)據(jù)之間的關(guān)聯(lián)度進(jìn)行分類處理，實(shí)現(xiàn)良好的交互功能，聚類算法主要包括基于密度的方法、層次聚類算法、分割聚類算法、基于網(wǎng)格的方法等等。

其他算法如下數(shù)據(jù)挖掘算法匯總表3。

表3 數(shù)據(jù)挖掘算法匯總

2.2.2 數(shù)據(jù)查詢推薦系統(tǒng)的建立

航空物探數(shù)據(jù)查詢推薦系統(tǒng)就是通過(guò)分析用戶查詢的資料得出學(xué)習(xí)其中經(jīng)常被查詢和關(guān)注的內(nèi)容并進(jìn)行記錄，為每個(gè)用戶建立一個(gè)檔案資料庫(kù)，在以后的查詢過(guò)程中為其提供智能服務(wù)，向其推薦其可能關(guān)注或感興趣的信息的系統(tǒng)。根據(jù)實(shí)驗(yàn)分析得出次查詢推薦系統(tǒng)能夠很好地向用戶推薦所需信息數(shù)據(jù)，在短時(shí)間內(nèi)解決資料查詢問(wèn)題，幫助用戶方便準(zhǔn)確查詢到所要查詢的信息，提高數(shù)據(jù)查詢效率，降低查詢時(shí)間。

2.3 數(shù)據(jù)挖掘算法在查詢系統(tǒng)中的應(yīng)用

由數(shù)據(jù)挖掘算法匯總表 3，可清晰看出，各種算法都有其優(yōu)缺點(diǎn)，結(jié)合算法自身特點(diǎn)及資料的查詢的實(shí)際需求，本方案數(shù)據(jù)查詢智能交互系統(tǒng)的設(shè)計(jì)思路將主要引入數(shù)據(jù)信息挖掘中的數(shù)據(jù)預(yù)處理技術(shù)，關(guān)聯(lián)規(guī)則挖掘，分類分析，聚類分析等關(guān)鍵技術(shù)算法，本方案重點(diǎn)研究數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則技術(shù)和聚類分析技術(shù)在的應(yīng)用。

2.3.1 數(shù)據(jù)中挖掘關(guān)聯(lián)的規(guī)則

關(guān)聯(lián)規(guī)則在本系統(tǒng)中的應(yīng)用：(1)充分利用挖掘數(shù)據(jù)間的相關(guān)性，同時(shí)結(jié)合用戶查詢的歷史記錄，向用戶推薦相內(nèi)容，提高了信息的使用效率，即促進(jìn)信息數(shù)據(jù)間的關(guān)聯(lián)；(2)組織相關(guān)數(shù)據(jù)進(jìn)行搭配；(3)根據(jù)用戶的查詢模式及查詢的歷史記錄將用戶進(jìn)行合理智能劃分。從而動(dòng)態(tài)調(diào)整數(shù)據(jù)鏈接，給各類用戶提供更為滿意快捷的選擇，實(shí)現(xiàn)了數(shù)據(jù)人性化查詢交互。

下面可以根據(jù)一個(gè)3個(gè)環(huán)節(jié)對(duì)此問(wèn)題進(jìn)行分析介紹：

第1個(gè)環(huán)節(jié)：在進(jìn)行數(shù)據(jù)查詢上，用戶想查詢航空物探電磁測(cè)量技術(shù)。系統(tǒng)可以根據(jù)對(duì)關(guān)聯(lián)規(guī)則的挖掘結(jié)果電磁測(cè)量技術(shù)和重力測(cè)量技術(shù)放到一個(gè)列表，向客戶推薦，提高數(shù)據(jù)的利用效率。根據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)挖掘得到的信息：關(guān)注電磁測(cè)量技術(shù)用戶有51%關(guān)注重力測(cè)量技術(shù)。

經(jīng)調(diào)查許多用戶都會(huì)受到這種導(dǎo)向的影響，這樣就大大提升了資源的使用效率及用戶的搜索難度。

第2個(gè)環(huán)節(jié)：更進(jìn)一步分析，根據(jù)對(duì)若干個(gè)例1中關(guān)聯(lián)規(guī)則挖掘。這樣可增加用戶對(duì)于此類信息的興趣，幫助用戶理解數(shù)據(jù)。

第3個(gè)環(huán)節(jié)：為查詢的用戶智能提供N種的數(shù)據(jù)相關(guān)。第一步：當(dāng)用戶使用本系統(tǒng)時(shí)進(jìn)行實(shí)名登記注冊(cè)，其每次進(jìn)行數(shù)據(jù)查詢就會(huì)產(chǎn)生一系列數(shù)據(jù)記錄，根據(jù)該歷史查詢數(shù)據(jù)記錄，根據(jù)關(guān)聯(lián)規(guī)則算法從Database中找出所有滿足最小支持度threshold和最小置信度threshold的關(guān)聯(lián)規(guī)則，智能劃分出用戶尚未查詢但可能感興趣的數(shù)據(jù)內(nèi)容的信息，根據(jù)概率中置信度算法找出其最可能感興趣的對(duì)信息內(nèi)容題目進(jìn)行整合，向用戶智能提供N種最可能感興趣查詢的。

2.3.2 聚類分析的引入

對(duì)用戶的查詢消息記錄進(jìn)行聚類計(jì)算，將具有相似查詢習(xí)慣的用戶劃分為一類，將具有最相關(guān)查詢記錄的用戶劃歸到同一個(gè)類中，根據(jù)同一個(gè)類中用戶的信息內(nèi)容向其更好更準(zhǔn)確到位地推薦要查詢的信息內(nèi)容，也可動(dòng)態(tài)地進(jìn)行信息列表的調(diào)整，從而提供更高效的服務(wù)，對(duì)于數(shù)據(jù)資料的管理人員，可根據(jù)不同簇中用戶的特征，制作不同的信息查詢列表，比如：消費(fèi)者M(jìn)去網(wǎng)上購(gòu)物淘寶，購(gòu)買家具，買了床和床墊兩種商品，同時(shí)可能還會(huì)瀏覽一些家用電器等日常生活用品，當(dāng)消費(fèi)者 M再次進(jìn)入此查詢系統(tǒng)時(shí)，系統(tǒng)就會(huì)通過(guò) M的查詢歷史記錄在頁(yè)面下方提示其可能感興趣的信息，這樣便于用戶查詢，縮短了查詢時(shí)間。同時(shí)系統(tǒng)可以根據(jù)用戶的查詢記錄將其查詢習(xí)慣進(jìn)行歸類劃分成簇。

3 總結(jié)

目前數(shù)據(jù)挖掘技術(shù)在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用較為廣泛和成熟，如網(wǎng)上購(gòu)物等等，其良好的使用效果得到業(yè)內(nèi)人士越來(lái)越多的重視。

通過(guò)將數(shù)據(jù)挖掘算法，對(duì)客戶每次查詢進(jìn)行記錄，根據(jù)記錄可以分析出對(duì)其有價(jià)值的部分，當(dāng)其登錄時(shí)會(huì)自動(dòng)有列表顯示其可能感興趣的信息列表，進(jìn)一步大大縮短了數(shù)據(jù)查詢的時(shí)間，顯著提高了資料的使用效率。實(shí)現(xiàn)了數(shù)據(jù)在條件下的資料查詢的簡(jiǎn)單化、快捷化、人性化的處理。

隨著信息量的逐年不斷增加，數(shù)據(jù)挖掘技術(shù)和其算法必然會(huì)得到不斷的拓展和完善，將數(shù)據(jù)挖掘技術(shù)引入到航空物探資料管理查詢當(dāng)中具有良好的前瞻性和實(shí)用性。隨著技術(shù)的不斷完善，定會(huì)更好的服務(wù)航空物探事業(yè)。

[1]萬(wàn)建華,熊盛青,范正國(guó).西方國(guó)家航空物探技術(shù)的若干進(jìn)展[J].物探與化探.2000.

[2]盧俊峰.野外航空物探資料預(yù)處理問(wèn)題的討論[J].地質(zhì)找礦論叢.2003.

[3].薛典軍.航空物探信息服務(wù)系統(tǒng)需求規(guī)格定義.中國(guó)國(guó)土資源部航空物探遙感中心.2003.

[4]韓家煒,堪博.范明,孟小峰,譯.數(shù)據(jù)挖掘:概念與技術(shù)[M].(2 版).北京:機(jī)械工業(yè)出版社.2007.

[5][美]Charles Petzold.C#Windows程序設(shè)計(jì)(M).北京大學(xué)出版社.2002.

[6]鄒志文,朱金偉.數(shù)據(jù)挖掘算法研究與綜述[J].計(jì)算機(jī)工程與設(shè)計(jì).2005.

[7]薛潔,劉希玉.數(shù)據(jù)挖掘技術(shù)與網(wǎng)上購(gòu)物推薦系統(tǒng)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用.2011.