數(shù)據(jù)挖掘技術(shù)及其在巖土工程中研究進展

張德才

數(shù)據(jù)挖掘的目的是把人工智能、機器學習與數(shù)據(jù)庫等技術(shù)結(jié)合起來,由計算機自動從已有數(shù)據(jù)(數(shù)據(jù)庫或數(shù)據(jù)倉庫)中發(fā)現(xiàn)以前未知的,具有潛在應用價值的信息或模式,解決數(shù)據(jù)量很大而知識貧乏的矛盾。到目前為止,已經(jīng)形成了較完整的數(shù)據(jù)挖掘理論和方法體系,并且出現(xiàn)了許多實用的數(shù)據(jù)挖掘工具,廣泛應用于商業(yè)、保險、醫(yī)療、制造業(yè)、工程和科學等領(lǐng)域,產(chǎn)生了巨大的效益。

數(shù)據(jù)挖掘技術(shù)目前還處在早期的研究階段,但發(fā)展迅速,表現(xiàn)出極強的發(fā)展?jié)摿蛻们熬?。本文通過介紹數(shù)據(jù)挖掘技術(shù)的基本概念,數(shù)據(jù)挖掘方法,總結(jié)數(shù)據(jù)挖掘技術(shù)研究現(xiàn)狀及其在巖土工程應用中研究進展,對數(shù)據(jù)挖掘技術(shù)應用現(xiàn)狀作出評價,并對數(shù)據(jù)挖掘技術(shù)在巖土工程中的應用給出一定評價。

1 數(shù)據(jù)挖掘基本知識

1)數(shù)據(jù)挖掘的定義。數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中,提取隱含在其中的、人們事先未知的,但又是潛在的、有用的信息和知識的過程。2)數(shù)據(jù)挖掘的過程。數(shù)據(jù)挖掘是按照既定的目標,對大量的數(shù)據(jù)進行探索和分析,揭示隱藏的、未知的或驗證已知的規(guī)律性,且進一步將其模型化的數(shù)據(jù)處理方法。其處理過程和步驟主要有數(shù)據(jù)準備階段、數(shù)據(jù)挖掘階段以及結(jié)果解釋和評價階段。3)數(shù)據(jù)挖掘的主要技術(shù)方法。分類:是指將數(shù)據(jù)映射到預先定義好的群組或類。在分析測試數(shù)據(jù)之前,類別就已經(jīng)被確定了,所以分類通常稱作有指導的學習。聚類:是指從數(shù)據(jù)集中找出相似的數(shù)據(jù)并組成不同的組。除了類別沒有預先定義而由數(shù)據(jù)決定之外,聚類與分類很相似。聚類被稱為無指導的學習或分割。關(guān)聯(lián)規(guī)則:是指揭示數(shù)據(jù)之間相互關(guān)系的一項數(shù)據(jù)挖掘任務,而這種關(guān)系在數(shù)據(jù)中沒有直接表示。時間序列分析:分析數(shù)據(jù)的屬性值隨時間不斷變化的規(guī)律。主要包括序列的相似性分析、趨勢預測和異常處理幾個方面。序列模式發(fā)現(xiàn):用于確定數(shù)據(jù)之間與時間相關(guān)的序列模式。

2 數(shù)據(jù)挖掘技術(shù)研究進展

1989年8月,在美國底特律市召開的第一屆國際聯(lián)合人工智能學術(shù)會議上正式形成了知識發(fā)現(xiàn)的概念,人們終于認識到,很多知識原來就隱藏在大量的數(shù)據(jù)之中。從數(shù)據(jù)庫中通過數(shù)據(jù)庫管理系統(tǒng)和應用程序可以獲得信息,而從數(shù)據(jù)庫中通過一個知識發(fā)現(xiàn)的工具應當可以獲得知識,這些知識可以自動構(gòu)成計算機專家系統(tǒng)的知識庫,引起了人們對從數(shù)據(jù)庫中發(fā)現(xiàn)知識的極大興趣。從1995年起,美國人工智能協(xié)會每年舉行一次知識發(fā)現(xiàn)(Knowledge Discovery in Database,KDD)國際學術(shù)會議,把對數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的研究推向了高潮。1997年,第一屆亞太地區(qū)數(shù)據(jù)挖掘會議召開(Pacific-Asia Conference on Knowledge Discovery and Data Mining,PAKDD),以后也是每年一次。歐洲的第一屆數(shù)據(jù)挖掘討論會(European Symposium on Principles of Data Mining and Knowledge Discovery,PKDD)也于1997年召開。

與國外相比,國內(nèi)對數(shù)據(jù)挖掘的研究稍晚。1993年國家自然科學基金開始對數(shù)據(jù)挖掘進行研究,1999年在北京舉行了第三屆亞太地區(qū)KDD國際會議。國內(nèi)從事數(shù)據(jù)挖掘研究的人員主要在大學,也有部分在研究所或公司。國內(nèi)許多科研單位和高等院校競相開展數(shù)據(jù)挖掘的基礎(chǔ)理論及其應用研究,這些單位包括清華大學、中科院計算技術(shù)研究所、空軍第三研究所、海軍裝備論證中心等。國內(nèi)在數(shù)據(jù)挖掘研究上取得了豐碩的成果。

對數(shù)據(jù)挖掘的基礎(chǔ)理論研究大多側(cè)重算法的研究,應用系統(tǒng)方面則相應出臺了許多商業(yè)數(shù)據(jù)挖掘工具。數(shù)據(jù)挖掘技術(shù)的應用主要體現(xiàn)在三大方面:商業(yè)應用、科學研究和Web挖掘。最早應用于商業(yè),如對顧客數(shù)據(jù)庫進行分析,預測潛在用戶以便向他們推銷產(chǎn)品;分析市場營銷數(shù)據(jù),識別顧客的購買行為模式,以及輔助證券投資、信用卡欺詐估測、預測流失顧客和識別違法金融交易等。

數(shù)據(jù)挖掘?qū)ο笫悄骋粚I(yè)領(lǐng)域中積累的數(shù)據(jù),挖掘過程是一個人機交互、多次反復的過程,數(shù)據(jù)挖掘的結(jié)果再應用于該領(lǐng)域的決策或規(guī)劃。在科學研究領(lǐng)域,如生物技術(shù)、氣象、水文、醫(yī)學等學科,都有數(shù)據(jù)挖掘技術(shù)應用的例子。王鵬(2006年)運用回歸和主成分—回歸分析技術(shù)對水文數(shù)據(jù)變化規(guī)律和趨勢進行了研究,發(fā)現(xiàn)了水文數(shù)據(jù)中蘊藏的變化規(guī)律,為洪水預報、防洪調(diào)度方面提供了決策依據(jù)。吳愛華(2007年)建立了多元回歸和人工神經(jīng)網(wǎng)絡(luò)的組合預測模型,并用于水文流量和洪水預報。王峰(2006年)對經(jīng)典關(guān)聯(lián)規(guī)則Apriori算法進行了改進,并將其應用于交通管理數(shù)據(jù)挖掘中。高祥濤(2004年)運用相似性查找以及聚類分析的原理,對水文相似年進行了數(shù)據(jù)挖掘研究,得到了有意義的結(jié)論。藺建華(2007年)通過對數(shù)據(jù)挖掘理論、決策樹算法和降雨匯流過程進行深入的研究,引入聚類分析方法作改進決策樹方法,研究了基于聚類分析和決策樹分類的流域洪峰流量預測算法,并成功應用于小流域洪峰量級的預測。

3 數(shù)據(jù)挖掘技術(shù)在巖土工程中的研究進展

在土木巖土工程領(lǐng)域,數(shù)據(jù)挖掘技術(shù)的應用尚處于起步階段,研究難度也較大。目前僅有為數(shù)不多的有關(guān)嚴格意義上的數(shù)據(jù)挖掘的應用成果。

聚類數(shù)據(jù)挖掘技術(shù)研究方面,周成虎(1999年)基于最大信息熵減原理,探討了地學數(shù)據(jù)屬性要素的子集劃分產(chǎn)生多維屬性關(guān)聯(lián)規(guī)則,以及通過空間和時間的子集分割來進行聚類的方法。布和敖斯爾(1999年)提出了基于知識發(fā)現(xiàn)和決策規(guī)則基礎(chǔ)的鹽堿地GIS和遙感分類的方法。

應用數(shù)據(jù)挖掘技術(shù)進行巖土工程試驗結(jié)果的因素分析方面,肖慶華(2004年)運用決策樹算法信息增益技術(shù)對邊坡巖體流變試驗成果進行了影響因素的相關(guān)性分析、運用Logistic回歸算法對壩基巖體進行了質(zhì)量評價分級和運用SAS工具對地下洞室監(jiān)測位移序列進行了預測分析,得到了一些有用的結(jié)論,在巖土工程數(shù)據(jù)挖掘方面進行了有益的探索。

在數(shù)據(jù)挖掘技術(shù)的關(guān)聯(lián)規(guī)則研究方面,馮夏庭,馬平波(2000年)在經(jīng)典的Apriori算法中考慮負屬性(否定屬性)對關(guān)聯(lián)規(guī)則的算法進行了改進,并將改進后的算法應用于對深部采場巖爆和地下洞室圍巖穩(wěn)定性的判別。周科平(2002年)根據(jù)獲得的現(xiàn)場資料,應用經(jīng)典的Apriori算法,對影響采場穩(wěn)定性的因素進行關(guān)聯(lián)規(guī)則挖掘,從而有效地預測了礦山采場穩(wěn)定性的動態(tài)變化規(guī)律。張治強(2003年)應用Apriori算法,考慮邊坡的地形、巖體和外在影響因素三大類,建立邊坡穩(wěn)定性預測的智能模型,對邊坡的穩(wěn)定性和破壞方式進行了預測。馬水山(2004年)根據(jù)現(xiàn)場監(jiān)測資料,對地下水、降雨、江水位與滑坡測點位移之間的關(guān)系進行了關(guān)聯(lián)規(guī)則挖掘,得到了對滑坡監(jiān)測有指導意義的結(jié)論。

在數(shù)據(jù)挖掘技術(shù)的分類挖掘方法方面,趙建華(2004年)對多因素影響下的滑坡,應用決策樹算法理論建立滑坡的危險性區(qū)劃評價模型,實現(xiàn)了滑坡災害的區(qū)域評價。肖慶華(2004年)運用決策樹算法信息增益技術(shù)對邊坡巖體流變試驗成果進行了影響因素的分析。亓呈明(2006年)應用決策樹C4.5改進算法生成一組坡體穩(wěn)定性規(guī)則,并用于對滑坡的成因分析。于國新(2007年)采用信息增益技術(shù)分析了結(jié)構(gòu)面各個屬性對隧道圍巖分級的貢獻大小及作用的程度,提出了圍巖分級預測方法。

在粗糙集挖掘方法應用方面,周科平(2003年)通過運用粗糙集數(shù)據(jù)挖掘技術(shù)對影響邊坡穩(wěn)定性的主要因素進行分析,從大量雜亂的參數(shù)中發(fā)現(xiàn)了有用的決策規(guī)則,為邊坡穩(wěn)定性分析提供了一種方法和思路。影響邊坡穩(wěn)定性的主要因素(如巖性、滑床、風化、降雨量、坡高、人類活動、界面等)的重要度以及它們之間的相互影響,運用基于粗糙集理論的數(shù)據(jù)挖掘技術(shù)進行分析,可以得出邊坡穩(wěn)定性程度的量化結(jié)果。說明粗糙集理論不僅可以用于分類,也可以用于特征歸納(以識別和刪除無助于給定訓練數(shù)據(jù)分類的屬性)和相關(guān)分析(以根據(jù)分類任務評估每個屬性的貢獻和意義),這樣可以最終挖掘出準確、有效的,并為人們所易于理解的結(jié)果。這些特點充分證實,粗糙集數(shù)據(jù)挖掘技術(shù)為邊坡穩(wěn)定性參數(shù)分析提供了一條準確、方便的途徑,比傳統(tǒng)的分析方法要有效得多。

應用智能算法進行廣義的數(shù)據(jù)挖掘應用成果較多,典型的研究算法為支持向量機算法。位移是巖體結(jié)構(gòu)在開挖或變形過程中反饋出的一個重要信息,通過對巖體結(jié)構(gòu)位移的實時監(jiān)測,可以及時了解巖體結(jié)構(gòu)的穩(wěn)定狀態(tài)的變化情況,并按照需要對其進行穩(wěn)定性控制。劉開云(2004年)基于結(jié)構(gòu)風險最小化原理的數(shù)據(jù)挖掘算法——支持向量機算法,編寫了不同的核函數(shù)支持向量機算法,對邊坡位移監(jiān)測數(shù)據(jù)進行機器學習、回歸和預測,提高了邊坡位移預測精度。

4 結(jié)語

雖然數(shù)據(jù)挖掘技術(shù)已經(jīng)廣泛應用于銀行、電信、保險、交通、零售(如超級市場)等商業(yè)領(lǐng)域,但在科學研究領(lǐng)域的應用還相對較少,尤其是在滑坡監(jiān)測資料分析方面的應用尚不多見。數(shù)據(jù)挖掘的主要任務有總結(jié)規(guī)則挖掘、關(guān)聯(lián)規(guī)則挖掘、分類規(guī)則挖掘、聚類規(guī)則挖掘、趨勢分析和偏差分析等。常用的數(shù)據(jù)挖掘方法有統(tǒng)計、基于事例的推理、神經(jīng)網(wǎng)絡(luò)、決策樹、規(guī)則推理、貝葉斯信念網(wǎng)絡(luò)、遺傳算法/演化程序設(shè)計、模糊集及粗糙集等方法。

[1]劉傳正,楊 冰.三峽庫區(qū)地質(zhì)災害調(diào)查評價與監(jiān)測預警新思維[J].工程地質(zhì)學報,2001(10):41.

[2]董 元,張時忠.三峽庫區(qū)地質(zhì)災害監(jiān)測預警信息管理系統(tǒng)的設(shè)計與實現(xiàn)[J].安全與環(huán)境工程,2008(6):67-68.

[3]肖慶華.巖石力學與工程中數(shù)據(jù)挖掘技術(shù)的應用[D].南京:河海大學博士學位論文,2002.

[4]劉 濤.基于數(shù)據(jù)挖掘的地鐵車站基坑工程安全評估與變形預測研究[D].上海:同濟大學博士學位論文,2007.

[5]劉傳正.突發(fā)性地質(zhì)災害的監(jiān)測預警問題[J].水文地質(zhì)工程地質(zhì),2005(3):81-82.

[6]M.G.Angelia,A.Pasuto,S.Silvano.A critical review of landslide monitoring experiences[J].Engineering Geology,2007(3):11-12.

[7]Harp EL,Reid ME,McKenna JP,et al.Mapping of hazard from rainfall-triggered landslides in developing countries:Examples from Honduras and Micronesia[J].Engineering Geology,2009,104(3):295-311.

[8]Fell R,Cororninas J,Bonnard C,et al.Guidelines for landslide susceptibility,hazard and risk-zoning for land use planning[J].Engineering Geology,2009,102(3):85-98.

[9]楊清麗.基于空間數(shù)據(jù)挖掘的戰(zhàn)場地理環(huán)境分析系統(tǒng)研究[D].重慶:重慶大學學位論文,2008.

[10]滕明鑫.基于神經(jīng)網(wǎng)絡(luò)的動態(tài)數(shù)據(jù)挖掘研究[D].重慶:重慶大學學位論文,2008.

[11]段江嬌.基于模型的時間序列數(shù)據(jù)挖掘[D].上海:復旦大學博士學位論文,2008.

[12]馮 征.數(shù)據(jù)挖掘方法在財務預警中的應用研究[D].天津:天津大學博士學位論文,2007.

[13]鄭宏珍,初佃輝,戰(zhàn)德臣,等.基于數(shù)據(jù)挖掘的符號序列聚類相似度量模型[J].計算機工程,2009,35(1):178-194.

[14]Lowe D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journalof Computer Vision,2004,60(2):91-110.

[15]張立權(quán).基于模糊推理系統(tǒng)的工業(yè)過程數(shù)據(jù)挖掘[D].大連:大連理工大學博士學位論文,2007.