多源信息融合研究綜述

余肖生，田智星，余 梅，2

(1.三峽大學(xué)計算機(jī)與信息學(xué)院，湖北宜昌 443002;2.武漢大學(xué)信息管理學(xué)院，武漢 430072)

目前，全球信息量以每年30%的速度增長，且這個速度還將上升［1］。大數(shù)據(jù)已成為各行業(yè)發(fā)展面臨的“新常態(tài)”［2］。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的互聯(lián)網(wǎng)或企業(yè)內(nèi)部網(wǎng)的可用數(shù)據(jù)源通過網(wǎng)絡(luò)連接，通過一個一致的接口訪問這些信息源的所有需求已成為信息融合領(lǐng)域研究的背后推動力量［3］，而信息源中的數(shù)據(jù)呈現(xiàn)出異構(gòu)性、分布性、自治性等特點［1］。在大數(shù)據(jù)環(huán)境下，如何高效地進(jìn)行信息融合已成為信息資源有效利用的主要瓶頸。國內(nèi)外學(xué)者在信息資源融合方面進(jìn)行了有效的探索，并取得了一定的研究進(jìn)展。本文從信息融合架構(gòu)、信息融合模型、信息融合方法、信息融合技術(shù)、信息融合層次等5個方面對信息融合領(lǐng)域進(jìn)行總結(jié)和分析，指出該領(lǐng)域研究的主要特點和趨勢，以期對信息融合領(lǐng)域的研究發(fā)展提供一些借鑒和啟示。

1 相關(guān)研究

信息融合是為綜合信息系統(tǒng)的用戶提供多個數(shù)據(jù)源的統(tǒng)一視圖的過程［4］。從數(shù)據(jù)的來源看，既有來自傳感器的流媒體數(shù)據(jù)，也有來自互聯(lián)網(wǎng)的半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，還有來自各類數(shù)據(jù)庫的結(jié)構(gòu)化數(shù)據(jù)。本文主要針對結(jié)構(gòu)化數(shù)據(jù)的融合架構(gòu)、模型、方法、技術(shù)等進(jìn)行綜述。

1.1 信息融合架構(gòu)

目前的信息融合基本架構(gòu)主要有2種，即虛擬化架構(gòu)和物化架構(gòu)。在虛擬化架構(gòu)中，一個數(shù)據(jù)融合系統(tǒng)可以形式化地定義為一個三元組〈G，S，M〉，其中G是全局或中介模式，S是異構(gòu)源模式集合，M是源和全局模式之間查詢的映射［5-6］。在虛擬化環(huán)境中，數(shù)據(jù)存在于單獨的數(shù)據(jù)源中。虛擬層是一個屬于所有數(shù)據(jù)來源的虛擬模式。當(dāng)系統(tǒng)收到虛擬層定義的用戶查詢時，先判定將被查詢的相關(guān)數(shù)據(jù)源，然后根據(jù)不同的數(shù)據(jù)源將查詢分解成不同的子查詢。子查詢由合適的數(shù)據(jù)源執(zhí)行，再將各數(shù)據(jù)源響應(yīng)的結(jié)果進(jìn)行適當(dāng)?shù)慕Y(jié)合后返回用戶［7］。這種架構(gòu)的優(yōu)點在于返回給用戶的數(shù)據(jù)總是當(dāng)前最新數(shù)據(jù)。然而，最大的挑戰(zhàn)是如何定義每個數(shù)據(jù)源和虛擬層之間的映射［8］。虛擬化架構(gòu)的設(shè)計和實現(xiàn)有2個主要策略，即全局視圖(GAV)和本地視圖(LAV)。GAV是將各本地數(shù)據(jù)源的局部視圖映射到全局視圖，即全局模式被描述為源模式上的一組視圖，如圖1所示［9-10］。用戶查詢直接作用于定義在數(shù)據(jù)源模式上的全局視圖。GAV的優(yōu)點是查詢效率較高，缺點是用這種方法構(gòu)建出來的映射關(guān)系的可擴(kuò)展性較差，不適合數(shù)據(jù)源存在動態(tài)變化的情況。LAV是將全局視圖映射到各數(shù)據(jù)源上的本地局部視圖，即各數(shù)據(jù)源模式被描述為全局模式上的視圖，如圖2所示。當(dāng)用戶提交某個查詢時，中介系統(tǒng)通過整合不同的數(shù)據(jù)源視圖決定如何應(yīng)答查詢。這種方法可看作利用視圖回答查詢。該方法的優(yōu)點是映射關(guān)系的可擴(kuò)展性好，適合于信息源變化比較大的情況，缺點是可能會造成“信息遺失”、信息查詢效率低?？紤]到LAV和GAV固有的局限，很多研究者試圖創(chuàng)造一種包含兩者優(yōu)勢、同時可克服兩者劣勢的“混合”方法，即GLAV［11］。

在物化架構(gòu)中，將數(shù)據(jù)在全局層面進(jìn)行實體化通常應(yīng)用于數(shù)據(jù)倉庫，且沒有任何非結(jié)構(gòu)化信息。該架構(gòu)面臨的挑戰(zhàn)是一系列實體化視角的選定，另一問題是增量視圖的維護(hù)。當(dāng)?shù)讓訑?shù)據(jù)源發(fā)生改變時，需要一個有效的方式維持實體化視圖。數(shù)據(jù)倉庫方法合并來自多個源數(shù)據(jù)的數(shù)據(jù)庫，數(shù)據(jù)必須經(jīng)過抽取、轉(zhuǎn)換、加載(ETL)才能進(jìn)入數(shù)據(jù)倉庫。數(shù)據(jù)倉庫在解決數(shù)據(jù)融合問題的同時，也存在自身的問題。數(shù)據(jù)倉庫的主要難點是維護(hù)數(shù)據(jù)倉庫和底層數(shù)據(jù)源之間的同步。一般地，有2種主要方法用于解決該問題:①周期性地重建整個數(shù)據(jù)倉庫;②檢測來源的變化，然后相應(yīng)地更新［7］。

圖1 GAV

圖2 LAV

1.2 信息融合模型

Kangchan Lee等［12-13］根據(jù)互聯(lián)網(wǎng)信息資源融合需求，提出了基于XML的中介框架(XMF)模型。它采用中介器-封裝器體系結(jié)構(gòu)，使用XML描述信息資源和映射規(guī)則，為最終用戶提供一個融合的基礎(chǔ)信息來源;王寧［14］以E-R-P信息管理模型為基礎(chǔ)，提出了以實體管理、關(guān)系管理、問題管理以及元數(shù)據(jù)管理為核心組件的信息資源整合平臺;黃萃［15］以電子政務(wù)信息流程為基礎(chǔ)，構(gòu)建了基于門戶網(wǎng)站的電子政務(wù)信息資源整合機(jī)制模型;Ananthanarayanan等［16］為跨多個非結(jié)構(gòu)化的數(shù)據(jù)源提供了一個數(shù)據(jù)驅(qū)動的相似性發(fā)現(xiàn)方法，以便被發(fā)現(xiàn)的信息能與現(xiàn)有結(jié)構(gòu)化信息的模式融合，從而允許同時在結(jié)構(gòu)化和文本數(shù)據(jù)上查詢;文獻(xiàn)［17］提出了基于本體的信息融合模型［17］;Brzykcy［18］在 SIXP2P 系統(tǒng)中提出了基于XML數(shù)據(jù)的語義融合模型;Kim等［19］提出了模型驅(qū)動的數(shù)據(jù)融合(MDDI)模型，通過分離數(shù)據(jù)和元數(shù)據(jù)降低了數(shù)據(jù)融合的復(fù)雜性，從而有效地解決了數(shù)據(jù)整合的問題;張玉濤等［20］提出了基于主題圖的電子政務(wù)信息資源整合模型，并對模型在Metamorphosis主題圖環(huán)境中的處理流程和實際實施進(jìn)行了初步的探討;羅賢春等［21］提出了基于共享目錄的電子政務(wù)信息資源整合模型。

1.3 信息融合方法

基于中介器的方法［22］:該方法是被許多融合框架采用的最著名的方法之一。它提出了中介器的使用，一個系統(tǒng)負(fù)責(zé)把一個單一模式上形成的用戶查詢重新表述成底層數(shù)據(jù)源在本地模式上的查詢。這些數(shù)據(jù)源包含實際的數(shù)據(jù)，而全局模式提供了底層數(shù)據(jù)源的一個協(xié)調(diào)、融合、虛擬的視圖。映射可以通過采用GAV或LAV來完成。當(dāng)融合的數(shù)據(jù)源是已知和穩(wěn)定時，宜采用GAV;而融合的數(shù)據(jù)源是大規(guī)模和臨時時，宜采用LAV。

基于本體的方法［23-25］:語義(數(shù)據(jù)融合的一個重要組件)的普及為基于本體的方法做了鋪墊。協(xié)調(diào)跨多個概念的異構(gòu)模式中本體的使用已經(jīng)被語義網(wǎng)研究社區(qū)廣泛關(guān)注。該方法以數(shù)據(jù)對象為基本元素，利用數(shù)據(jù)對象和領(lǐng)域本體之間的映射關(guān)系來表達(dá)數(shù)據(jù)對象的語義，使用嵌套關(guān)系模型來表達(dá)數(shù)據(jù)對象的模式信息，通過把一個網(wǎng)格節(jié)點中集成的所有數(shù)據(jù)對象作為下一個節(jié)點的數(shù)據(jù)對象來實現(xiàn)數(shù)據(jù)資源由粗到細(xì)的融合。

基于導(dǎo)航的方法:也被稱為基于鏈接的方法［26］。它基于這樣一個事實:網(wǎng)絡(luò)上越來越多的數(shù)據(jù)源要求用戶手動瀏覽一些網(wǎng)頁，以獲取所需的信息。純導(dǎo)航融合消除了數(shù)據(jù)的關(guān)系建模，在這個模型中，數(shù)據(jù)源被定義為網(wǎng)頁、它們之間的聯(lián)系和具體入口點的集合。另外，還包括一些附加信息，如內(nèi)容、路徑約束和強(qiáng)制輸入?yún)?shù)。在深網(wǎng)絡(luò)的信息融合中，這種方法被認(rèn)為是至關(guān)重要的［27］，它需要抽取隱藏在 Web查詢接口后的數(shù)據(jù)。然而，維持以一定速度變化的網(wǎng)絡(luò)資源之間的關(guān)系是一項艱巨的任務(wù)，在當(dāng)前網(wǎng)絡(luò)環(huán)境下，這種方法被認(rèn)為不可行。

聯(lián)邦數(shù)據(jù)庫方法［28］:開發(fā)的前提是回答查詢所需的信息直接來自數(shù)據(jù)源。因此，查詢結(jié)果發(fā)布時，其總是關(guān)于數(shù)據(jù)源的最新的內(nèi)容。更重要的是，數(shù)據(jù)庫聯(lián)邦方法更易適應(yīng)應(yīng)用程序要求用戶能夠強(qiáng)加自己的本體到分布式自治信息源的數(shù)據(jù)上的情形。當(dāng)數(shù)據(jù)源是自治的，并需要支持多個本體時，聯(lián)邦方法是首選。然而，當(dāng)查詢頻率遠(yuǎn)高于底層數(shù)據(jù)源的變化頻率時，這種方法是失敗的。

基于數(shù)據(jù)倉庫的方法［29］:該方法的基礎(chǔ)是傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)。來自異構(gòu)的分布式信息源的數(shù)據(jù)映射到一個共同的結(jié)構(gòu)并存儲在一個集中的位置。為了確保數(shù)據(jù)倉庫中的信息能反映單個數(shù)據(jù)源的當(dāng)前內(nèi)容，有必要定期更新數(shù)據(jù)倉庫。

1.4 信息融合技術(shù)

信息融合主要涉及沖突解決、數(shù)據(jù)合并等技術(shù)。數(shù)據(jù)沖突主要有2種類型:不確定性和矛盾。不確定性是所有用來描述現(xiàn)實世界實體的相同屬性的一個非空值和一個或多個空值之間的沖突。不確定性由于缺少信息(例如在一個數(shù)據(jù)源中的空值或數(shù)據(jù)源中完全缺失的屬性)而引起。矛盾用來描述相同實體的同一屬性的兩個或兩個以上的不同的非空值之間的沖突。矛盾是現(xiàn)實世界實體的相同屬性由不同數(shù)據(jù)源提供了不同的值而引起的。解決數(shù)據(jù)沖突的策略主要有沖突忽略策略、沖突避免策略、沖突解決策略［3］。數(shù)據(jù)合并技術(shù)主要有連接、并等關(guān)系運(yùn)算符。然而，它們不能很好地處理數(shù)據(jù)合并。因此，產(chǎn)生了為完成數(shù)據(jù)融合而特別設(shè)計的操作符，例如匹配連接(match join)［30］、完全析取(full disjunction)［31-32］。另外，還有模式匹配和模式映射等相關(guān)技術(shù)。

1.5 信息融合層次

信息融合是在幾個層次上完成對多源信息的處理過程，其中每一層次都表示不同級別的信息抽象。信息融合的結(jié)果包括較低層次上的狀態(tài)和身份估計，以及較高層次上的整個戰(zhàn)術(shù)態(tài)勢估計［33］。曹建君［34］將信息融合劃分為原始數(shù)據(jù)融合或像元級融合(pixel based)、目標(biāo)級或特征級融合(feature based)以及決策級融合(decision leve1)3個層次。Hu Jiaqi［35］把信息融合劃分為數(shù)據(jù)層融合、特征層融合、相似度層融合和決策層融合4個層次。

2 發(fā)展趨勢

2.1 物理化:信息融合的新趨勢

從研究現(xiàn)狀看，信息融合的架構(gòu)主要有虛擬化和物化2種。物理化已成為互聯(lián)網(wǎng)發(fā)展的新趨勢［36］。基于數(shù)據(jù)倉庫的信息融合方法根據(jù)決策需求抽取來自不同數(shù)據(jù)源中的相關(guān)數(shù)據(jù)，將其轉(zhuǎn)換成數(shù)據(jù)倉庫中數(shù)據(jù)的統(tǒng)一格式，并儲存在一個集中的位置。大數(shù)據(jù)環(huán)境下，這一信息融合的物理化方法已經(jīng)逐步成為信息融合的主流方法。

2.2 大數(shù)據(jù):信息融合的新常態(tài)

目前，中國移動互聯(lián)網(wǎng)用戶數(shù)已經(jīng)超過5億，流量幾乎每年翻番。大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)和應(yīng)用從概念上的討論變成了現(xiàn)實［37］。為了準(zhǔn)確獲取用戶行為習(xí)慣，需要從這些大數(shù)據(jù)中融合與用戶行為相關(guān)的數(shù)據(jù)，并加以處理、分析。大數(shù)據(jù)已成為信息資源融合的新常態(tài)。

2.3 全自動化:信息融合的新挑戰(zhàn)

現(xiàn)有信息融合的步驟較多，且通常非常復(fù)雜，整個融合過程的每一步都需要大量的人工干預(yù)。同時，信息融合過程非常脆弱，如果融合對象中的某一個數(shù)據(jù)源的結(jié)構(gòu)發(fā)生變化，則整個融合過程需要重新設(shè)計。因此，現(xiàn)有方法效率較低，錯誤也不可避免。實現(xiàn)人工可控、系統(tǒng)自主的全自動化的信息融合已經(jīng)成為用戶的新期待，也是信息融合領(lǐng)域發(fā)展的新挑戰(zhàn)。

［1］XIN LUNA DONG，F(xiàn)ELI NAUMANN.Data fusion-resolving data conflicts for integration［C］//VLDB 2009.France:［s.n.］，2009，1654-1655.

［2］JORGE A.LOPEZ.Data Integration:2013’s Top 3 Trends［EB/OL］.［2015-02-12］.http://tdwi.org/Articles/2013/01/08/Data-Integration-2013-Top-Trends.aspx?Page=2.

［3］BLEIHOLDER J，NAUMANN F.Data fusion［J］.ACM CSUR，2008(1):1-41.

［4］BLEIHOLDER J，SZOTT S，HERSCHEL M.Subsumption and Complementation as Data Fusion Operators［C］//EDBT 2010.Switzerland:［s.n.］，2010:513-524.

［5］LENZERINI M.Data integration:a theoretical perspective［C］//PODS 2002.USA:［s.n.］，2002:233-246.

［6］XU L，EMBLEY D W.Combining the Best Globa-as-View and Local-as-View for Data Integration［C］//ISTA 2004.［S.L.］:［s.n.］，2004:123-135.

［7］BENNETT T A，BAYRAK C.Bridging The Data Integration Gap:From Theory to Implementation［J］.ACM SIGSOFT Software Engineering Notes，2011(3):1-8.

［8］MOHANIA M，BHIDE M.New Trends in Information Integration［C］//ICUIMC2008.Korea:［s.n.］，2008:74-81.

［9］AMIT P S，JAMES A L.Federated Database Systems for Managing Distributed，Heterogeneous，and Autonomous Databases［J］.ACM Computing Surveys，1990(3):183-236.

［10］ALON Y H，RAJARAMAN A，JOANN J O.Data Integration:The Teenage Years［J］.VLDB，2006:9-16.

［11］XU L，EMBLEY D W.Combining the Best Globa-as-View and Local-as-View for Data Integration［C］//ISTA 2004.［S.L.］:［s.n.］，2004:123-135.

［12］KANGCHAN L，JAE HONG M，KISHIK P，et al.A Design and Implementation of XML-Based Mediation Framework(XMF)for Integration of Internet Information Resources［C］//HICSS 2002.USA:［s.n.］，2002:202.

［13］SEONG-JOON Y，KANGCHAN L，KYUCHUL L.An XML-Based Mediation Framework for Seamless Access to Heterogeneous Internet Resources［C］//ICOIN 2003.Korea:［s.n.］，2003:396-405.

［14］王寧.電子政務(wù)中信息資源整合的建模方法與應(yīng)用研究［D］.大連:大連理工大學(xué)，2005.

［15］黃萃.基于門戶網(wǎng)站的電子政務(wù)信息資源整合機(jī)制研究［D］.武漢:武漢大學(xué)，2005.

［16］ANANTHANARAYANAN R，BALAKRISHNAN S.Unstructured information integration through data-driven similarity discovery［C］//IJCAI 2009.USA:［s.n.］，2009:1-6.

［17］馬小軍，李廣建.基于本體的數(shù)字資源整合方法與技術(shù)［J］.情報科學(xué)，2010(10):1541-1546.

［18］BRZYKCY G.Data Integration in a System with Agents’Models［C］//KES-AMSTA 2008.Korea:［s.n.］，2008:162-171.

［19］KIM H，YING ZHANG，SAMIA OUSSENA，et al.A Case Study on Model Driven Data Integration for Data Centric Software Development［C］//DSMM2009.USA:［s.n.］，2009:1-5.

［20］張玉濤，夏立新.基于主題圖的電子政務(wù)信息資源整合模型研究［J］.情報雜志，2009(7):161-165.

［21］羅賢春，文庭孝，張新宇.電子政務(wù)信息資源共享與社會化服務(wù)研究［M］.北京:人民出版社，2012.

［22］LIU L，PU C，LEE Y.An Adaptive Approach to Query Mediation AcrossHeterogeneousInformation Sources［C］//CoopIS 1996.Belgium:［s.n.］，1996:144-156.

［23］NOY N F.Semantic Integration:A Survey Of Ontology-Based Approaches［J］.SIGMOD Record，2004(4):65-70.

［24］DOERR M，HUNTER J，LAGOZE C.Towards a Core Ontology for Information Integration［J］.Journal of Digital Information，2003(1):1-22.

［25］劉波，齊德昱，林偉偉，等.基于本體的語義數(shù)據(jù)融合方法［J］.華南理工大學(xué)學(xué)報:自然科學(xué)版，2009(1):96-101.

［26］FRIEDMAN M，LEVY A Y，MILLSTEIN T D.Navigational Plans For Data Integration［C］//AAAI/IAAI 1999.USA:［s.n.］，1999:67-73.

［27］HE B，PATEL M，CHANG C C，et al.Accessing the Deep Web:A Survey［J］.Communications of The ACMCACM，2007(5):94-101.

［28］SHETH A P，LARSON J A.Federated Database Systems for Managing Distributed，Heterogeneous，and Autonomous Databases［J］.ACM Computing Survey，1990(3):183-236.

［29］FLORESCU D，LEVY A，MENDELZON A.Database techniques for the world-wide web:A survey［J］.SIGMOD Record，1998(3):59-74.

［30］YAN L L，?ZSU M T.Conflict tolerant queries in AURORA［J］.IEEE Computer Society，1999(1):279.

［31］COHEN S，F(xiàn)ADIDA I，KANZA Y，et al.Full disjunctions:Polynomial-delay iterators in action［C］//VLDB2006.Korea:［s.n.］，2006:739-750.

［32］COHEN S，SAGIV Y.An incremental algorithm for computing ranked full disjunctions［C］//PODS 2005.USA:［s.n.］，2005:98-107.

［33］化柏林.多源信息融合方法研究［J］.多源信息融合方法研究，2013(11):16-19.

［34］曹建君，李景相，蔡喜琴，等.基于信息融合理論的省情信息融合研究［J］.遙感技術(shù)與應(yīng)用，2006(4):368-371.

［35］HU Jiaqi.DATA FUSION:A FIRST STEP IN DECISION FORMATICS［D］.Troy:Rensselaer Polytechnic Institute，2008.

［36］張亞勤.互聯(lián)網(wǎng)物理化已經(jīng)成為新趨勢［N］.人民日報，2015-01-08(19).

［37］鄔賀銓.移動互聯(lián)網(wǎng)已進(jìn)入“大智移云”時代［N］.人民日報，2015-01-23(20).