多源圖像融合及效果評價綜述

冀鯨宇，王長龍，李永科,張玉華

(陸軍工程大學石家莊校區(qū)無人機工程系，石家莊 050000)

0 引言

多源圖像融合通常是指針對某個場景，結(jié)合不同種類的傳感器采集的圖像，利用計算機對不同圖像進行融合處理從而得到一個信息量豐富的圖像的過程。融合后的圖像具備冗余和互補的特性，能夠克服原圖像在分辨率、物理屬性、信息量等方面的局限性，還可以抑制噪音，增強圖像信息的聚集程度[1]。多源圖像融合技術(shù)的研究至今已有數(shù)十年，研究方法層出不窮，應用領(lǐng)域也十分廣泛。本文主要對多源圖像融合及效果進行綜述。

1 多源圖像融合技術(shù)總體情況介紹

1.1 圖像成像技術(shù)

在工程應用中，由于受到自然環(huán)境及人為環(huán)境的影響，依靠一種成像技術(shù)所獲得圖像信息往往不足以將一個事物的特征信息充分表現(xiàn)出來，而使用多種成像技術(shù)進行圖像融合能有效解決這個問題。

當前圖像的成像技術(shù)種類越來越多，各種成像技術(shù)發(fā)展迅速，表1展示了幾種常用的成像技術(shù)及其主要特性。除此之外，還有X射線、核磁共振成像、紫外光等。

1.2 圖像融合分類及框架

多源圖像融合依據(jù)融合對象，通常分為紅外與可見光圖像融合、SAR與可見光圖像融合、SAR與紅外圖像融合、紅外與微光圖像融合、多光譜與全色圖像融合等；依據(jù)工作域不同，可分為空間域、變換域、頻率域、光譜域融合；依據(jù)信息抽象程度不同，可分為像素級、特征級、決策級圖像融合[2]。

圖像融合系統(tǒng)框架通常包括圖像預處理、圖像融合、圖像顯示以及融合圖像質(zhì)量評價4個部分。圖像預處理一般分為去噪、配準兩部分，其中,圖像去噪對后續(xù)圖像的融合處理有很大的影響，圖像配準技術(shù)也是圖像融合研究領(lǐng)域的一個重要技術(shù)；圖像顯示方式一般分為灰度圖像顯示和彩色圖像顯示；圖像融合后質(zhì)量評價包括主觀評價及客觀評價。圖像融合結(jié)構(gòu)如圖1所示。

1.3 圖像融合方法

圖像融合研究發(fā)展至今，融合方法層出不窮，在設(shè)計圖像變換和融合策略方面面臨的挑戰(zhàn)越來越大，因此，有必要對現(xiàn)有圖像融合方法進行歸納分析，從缺陷中尋找新的突破口，研究出效果更好的圖像融合方法。通常，圖像融合方法分為像素級圖像融合、特征級圖像融合和決策級圖像融合。本文在此分類的基礎(chǔ)上，將多源圖像融合方法按照處理方式重新分為3大類，即直接域融合(Direct Domain Fusion,DDF)、間接域融合(Indirect Domain Fusion,IDF)以及混合融合。

1.3.1 DDF方法

DDF方法是直接對預處理后的多源圖像的像素信息進行融合，不對圖像做變換處理，是對圖像信息的綜合處理。這樣能夠保留圖像更多的細節(jié)特征，并且也解決了多尺度分解導致的計算量大的問題。

1)基于像素塊的圖像融合方法。

基于像素塊的圖像融合方法主要包括基于分塊的方法、主成分分析(Principle Component Analysis,PCA)方法、獨立成分分析(Independent Component Analysis,ICA)方法和形態(tài)學成分分析(Morphological Component Analysis,MCA)方法。

2001年，文獻[3]提出了一種通過將源圖像分解成塊，然后利用空間頻率將分塊進行組合的融合不同焦點圖像的方法，運算速度快，可用于實時處理，但分塊大小無法自動設(shè)置。為了彌補此不足，許多學者都進行了研究。文獻[4]提出了一種基于改進PCNN的自適應分割算法；文獻[5]使用遺傳算法確定合適的分塊尺寸；文獻[6]提出一種新的基于差分進化算法分塊優(yōu)化方法?；诜謮K的方法雖然容易實現(xiàn)，運算速度快，但也易出現(xiàn)光譜失真等情況。

PCA方法中的第一主成分包含了波段的大部分空間細節(jié)，只需根據(jù)第一主成分來確定各融合圖像的權(quán)重并完成融合。為解決主成分分析中不穩(wěn)定的問題，文獻[7]提出了一種新的魯棒主成分分析方法融合多聚焦圖像，可得到融合效果良好的圖像。

ICA方法是一種從多維統(tǒng)計信息中搜尋滿足統(tǒng)計獨立和非高斯特點的潛在因子或成分的方法，與其他方法主要的區(qū)別[8]也在于此。

MCA方法基于圖像的不同空間形態(tài)結(jié)構(gòu)構(gòu)造出卡通成分和紋理成分，采用結(jié)構(gòu)化字典，再經(jīng)過特定的分解算法來得到這些分量的稀疏表示[9]。

2)基于模型的圖像融合方法。

為了自適應提取特征，研究人員提出可以將自適應提取圖像特征的數(shù)學模型應用于圖像融合領(lǐng)域，此后,基于模型的圖像融合方法迅速發(fā)展，涌現(xiàn)出許多不同的算法，包括稀疏表示(SR)、脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)、層次貝葉斯模型、在線耦合字典學習(OCDL)方法以及基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學習模型等，下面對幾個方法進行重點介紹。

SR[10]方法在保留圖像細節(jié)信息和復雜結(jié)構(gòu)的同時，通過非零元素最少的向量來表征信號，核心內(nèi)容是過完備字典和稀疏表示模型。其優(yōu)點是模型構(gòu)建簡單，易理解，可以有效地處理噪聲誤差，但是稀疏表示也存在模型復雜、運算速度慢、細節(jié)特征(如邊緣和紋理)模糊等缺點。目前，常用的稀疏表示模型有SR基本模型、組稀疏模型[11]、魯棒稀疏模型[12]、聯(lián)合稀疏模型[13]等。

PCNN方法仿照動物大腦視覺皮層細胞對視覺信號進行處理，可達到同步脈沖激發(fā)，這種模型具備特征相似聚集和空間臨近的特點，在圖像處理領(lǐng)域得到了廣泛應用[14]。為了降低該模型的計算復雜性和耦合性，文獻[15]提出了一種簡化的PCNN模型;為克服調(diào)整參數(shù)的困難，文獻[16]提出基于改進的脈沖耦合神經(jīng)網(wǎng)絡(luò)模型、圖像的基本特征和人類視覺系統(tǒng)的特性的新融合算法。PCNN方法雖然在不斷發(fā)展，但目前尚未達到所有參數(shù)的自適應。因此，逐步達到所有參數(shù)的自適應是PCNN融合算法未來的研究方向。

1998年，CNN的概念被提出，CNN本質(zhì)是一個多層感知機，可以通過權(quán)值共享和局部連接的方式減少權(quán)值的數(shù)量，從而簡化模型,便于改進模型，使過擬合的風險降低，這個優(yōu)點在輸入二維圖像時表現(xiàn)得尤為明顯，與一般的識別算法相比，該算法提取特征和重建數(shù)據(jù)的過程均較簡單;2017年，LIU等[17]首次成功將CNN模型應用于圖像融合領(lǐng)域；2020年，文獻[18]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合算法，彌補了其他方法不能充分捕獲源圖像的空間連續(xù)性和輪廓細節(jié)信息的不足。

3)基于特征的圖像融合方法。

基于特征的圖像融合方法是在更高的處理級別上處理圖像，將提取的特征信息通過先進的算法進行融合，該方法既可以將源圖像中有價值的特征信息保留下來，也可以完成客觀的信息壓縮，消除多余的噪聲。1990年，文獻[19]使用從SAR圖像中提取紋理和形狀特征以及光譜信息的組合的方法提高分類精度;2008年，文獻[20]提出了一種基于Softmax回歸的特征融合方法;2012年，文獻[21]提出了一種基于學習的超分辨率融合方法。

4)基于決策的圖像融合方法。

基于決策的圖像融合方法是在最高的處理層對每個信息源進行初步分類之后，將多個單獨信息源利用決策規(guī)則進行合并以加強共同的特點，消除差異，從而更好地處理源圖像。在融合中，將不同的局部分類器的融合結(jié)果進行融合，最終確定決策。文獻[22]提出了決策級融合指紋圖像的方向、紋理和光譜特征的思想;文獻[23]介紹了在決策層開發(fā)高性能多傳感器圖像融合方案的聯(lián)合度量的方法，該方法既能解決局部分類器結(jié)果不確定的問題，也能處理局部分類器結(jié)果清晰的情況。此外，基于投影尋蹤、多數(shù)表決和神經(jīng)網(wǎng)絡(luò)的決策融合超維數(shù)據(jù)分類的方法[24]，基于秩、貝葉斯推理和Dempster-Shafer的方法[25]等也被廣泛使用。

1.3.2 IDF方法

IDF方法是指對圖像進行分解重構(gòu)或經(jīng)過變換后，再進行綜合處理得到最終的融合圖像。

1)基于變換的方法。

基于變換的方法首先將圖像從空間域變換到某個變換域進行表示，得到圖像分解后的系數(shù)，然后對這組分解系數(shù)按一定的融合算法進行融合，最后再將融合結(jié)果變回空間域，其融合過程如圖2所示。基于變換的方法主要包括基于金字塔變換的方法、基于小波變換的方法、基于多尺度幾何變換的方法等。

圖2 基于變換的方法融合過程Fig.2 Fusion process of transform-based method

金字塔變換在圖像處理領(lǐng)域出現(xiàn)較早，從最初采用Laplace金字塔來描述圖像[26],到后來TOET先后提出了基于對比度金字塔的圖像融合方法[27]和基于形態(tài)學金字塔的圖像融合方法[28]，使得金字塔變換方法逐漸在圖像融合領(lǐng)域發(fā)展起來。為解決金字塔變換出現(xiàn)的冗余分解、無方向性等缺點，小波變換[29]于20世紀80年代初被提出，并且能夠同時獲得信號的頻域和時間空間信息，已被大量應用于圖像處理領(lǐng)域。小波變換能夠得到圖像在3個方向上的高頻信息，且具有方向選擇性和正交性，但其對于配準不好的圖像融合效果卻不佳，為解決此問題，基于多小波[30]、雙樹復小波[31]、形態(tài)小波[32]、平穩(wěn)小波[33]、小波幀[34]等圖像融合方法陸續(xù)被國內(nèi)外學者提出。20世紀90年代末，基于多尺度幾何變換的方法開始發(fā)展，該方法具有多方向性、多分辨率、各向異性等優(yōu)勢，有效地解決了二維小波變換在表示自然圖像的各向異性特征信息(如邊緣、輪廓)時效率不高,且不能盡可能多地利用到圖像本身特有的幾何特征的問題。表2對常用的多尺度融合方法優(yōu)勢及存在問題做出了總結(jié)歸納。

表2 多尺度融合方法優(yōu)勢及存在問題Table 2 Advantages and problems of common multi- scale fusion methods

2)IHS變換方法。

IHS變換方法是將具有RGB的彩色圖像通過IHS變換轉(zhuǎn)化到IHS顏色空間[42]，用于從圖像中分離空間和光譜信息，有助于減少融合圖像中的光譜失真。該方法首先根據(jù)強度分量的統(tǒng)計參數(shù)對源圖像的直方圖進行修正，并用直方圖修正后的源圖像代替強度分量，將修改后的亮度、色調(diào)和飽和度分量再次變換到自然域，得到融合后的圖像。

1.3.3 混合融合方法

混合融合方法即結(jié)合上述方法，充分利用各種方法的優(yōu)點，從而使算法更加優(yōu)化，得到融合效果更好的圖像。近幾年，混合融合方法在傳統(tǒng)方法中脫穎而出，已成為設(shè)計融合方案的主要手段。文獻[43]通過將IHS變換和離散小波變換(DWT)相結(jié)合對MS圖像和SAR圖像進行融合，以改進城市土地覆蓋分類，實驗結(jié)果表明兩種方法結(jié)合后的效果優(yōu)于任意一種算法；文獻[44]提出了一種基于IHS變換和小波變換的混合融合方法，綜合利用了這兩種方法的優(yōu)點，得到了效果更佳的融合結(jié)果；文獻[45]提出了一種融合小波變換和稀疏表示優(yōu)點的框架，經(jīng)過實驗得出該方法克服了兩種方法單獨使用的缺陷，使融合結(jié)果更接近預期效果。

2 融合效果評價

圖像融合結(jié)果會在視覺上展現(xiàn)出來并用于進一步研究分析，所以，融合結(jié)果要盡可能地適應人的視覺感知以及應用需求。融合圖像質(zhì)量的好壞可以從以下3方面來評價:1)源圖像的細節(jié)特征是否均保留；2)冗余信息和噪聲是否均清除；3)融合后圖像是否清晰，以及對匹配不完美圖像處理的魯棒性。為了更好地判斷一個算法的優(yōu)劣，需要對融合結(jié)果進行合理的評價，目前的評價方法主要分為主觀評價方法和客觀評價方法[46]。

2.1 主觀評價方法

主觀評價方法就是通過觀察者的直觀感受對融合結(jié)果進行評價，在許多情況下，融合圖像的受眾都是人，因此，主觀評價也可作為評判的一個重要標準。這種評價方法的主觀性強，能夠直觀、初步地判斷融合圖像的清晰程度、色彩變化以及邊緣輪廓是否明顯等重要特性，但主觀評價法在使用時具有較大局限性，隨機因素很多。不過，由于人眼對色彩具有遠超過灰度的感知能力，對于如多曝光等彩色圖像融合[47]或者結(jié)構(gòu)和功能醫(yī)學等偽彩色圖像融合[48]的問題，主觀評價法還是很可靠的，因此，必要的主觀評價是非常有價值的。

2.2 客觀評價方法

由于主觀評價方法的局限性很大，所以制定客觀、通用的評價方法十分必要?？陀^評價方法是用一些數(shù)學公式進行評判，它克服了某些主觀因素的影響，能夠給出相對合理、可靠的評價結(jié)果。客觀評價方法采用了一些定量的指標來對融合圖像的質(zhì)量進行評價，主要指標包括：相對偏差(Rel-Bias)、相對方差(Rel-VAR)、相對標準偏差(Rel-SDD)、光譜角度映射器(SAM)、均方根誤差(RMSE)、相對全球尺寸合成(ERGAS)、通用圖像質(zhì)量指數(shù)(UIQI)、Q4指數(shù)、相關(guān)系數(shù)、結(jié)構(gòu)相似性指數(shù)測度(SSIM)、標準差(STD)、熵(EN)、交叉熵(CE)、互信息(MI)、空間頻率(SF)、無參考質(zhì)量(QNR)指標[49]、HVS一致性融合質(zhì)量評價指標、圖像質(zhì)量評價因子(Piella模型，QE)、平均梯度(AVG)。部分學者對這些評價指標進行了分類，較常用的一種評價指標的分類方法是由LIU等[50]提出的，將常用指標分為基于信息理論(information theory)的評價指標、基于圖像特征(image feature)的評價指標、基于結(jié)構(gòu)相似性(image structural similarity)的評價指標以及基于人類視覺感知(human perception)的評價指標4類。此外，文獻[51]將評價指標分為針對全參考圖像的評價指標、針對無參考圖像的評價指標、針對半?yún)⒖紙D像的評價指標3類。但由于在半?yún)⒖紙D像的評價指標中幾乎沒有對應的指標，一般運用時會直接將評價指標分為有、無參考圖像兩類。文獻[46]提出了一種客觀評價指標集的遴選策略，并從原理上把評價指標分為基于統(tǒng)計特征的評價指標、基于信息量的評價指標和基于人類視覺系統(tǒng)的評價方法3類。

一些文獻還提出了其他評價指標。文獻[52]研究了圖像融合結(jié)果的質(zhì)量評價問題，并提出了一種新的基于相似度的圖像融合性能度量方法，該方法從人眼的視覺感受出發(fā)，評價融合圖像與源圖像梯度場的相似性；文獻[53]提出了一種客觀評價融合圖像質(zhì)量的定量指標；文獻[54]提出了一種基于局部方差的圖像融合質(zhì)量評價算法，用于預測視覺失真信息。

3 應用現(xiàn)狀

圖像融合是涉及信號處理、傳感器、圖像處理等眾多方面的一種綜合的圖像處理技術(shù)，在目標檢測與識別、遙感、醫(yī)學、軍事、攝影、人工智能等相關(guān)領(lǐng)域有重要的應用。下面就3個方面進行重點介紹。

1)遙感領(lǐng)域。為了滿足遙感領(lǐng)域中對影像分類、定位精度以及對遙感圖像的空間分辨率和光譜分辨率不斷提升的要求，在對各個方面的因素進行綜合考慮之后，得出對遙感圖像進行處理融合是最合適的方式的結(jié)論，因此,圖像融合技術(shù)在遙感領(lǐng)域得以快速發(fā)展。目前，多源遙感圖像融合已廣泛應用于土地覆蓋分類[43]、森林監(jiān)測[22]、地形圖更新[55]、變化檢測[56]、城市特征提取[23]、洪水監(jiān)測[57]、冰雪監(jiān)測[58]等方面。隨著各種衛(wèi)星遙感技術(shù)的不斷發(fā)展，融合各種新型遙感圖像仍是未來的研究熱點。

2)醫(yī)學領(lǐng)域。為了滿足對人體結(jié)構(gòu)更可視化的需求，各種醫(yī)學成像方式逐漸發(fā)展起來，包括計算機斷層掃描(CT)技術(shù)、核磁共振成像(MRI)、單光子發(fā)射計算機斷層成像(SPECT)和正電子發(fā)射斷層掃描成像(PET)。但不同的成像方式對人體內(nèi)同一身體結(jié)構(gòu)所得到的圖像信息是互為補充、各有利弊的，因此，為了更準確地得出醫(yī)學結(jié)論并提出合理的治療方案，醫(yī)生需要全方位對病人的病癥進行觀察和分析，20世紀90年代中期，許多學者開始對醫(yī)學圖像融合進行深入研究，現(xiàn)已在許多方面得到較成熟的應用。

3)軍事領(lǐng)域?，F(xiàn)代戰(zhàn)場所需的各種偵察情報，如果只是依靠一種圖像源，可靠性就會大大降低。如今許多國家都將圖像融合技術(shù)應用于軍事領(lǐng)域，并將其列為提升軍隊科技化水平的一個重要研究內(nèi)容。在早期，美國就提出了Joint Vision2010計劃，將多源圖像融合等先進技術(shù)應用于發(fā)現(xiàn)敵情。20世紀末，美國海軍在孟菲斯?jié)撏吓渲昧说谝惶讏D像融合裝備。在21世紀的數(shù)字化戰(zhàn)場上，各個國家都試圖將圖像融合技術(shù)應用于軍事裝備。2019年9月，美國陸軍第一、第二裝甲師戰(zhàn)斗隊開始配備雙筒增強型夜視儀，使觀測者獲得立體視覺。綜上所述，圖像融合技術(shù)在軍事領(lǐng)域的發(fā)展歷史悠久漫長，其應用主要可以概括為戰(zhàn)場態(tài)勢監(jiān)視[59]，目標的檢測、識別及跟蹤[60]，戰(zhàn)略戰(zhàn)術(shù)評估[61]及導航定位[62]。未來，圖像融合技術(shù)在軍事領(lǐng)域仍面臨很大挑戰(zhàn)。

4 結(jié)束語

多源圖像融合是一個包括信息融合和圖像處理的重要研究課題，涵蓋豐富的研究內(nèi)容，在各種視覺應用中發(fā)揮著重要作用。目前，多源圖像融合技術(shù)盡管在理論和性能上都有了長足的發(fā)展，但并沒有形成一個完備的理論體系，在各方面的研究及應用中仍有很大發(fā)展?jié)摿?，存在以下問題亟待研究和解決。

1)普適性融合規(guī)則的研究。

雖然當前用于圖像融合的規(guī)則很豐富，但是幾乎每種融合規(guī)則都有其適用的領(lǐng)域和條件限制，這就給使用者造成不便，因此，研究一種普適性融合規(guī)則就顯得尤為重要。

2)通用性評價方法的研究。

目前還不存在一種評價方法能夠適用于各種融合圖像，這就給融合結(jié)果評定造成困擾，因此，通用性評價方法也是一個亟待解決的問題。

3)圖像融合計算速度的改善。

圖像融合過程需要一定的時間，但很多領(lǐng)域?qū)\算速度有著很高的要求，實時處理也是當今時代的需求。因此，改善提高圖像融合運算速度也是面臨的一個挑戰(zhàn)。

4)多圖像源的融合研究。

目前大多數(shù)圖像融合都是將兩種源圖像進行融合，事實上，如果將更多的圖像融合在一起，可以反映的特征信息就會更加豐富全面，因此，未來對多圖像源問題也需要進行深入研究。

5)設(shè)計更加完善的算法使得融合的魯棒性更強。

圖像融合受到環(huán)境等因素的影響很大，例如可能出現(xiàn)的圖像模糊或扭曲等，在拍攝時就需要考慮許多因素，因此，為提高圖像融合的性能，降低拍攝的復雜度，可以借助更先進的數(shù)學理論或模型，設(shè)計出魯棒性更好的算法。