多源圖像融合方法的研究綜述*

張麗霞,曾廣平,宣兆成

(1.天津職業(yè)技術(shù)師范大學(xué)信息技術(shù)工程學(xué)院,天津 300222;2.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院,北京 100083)

1 引言

多源圖像存在的原因有二：(1)由于成像機(jī)理不同，同一場(chǎng)景下不同設(shè)備拍攝的圖像信息不同(如醫(yī)學(xué)圖像)；(2)由于硬件設(shè)備的局限性，一次拍攝僅能采集有限的數(shù)據(jù)信息(如聚焦區(qū)域不同的照片)。多源圖像具有冗余和互補(bǔ)的特性，為了提高圖像的清晰度，增強(qiáng)圖像的識(shí)別度，學(xué)者們提出了圖像融合思想[1]：從2幅或多幅同一場(chǎng)景的多源圖像中提取清晰有用的信息，融合成信息完整的清晰圖像。融合的圖像克服了源圖像在物理屬性、分辨率和信息量等方面的局限性，抑制了噪聲，減少了決策過(guò)程中的不確定因素，增強(qiáng)了圖像信息聚集度，提供了更豐富的有用信息[2]。

圖像融合的研究至今已有40余年，研究方法已有很多，應(yīng)用領(lǐng)域也很廣泛。為了便于對(duì)圖像融合的深刻理解，本文參閱中外參考文獻(xiàn)，對(duì)圖像融合的典型方法、關(guān)鍵技術(shù)、常用評(píng)價(jià)指標(biāo)及其分類(lèi)進(jìn)行評(píng)述，并結(jié)合其影響因素和技術(shù)發(fā)展，從5個(gè)方面論述了亟待解決的問(wèn)題。其中，本文的源圖像均來(lái)自于文獻(xiàn)[3],多聚焦圖像的融合結(jié)果由文獻(xiàn)[4]計(jì)算獲得，多模態(tài)圖像的融合結(jié)果由文獻(xiàn)[5]計(jì)算獲得。

2 圖像融合的方法及分析

眾所周知，灰度圖像是呈現(xiàn)黑色與白色之間不同級(jí)別顏色深度的圖像，主要為亮度信息。而彩色圖像的每個(gè)像素值包括了R、G、B 3個(gè)基色分量，每個(gè)分量決定了其基色的強(qiáng)度。因此，在圖像融合時(shí)，不同圖像采用不同的融合方法。本文對(duì)其分別進(jìn)行了分析。在下文中，圖中的IX，IY均為輸入的源圖像，IF為融合結(jié)果。

2.1 灰度圖像融合方法及分析

通常，像素級(jí)圖像融合方法按照域的選擇分為空間域和變換域2大類(lèi)[6]，此分類(lèi)方法過(guò)于泛化。由此，依據(jù)融合策略，將像素級(jí)圖像融合方法分為4類(lèi)：直接操作像素點(diǎn)的空間域方法(Spatial Method)；處理圖像變換后系數(shù)的多尺度多分辨率的變換域方法MST(Multi-Scale Transform Method)；采用特定數(shù)學(xué)模型精準(zhǔn)提取圖像特征的基于模型的融合方法(Model-based Method)；和2種或2種以上方法組合的混合融合方法(Hybrid Method)。表1列舉了4類(lèi)方法及其包含的典型算法。

Table 1 Classification of multi-source image fusion methods and its classic algorithms

2.1.1 空間域方法

基于空間域的圖像融合方法的融合過(guò)程如圖1所示，直接操作圖像的像素值。最簡(jiǎn)單的融合策略是最大值法和加權(quán)平均法，此2種方法計(jì)算簡(jiǎn)單、運(yùn)算速度快，能夠較好地保留結(jié)果圖像的整體效果，但是邊緣、輪廓等細(xì)節(jié)信息丟失嚴(yán)重。對(duì)此，人們提出基于信息統(tǒng)計(jì)的活動(dòng)級(jí)方法，如文獻(xiàn)[7]利用空間頻率完成圖像融合?？紤]到局部區(qū)域內(nèi)像素的相關(guān)性，基于區(qū)域分割的圖像融合也應(yīng)運(yùn)而生，使得細(xì)節(jié)信息的提取效果有了很大的提高，例如，Zhang等[4]與Aslantas等[8]分別利用差分進(jìn)化算法來(lái)自適應(yīng)確定圖像塊大小的融合方法均取得了較好的融合效果。

Figure 1 Fusion process of spatial method圖1 空間域融合方法的融合過(guò)程

主成分分析PCA(Principle Component Analysis)是一種典型的空間域方法，通過(guò)降維尋找圖像的主成分，根據(jù)主成分來(lái)確定各融合圖像的權(quán)重并完成融合。Wan等[10]提出了基于魯棒性的主成分分析RPCA(Robust Principle Component Analysis)的多聚焦圖像融合方法，采用滑窗技術(shù)和標(biāo)準(zhǔn)差參數(shù)對(duì)低秩分解得到的稀疏矩陣進(jìn)行劃分生成決策圖完成圖像融合。除此之外，Mitianoudis等[11]提出的基于獨(dú)立成分分析ICA(Independent Component Analysis)的圖像融合方法和Jiang等[12]提出的基于形態(tài)學(xué)成分分析MCA(Morphological Component Analysis)的圖像融合方法等也都屬于空間域方法。

2013年，He等[13]提出圖像引導(dǎo)濾波GF(Guided Filtering)方法，利用像素間的線性關(guān)系，實(shí)現(xiàn)圖像間結(jié)構(gòu)的復(fù)制，達(dá)到保留邊緣、平滑噪聲的目的。由于計(jì)算復(fù)雜度低且邊緣清晰，GF被廣泛地應(yīng)用在圖像融合等圖像處理相關(guān)領(lǐng)域。Li等[14]首先將圖像引導(dǎo)濾波應(yīng)用到圖像融合并取得了較好的效果；Zhu等[15]提出了基于梯度域的圖像引導(dǎo)濾波的多尺度圖像融合方法；2019年，Zhang等[16]提出了交替引導(dǎo)濾波多聚焦圖像融合方法，但是由于圖像引導(dǎo)濾波方法使用了濾波器進(jìn)行線性運(yùn)算，所以部分邊緣偶有模糊現(xiàn)象。

除此之外，模糊集[17]、隨機(jī)場(chǎng)[18]等也用在了空間域圖像融合中?？臻g域融合方法簡(jiǎn)單直觀、融合速度快，適合實(shí)時(shí)處理。但是，基于簡(jiǎn)單的疊加運(yùn)算的融合規(guī)則會(huì)大幅度降低融合圖像的信噪比和對(duì)比度。

2.1.2 MST方法

變換域融合的處理對(duì)象是源圖像變換后的分解系數(shù)。其融合過(guò)程主要包括3步：首先利用變換算法將源圖像分解為高低頻率系數(shù)；然后對(duì)不同的系數(shù)采用不同的融合策略，分層次分方向地完成融合；最后通過(guò)逆變換實(shí)現(xiàn)圖像的融合。MST融合方法的融合過(guò)程如圖2所示。其中，LX和LY分別為源圖像IX和IY分解后的低頻系數(shù)。HX和HY為分解后的高頻系數(shù)。LF和HF分別為融合后的低頻系數(shù)和高頻系數(shù)。

Figure 2 Fusion process of MST method圖2 MST融合方法的融合過(guò)程

金字塔變換是最早應(yīng)用于圖像融合中的多尺度變換方法。采用隔行隔列降2采樣獲得的一系列分辨率逐漸降低的圖像集合與分解獲得的低分辨率系數(shù)和高分辨率系數(shù)，凸顯了圖像的重要特征和細(xì)節(jié)信息。金字塔算法較多，例如，拉普拉斯金字塔LP(Laplacian Pyramid)[19]、對(duì)比金字塔[20]、梯度金字塔[21]和形態(tài)學(xué)金字塔[22]等，均獲得了良好的融合效果?；诮鹱炙儞Q的融合方法計(jì)算效率非常高，融合效果較為理想，至今仍然被廣泛應(yīng)用。但是，金字塔分解也存有以下缺點(diǎn)：冗余分解，無(wú)方向性，隨著分解層的逐漸增加，分辨率會(huì)越來(lái)越小，邊界越來(lái)越模糊。

隨后，小波變換應(yīng)運(yùn)而生，它將圖像分解為表示輪廓的低頻近似系數(shù)和表示圖像細(xì)節(jié)的多層3個(gè)方向(水平、垂直和對(duì)角)的高頻細(xì)節(jié)系數(shù)，充分反映了源圖像的局部變化特征[23,24]。優(yōu)點(diǎn)是分解后信息無(wú)冗余，具有方向性，克服了基于金字塔變換方法的缺點(diǎn)[25]。但是，Li等[2]在多尺度變換實(shí)驗(yàn)中驗(yàn)證了小波平移不變性的重要性，不具備平移不變性的方法匹配不完好的圖像時(shí)效果不理想。由此，學(xué)者們提出了改進(jìn)的小波變換，例如多小波[26]、雙樹(shù)復(fù)小波變換[27]、輪廓波[28]、曲線波[29]和剪切波[30]等，它們不但具有平移不變性，也具有方向選擇性。當(dāng)前，應(yīng)用最廣泛的是非下采樣輪廓波變換NSCT(Non-Subsampled Contourlet Transform)[31]和非下采樣剪切波變換NSST(Non-Subsampled Shearlet Transform)[32,33]。NSCT是在輪廓波基礎(chǔ)上提出的非降采樣變換，計(jì)算量大，耗時(shí)長(zhǎng)，效率低。而NSST是在剪切波基礎(chǔ)上提出的非降采樣變換，速度快，具有多方向性，融合效果更理想。

除此之外，多尺度變換的分解層數(shù)直接影響著融合效果：分解層數(shù)越大，提取的細(xì)節(jié)信息越多，融合質(zhì)量越高，但是執(zhí)行時(shí)間也會(huì)隨之增加。如何平衡分解層、融合質(zhì)量和時(shí)間效率之間的關(guān)系成為亟待解決的問(wèn)題。Li等[2]通過(guò)實(shí)驗(yàn)驗(yàn)證了多分辨率變換、小波基和分解層對(duì)融合效果的影響，結(jié)果表明4層是最佳選擇。Liu等[34]研究與稀疏表示法相結(jié)合的多尺度變換時(shí)，指出融合不同圖像的最優(yōu)分解層：多聚焦圖像融合為1層，而像醫(yī)學(xué)圖像等的多模態(tài)圖像融合為4層。

整體來(lái)看，MST方法的特征提取精準(zhǔn)度較高，融合效果較好，優(yōu)于空間域方法。但是，MST方法也存在一定的局限性：費(fèi)時(shí)，實(shí)時(shí)性較差。

2.1.3 基于模型的融合方法

由于傳統(tǒng)的多尺度變換方法采用預(yù)定義的固定函數(shù)實(shí)現(xiàn)特征的提取，如空間頻率和梯度能量等，缺乏特征的泛化性。為了特征的自適應(yīng)，學(xué)者們提出了一些自適應(yīng)提取圖像特征的新的數(shù)學(xué)模型應(yīng)用于圖像融合，例如，稀疏表示SR(Sparse Representation)、脈沖耦合神經(jīng)網(wǎng)絡(luò)PCNN(Pulse Coupled Neural Network)，以及最新提出的基于卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的深度學(xué)習(xí)模型。為了便于與其他方法進(jìn)行區(qū)分，將這些融合方法統(tǒng)稱為基于模型的融合方法。

(1)稀疏表示。

稀疏表示是在保留圖像細(xì)節(jié)特征的基礎(chǔ)上，將圖像有效地分解為一組非零原子的線性組合。過(guò)完備字典和稀疏表示模型是稀疏表示的核心內(nèi)容。

過(guò)完備字典為稀疏表示提供原子庫(kù)，是稀疏表示方法的基礎(chǔ)。一般來(lái)說(shuō)，過(guò)完備字典的獲取有2種方法。一是針對(duì)某種特定類(lèi)型的圖像，用已有的固定的信號(hào)模型構(gòu)造原子，簡(jiǎn)單且易于實(shí)現(xiàn)。二是采用學(xué)習(xí)方法，例如奇異值分解K-SVD(K-Singular Value Decomposition)算法和PCA等，對(duì)大量的實(shí)驗(yàn)樣本進(jìn)行訓(xùn)練構(gòu)造字典，是一種自學(xué)習(xí)的字典，冗余度更高。稀疏表示模型選擇過(guò)完備字典中的小部分原子，采用某種線性組合重構(gòu)圖像，目的是降低數(shù)據(jù)維度和特征向量間的依賴性。目前，稀疏表示的模型有：SR基本模型[35]、組稀疏模型[37,38]、強(qiáng)健的SR RSR(Robust Sparse Representation)模型[39]和交叉稀疏表示JSR(Joint Sparse Representation)模型[40]等。

稀疏表示的融合過(guò)程如圖3所示，首先構(gòu)建過(guò)完備字典，接著依據(jù)過(guò)完備字典將源圖像轉(zhuǎn)換為一個(gè)由字典中原子線性組合的單尺度特征向量，然后對(duì)特征向量進(jìn)行活動(dòng)級(jí)測(cè)量和融合，重構(gòu)得到融合結(jié)果。

Figure 3 Fusion process of SR-based method圖3 基于稀疏表示的圖像融合過(guò)程

基于稀疏表示的圖像融合方法有很多。例如，2013年，Liu等[36]提出了基于自適應(yīng)空間域的稀疏表示的融合方法，解決了噪聲問(wèn)題，其效果明顯優(yōu)于傳統(tǒng)方法的。尹雯等[35]利用高、低分辨率過(guò)完備字典計(jì)算獲取全色圖像和多光譜MS(Multi-Spectral)圖像的稀疏表示系數(shù)。張曉等[38]在2016年依據(jù)圖像塊間的相似性提出了基于結(jié)構(gòu)組稀疏表示的圖像融合方法。Zhang等[40]利用交叉稀疏表示模型完成了特征的抽取和融合。

稀疏表示的優(yōu)點(diǎn)是模型構(gòu)建簡(jiǎn)單，易理解，對(duì)噪聲誤差的處理較理想。但是，稀疏表示方法復(fù)雜度高、計(jì)算效率低，模糊了源圖像中的細(xì)節(jié)信息，如邊緣和紋理。

(2)脈沖耦合神經(jīng)網(wǎng)絡(luò)。

脈沖耦合神經(jīng)網(wǎng)絡(luò)PCNN模型是通過(guò)對(duì)貓的視覺(jué)皮層神經(jīng)元脈沖串同步震蕩現(xiàn)象分析得到哺乳動(dòng)物神經(jīng)元模型的基礎(chǔ)上提出的。由于PCNN模型的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)像素，像素的清晰度由神經(jīng)元的點(diǎn)火次數(shù)確定。圖4為PCNN融合過(guò)程，通過(guò)比較輸入圖像的神經(jīng)元點(diǎn)火總數(shù)來(lái)確定清晰度。此方法具有提取局部細(xì)節(jié)信息能力強(qiáng)、目標(biāo)識(shí)別率高等特點(diǎn)，又由于圖像的清晰度的確定與圖像的紋理等特征無(wú)關(guān)，所以，此方法具有一定的普適性，深受學(xué)者們的喜愛(ài)，并提出了很多PCNN方法[41 - 43]。

圖4中，TS[N]為某神經(jīng)元的點(diǎn)火總次數(shù)，S∈{X,Y}表示源圖像的下標(biāo)。輸入圖像經(jīng)PCNN，通過(guò)比較點(diǎn)火總次數(shù)確定圖像的清晰區(qū)域。越清晰的像素點(diǎn)火次數(shù)越多。傳統(tǒng)的PCNN模型如圖5所示，由多個(gè)神經(jīng)元組成，包含多個(gè)環(huán)形結(jié)構(gòu)，形成了制約關(guān)系。S為輸入圖像，Sij為像素位置(i,j)上的值。Fij和Lij分別為像素位置(i,j)上神經(jīng)元的反饋和連接輸入。Uij為內(nèi)部活動(dòng)項(xiàng)。Yij用于判斷神經(jīng)元的狀態(tài)。Eij為動(dòng)態(tài)閾值。而αF,αL,αE,VF,VL,VE,β,M,W都是可調(diào)節(jié)的參數(shù)，其值影響結(jié)果精度。由此可知，傳統(tǒng)的PCNN方法的實(shí)現(xiàn)需由多個(gè)迭代計(jì)算組合而成，具有運(yùn)算耦合度高、參數(shù)較多、耗時(shí)較長(zhǎng)等缺點(diǎn)。

Figure 4 Fusion process of PCNN-based method圖4 基于PCNN圖像融合方法的融合過(guò)程

Figure 5 Diagram of traditional PCNN model圖5 傳統(tǒng)的PCNN模型示意圖

為了降低PCNN模型的耦合性和計(jì)算復(fù)雜性，文獻(xiàn)[42]提出了簡(jiǎn)化的PCNN模型。簡(jiǎn)化了反饋輸入、連接輸入和連接強(qiáng)度等，即減少了PCNN模型的迭代次數(shù)和參數(shù)個(gè)數(shù)。圖6為基于脈沖皮質(zhì)模型SCM(Spiking Cortical Model)的簡(jiǎn)化的PCNN模型SPCNN(Simple PCNN)，其輸入?yún)?shù)變少了，迭代計(jì)算減少了。

Figure 6 Diagram of SCM-based SPCNN model圖6 基于SCM的SPCNN模型示意圖

PCNN參數(shù)較多，其值是通過(guò)大量的訓(xùn)練獲取，而其融合結(jié)果和性能受參數(shù)值的影響較大，由此，學(xué)者們?cè)谘芯縎PCNN模型的基礎(chǔ)上，提出了自適應(yīng)確定PCNN參數(shù)的方法。例如,苗啟廣等[43]使用圖像逐像素的局部對(duì)比度設(shè)置PCNN對(duì)應(yīng)神經(jīng)元的鏈接強(qiáng)度；Ganasala等[44]采用特征激勵(lì)自適應(yīng)設(shè)置SPCNN的鏈接強(qiáng)度;文獻(xiàn)[45]采用空間頻率激勵(lì)自適應(yīng)設(shè)置PCNN的鏈接強(qiáng)度。但是，當(dāng)前方法自適應(yīng)設(shè)置的參數(shù)個(gè)數(shù)較少，尚未達(dá)到所有參數(shù)的自適應(yīng)，所以，所有參數(shù)的自適應(yīng)是PCNN融合方法的未來(lái)研究方向。

(3)卷積神經(jīng)網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)CNN是當(dāng)前圖像處理領(lǐng)域非常流行的模型之一。作為一種深度學(xué)習(xí)模型，CNN是基于GPU的并行計(jì)算，速度快，效率高。其特征提取是基于數(shù)據(jù)驅(qū)動(dòng)的，經(jīng)大量數(shù)據(jù)樣本訓(xùn)練自動(dòng)生成參數(shù)的值，通常數(shù)量級(jí)為上萬(wàn)，所以CNN融合方法提取的特征具有很強(qiáng)的泛化性。且隨著網(wǎng)絡(luò)深度的加深，逐漸摒棄了物理等特性的影響，其特征越來(lái)越抽象，越來(lái)越精準(zhǔn)，具有平移、旋轉(zhuǎn)和縮放不變性的特性。

Krizhevsky等[63]將CNN模型應(yīng)用于圖像分割，開(kāi)啟了CNN在圖像領(lǐng)域的應(yīng)用。在過(guò)去的5年里，CNN模型被成功地引入到計(jì)算機(jī)視覺(jué)的各個(gè)方面，例如，臉部識(shí)別[64]、語(yǔ)義分割[65]和圖像超分辨率重建[66]等。2017年，Liu等[46]首次成功地將CNN應(yīng)用到圖像融合，開(kāi)啟了CNN模型用于圖像融合的新篇章。Du等[49]為了融合多聚焦圖像，提出了多尺度CNN MSCNN(Multi-Scale CNN)的融合方法。2019年，Xia等[50]為融合醫(yī)學(xué)圖像，提出了改進(jìn)的CNN模型。Mostafa等[51]提出了用于多聚焦圖像的集成CNN方法。圖7為基于CNN模型的圖像融合過(guò)程。CNN模型助力圖像融合是未來(lái)研究的熱點(diǎn)問(wèn)題之一。

Figure 7 Fusion process of CNN-based method圖7 基于CNN模型的圖像融合過(guò)程

CNN圖像融合方法具有分層學(xué)習(xí)特征的能力，特征表達(dá)更具有多樣性，判別性能更強(qiáng)，泛化性能更好。其缺點(diǎn)是訓(xùn)練數(shù)據(jù)耗時(shí)較長(zhǎng)，無(wú)專門(mén)的訓(xùn)練集。由于數(shù)據(jù)樣本的局限性，CNN通常針對(duì)專門(mén)圖像進(jìn)行訓(xùn)練，所以普適性的CNN融合方法是一研究難題。

2.1.4 混合型融合方法

由于前文的方法都有優(yōu)缺點(diǎn)，為了獲得更好的融合效果，學(xué)者們提出了多種方法相結(jié)合的融合方法。例如，牛曉暉等[52]提出了離散小波變換DWT(Discrete Wavelet Transform)與PCA相結(jié)合的方法DWT+PCA，即近似系數(shù)采用PCA技術(shù)，高頻細(xì)節(jié)系數(shù)采用自適應(yīng)局部區(qū)域方差的方法。Tian等[54]采用自適應(yīng)拉普拉斯金字塔算法求解小波細(xì)節(jié)系數(shù)的局部清晰度，在一定程度上提高保留的信息量和清晰度，降低扭曲程度。2015年，Liu等[34]提出了將多尺度變換和稀疏表示法相結(jié)合的多聚焦圖像融合方法，在保留了圖像的邊緣信息和梯度信息的基礎(chǔ)上，提高了圖像的空間細(xì)節(jié)信息量，提升了融合質(zhì)量。王威等[55]在2017年為提高空間分辨率，提出了基于引導(dǎo)濾波和稀疏表示的融合方法，通過(guò)引導(dǎo)濾波算法，將全色圖像作為向?qū)D，對(duì)多光譜亮度圖注入細(xì)節(jié)，加強(qiáng)局部細(xì)節(jié)，空間分辨率和光譜的保留度都優(yōu)于其它方法。除此之外，基于NSCT和稀疏表示的多聚焦圖像融合方法[57]、基于非下采樣雙樹(shù)復(fù)輪廓波變換NSDTCCT(Non-Subsampled Dual-Tree Complex Contourlet Transform)和稀疏表示的紅外和可見(jiàn)光圖像融合方法[58]等也取得了較好的效果。

PCNN模型與其他方法也有結(jié)合。文獻(xiàn)[59]提出PCNN與NSCT相結(jié)合的融合方法；文獻(xiàn)[60]提出NSST域下雙PCNN方法用于紅外與可見(jiàn)光圖像融合；文獻(xiàn)[61]給出NSCT域下稀疏表示與PCNN相結(jié)合的醫(yī)學(xué)圖像融合方法，這些方法從多層次多方向提取了圖像細(xì)節(jié)，較好地改善了融合質(zhì)量。為進(jìn)一步加快融合速度，提高融合質(zhì)量，學(xué)者們將自適應(yīng)PCNN與其他方法進(jìn)行了結(jié)合。例如,Ganasala等[44]在NSST域下，采用特征激勵(lì)自適應(yīng)PCNN實(shí)現(xiàn)醫(yī)學(xué)圖像融合；戴文戰(zhàn)等[62]提出基于人眼視覺(jué)特性與自適應(yīng)PCNN的醫(yī)學(xué)圖像融合方法。

總之，混合型融合方法是融合了2種或2種以上的方法，各取所長(zhǎng)，優(yōu)勢(shì)互補(bǔ)，提高了融合質(zhì)量。通?；旌闲偷娜诤戏椒▋?yōu)于單一融合方法。

2.2 彩色圖像融合方法

彩色圖像色彩斑斕，細(xì)節(jié)豐富，貼近自然，深得眾人喜愛(ài)。為了保障融合方法的普適性，學(xué)者們?cè)谘芯坎噬珗D像融合方法時(shí)，通常是在基于灰度圖像融合方法的基礎(chǔ)上展開(kāi)，根據(jù)彩色空間的信息表達(dá)形式來(lái)設(shè)計(jì)。目前，已有了多種融合方法，通常分為2類(lèi)：一類(lèi)是多幅彩色圖像的融合，另一類(lèi)是彩色圖像與灰度圖像的融合。

(1)2幅彩色圖像的融合。

圖8為2幅彩色圖像融合的示例。圖8a為近景聚焦的彩色圖像；圖8b為遠(yuǎn)景聚焦的彩色圖像；圖8c為融合后的效果圖。融合結(jié)果由文獻(xiàn)[66]的CNN方法計(jì)算獲得。

Figure 8 Fusion of two color images圖8 2幅彩色圖像的融合

通常，彩色圖像按照三基色RGB分成三通道(R通道、G通道、B通道)分別融合，最后將三通道的融合結(jié)果合并成為彩色結(jié)果圖像。該方法實(shí)現(xiàn)較為簡(jiǎn)單。但是，由于彩色圖像本身的復(fù)雜性和細(xì)節(jié)信息的多樣性，三通道圖像會(huì)出現(xiàn)偏色、失真等致命問(wèn)題。而且，該方法運(yùn)行時(shí)間較長(zhǎng)，是普通灰度圖像融合時(shí)長(zhǎng)的3倍。所以，另一種融合方法應(yīng)運(yùn)而生。

公式I=0.2989R+0.5870G+0.1140B是在保留圖像清晰度和亮度的基礎(chǔ)上，將彩色圖像去除色彩信息，轉(zhuǎn)換為灰度圖像的方法。借助此式，先將輸入的彩色源圖像轉(zhuǎn)換為灰度圖像；然后根據(jù)灰度圖像的融合策略，獲得圖像的決策圖；最后根據(jù)彩色圖像的清晰度與灰度圖像的一致性，將灰度決策圖轉(zhuǎn)換為三通道決策圖，并采用加權(quán)平均法融合源圖像形成彩色融合圖像。

在變換域融合方法中，需要進(jìn)行逆變換運(yùn)算，所以，通常選擇三通道方法進(jìn)行融合。而其他不涉及變換域的融合方法，在融合彩色圖像時(shí)，既可以采用三通道方法來(lái)實(shí)現(xiàn)，也可以借助彩色空間轉(zhuǎn)換公式將彩色圖像轉(zhuǎn)換為灰度圖像來(lái)完成融合。

(2)彩色圖像與灰色圖像的融合。

圖9為灰度圖像與彩色圖像融合的效果。圖9a為核磁共振MR(Magnetic Resonance)圖像；圖9b為正電子發(fā)射計(jì)算機(jī)斷層顯像PET(Positron Emission computed Tomography)彩色圖像；圖9c為融合后的效果圖。此類(lèi)圖像融合的結(jié)果由文獻(xiàn)[47]的CNN方法獲得。

Figure 9 Fusion of gray and color images圖9 灰度圖像與彩色圖像的融合

彩色圖像亮度信息與灰度圖像相對(duì)應(yīng)，其分離通常利用顏色空間的轉(zhuǎn)換模型來(lái)實(shí)現(xiàn)，例如，Lab色彩模型、YUV色彩模型和HSV色彩模型等。YUV色彩模型是常用方法之一，由亮度信號(hào)Y(Luminance)和2個(gè)色度(Chrominance)信號(hào)U、V組成。其中，U和V用于描述色彩和飽和度，即色彩信息。式(1)～式(3)為RGB轉(zhuǎn)換為YUV的過(guò)程，實(shí)現(xiàn)彩色圖像細(xì)節(jié)信息的分離，其中Y為提取的亮度信息。式(4)～式(6)為YUV轉(zhuǎn)換為RGB的過(guò)程，將融合的灰度圖像和分離的色度信號(hào)U、V融合，轉(zhuǎn)換為RGB圖像。

Y=0.299R+0.587G+0.114B

(1)

U=-0.147R-0.289G+0.436B

(2)

V=0.615R-0.515G-0.100B

(3)

R=Y+1.14V

(4)

G=Y-0.39U-0.58V

(5)

B=Y+2.03U

(6)

其融合過(guò)程如圖10所示。其中，IL為從彩色圖像IY提取的亮度灰度圖像。IF_G為灰度圖像IX和亮度圖像IL的融合結(jié)果。其融合過(guò)程包括3步：

Figure 10 Fusion process of gray and color images圖10 灰度圖像與彩色圖像的融合過(guò)程

(1)利用顏色空間轉(zhuǎn)換，將彩色圖像的亮度通道分離，形成單通道的灰度圖像。

(2)融合亮度通道的灰度圖像與輸入的單通道灰度圖像完成灰度圖像的融合。

(3)對(duì)融合的灰度圖像與彩色圖像分離的其他2種圖像通過(guò)顏色空間逆變換，形成RGB色彩空間的彩色圖像，即最終的融合圖像。

盡管此方法取得了較好的效果，但是它并沒(méi)有充分考慮彩色圖像的特殊性。又由于人眼視覺(jué)對(duì)色彩信息較為敏感，因此色彩信息的融合是未來(lái)的研究熱點(diǎn)之一。

3 關(guān)鍵技術(shù)現(xiàn)狀分析

圖像融合的一般過(guò)程分為特征提取、后期優(yōu)化和圖像融合3個(gè)步驟。特征提取是通過(guò)數(shù)學(xué)模型，從源圖像中提取圖像特征的過(guò)程，一般包括圖像分割、特征表示和特征選擇3步。后期優(yōu)化是利用中心像素與鄰域內(nèi)像素的關(guān)系對(duì)特征進(jìn)行優(yōu)化。最后，圖像融合是采用加權(quán)平均等規(guī)則完成圖像的合并。其中，特征提取、后期優(yōu)化為研究的重點(diǎn)，也是學(xué)者們的關(guān)注點(diǎn)。

3.1 特征提取

特征提取是通過(guò)一定的方法，從源圖像中提取能夠體現(xiàn)圖像特點(diǎn)的特征。一般包括3步：圖像分割、特征表示和特征選擇。

(1)圖像分割。

圖像分割是依據(jù)算法將圖像分割成獨(dú)立處理的單位，即粒度劃分。如圖11所示，通常分為2種類(lèi)型：以像素(分解系數(shù))為單位的分割和以區(qū)域?yàn)閱挝坏姆指睢?/p>

Figure 11 Diagram of segmentation granularity圖11 分割粒度示意圖

基于像素(分解系數(shù))的分割是以像素點(diǎn)(分解系數(shù))為單位分割的最簡(jiǎn)單的方法。通過(guò)比較多幅圖像的對(duì)應(yīng)像素點(diǎn)的某特征值來(lái)獲取圖像的融合結(jié)果。此方法簡(jiǎn)單、快速，但是效果不理想，對(duì)噪聲和誤匹配敏感，易出現(xiàn)模糊區(qū)域。

基于區(qū)域的分割是根據(jù)區(qū)域相關(guān)性將多個(gè)像素(分解系數(shù))組合成一組?；诠潭ǔ叽绲膭澐直环Q為基于窗口的分割，是按照一定的算法將圖像(分解系數(shù))直接分割成相同大小的塊，通常為3×3，5×5或者7×7。例如Zhan等[67,68]采用了7×7的固定尺寸的分割方法，但此方式?jīng)]考慮內(nèi)容間關(guān)系。自適應(yīng)分割是以內(nèi)容相關(guān)性計(jì)算出一定準(zhǔn)則下塊的最優(yōu)尺寸[8]，例如以圖像中具體對(duì)象為單位分割，在一定程度上考慮了圖像內(nèi)容的相關(guān)性，融合效果優(yōu)于其他方法，但塊效應(yīng)明顯。

滑窗技術(shù)是另一種分割方法，即重疊的分區(qū)技術(shù)，樣本像素點(diǎn)的特征值是以此樣本為中心的區(qū)域特征值。此方法避免了塊效應(yīng)，但是計(jì)算效率不高，原因是塊數(shù)較多。假設(shè)圖像的大小為H×W，滑窗大小為n×n，則能從該圖像中提取出的塊數(shù)T可用式(7)求得。

(7)

(2)特征表示。

特征表示是從前期結(jié)果中獲得能夠表達(dá)圖像特征的表達(dá)式，通常被稱為活動(dòng)級(jí)。常用的活動(dòng)級(jí)為基于自適應(yīng)區(qū)域或固定窗口的信息統(tǒng)計(jì)，充分考慮了圖像內(nèi)容的相關(guān)性。Li等[6]采用空間頻率SF(Spatial Frequency)作為活動(dòng)級(jí)用于測(cè)量圖像塊的清晰度;Eltoukhy等[9]采用梯度能量EOG(Energy Of Gradient)作為活動(dòng)級(jí)測(cè)量圖像的特征。為測(cè)量不同活動(dòng)級(jí)對(duì)融合質(zhì)量的影響，2007年，Huang等[69]評(píng)述了改進(jìn)的拉普拉斯能量和SML(Sum-Modified-Laplacian)、拉普拉斯能量EOL(Energy Of Laplacian)、梯度能量EOG和空間頻率SF等作為活動(dòng)級(jí)的優(yōu)缺點(diǎn)。在不考慮執(zhí)行時(shí)間時(shí)，SML的效果最佳。2015年，為了抑制噪聲的影響，Zhan等[67]將相位一致性作為活動(dòng)級(jí)測(cè)量多聚焦圖像的聚焦度，采用最大值法實(shí)現(xiàn)融合?？紤]到人類(lèi)視覺(jué)對(duì)圖像灰度的局部對(duì)比敏感度不同的情況，蒲恬等[70]選取了基于小波變換的對(duì)比度的絕對(duì)值表示特征。

除此之外，不同的數(shù)學(xué)模型有不同的特征表示。在PCNN方法中，利用神經(jīng)元的點(diǎn)火次數(shù)來(lái)表示圖像的特征，像素點(diǎn)越清晰，點(diǎn)火次數(shù)越多，反之亦然；在CNN方法中，通過(guò)卷積和池化操作，獲得圖像的特征圖，表征了圖像的清晰程度；在SR方法中，活動(dòng)級(jí)測(cè)量分別為L(zhǎng)0范式、L1范式和L2范式。

(3)特征選擇。

特征選擇采用某種數(shù)學(xué)方法對(duì)特征值進(jìn)行比較和標(biāo)注，形成圖像融合的權(quán)值圖，其值為二值圖，通常被稱為融合決策圖。如圖12所示。圖12a為左聚焦源圖像，圖12b為右聚焦源圖像，圖12c為融合決策圖。結(jié)果由文獻(xiàn)[8]方法計(jì)算獲得。

Figure 12 Fused decision diagram圖12 融合決策圖

特征選擇通常采用最大值、絕對(duì)值最大值或加權(quán)平均等方法。Zhan 等[68]采用最大值法比較活動(dòng)級(jí)EOL的值；Li等[37]提出了基于加權(quán)平均的引導(dǎo)濾波的融合規(guī)則。在PCNN模型中，采用點(diǎn)火總次數(shù)最大值法完成像素的選擇。SR模型中，常用的融合規(guī)則是最大值法。例如，Liu等[36]采用了基于L1范式的最大值法實(shí)現(xiàn)自適應(yīng)稀疏表示特征的選擇，實(shí)現(xiàn)了MST中低頻系數(shù)向量的融合。在CNN中，活動(dòng)級(jí)為全連接輸出的特征圖，Liu等[46]采用了逐特征值最大值法實(shí)現(xiàn)特征選擇。

混合型融合方法采用多種特征表示和特征選擇策略。Liu等[34]在MST和SR相結(jié)合的方法中采用最大值與加權(quán)平均的規(guī)則分別完成不同系數(shù)的融合；文獻(xiàn)[61]的低頻子帶采用L1范式取大的規(guī)則，高頻子帶利用系數(shù)點(diǎn)火總次數(shù)最大值規(guī)則分別完成系數(shù)選擇；在文獻(xiàn)[62]的融合方法中，低頻子帶的活動(dòng)級(jí)為區(qū)域能量和梯度奇異值的結(jié)合，采用差異比取大的規(guī)則完成選取，高頻子帶以PCNN迭代200次后的每個(gè)系數(shù)點(diǎn)火總次數(shù)取大的規(guī)則來(lái)選取。

特征表示和特征選擇通常被稱作融合策略。在同等條件下，不同的融合策略有不同的融合結(jié)果。為了取得更好的融合結(jié)果，融合策略一直是學(xué)者們研究的重要方向之一。

3.2 后期優(yōu)化

決策圖是源圖像在融合圖像時(shí)的權(quán)重，是經(jīng)融合策略計(jì)算獲得的。由于初始決策圖存在大量孔洞或邊界模糊、斷裂等問(wèn)題，所以，為了提升圖像融合效果，獲得清晰的融合圖像，需在圖像融合之前優(yōu)化決策圖，消除噪聲，此過(guò)程稱為后期優(yōu)化。常用的方法有眾數(shù)濾波(Majority Filter)、圖像引導(dǎo)濾波和形態(tài)學(xué)方法。

(1)眾數(shù)濾波。

眾數(shù)濾波是最常用的優(yōu)化方法之一，以塊為單位，利用相鄰像素之間的相關(guān)性處理像素。判斷準(zhǔn)則是：如果中心像素(分解系數(shù))來(lái)源于圖像IX，而相鄰像素(分解系數(shù))大部分來(lái)源于圖像IY，則中心像素(分解系數(shù))改為來(lái)源于圖像IY，反之亦然，目的是填充決策圖的小孔洞。

(2)圖像引導(dǎo)濾波。

圖像引導(dǎo)濾波GF是依據(jù)像素與其鄰近像素的線性關(guān)系，利用圖像結(jié)構(gòu)一致性原理，將源圖像的結(jié)構(gòu)信息復(fù)制到?jīng)Q策圖的過(guò)程。引導(dǎo)圖像提供結(jié)構(gòu)信息，輸入圖像利用引導(dǎo)圖像像素間的線性關(guān)系修改圖像,其目的是實(shí)現(xiàn)圖像結(jié)構(gòu)和邊界的復(fù)制。

(3)形態(tài)學(xué)方法。

形態(tài)學(xué)方法是以形態(tài)表示為基礎(chǔ)，用結(jié)構(gòu)元素去度量和提取圖像中的對(duì)應(yīng)元素，達(dá)到對(duì)圖像處理的目的。原理是利用基礎(chǔ)運(yùn)算(腐蝕和膨脹)實(shí)現(xiàn)消除小孔洞、平滑邊界和連接邊緣等操作。

此3種優(yōu)化方法都取得了較好的效果，在實(shí)際中得到廣泛應(yīng)用。例如，Li 等[14,68]分別引入圖像引導(dǎo)濾波(GF)優(yōu)化決策圖。Li 等[71]根據(jù)局部融合權(quán)重一致的原則，采用形態(tài)學(xué)方法的膨脹填充或腐蝕刪除小區(qū)域，完成了結(jié)構(gòu)一致性的檢驗(yàn)。

4 評(píng)價(jià)方法

融合質(zhì)量的好壞需從以下3方面來(lái)評(píng)價(jià)：(1)所有源圖像的清晰區(qū)域是否都保留；(2)冗余信息和噪聲是否都清除；(3)融合后是否加入額外噪聲，以及對(duì)匹配不完美圖像處理的魯棒性。目前，評(píng)價(jià)方法主要分為2種：主觀評(píng)價(jià)和客觀評(píng)價(jià)。

4.1 主觀評(píng)價(jià)

主觀評(píng)價(jià)是根據(jù)觀察者的主觀感知對(duì)圖像進(jìn)行評(píng)估，例如邊緣是否清晰，所有對(duì)象是否清晰，對(duì)比度是否降低，有沒(méi)有引入噪聲等。通常，主觀評(píng)價(jià)的尺度采用5分制(很差、差、一般、好和非常好)的評(píng)分標(biāo)準(zhǔn)，分別用1～5來(lái)表示(國(guó)際上規(guī)定的圖像評(píng)價(jià)五級(jí)制)。但是，受一定因素的影響，主觀評(píng)價(jià)方法并沒(méi)有得到大規(guī)模應(yīng)用，其原因如下：

(1)評(píng)價(jià)者必須具備專業(yè)的背景知識(shí)，對(duì)圖像很熟悉才能從質(zhì)和量方面對(duì)圖像進(jìn)行評(píng)價(jià)。而且，如果2幅圖像的差異細(xì)微，評(píng)價(jià)者難以用肉眼區(qū)分。

(2)環(huán)境因素，例如，顯示屏分辨率、評(píng)價(jià)者與屏幕的距離和光線強(qiáng)弱等都會(huì)影響人的感觀和判斷。

(3)組織開(kāi)展主觀評(píng)價(jià)成本高，需要人力、物力和財(cái)力的支持。因此，當(dāng)前的主觀評(píng)價(jià)局限于部分專家和實(shí)驗(yàn)人員完成可靠性和魯棒性的簡(jiǎn)單評(píng)估。

4.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)是利用某種數(shù)學(xué)算法對(duì)圖像質(zhì)量進(jìn)行定量評(píng)價(jià)。均方差MSE(Mean Square Error)、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和互信息MI(Mutual Information)等方法簡(jiǎn)單、易于實(shí)現(xiàn)，是最常用的客觀評(píng)價(jià)指標(biāo)。Xydeas等[72]提出的基于邊緣相似性的客觀評(píng)價(jià)指標(biāo)，不僅考慮邊緣的方向，同時(shí)也考慮了粗細(xì)程度。王超等[73]設(shè)計(jì)了比較源圖像和融合圖像的梯度場(chǎng)的相似性來(lái)評(píng)價(jià)融合效果。羅曉清等[74]設(shè)計(jì)了一種基于區(qū)域相似性的評(píng)價(jià)指標(biāo)，通過(guò)綜合加權(quán)該區(qū)域圖像的灰度、紋理和邊緣等信息，計(jì)算該區(qū)域的相似性。羅蘭等[75]提出了多尺度局部方法的圖像融合標(biāo)準(zhǔn)，通過(guò)分析不同尺度的分解圖像，層層比較源圖像和融合圖像的相似性，最后合并所有層的相似度，實(shí)現(xiàn)最終圖像評(píng)價(jià)。

客觀評(píng)價(jià)方法較多，人們通常都是根據(jù)經(jīng)驗(yàn)來(lái)選擇。為了有針對(duì)性地選取，部分專家對(duì)評(píng)價(jià)指標(biāo)進(jìn)行了分類(lèi)。表2列舉了常用的2種分類(lèi)方法的對(duì)應(yīng)關(guān)系。

Table 2 Popular assessment metrics

第1種是Jagalingam等[76]從有無(wú)參考圖像方面對(duì)評(píng)價(jià)指標(biāo)進(jìn)行分類(lèi)，分為全參考圖像的評(píng)價(jià)方法、半?yún)⒖紙D像的評(píng)價(jià)方法和無(wú)參考圖像的評(píng)價(jià)方法。全參考圖像的客觀評(píng)價(jià)指標(biāo)有均方根誤差RMSE(Root-Mean-Square Error)和MI等，無(wú)參考圖像的評(píng)價(jià)指標(biāo)有標(biāo)準(zhǔn)差和熵等。而半?yún)⒖紙D像評(píng)價(jià)指標(biāo)幾乎沒(méi)有。由于融合圖像的參考圖像難以實(shí)現(xiàn)，所以全參考圖像評(píng)價(jià)指標(biāo)的值為源圖像與融合圖像的計(jì)算結(jié)果。

Liu等[77]將客觀評(píng)價(jià)方法分為4類(lèi)：(1)基于信息理論的評(píng)價(jià)指標(biāo)：標(biāo)準(zhǔn)差、信息熵和互信息；(2)基于圖像特征的評(píng)價(jià)指標(biāo):空間頻率、梯度和相位一致性；(3)基于結(jié)構(gòu)相似性的評(píng)價(jià)指標(biāo):基于多尺度結(jié)構(gòu)相似性的客觀評(píng)價(jià)指標(biāo)和基于結(jié)構(gòu)相似性矩陣的客觀評(píng)價(jià)指標(biāo)；(4)基于人類(lèi)視覺(jué)的評(píng)價(jià)指標(biāo):Chen和Varshney等人提出的人類(lèi)視覺(jué)的評(píng)價(jià)指標(biāo)和Chen和Blum等人提出的人類(lèi)視覺(jué)的評(píng)價(jià)指標(biāo)。此分類(lèi)方法是大多數(shù)研究者選擇評(píng)價(jià)指標(biāo)的核心依據(jù)。

除此之外，張小利等[78]從原理上把評(píng)價(jià)指標(biāo)分為3種：基于統(tǒng)計(jì)特征的評(píng)價(jià)指標(biāo)(均方差、峰值信噪比、空間頻率、平均梯度和相關(guān)系數(shù))、基于信息量的評(píng)價(jià)指標(biāo)(信息熵、互信息)和基于人類(lèi)視覺(jué)系統(tǒng)的評(píng)價(jià)指標(biāo)(基于邊緣信息的客觀評(píng)價(jià)指標(biāo)、結(jié)構(gòu)相似模型和基于顯著性的集合測(cè)評(píng)法等)。

目前，為多方位評(píng)價(jià)融合結(jié)果，通常依據(jù)Liu等[77]分類(lèi)法，從不同角度選擇客觀評(píng)價(jià)指標(biāo)。例如，Liu等[46]依據(jù)Liu分類(lèi)法，選取了4個(gè)評(píng)價(jià)指標(biāo)：歸一化互信息、梯度、Yang的結(jié)構(gòu)相似性和Chen-Blum的人類(lèi)視覺(jué)感知。文獻(xiàn)[79]也按照Liu的分類(lèi)，選擇了歸一化互信息、非線性相關(guān)信息熵、平均梯度、相位一致性、Yang的結(jié)構(gòu)相似性和Chen-Blum的人類(lèi)視覺(jué)感知6個(gè)評(píng)價(jià)指標(biāo)。

5 應(yīng)用及發(fā)展趨勢(shì)分析

多源圖像融合方法已被廣泛應(yīng)用到很多領(lǐng)域,如攝影攝像、安保系統(tǒng)和醫(yī)學(xué)等。表3為3個(gè)常見(jiàn)領(lǐng)域圖像融合的典型方法及未來(lái)發(fā)展方向。

Table 3 Typical fusion methods and future development trends in various fields

5.1 攝影攝像

攝影攝像是多聚焦圖像應(yīng)用領(lǐng)域之一。其使用的融合技術(shù)是提取多幅圖像的聚焦區(qū)域，融合成一幅全聚焦圖像，相當(dāng)于擴(kuò)大了鏡頭的景深，如圖13所示。圖13a為左聚焦圖像，圖13b為右聚焦圖像，圖13c為融合結(jié)果。其核心思想是鑒別圖像中的清晰區(qū)域，融合清晰區(qū)域，合并成一幅全清晰圖像。用于測(cè)量聚焦區(qū)域的活動(dòng)級(jí)(又被稱作聚焦度)，常用的聚焦度有空間頻率、梯度能量等。其融合方法囊括了前文的4種方法，融合效果已滿足了人們的視覺(jué)要求。

Figure 13 Example of photographic image fusion圖13 攝影攝像圖像融合示例

伴隨著技術(shù)的發(fā)展，攝影攝像應(yīng)用越來(lái)越廣泛，人們對(duì)圖像融合提出了更高的要求。未來(lái)攝影攝像圖像融合的研究主要有2大方向：(1)將圖像融合方法嵌入到電子產(chǎn)品中，用軟件彌補(bǔ)硬件的不足，實(shí)現(xiàn)一站式圖像融合，減少圖像處理的復(fù)雜度，縮短圖像處理時(shí)間；(2)由于環(huán)境因素的影響，例如，天氣變化、光照變化，以及移動(dòng)物體的參與等噪聲，嚴(yán)重影響了圖像的質(zhì)量，如何改進(jìn)融合方法，提升對(duì)不完美狀態(tài)圖像處理的魯棒性是未來(lái)研究的方向之一。

5.2 多模態(tài)圖像融合

由于成像機(jī)理的不同，不同模態(tài)的圖像對(duì)場(chǎng)景的關(guān)注點(diǎn)存在顯著差異，單一類(lèi)型圖像往往無(wú)法提供全面的信息。如圖14所示的醫(yī)學(xué)領(lǐng)域中的圖像，圖14a為展示人體骨骼和植入物位置信息的計(jì)算機(jī)斷層掃描CT(Computed Tomography)圖像，圖14b為顯示人體軟組織細(xì)節(jié)信息的MR圖像，圖14c為融合結(jié)果。圖15所示為夜視場(chǎng)景下的圖像，圖15a為紅外圖像，圖15b為可見(jiàn)光圖像，圖15c為融合結(jié)果。由于圖像的互補(bǔ)性和冗余性，最常用的方式是與多尺度變換方法相結(jié)合的基于模型的混合式融合方法。

Figure 14 Example of medicine image fusion圖14 醫(yī)學(xué)領(lǐng)域圖像融合示例

Figure 15 Example of image fusion in security field圖15 安保領(lǐng)域圖像融合示例

未來(lái)多模態(tài)圖像融合的研究方向有3個(gè)：首先是誤匹配的處理。多模態(tài)圖像是利用不同設(shè)備、不同參數(shù)對(duì)同一對(duì)象(場(chǎng)景)的多次拍攝而獲得，其結(jié)果將導(dǎo)致源圖像的空間位置存有偏差，當(dāng)前的實(shí)驗(yàn)圖像都是經(jīng)過(guò)精確配準(zhǔn)的，所以，實(shí)現(xiàn)配準(zhǔn)與融合一體化的方法是未來(lái)的挑戰(zhàn)。第2是實(shí)時(shí)處理。由于安保系統(tǒng)需及時(shí)了解場(chǎng)景的詳細(xì)信息，而紅外線和可見(jiàn)光圖像的成像原理不同，將紅外線拍攝的人物及時(shí)定位到可見(jiàn)光拍攝的場(chǎng)景中是亟待解決的問(wèn)題。第3是多幅圖像的快速融合。醫(yī)學(xué)領(lǐng)域中的PET、MR、CT等圖像都具有顯著特征，將多于2幅以上的多源圖像快速融合，更便于臨床上病情的診斷。

6 結(jié)束語(yǔ)

隨著技術(shù)的發(fā)展，圖像融合的方法越來(lái)越多，圖像融合的效果已達(dá)到了很高的水平。但是，當(dāng)前還存在一些問(wèn)題亟待研究和解決。

(1)從算法的可靠性和魯棒性來(lái)考慮，當(dāng)前的方法需引入新的數(shù)學(xué)模型或理論。

為了克服環(huán)境等因素造成的圖像模糊或扭曲等問(wèn)題，圖像拍攝前需做大量的準(zhǔn)備：盡量減少移動(dòng)對(duì)象的數(shù)量、選擇適宜的天氣和適宜的光線等。為提高融合方法的性能，應(yīng)借助更新的數(shù)學(xué)理論或模型，設(shè)計(jì)滿足更多類(lèi)型圖像和不完美配準(zhǔn)圖像融合的方法，進(jìn)一步提升算法的可靠性和魯棒性。

(2)從時(shí)間效率角度考慮，當(dāng)前的方法需進(jìn)一步改進(jìn)和優(yōu)化。

當(dāng)前大部分方法僅在實(shí)驗(yàn)室完成，設(shè)計(jì)目的是追尋融合圖像的質(zhì)量更優(yōu)，對(duì)時(shí)間成本考慮較少。隨著社會(huì)的發(fā)展，人們對(duì)圖像處理時(shí)間的容忍度越來(lái)越短，希望能夠?qū)崿F(xiàn)實(shí)時(shí)融合。所以，在以后的研究中，需拓寬思路，引入概率論等理論概念，改進(jìn)和優(yōu)化融合策略，優(yōu)化融合過(guò)程，實(shí)現(xiàn)一站式的快速融合，提高方法的時(shí)間效率。這在實(shí)際應(yīng)用方面具有很大的價(jià)值，也是富有挑戰(zhàn)性的課題之一。

(3)從數(shù)據(jù)特征方面來(lái)看，特征提取應(yīng)更加多元化。

目前多源圖像融合時(shí)，提取的特征多為單一特征，例如，梯度能量、方差、空間頻率和拉普拉斯能量等。并且針對(duì)不同模態(tài)圖像，提取的特征也不一樣。除此之外，當(dāng)前方法的特征是通過(guò)理論分析人為定制的，沒(méi)有考慮圖像特征的語(yǔ)義。而深度學(xué)習(xí)的基本思想是從語(yǔ)義角度構(gòu)建具有多個(gè)層次的學(xué)習(xí)模型，通過(guò)自主學(xué)習(xí)提取多層次的特征，不需要預(yù)先對(duì)圖像進(jìn)行分割。所以，如何使用深度學(xué)習(xí)實(shí)現(xiàn)無(wú)監(jiān)督精準(zhǔn)地提取顯著特征是值得研究的一個(gè)熱點(diǎn)問(wèn)題。

(4)從算法的普適性考慮，特征提取需更加精準(zhǔn)。

由于不同圖像具有不同的特征，所以，當(dāng)前大部分算法都具有針對(duì)性，例如，面向多模態(tài)圖像、面向多聚焦圖像等。個(gè)別具有通用性的算法也是基于灰度圖像展開(kāi)的，特征的提取也僅僅考慮了灰度圖像。而彩色圖像的融合通常是借助灰度圖像來(lái)實(shí)現(xiàn)。為此，在未來(lái)的研究中，改進(jìn)特征的數(shù)學(xué)模型，提升特征精準(zhǔn)表達(dá)，提升方法的普適性，既滿足不同模態(tài)灰度圖像的融合效果，同時(shí)也提升彩色圖像的融合效果，是亟待解決的問(wèn)題之一。

(5)從評(píng)估角度考慮，評(píng)估方法需進(jìn)一步規(guī)范化。

評(píng)價(jià)指標(biāo)是衡量融合方法的唯一途徑。目前，人們通常根據(jù)經(jīng)驗(yàn)選擇評(píng)價(jià)指標(biāo)。所以，為了更好地客觀評(píng)價(jià)圖像質(zhì)量，后續(xù)研究側(cè)重于以大數(shù)據(jù)和多類(lèi)型圖像為基礎(chǔ)，規(guī)范化選取規(guī)則，遴選出多項(xiàng)指標(biāo)組成的綜合評(píng)價(jià)指標(biāo)，規(guī)范化評(píng)價(jià)標(biāo)準(zhǔn)，提升評(píng)價(jià)質(zhì)量。

(6)為提升應(yīng)用范圍，當(dāng)前的方法應(yīng)將配準(zhǔn)與融合相結(jié)合實(shí)現(xiàn)一站式融合。

當(dāng)前圖像融合研究所用的實(shí)驗(yàn)樣本均為經(jīng)像素級(jí)或亞像素級(jí)配準(zhǔn)的圖像，融合方法僅考慮特征的提取，無(wú)需關(guān)注空間位置是否對(duì)齊、是否變形和扭曲等問(wèn)題。而在現(xiàn)實(shí)生活中，完好配準(zhǔn)的圖像少之又少，為了方法的普適性，應(yīng)將圖像配準(zhǔn)和圖像融合相結(jié)合作為研究目標(biāo)，實(shí)現(xiàn)一站式融合，降低輸入圖像的要求，進(jìn)一步擴(kuò)大融合圖像的范圍。