基于TV-L1結(jié)構(gòu)紋理分解的圖像融合質(zhì)量評(píng)價(jià)算法

張斌 羅曉清 張戰(zhàn)成

摘 要：為對(duì)圖像融合算法進(jìn)行客觀準(zhǔn)確的綜合評(píng)價(jià)，提出一種基于總變差正則化（TV-L1）結(jié)構(gòu)紋理分解的評(píng)價(jià)算法。根據(jù)對(duì)人類視覺(jué)系統(tǒng)的研究，可知人們對(duì)圖像質(zhì)量的感知主要來(lái)自圖像底層視覺(jué)特征，而結(jié)構(gòu)特征以及紋理特征是最重要的圖像底層視覺(jué)特征，但目前的圖像融合質(zhì)量評(píng)價(jià)算法并沒(méi)有利用這兩種特征來(lái)進(jìn)行評(píng)價(jià)。鑒于此，將圖像進(jìn)行二級(jí)結(jié)構(gòu)和紋理分解，根據(jù)結(jié)構(gòu)和紋理圖像蘊(yùn)含圖像特征的不同，從結(jié)構(gòu)圖像和紋理圖像兩方面分別進(jìn)行相似度評(píng)價(jià)，綜合各級(jí)得分得到最終的評(píng)價(jià)總得分。然后基于30幅圖像的數(shù)據(jù)集和8種主流融合算法，參照已有的11種客觀評(píng)價(jià)指標(biāo)，用波達(dá)計(jì)數(shù)法和肯德?tīng)栂禂?shù)檢驗(yàn)了該評(píng)價(jià)指標(biāo)的一致性，另外在主觀評(píng)價(jià)圖像集上驗(yàn)證了該客觀評(píng)價(jià)指標(biāo)與主觀評(píng)價(jià)的一致性。

關(guān)鍵詞：圖像融合;融合質(zhì)量評(píng)價(jià);總變差正則化;結(jié)構(gòu)相似度;結(jié)構(gòu)和紋理分解

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

Image fusion quality evaluation algorithm based on TV-L1 structure and texture decomposition

ZHANG Bin1， LUO Xiaoqing1*， ZHANG Zhancheng2

1.School of Internet of Things Engineering， Jiangnan University， Wuxi Jiangsu 214122，China;

2.School of Electronics and Information Engineering， Suzhou University of Science and Technology， Suzhou Jiangsu 215009， China

Abstract：

In order to objectively and accurately evaluate the image fusion algorithms， an evaluation algorithm based on TV-L1 （Total Variation regularization） structure and texture decomposition was proposed. According to the studies on human visual system， humans perception to image quality mainly comes from the underlying visual features of image， and structure features and texture features are the most important features of underlying visual feature of image. However， the existed image fusion quality evaluation algorithms ignore this fact and lead to inaccurate evaluation. To address this problem， a pair of source images and their corresponding fusion results were individually decomposed into structure and texture images with a two-level TV-L1 decomposition. Then， According to the difference of image features between the structure and texture images， the similarity evaluation was carried out from the decomposed structure image and the texture image respectively， and the final evaluation score was obtained by integrating the scores at all levels. Based on the dataset with 30 images and 8 mainstream fusion algorithms， compared with the 11 existing objective evaluation indexes， the Borda counting method and Kendall coefficient were employed to verify the consistency of the proposed evaluation algorithm. Moreover， the consistency between the proposed objective evaluation index and the subjective evaluation is verified on the subjective evaluation image set.

Key words：

image fusion; fusion quality evaluation; total variation regularization; structural similarity; structure and texture decomposition

0 引言

圖像融合是指通過(guò)傳感器針對(duì)不同的場(chǎng)景捕獲不同內(nèi)容的圖片，經(jīng)過(guò)整合形成一幅質(zhì)量更高圖像的技術(shù)[1]。如何豐富融合圖像的信息量和改善圖像質(zhì)量是圖像融合的關(guān)鍵技術(shù)之一，也是衡量各種融合方法效果的基本準(zhǔn)則。采用科學(xué)合理、客觀公正的方法對(duì)融合圖像進(jìn)行評(píng)價(jià)，對(duì)在實(shí)際應(yīng)用中選擇融合算法以及現(xiàn)有融合算法的改進(jìn)和研究新的融合算法等具有十分重要的指導(dǎo)意義。因此，融合質(zhì)量評(píng)價(jià)是圖像融合技術(shù)中不可或缺的核心內(nèi)容之一[2]。圖像融合質(zhì)量評(píng)價(jià)方法分為兩類：一類是將融合圖像交給人眼的進(jìn)行主觀感覺(jué)度量的方法。最經(jīng)典的是曼徹斯特大學(xué)的Petrovic[3]教授2007年提出的主觀測(cè)量方法，通過(guò)多個(gè)測(cè)試者對(duì)不同融合方法得到的融合圖像中的特定目標(biāo)進(jìn)行識(shí)別，依據(jù)識(shí)別時(shí)間和識(shí)別的正確率，判斷圖像融合方法的優(yōu)劣。由于在大部分情況下人是融合圖像的直接使用者，所以該方法具有一定的可靠性以及直接性。但是該方法也存在一定的局限性：1）由于人腦的感知圖像的機(jī)制非常復(fù)雜，從而導(dǎo)致人的主觀感覺(jué)有可能是不一

樣的。2）評(píng)價(jià)成本高。該方法非常耗時(shí)耗力，并且效率也比較低。3）受環(huán)境的影響比較大，比如觀察距離、光照等都會(huì)影響人的判斷。另一類是通過(guò)計(jì)算相關(guān)指標(biāo)來(lái)定量地模擬人類的視覺(jué)系統(tǒng)（Human-Visual-System， HVS）的客觀法[4]。該方法通過(guò)定量的測(cè)量使得融合效果具有較高的客觀性，是如今流行的圖像融合質(zhì)量評(píng)價(jià)方法。從原理上可以把客觀法分為三類[5]：

1）基于統(tǒng)計(jì)特性的評(píng)價(jià)指標(biāo)[5]：文獻(xiàn)[6]提到的平均梯度，可以敏感地反映出圖像的微小細(xì)節(jié)反差和紋理變換特征，用來(lái)評(píng)價(jià)圖像的相對(duì)清晰度，平均梯度越大，圖像的層次越多，紋理也就更加清晰;文獻(xiàn)[7]中的邊緣強(qiáng)度，是指邊緣與鄰近像素的對(duì)比強(qiáng)度，邊緣越豐富，融合圖像越清晰;文獻(xiàn)[8]使用的空間頻率，反映的是空間域內(nèi)圖像的總體活躍度。但是上述評(píng)價(jià)指標(biāo)無(wú)法反映源圖像和融合圖像之間的依賴程度，而這種依賴程度可以體現(xiàn)融合圖像的質(zhì)量，因此一般不能將上述評(píng)價(jià)指標(biāo)單獨(dú)用于圖像融合質(zhì)量評(píng)價(jià)。

2）基于信息量的客觀指標(biāo)[5]：文獻(xiàn)[9]提到的互信息，它是衡量?jī)蓚€(gè)域之間變量的依懶性，用來(lái)比較融合圖像與源圖像之間灰度分布方面的相似情況;文獻(xiàn)[10]設(shè)計(jì)的非線性的信息熵，它和互信息的定義是類似的。但是該類指標(biāo)沒(méi)有相應(yīng)的參數(shù)可以調(diào)節(jié)，適應(yīng)程度比較差，需要與其他的指標(biāo)進(jìn)行綜合評(píng)價(jià)。

3）基于人類感知的評(píng)價(jià)指標(biāo)[5]：該指標(biāo)是基于人類的視覺(jué)系統(tǒng)對(duì)圖像的感知原理來(lái)判斷融合圖像的優(yōu)劣。其中人眼對(duì)圖像的邊緣信息、結(jié)構(gòu)化信息以及空間頻率信息是非常敏感的。

Xydeas和Petrovic認(rèn)為人類視覺(jué)系統(tǒng)對(duì)圖像的邊緣十分敏感[9]，提出了通過(guò)融合圖像保留源圖像中邊緣信息的完整程度，從而達(dá)到評(píng)價(jià)融合圖像的質(zhì)量。該方法首先用Sobel算子檢測(cè)出圖像的梯度和邊緣角用來(lái)計(jì)算邊緣強(qiáng)度和方向信息，然后求和歸一化。由于人眼對(duì)圖像邊緣較為敏感，該方法與人眼主觀評(píng)價(jià)具有較高的一致性。同樣利用邊緣信息的還有Liu等[9]提出的基于雙層的哈爾小波變換指標(biāo)。該方法從小波分解的高階和帶通分量中提取邊緣信息。Wang等[11]認(rèn)為人類視覺(jué)系統(tǒng)對(duì)圖像的失真程度也較為敏感，據(jù)此他們提出了通用圖像質(zhì)量評(píng)價(jià)（Universal Image Quality Index， UIQI）。該指標(biāo)通過(guò)計(jì)算源圖像和融合圖像之間的結(jié)構(gòu)損失、亮度失真、以及對(duì)比度相似性，進(jìn)而作出相應(yīng)的評(píng)價(jià)。該指標(biāo)有效地對(duì)源圖像和融合圖像的結(jié)構(gòu)失真進(jìn)行計(jì)算，評(píng)價(jià)效果得到了學(xué)術(shù)界的認(rèn)可。在Wang的UIQI的基礎(chǔ)上，Piella等[12]作出了一定的改進(jìn)，分別提出了圖像融合質(zhì)量指數(shù)Q0、加權(quán)融合質(zhì)量指數(shù)Qw、以及邊緣相關(guān)融合質(zhì)量指數(shù)QE。圖像融合質(zhì)量指數(shù)Q0在UIQI的基礎(chǔ)上引入了局部窗體，利用局部窗體對(duì)圖像進(jìn)行分割。然后計(jì)算每個(gè)窗體的相似程度。由于Q0對(duì)圖像的每一區(qū)域沒(méi)有區(qū)別對(duì)待，而人眼對(duì)圖像每一塊區(qū)域感知程度是不同的，所以隨后提出了加權(quán)融合質(zhì)量指數(shù)Qw，該評(píng)價(jià)指標(biāo)對(duì)圖像中信息豐富的窗體給予較大的權(quán)重，而具有較少信息的窗體采用較少的權(quán)重，使得該指標(biāo)取得了較好的效果;由于人眼對(duì)圖像邊緣也比較敏感，將邊緣圖像引入到Qw中，據(jù)此提出了QE邊緣相關(guān)融合質(zhì)量指數(shù)。視覺(jué)研究人員發(fā)現(xiàn)人類視覺(jué)系統(tǒng)對(duì)圖像的感知是高度結(jié)構(gòu)化的[13]，所以Wang在UIQI的基礎(chǔ)上提出了結(jié)構(gòu)相似性（Structural SIMilarity index， SSIM）的客觀評(píng)價(jià)，使得圖像質(zhì)量評(píng)價(jià)領(lǐng)域從像素階段上升到了結(jié)構(gòu)階段。但是對(duì)模糊圖像評(píng)價(jià)時(shí)效果

不太理想。將結(jié)構(gòu)性引入評(píng)價(jià)的還有兩種基于結(jié)構(gòu)相似矩陣的評(píng)價(jià)指標(biāo)，分別是Cvejic指標(biāo)[14]和Yang指標(biāo)[15]。Cvejic指標(biāo)是通過(guò)計(jì)算源圖像與融合圖像的協(xié)方差來(lái)定出加權(quán)系數(shù)。Yang指標(biāo)與最后主觀結(jié)果具有一定的差異性，因?yàn)闆](méi)有考慮到源圖像與源圖像之間的差異性導(dǎo)致了評(píng)價(jià)效果不太好。最后根據(jù)對(duì)比敏感度函數(shù)（Contrast Sensitivity Function， CSF）人類視覺(jué)系統(tǒng)對(duì)圖像空間頻率的感知程度，據(jù)此，Chen等[16]提出了利用CSF來(lái)用于評(píng)價(jià)指標(biāo)。由于CSF無(wú)法捕獲非線性的局部信息，所以首先將圖片進(jìn)行分塊，然后計(jì)算區(qū)域的顯著度。同樣利用CSF方法的還有Chen-Blum指標(biāo)[17]，它是利用該函數(shù)得到最后的顯著度特征圖來(lái)計(jì)算指標(biāo)。

根據(jù)對(duì)人類視覺(jué)系統(tǒng)的研究，人們對(duì)圖像質(zhì)量感知主要來(lái)自于圖像底層視覺(jué)特征，其中紋理特征是最重要的特征之一[18]。紋理特征產(chǎn)生的位置與圖像在人眼視覺(jué)系統(tǒng)中產(chǎn)生的區(qū)域是一樣的，此外紋理特征還有比較好的表征圖像質(zhì)量感知的能力。圖像的結(jié)構(gòu)特征是整張圖像的輪廓[19]，人眼對(duì)輪廓也有著較高的辨識(shí)度，所以結(jié)構(gòu)特征也是一個(gè)比較重要的特征。但是上述指標(biāo)并沒(méi)有對(duì)圖像的紋理特征和結(jié)構(gòu)特征進(jìn)行單獨(dú)評(píng)價(jià)。目前在結(jié)構(gòu)紋理分解的研究領(lǐng)域中總變差正則化（Total Variation regularization， TV-L1）[20-21]的表現(xiàn)是最好的，并且在2014年Fang等發(fā)表的文章的中就已經(jīng)將圖像的TV-L1分解的結(jié)構(gòu)和紋理作為重要的特征用在了圖像分類上，并取得了較好的效果。受此啟發(fā)，本文提出基于TV-L1結(jié)構(gòu)紋理分解的圖像融合質(zhì)量評(píng)價(jià)方法。鑒于紋理特征和結(jié)構(gòu)特征在實(shí)際圖像中所占的比例不同，而在TV-L1結(jié)構(gòu)紋理分解中的系數(shù)λ恰好可以調(diào)節(jié)紋理特征和結(jié)構(gòu)特征的權(quán)重，所以本文算法能夠準(zhǔn)確地評(píng)價(jià)融合圖像的質(zhì)量。

1 客觀評(píng)價(jià)方法

1.1 TV-L1多級(jí)分解

TV-L1分解[21]是將一幅圖像多級(jí)分解為紋理圖像和結(jié)構(gòu)圖像的方法。分解原理如圖1所示。首先將原圖像f分解為結(jié)構(gòu)圖像uλ1和紋理圖像vλ1，有f= uλ1+vλ1 ，即結(jié)構(gòu)圖像和紋理圖像合并就是原圖像，參數(shù)λ1調(diào)節(jié)結(jié)構(gòu)和紋理比例。接著保留結(jié)構(gòu)圖像，繼續(xù)將剛剛分解的紋理圖像用系數(shù)λ2進(jìn)行結(jié)構(gòu)紋理分解，得到第二級(jí)的結(jié)構(gòu)圖像uλ2和紋理圖像vλ2。此后不斷地如此分解，最后vλk=uλk+1+ vλk+1，也就是上一級(jí)的紋理圖像被分解為下一級(jí)的結(jié)構(gòu)圖像和紋理圖像。

1.2 λ參數(shù)對(duì)分解圖像的影響

分解系數(shù)λ調(diào)節(jié)紋理圖像和結(jié)構(gòu)圖像的權(quán)重在TV-L1分解中有重要的意義。以一幅用不同參數(shù)λ分解的多聚焦圖像為例。如圖2所示，第一行為兩張?jiān)磮D像和一張融合圖像，下面三行左邊兩列是對(duì)融合圖像（c圖）的一級(jí)分解圖像，右邊兩列是二級(jí)分解圖像。

從圖2中可以看到隨著系數(shù)λ不斷地增大，結(jié)構(gòu)圖像越來(lái)越清晰，紋理圖像會(huì)逐漸模糊。不同場(chǎng)景的融合圖像都有類似的效果，這將在2.2節(jié)中詳細(xì)討論。

1.3 結(jié)構(gòu)紋理分解評(píng)價(jià)指標(biāo)構(gòu)造

假設(shè)A、B分別是針對(duì)同一場(chǎng)景但是由不同傳感器獲得的圖像，F(xiàn)表示圖像A和B的融合圖像。本文具體構(gòu)造流程如圖3所示。

本文的創(chuàng)新點(diǎn)是將融合圖像質(zhì)量評(píng)價(jià)與人類視覺(jué)感知中的視覺(jué)信息分離和整合理論結(jié)合起來(lái)，即人眼分別通過(guò)圖像的紋理信息和結(jié)構(gòu)信息感知圖像，然后再將兩種信息結(jié)合作出綜合的評(píng)價(jià)。另外圖像可以分解為結(jié)構(gòu)信息和紋理信息，且在特定尺度下，紋理信息包含著重要的結(jié)構(gòu)信息，所以為了將圖像分解得更加細(xì)致，將一級(jí)分解的紋理圖像繼續(xù)分解得到二級(jí)的紋理圖像和結(jié)構(gòu)圖像。

1.2節(jié)介紹到，隨著系數(shù)λ不斷地增大，結(jié)構(gòu)圖像越來(lái)越清晰，紋理圖像會(huì)逐漸模糊，而當(dāng)系數(shù)為0.8時(shí)，紋理圖像已經(jīng)非常模糊，所以把系數(shù)設(shè)置在[0，1]。由于設(shè)置的初始權(quán)重

較小，且紋理信息總是包含著重要的結(jié)構(gòu)信息，即紋理圖像的權(quán)重要大于結(jié)構(gòu)圖像的權(quán)重，所以把初始分解系數(shù)λ分配為結(jié)構(gòu)圖像，而紋理圖像的權(quán)重為1-λ。二級(jí)分解也是如此。

由于本文的紋理信息包含著大量的結(jié)構(gòu)信息，而結(jié)構(gòu)信息中有著豐富的邊緣信息，所以本文采用基于邊緣信息的客觀指標(biāo)（QG）來(lái)計(jì)算融合得分，因?yàn)樵撝笜?biāo)是通過(guò)評(píng)估從源圖像到融合圖像的邊緣信息轉(zhuǎn)移量來(lái)衡量圖像融合質(zhì)量。該指標(biāo)的計(jì)算公式為：

QG=∑Nn=1∑Mm=1[QAFwA（i， j）+QBFwB（i， j）]∑Nn=1∑Mm=1[wA（i， j）+wB（i， j）]（1）

其中：QAF和QBF分別是源圖像A與源圖像B分別與融合圖像F邊緣寬度與方向的相似度;wA（i， j），wB（i， j）分別是QAF和QBF的權(quán)重。

構(gòu)造的步驟如下：

步驟1 分別將源圖像A、B和融合圖像F用系數(shù)λ進(jìn)行分解，分別得到結(jié)構(gòu)圖像SA1、SB1、SF1以及得到紋理圖像DA1、DB1、DF1。將1-λ作為紋理圖像的權(quán)重。

步驟2 對(duì)三幅紋理圖像用相同系數(shù)λ繼續(xù)分別將DA1、DB1、DF1分解，得到結(jié)構(gòu)圖像SA2、SB2、SF2 以及三幅紋理圖像DA2、DB2、DF2。三幅二級(jí)結(jié)構(gòu)圖像SA2、SB2、SF2的權(quán)重系數(shù)為λ（1-λ），三幅二級(jí)紋理圖像DA2、DB2、DF2的權(quán)重為（1-λ）2。此時(shí)，可看出（用源圖像A舉例）：

DA1=DA2+SA2（2）

所以可以得出：

1-λ=λ（1-λ）+（1-λ）2（3）

步驟3 最后分別用邊緣梯度指標(biāo)QG指標(biāo)計(jì)算DA2、DB2、DF2的融合分?jǐn)?shù)Score3，接著算出SA2、SB2、SF2的融合得分Score2，最后計(jì)算一級(jí)分解的結(jié)構(gòu)圖像SA1、SB1、SF1的相似度Score1。

此時(shí)，可得出（以圖像A為例）：

fA=SA1+DA2+SA2（4）

步驟4 計(jì)算出最終融合分?jǐn)?shù)：

Score=Score1*λ+[Score2*λ*（1-λ）+Score3*（1-λ）2]（5）

2 實(shí)驗(yàn)結(jié)果與分析

在本文中，將采用拉普拉斯金字塔融合（Laplacian Pyramid fusion， LP）[22]、雙樹復(fù)小波變換融合（DualTree Complex Wavelet Transform fusion， DTCWT）[23]、曲波變換融合（CurVelet Transform? fusion， CVT）[23]、非下采樣輪廓波變換融合（NonSubsampling Contour wave Transform fusion， NSCT）[23]、對(duì)比度的圖像融合（Directive Contrast fusion， DC）[24]、導(dǎo)向?yàn)V波融合（Guided Filter Fusion， GFF）[25]、脈沖耦合神經(jīng)網(wǎng)絡(luò)融合（Pulse Coupled Neural Network fusion， PCNN）[26]、卷積神經(jīng)網(wǎng)絡(luò)融合（Convolutional Neural Network fusion， CNN）[27]等8種常用的融合方法進(jìn)行評(píng)價(jià)實(shí)驗(yàn)。

實(shí)驗(yàn)圖像集涵蓋3類圖像融合類型：多聚焦圖像融合、醫(yī)學(xué)圖像融合和紅外可見(jiàn)光圖像融合。每一類圖像包含10組測(cè)試數(shù)據(jù)。這3種類型已經(jīng)包括了圖像融合在現(xiàn)實(shí)應(yīng)用中的典型情況，從而有效驗(yàn)證融合算法的客觀指標(biāo)。

2.1 實(shí)驗(yàn)設(shè)置

步驟1 引入波達(dá)計(jì)數(shù)法[9]，其中選取了引言中提及的11種經(jīng)典評(píng)價(jià)指標(biāo)來(lái)做測(cè)試。11種融合指標(biāo)排列成11行，8個(gè)融合算法排成8列，這樣就組成了11行8列的矩陣。然后利用每種融合指標(biāo)對(duì)8種融合算法進(jìn)行評(píng)價(jià)，根據(jù)8種融合算法的分?jǐn)?shù)得出排名。這樣每一行就對(duì)應(yīng)著8種融合算法排名。每一列就是每種算法在11個(gè)評(píng)價(jià)指標(biāo)中的各自排名。最后在每一列上采用波達(dá)計(jì)數(shù)法來(lái)對(duì)每種融合算法根據(jù)融合指標(biāo)排名作出綜合的排名。采用的波達(dá)計(jì)數(shù)規(guī)則為：排名最高的權(quán)重為1，排名第二高的權(quán)重為1/2，依此類推，排名11位的權(quán)重為1/11。根據(jù)此規(guī)則對(duì)這8種融合算法得出最終的排名序列a。如表1所示，以3種算法、3個(gè)指標(biāo)為例，這個(gè)例子里面：方法1最好，方法2次之，方法3最差。

步驟2 用1.3節(jié)中的算法分別對(duì)上述的8種融合方法進(jìn)行計(jì)算融合分?jǐn)?shù)，根據(jù)融合的分?jǐn)?shù)高低，得到8種融合方法的排名序列b。例如，第一步中的方法1、2、3在此算法中，排名序列b是1、2、3。

步驟3 使用肯德?tīng)栂禂?shù)來(lái)測(cè)試排名序列a和排名序列b的相關(guān)性[9]。例如：根據(jù)上兩步例子中的排名序列a和排名序列b，得出肯德?tīng)栂禂?shù)的結(jié)果為1。

2.2 λ參數(shù)選擇

在TV-L1結(jié)構(gòu)紋理分解算法中，如何選擇合適的參數(shù)λ是一個(gè)重要的問(wèn)題。鑒于紋理信息包含著大量的結(jié)構(gòu)信息，所以本文將系數(shù)λ設(shè)為 0.2、0.3、0.4開(kāi)展實(shí)驗(yàn)，使得紋理特征權(quán)重始終大于結(jié)構(gòu)特征的權(quán)重。對(duì)于多聚焦圖像而言，人眼一般會(huì)更加專注于圖像紋理，據(jù)此將多聚焦圖像的λ調(diào)為0.2。對(duì)于醫(yī)學(xué)圖像來(lái)說(shuō)，醫(yī)生在關(guān)注圖像紋理特征的同時(shí)，也會(huì)比較關(guān)注結(jié)構(gòu)特征。例如，醫(yī)生會(huì)依據(jù)結(jié)構(gòu)特征來(lái)判斷病灶的邊界，以此來(lái)判斷病灶是否侵入其他的器官，所以將醫(yī)學(xué)圖像的λ設(shè)計(jì)為0.4。對(duì)于紅外可見(jiàn)光圖像而言，把系數(shù)設(shè)置為0.2。如軍人會(huì)縝密地分析融合圖像每個(gè)位置的細(xì)節(jié)，從而作出對(duì)應(yīng)的行動(dòng)方案。每類圖像中挑選一幅來(lái)顯示分解結(jié)果。由于篇幅有限，只顯示融合圖像、融合圖像一級(jí)分解結(jié)構(gòu)圖像以及二級(jí)分解紋理圖像。

從圖4的多聚焦圖像和紅外可見(jiàn)光圖像可以看出：λ=0.2時(shí)分解的圖像中紋理比較清晰，結(jié)構(gòu)相對(duì)模糊。多聚焦圖像中的字跡依然比較清晰以及紅外可見(jiàn)光圖像中的森林和草地的細(xì)節(jié)也比較清晰。而對(duì)于醫(yī)學(xué)圖像，λ=0.4分解得出的結(jié)構(gòu)特征是相對(duì)明顯的，可以清晰地觀察到相關(guān)結(jié)構(gòu)的邊緣。

據(jù)此，將分解醫(yī)學(xué)圖像的系數(shù)設(shè)置為0.4，將紅外可見(jiàn)光圖像和多聚焦圖像的分解系數(shù)設(shè)置為0.2進(jìn)行實(shí)驗(yàn)測(cè)試。然后對(duì)3類圖像用相對(duì)應(yīng)的系數(shù)分解，將分解的圖像按照1.3節(jié)的算法計(jì)算出8種融合分?jǐn)?shù)，得出2.1節(jié)的排名序列b。再用波達(dá)計(jì)數(shù)法得出排名系列a，最后利用肯德?tīng)査惴ㄓ?jì)算

兩種數(shù)列的肯德?tīng)栂禂?shù)。最后的結(jié)果如圖5所示，橫坐標(biāo)表示數(shù)據(jù)集序號(hào)，縱坐標(biāo)表示肯德?tīng)栂禂?shù)。

根據(jù)肯德?tīng)栂禂?shù)的定義，如果實(shí)驗(yàn)的相關(guān)系數(shù)值在50%以上，就表明測(cè)試的兩個(gè)變量線性相關(guān)性較好。從圖5中可看出，實(shí)驗(yàn)所測(cè)試的3類圖像實(shí)驗(yàn)的肯德?tīng)栂禂?shù)都在50%以上，其中3類圖片的肯德?tīng)栂禂?shù)大部分達(dá)到了70%左右。對(duì)于紅外可見(jiàn)光圖像而言，系數(shù)甚至達(dá)到了80%以上，而醫(yī)學(xué)圖像的肯德?tīng)栂禂?shù)達(dá)到了90%以上。所以客觀實(shí)驗(yàn)結(jié)果驗(yàn)證了本文的融合指標(biāo)與其他主流的客觀指標(biāo)有比較高的關(guān)聯(lián)度，從而證明了此評(píng)價(jià)算法具有較高的可靠性。

但是從圖5也可以看出，對(duì)于同一類圖像的肯德?tīng)栂禂?shù)大小差距有點(diǎn)大，例如醫(yī)學(xué)圖像的肯德?tīng)栂禂?shù)在50%～100%，紅外可見(jiàn)光的圖像在50%～90%?？系?tīng)栂禂?shù)之所以有較大的差別，是由于不同圖像包含的紋理信息以及結(jié)構(gòu)信息的內(nèi)容不一樣導(dǎo)致的。例如：以在紅外可見(jiàn)光圖像總體表現(xiàn)最好的CNN算法為來(lái)說(shuō)明肯德?tīng)栂禂?shù)的表現(xiàn)，如圖6所示，每行是一組融合原圖像及其一級(jí)結(jié)構(gòu)和紋理分解圖像。

因?yàn)閷⒓t外可見(jiàn)光圖像分解的系數(shù)設(shè)為0.2，對(duì)應(yīng)的分解圖像為結(jié)構(gòu)信息較少，而紋理信息較多。圖6（b）的第一行結(jié)構(gòu)圖像中依然有大量的樹葉邊緣，說(shuō)明結(jié)構(gòu)信息較多;圖6 中第二行顯然是含有結(jié)構(gòu)特征較多、紋理特征較少的圖像。所以這兩行圖像的肯德?tīng)栂禂?shù)是較低的;而對(duì)于圖6（c）的第三行和第四行可以觀察到，圖像中樹枝和草地占據(jù)了圖像的大部分區(qū)域，說(shuō)明紋理特征是較多的，含有的結(jié)構(gòu)特征是比較少的，所以這兩幅圖像的肯德?tīng)栂禂?shù)表現(xiàn)得很好。醫(yī)學(xué)圖像和多聚焦圖像的肯德?tīng)栂禂?shù)也有類似的表現(xiàn)。

2.3 對(duì)比主觀評(píng)價(jià)

為了進(jìn)一步驗(yàn)證本文算法的正確性，對(duì)每類圖像中的3幅圖片作了小范圍的主觀評(píng)價(jià)。按照國(guó)際標(biāo)準(zhǔn)ITU-R的規(guī)定，邀請(qǐng)了20位同學(xué)來(lái)作主觀評(píng)價(jià)（其中包括10位方向?yàn)閳D像質(zhì)量評(píng)價(jià)的同學(xué)，10位研究方向?yàn)槠渌较虻耐瑢W(xué)，其中包括4位為江南大學(xué)醫(yī)學(xué)院的同學(xué)主要評(píng)價(jià)醫(yī)學(xué)圖像）。評(píng)價(jià)前對(duì)研究其他方向同學(xué)講清楚主觀評(píng)價(jià)目的、實(shí)驗(yàn)過(guò)程、評(píng)價(jià)指標(biāo)的定義等。最后每位在規(guī)定的相同時(shí)間，且在相同環(huán)境下作出相應(yīng)的投票，表2是圖4中3類圖像（多聚焦圖像為子圖1、醫(yī)學(xué)圖像為子圖2、紅外可見(jiàn)光圖像為子圖3）的主觀評(píng)價(jià)與本文的實(shí)驗(yàn)排名結(jié)果。

由于篇幅有限，將每幅融合圖像分?jǐn)?shù)最高的和得分最低的以及與圖像2中與主觀排名不一致的圖像用圖7展示：圖7中（a）和（b）是多聚焦圖像表現(xiàn)最好和最差的算法圖像;（c）和（d）屬于紅外可見(jiàn)光圖像效果最好和最差算法圖像;（e）和（f）圖是醫(yī)學(xué)圖像表現(xiàn)最好與最壞的圖像;（g）與（h）是醫(yī)學(xué)圖像與主觀評(píng)價(jià)不一致的兩幅圖像。

從表2可以看出本文評(píng)價(jià)指標(biāo)和主觀評(píng)價(jià)指標(biāo)是非常吻合的：從圖7中觀察到得分最高的融合方法比最低的融合方法效果明顯要好。雖然圖像2中DTCWT算法和CVT算法主觀排名與本文指標(biāo)不一致，但是從圖7中可以看到這兩種融合圖像丟失信息的程度差不多，難以判斷哪個(gè)較好。其他的對(duì)比的幾組圖像與這3組圖像的效果類似，據(jù)此說(shuō)明本文的評(píng)價(jià)指標(biāo)可以比較客觀地評(píng)價(jià)各種融合效果。

3 結(jié)語(yǔ)

針對(duì)傳統(tǒng)圖像融合評(píng)價(jià)評(píng)價(jià)未考慮圖像結(jié)構(gòu)和紋理內(nèi)在的區(qū)別的問(wèn)題，本文提出了一種基于TV-L1結(jié)構(gòu)和紋理分解的客觀評(píng)價(jià)指標(biāo)。該算法利用人們對(duì)圖像質(zhì)量感知主要來(lái)自于圖像底層視覺(jué)特征的特點(diǎn)，并且依據(jù)TV-L1中分解系數(shù)的作用，將圖像二級(jí)分解為結(jié)構(gòu)圖像和紋理圖像，在結(jié)構(gòu)圖像和紋理圖像上根據(jù)結(jié)構(gòu)相似性分別設(shè)計(jì)融合評(píng)價(jià)指標(biāo)，最后將各級(jí)的分解圖像得出的相似性綜合起來(lái)得出最終的相似性。結(jié)合已有11種客觀指標(biāo)和8種圖像融合算法，基于波達(dá)計(jì)數(shù)法和肯德?tīng)栂禂?shù)進(jìn)行了30組圖像的客觀評(píng)價(jià)實(shí)驗(yàn)，實(shí)驗(yàn)表明本文所提融合評(píng)價(jià)算法能夠比較客觀地評(píng)價(jià)圖像融合的質(zhì)量。但本文只是將圖像進(jìn)行了二級(jí)分解，未將圖像進(jìn)行更加多級(jí)的分解，下一步將進(jìn)行更加多級(jí)的分解實(shí)驗(yàn)，來(lái)觀察是否隨著分解級(jí)數(shù)的增加，算法的可靠性更高。

參考文獻(xiàn)

[1]HASSEN R， WANG Z， SALAMA M M A. Objective quality assessment for multiexposure multi-focus image fusion [J]. IEEE Transactions on Image Processing， 2015， 24（9）： 2712-2724.

[2]MALVIYA A， BHIRUD S G. Objective criterion for performance evaluation of image fusion techniques [J]. International Journal of Computer Applications， 2010， 1（25）： 57-60.

[3]PETROVIC V. Subjective tests for image fusion evaluation and objective metric validation [J]. Information Fusion， 2007， 8（2）： 208-216.

[4]張小利，李雄飛，李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J]. 自動(dòng)化學(xué)報(bào)，2014，40（2）：306-315.（ZHANG X L， LI X F， LI J. Validation and correlation analysis of metrics for evaluating performance of image fusion [J]. Acta Automatica Sinica， 2014， 40（2）： 306-315.）

[5]TIRUPAL T， MOHAN B C， KUMAR S S. Multimodal medical image fusion based on Yagers intuitionistic fuzzy sets [J]. Iranian Journal of Fuzzy Systems， 2019， 16（1）： 33-48.

[6]ZHANG X， FENG X， WANG W. et al. Edge strength similarity for image quality assessment [J]. IEEE Signal Processing Letters， 2013， 20（4）： 319-322.

[7]SHAH P， MERCHANT S N， DESAI U B. Multifocus and multispectral image fusion based on pixel significance using multiresolution decomposition [J]. Signal， Image and Video Processing， 2013， 7（1）： 95-109.

[8]HOSSNY M， NAHAVANDI S， CREIGHTON D. Comments on ‘Information measure for performance of image fusion [J]. Electronics Letters， 2008， 44（18）： 1066-1067.

[9]LIU Z， BLASCH E， XUE Z， et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision： a comparative study [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（1）： 94-109.

[10]CVEJIC N， CANAGARAJAH C N， BULL D R. Image fusion metric based on mutual information and tsallis entropy [J]. Electronics Letters， 2006， 42（11）： 626-627.

[11]WANG Z， BOVIK A C， SHEIKH H R. et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[12]PIELLA G， HEIJMANS H. A new quality metric for image fusion [C]// Proceedings of the 2003 International Conference on Image Processing. Piscataway， NJ： IEEE， 2003：173-176.

[13]PISTONESI S， MARTINEZ J， OJEDA S M， et al. Structural similarity metrics for quality image fusion assessment： algorithms [J]. Image Processing on Line， 2018， 8： 345-368.

[14]CHEN H， VARSHNEY P K. A human perception inspired quality metric for image fusion based on regional information [J]. Information Fusion， 2007， 8（2）： 193-207.

[15]LI S， HONG R， WU X， et al. A noval similarity based quality metric for image fusion [C]// Proceeding of the 2008 International Conference on Audio， Language and Image Processing. Piscataway， NJ： IEEE， 2008： 167-172.

[16]CHEN H， VARSHENEY P K. A human perception inspired quality metric for image fusion based on regional information [J]. Image Fusion， 2007， 8（2）： 193-207.

[17]CHEN Y. BLUM R S. A new automated quality assessment algorithm for image fusion [J]. Image and Vision Computing， 2009， 27（10）： 1421-1432.

[18]程剛，王春恒.基于結(jié)構(gòu)和紋理特征融合的場(chǎng)景圖像分類[J].計(jì)算機(jī)工程，2011，37（5）：227-229.（CHENG G， WANG C H. Scene image categorization based on structure and texture feature fusion [J]. Computer Engineering， 2011， 37（5）： 227-229.）

[19]FANG Y， CHEN Q， SUN L， et al. Decomposition and extraction： a new framework for visual classification [J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society， 2014， 23（8）： 3412-3427.

[20]WANG Z， WANG W， SU B. Multi-sensor image fusion algorithm based on multiresolution analysis [J]. International Journal of Online Engineering， 2018， 14（6）： 44-57.

[21]BEHRMANN M， KIMCHI R. What does visual agnosia tell us about perceptual organization and its relationship to object perception？ [J]. Journal of Experimental Psychology： Human Perception and Performance， 2003， 29（1）： 19-42.

[22]陳浩，王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究[J].激光與紅外，2009，39（4）：439-442.（CHEN H， WANG Y J. Research on image fusion algorithm based on Laplacian pyramid transform [J]. Laser and Infrared， 2009， 39（4）：439-442.）

[23]LIU Y， LIU S. WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation [J]. Information Fusion， 2015， 24： 147-164.

[24]BHATNAGAR G， WU Q M J， LIU Z. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE Transactions on Multimedia， 2013， 15（5）： 1014-1024.

[25]LI S， KANG X， HU J. Image fusion with guided filtering [J]. IEEE Transactions on Image Processing， 2013， 22（7）： 2864-2875.

[26]屈小波，閆敬文，肖弘智，等.非降采樣Contourlet域內(nèi)空間頻率激勵(lì)的PCNN圖像融合算法[J].自動(dòng)化學(xué)報(bào)，2008，34（12）：1508-1514.（QU X B， YAN J W， XIAO H Z， et al. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled Contourlet transform domain [J]. Acta Automatica Sinica， 2008， 34（12）： 1508-1514.）

[27]LIU Y， CHEN X， WANG Z， et al. Deep learning for pixel-level image fusion recent： advances and future prospects [J]. Information Fusion， 2018， 42： 158-173.

This work is partially supported by the National Natural Science Foundation of China （61772237）， the Fundamental Research Funds for the Central Universities （JUSRP51618B）， the Technological Innovation Projects of Major Industries in Suzhou City （SYG201702）.

ZHANG Bin， born in 1994， M. S. candidate. His research interests include image fusion.

LUO Xiaoqing， born in 1980， Ph. D.， association professor. Her research interests include image fusion， medical image analysis.

ZHANG Zhancheng， born in 1977， Ph. D.， association professor. His research interests include image fusion， medical image analysis.