林劍萍,廖一鵬
(1.陽光學(xué)院 人工智能學(xué)院,福建 福州350015;2.福州大學(xué) 物理與信息工程學(xué)院,福建 福州350108)
圖像融合是通過特定的算法,將兩幅或多幅圖像在時空上具有相關(guān)性或信息上具有互補性的信息提取出來,同時去除冗余的成分,綜合成一幅新的圖像,從而更全面、準(zhǔn)確地表征圖像,具有互補性和冗余性,在多個行業(yè)領(lǐng)域有著重要的應(yīng)用[1]。目前圖像融合的技術(shù)主要有基于多尺度分解、基于神經(jīng)網(wǎng)絡(luò)、基于子空間的變換以及多種融合方法的混合等方法[2]。
圖像融合算法中最常用、有效的分析方法是基于多尺度分解。多尺度分解能夠在深層結(jié)構(gòu)上分析圖像的信息,對圖像特征描述更為準(zhǔn)確。多尺度方法主要包括金字塔變換、小波變換、輪廓波變換(Contourlet Transform)、非下采樣輪廓波變換(Nonsubsampled Contourlet Transform,NSCT)及非下采樣shearlet變換等。其中金字塔算法的分解各層系數(shù)之間相關(guān)性較強,具有冗余性,采用金字塔算法融合的圖像存在圖像邊緣不夠清晰和細節(jié)不夠豐富等缺點[3];小波變換各層系數(shù)相對獨立,能夠較好地表示圖像中的重要信息,得到了更好的應(yīng)用,但小波變換對圖像邊緣信息的提取有一定的局限性,不能有效地保留局部特征[4];輪廓波變換的優(yōu)勢在于提取圖像邊緣的幾何形狀,但由于上下采樣和金字塔結(jié)構(gòu),會出現(xiàn)冗余移位方差問題,導(dǎo)致吉布斯現(xiàn)象[5];NSCT可實現(xiàn)多分辨率分解,并實現(xiàn)平移不變性,消除了頻譜混疊現(xiàn)象,同時更好地表征圖像的邊緣和紋理信息[6-7],但其方向選擇受限,運算效率較低;NSST不僅具備NSCT的特點,且分解方向不受限制,運算效率高,得到了廣泛的應(yīng)用,如文獻[8]提出了基于NSST和對比度的圖像融合算法,保留了融合圖像的細節(jié),并提升了對比度,但在增強的同時引入了部分不必要信息,并出現(xiàn)過增強效應(yīng)。
圖像融合的框架很重要,但是合適的融合規(guī)則同樣可以有效提高圖像融合的質(zhì)量。傳統(tǒng)融合規(guī)則包括加權(quán)平均法、絕對值取大、區(qū)域能量和、區(qū)域梯度等[9-12]。這些融合規(guī)則由于沒有從全局上考慮區(qū)域間的相關(guān)性,容易導(dǎo)致圖像中的重要信息丟失。近年來,為了提高融合圖像的質(zhì)量,提出了一些基于視覺顯著性檢測的圖像融合算法,如文獻[13]提出了一種基于NSCT和改進頻率調(diào)諧(Frequency-Tuned,F(xiàn)T)的圖像融合算法,使得融合后的圖像目標(biāo)突出,背景較為豐富,但該方法仍存在部分圖像特征丟失嚴重現(xiàn)象;文獻[14]利用改進的流形排序(Manifold Ranking,MR)算法,使得融合圖像突顯了圖像的目標(biāo)信息,圖像整體細節(jié)信息清晰度得到提升,但源圖像的優(yōu)點不夠突出;文獻[15]利用離散剪切波變換(Finite Discrete Shearlet Transform,F(xiàn)DST)對紅外和可見光圖像進行分解,采用改進的雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(Dualchannel Pulse Coupled Neuron Network,PCNN)進行圖像融合,該方法有效增強了圖像清晰度。
因此,本文提出了一種基于分數(shù)階微分顯著性檢測和改進量子煙花算法的NSST域圖像融合方法。首先將圖像進行NSST變換,低頻部分先利用自適應(yīng)分數(shù)階微分增強,然后進行顯著性檢測,根據(jù)檢測結(jié)果,構(gòu)造兩幅圖像的顯著性匹配度,采用基于匹配度的融合規(guī)則進行融合;接著根據(jù)圖像鄰域內(nèi)的結(jié)構(gòu)特征可根據(jù)中心與周圍像素點之間的灰度距離和梯度距離來表征這一特性,對高頻系數(shù)采用梯度變化與灰度差異加權(quán)策略融合;最后采用動態(tài)自適應(yīng)旋轉(zhuǎn)角改進量子煙花算法的位置更新策略,并對高頻及低頻融合參數(shù)進行優(yōu)化,最終得到最優(yōu)融合圖像。
NSST是對Shearlet變換的優(yōu)化改進,其利用非下采樣尺度變換以及非下采樣方向濾波器進行處理,具有良好的平移不變性,同時避免了偽吉布斯現(xiàn)象的出現(xiàn),能較好地運用于圖像融合領(lǐng)域中[16]。NSST變換的結(jié)構(gòu)如圖1所示。
圖1 NSST變換三級分解結(jié)構(gòu)圖Fig.1 Three-level decomposition structure of NSST
NSST變換可實現(xiàn)多尺度多方向分解,首先由NSLP(非下采樣金字塔濾波器組)對輸入圖像進行塔形分解,得到低頻子帶和多個帶通子帶,然后采用SF(剪切濾波器)對各個帶通子帶進行方向化,得到多個方向子帶圖像,分解得到的所有圖像分辨率都和原始圖像相同。
低頻子帶是原始圖像的最佳逼近,它包含了圖像的大部分能量,因此,其融合規(guī)則決定了對源圖像的互補信息提取的效果。鑒于人的視覺系統(tǒng)對圖像中像素的對比度比較敏感這一特點,本文提出基于分數(shù)階微分增強的顯著性檢測,并依據(jù)顯著圖匹配度進行低頻融合。
2.2.1 分數(shù)階微分顯著性檢測
FT顯著性檢測算法[17]采用的是高斯差分濾波方法,對于一幅輸入圖像,其顯著性圖計算為:
其中:Iu為輸入圖像I的L,A,B通道均值;Iwhc(x,y)為輸入圖像I經(jīng)過高斯濾波之后,在L,A,B三通道的圖像均值;‖·‖是對三通道均值和濾波得到的圖像取歐氏距離并求和。為了得到更好的邊緣保持和細節(jié)增強性能,并保證圖像的亮度,本文提出了基于自適應(yīng)分數(shù)階微分顯著性檢測。
經(jīng)典的Tiansi模板算子具有微分特性,對圖像邊緣和紋理細節(jié)的增強效果明顯,但對圖像的亮度增強效果不佳,文獻[18]提出了一種改進分數(shù)階微分算法,通過在模板中加入亮度控制參數(shù)ρi,構(gòu)造了新的微分掩模算子,如式(2)所示,其中v表示分數(shù)階微分的階數(shù)。
本文根據(jù)NSST分解前后圖像平均梯度值、低頻子帶各像素點的梯度值構(gòu)造自適應(yīng)分數(shù)階微分階次函數(shù):
其中,G(i,j)為圖像在任 意點的梯度,Gmax,G0,GL分別為低頻子帶中梯度的最大值、原圖像的平均梯度,低頻子帶的平均梯度,T g為梯度閾值。對輪廓細節(jié)區(qū)域,即像素點的梯度大于T g而小于等于Gmax時,主要是實現(xiàn)對輪廓細節(jié)或弱邊緣的增強,具體做法是根據(jù)G(i,j)的大小在范圍動態(tài)調(diào)整微分階次,采用Tiansi模板進行卷積運算;對于平滑區(qū)域,即像素點的梯度小于或等于T g時,選擇固定的微分階次0.1,通過改進的Tiansi算子進行卷積運算,改善圖像的整體亮度。經(jīng)實驗,T g取2時效果最好。
接著根據(jù)圖像第0~64級灰度的概率分布P64,確定式中ρi為0的個數(shù),建立關(guān)系式(4):
si為圖像中第i級灰度的出現(xiàn)概率。因此,改進后的顯著圖輸出為:
其中,If d(x,y)為輸入圖像I經(jīng)過分數(shù)階微分增強后的輸出。
2.2.2 低頻子帶系數(shù)的融合規(guī)則
為避免融合后圖像丟失大量的細節(jié)信息,文章將兩幅源圖像的成像差異進行量化描述,引導(dǎo)低頻子帶圖像的融合。差異程度的量化以兩幅圖像的區(qū)域相似性來描述,若已知圖像a在像素點(i,j)處的顯著值為Sa(i,j),圖像b在像素點(i,j)處的顯著值為和Sb(i,j),則圖像a和b的區(qū)域相似性可定義為:R a,b(i,j)表示圖像a和b對應(yīng)像素點的顯著值的相似程度,其值越高,相似程度越高;反之,表明兩圖像在此區(qū)域的差異性越大。
由此,本文提出了以下低頻子帶的融合規(guī)則:
設(shè)定相似性匹配度閾值δ,當(dāng)Ra,b(i,j)小于設(shè)定的閾值δ時,選擇其中顯著值大的像素作為該像素點融合圖像的像素值;當(dāng)R a,b(i,j)大于等于閾值δ時,將此位置處的兩像素值進行加權(quán),作為融合圖像對應(yīng)的像素值,設(shè)加權(quán)系數(shù)λ(i,j)。具體如式(8)~(10)所示。
若Ra,b(i,j)<δ,則:
若Ra,b(i,j)≥δ,則:
其中λ(i,j)為:
a(i,j)、b(i,j)分別為源圖像a、源圖像b在(i,j)處的像素值,p為圖像a,b的融合圖像。
相較于簡單加權(quán)或者取最值來確定融合圖像的方法,這種基于匹配度的融合規(guī)則顯得更科學(xué)、合理。
圖像的弱邊緣及突變紋理信息主要體現(xiàn)在高頻子帶,且圖像鄰域內(nèi)的結(jié)構(gòu)特征可通過圖像中心與周圍像素點之間的梯度變化和灰度距離表征。因此,本文高頻子帶融合采取梯度變化與灰度差異加權(quán)的策略。
設(shè)圖像的梯度G(x,y),區(qū)域窗口的中心像素點(x,y),相鄰像素點(i,j),灰度值H(x,y),則圖像鄰域間的差異性σ可定義為:
其中,λ是灰度變化、梯度距離差異性的影響因子,本文取λ=4。
令指數(shù)影響因子為:
圖像第j層k方向的高頻子帶系數(shù)W j,k(x,y),則高頻子帶加權(quán)系數(shù)φ可定義為:
融合過程中,相似性匹配度閾值δ和高頻圖像結(jié)構(gòu)差異閾值γ的選擇對融合后圖像的效果影響較大。δ一般取值在0~1.0之間,經(jīng)實驗,當(dāng)δ>1.0、γ<0.8或δ>1.0、γ>1.0時,融合的圖像效果變差,主觀上體現(xiàn)在兩源圖像的特征不能很好的體現(xiàn),有時融合的圖像會過份依賴于其中的一個源圖像,不利于融合后圖像的整體質(zhì)量。所以本文δ取值在0~1.0之間,γ取值在0.8~1.0之間。為尋找δ及γ的最優(yōu)值,本文引入改進的量子煙花算法對這兩個參數(shù)進行優(yōu)化。
傳統(tǒng)最優(yōu)化算法常常受到局部極值的約束而影響最優(yōu)化效果。為了使算法跳出局部極值,許多學(xué)者對算法進行了改進和優(yōu)化,如引入量子的思想。常用的基于量子的最優(yōu)化算法有:量子遺傳算法(QGA)[19]、量子細菌覓食算法(QBFA)[20]、量子狼群算法(QWPEA)[21]等,量子思想的引入,提高了算法的收斂速度和精度。煙花算法(FWA)是2010年由譚營[22]等人提出的,具有較強的全局搜索和局部搜索能力,但在尋優(yōu)過程中容易陷入局部最優(yōu),因此本文提出自適應(yīng)旋轉(zhuǎn)角的量子煙花算法,將量子態(tài)矢量表達引入煙花當(dāng)前位置編碼,更新煙花個體位置,利用量子旋轉(zhuǎn)門對煙花個體進行概率變異操作,提高算法的全局最優(yōu)搜索能力和保證收斂速度。
3.1.1 煙花位置量子編碼
量子個體P的每個量子位的狀態(tài)|φ〉的幅度表示為概率幅形式,即|φ〉=?α,β」,利用概率幅作為煙花當(dāng)前位置的編碼,則量子個體位置表示為:
其中:θjk=2πrand(),j=1,2,…,m,k=1,2,…,n,m為煙花個數(shù);n為空間個數(shù)。
3.1.2 煙花位置量子旋轉(zhuǎn)門更新
對煙花個體的位置采用量子旋轉(zhuǎn)門進行更新,更新公式為:
3.1.3 煙花個體變異操作
煙花個體在進行量子旋轉(zhuǎn)門位置更新后,有一定的概率Pn進入量子非門變異操作,其變異操作為:
即將量子個體中每一維的概率幅αi與βi進行交換,如下式所示:
為變異的概率幅。
3.1.4 適應(yīng)度函數(shù)
融合圖像性能客觀評價指標(biāo)中,目前覆蓋較廣泛的有信息熵(IE)、平均梯度(AG)、交叉熵(CE)、空間頻率(SF)及結(jié)構(gòu)相似性(SSIM)等。信息熵、平均梯度、空間頻率、結(jié)構(gòu)相似性的值越大,圖像的融合效果越好,交叉熵的值越小,圖像融合效果越好。設(shè)信息熵、平均梯度、空間頻率、結(jié)構(gòu)相似性及交叉熵分別為:fIE,fAG,fSF,fSSIM,fCE,則為了得到最佳融合圖像,構(gòu)造以下適應(yīng)度函數(shù):
本文提出的融合方法步驟如下:
Step1利用NSST變換分別對已配準(zhǔn)并預(yù)處理后的源圖像進行分解,得到低頻子帶系數(shù)和高頻子帶系數(shù);
Step2對低頻子帶,先利用分數(shù)階微分增強后進行顯著性檢測,并依據(jù)顯著圖匹配度規(guī)則,將紅外與可見光圖像的低頻子帶系數(shù)執(zhí)行融合操作,得到低頻子帶融合圖像;
Step3對高頻子帶系數(shù),按照梯度變化和灰度差異加權(quán)策略進行融合;
Step4對融合處理后的高頻方向子帶系數(shù)及低頻子帶系數(shù)執(zhí)行NSST逆變換,利用改進的量子煙花算法對高低頻融合參數(shù)δ和γ進行最優(yōu)化處理。
Step5輸出最佳的融合圖像。
融合流程如圖2所示。
圖2 自適應(yīng)融合算法流程圖Fig.2 Flow chart of adaptive fusion algorithm
為了驗證所提算法的有效性與先進性,本文選用了3組紅外與可見光圖像進行實驗,這3組圖像均為FEL攝像機系統(tǒng)注冊的標(biāo)準(zhǔn)圖庫圖像,且均已經(jīng)過嚴格配準(zhǔn)。實驗硬件平臺為:Windows 10操作系統(tǒng)、CPU:Pentium、RAM:8 GB;軟件運行環(huán)境是Matlab R2016a。
為了驗證本文所提視覺顯著性檢測方法的有效性,將本文檢測方法與譜殘余(SR)顯著性檢測、基于圖流形排序(MR)顯著性檢測、頻率調(diào)諧(FT)顯著性檢測等方法進行比較,圖3為紅外圖像經(jīng)過不同視覺顯著性檢測方法得到的結(jié)果圖,PR曲線如圖4所示,其中Precision表示查準(zhǔn)率,Recall為查全率。通過視覺顯著圖的結(jié)果可以看出,SR方法受復(fù)雜邊緣的影響,檢測效果不太理想;MR方法檢測結(jié)果中存在較多的背景信息;FT方法目標(biāo)突出,但邊緣細節(jié)還不夠豐富;本文方法克服了上述幾種方法的不足,檢測結(jié)果紅外的目標(biāo)信息突出,邊緣細節(jié)得到保持,背景信息在一定程度上得到抑制。
圖3 視覺顯著性檢測結(jié)果及比較Fig.3 Results and comparison of visual saliency detection
圖4 顯著性檢測PR曲線圖Fig.4 PR curve of saliency detection
為求得本文提出的動態(tài)自適應(yīng)旋轉(zhuǎn)角函數(shù)中λ的最佳值,利用測試函數(shù)matyas進行性能測試,如式(23)所示,該函數(shù)最小值在(0,0)點取為0,最大迭代次數(shù)設(shè)為200。實驗中,算法的參數(shù)設(shè)置如下:煙花個數(shù)N=10,爆炸火花個數(shù)Si=80、爆炸半徑,高斯變異火花數(shù)GM=35、非門變異概率Pn=0.2。每組實驗進行100次,在不同的λ值下,實驗達到的最優(yōu)值的概率和迭代次數(shù)的平均結(jié)果如表1所示。當(dāng)取λ=1.4時,算法的尋優(yōu)能力和尋優(yōu)速度達到最佳,并將此結(jié)果當(dāng)作本文方法的最佳參數(shù)。
表1 量子煙花算法在不同λ值得到的平均最優(yōu)值的概率(%)和迭代次數(shù)Tab.1 Probability(%)and iterations of the average optimal value of QFWA in differentλ
另外,為了驗證所提改進量子煙花算法的有效性,本文將所提算法與另外幾種基于量子的優(yōu)化算法進行對比實驗,用matyas測試函數(shù)進行測試,實驗結(jié)果如表2所示,幾種智能算法求解的迭代過程如圖5所示。
表2 量子煙花與其他幾種智能算法尋優(yōu)測試對比Tab.2 Comparison between QFWA and other intelligent algorithms
圖5 五種基于量子的智能算法求解matyas的迭代過程Fig.5 Iterative process of five intelligent algorithms based on quantum for Matyas
由實驗結(jié)果可知,量子煙花算法在最優(yōu)值、平均值及方差上的表現(xiàn)均優(yōu)于其他幾種算法。量子煙花算法由于在煙花算法的基礎(chǔ)上進行量子旋轉(zhuǎn)門和非門變異操作,使得算法能夠跳出局部最優(yōu),一定程度上加快了算法收斂速度。
將本文所提算法與基于小波變換、輪廓波變換、NSCT變換的融合算法以及文獻[8]、[13]、[14]和[15]所提算法進行比較分析,以驗證本文所提融合方法的有效性與先進性。其中,小波變換采用“db4”濾波器進4層分解,Contourlet及NSCT變換采用“9-7”金字塔濾波器、“dmaxflat”方向濾波器進行3級分解,本文NSST分解層數(shù)為3,每層方向數(shù)為2i,i∈[1,2,3,4]。
圖6 ~圖8為三組圖像不同方法的融合結(jié)果。其中:(a)圖是采用小波變換,4層分解,低頻子帶系數(shù)按能量取平均,高頻部分取能量最大的作為融合的高頻系數(shù);(b)圖采用Contourlet變換,3層分解,同(a)圖一樣,低頻取平均,高頻能量取最大的融合方法;(c)圖采用高、低頻能量取平均值的NSCT變換融合方法;(d)圖先對圖像進行NSSCT變換,然后高頻部分利用信息互補的方式進行融合,低頻部分采用顯著性增強方法進行融合;(e)圖采用多尺度變換NSCT和改進FT的融合方法;(f)圖利用改進的MR算法對圖像進行視覺顯著性檢測,以指導(dǎo)低頻子帶的融合,高頻則以兩圖中局部標(biāo)準(zhǔn)差的較大值作為融合的高頻系數(shù);(g)圖采用FDST和PCNN的融合方法。
通過以上圖6~8所示的融合效果可見:小波變換的融合算法可以獲得一定的特征信息,如圖6(a)中的行人、道路及屋頂帽檐,圖8(a)中的汽車和探照燈等重要特征基本能突顯出來,但融合圖像還存在虛影,圖像中的部分特征信息較為模糊,層次感不強,不能有效地保留局部特征,即存在偽吉布斯效應(yīng);相較于小波變換,基于輪廓波變換融合算法的融合效果得到一定提升,但融合后圖像的細節(jié)信息不夠豐富,畫質(zhì)比較粗糙,效果不明顯,如圖6(b)~7和8(b)所示;與基于輪廓波變換的融合算法相比,基于NSCT的融合效果比較顯著,融合后圖像的邊緣、輪廓更加清晰,融合圖像的紋理細節(jié)更為豐富,層次感更好,如圖7(c)中的石頭顯得更加突出,圖8(c)中的行人、探照燈、護欄等的層次感更強,畫質(zhì)也更加清晰,但部分輪廓連貫性表現(xiàn)不足,即部分邊緣、輪廓信息丟失,如圖8(c)中的車輛信息、山體的凹凸面輪廓、屋頂?shù)容喞粔蜻B貫;參考文獻[9]采用的融合算法融合后圖像的對比度有所提升,細節(jié)更為豐富,但同時引入了部分不必要信息,如圖8(d)中的探照燈等,即出現(xiàn)過增強效應(yīng);參考文獻[13]、[14]、[15]采用的融合算法更為先進,融合效果較好,整體的畫質(zhì)和輪廓邊緣更加清晰,紋理細節(jié)更為豐富,圖像目標(biāo)信息與與背景層次感更強,如圖中行人與背景的層次;本文采用的融合方法融合效果與實際場景更相符,整體效果更佳,特別是對角區(qū)域和中軸線區(qū)域,紋理清晰、明朗,層次感強。
圖6 第1組融合效果圖Fig.6 Fusion effects of group 1
圖7 第2組融合效果圖Fig.7 Fusion effects of group 2
圖8 第3組融合效果圖Fig.8 Fusion effects of group 3
為進一步驗證本文算法的融合效果,文章從信息熵(IE)、平均梯度(AG)、空間頻率(SF)及結(jié)構(gòu)相似度(SSIM)、交叉熵(CE)、運行時間幾個方面對融合效果進行客觀評價。通過實驗,六個參數(shù)的統(tǒng)計結(jié)果如表3所示。從統(tǒng)計結(jié)果可見:3組數(shù)據(jù)6個指標(biāo)中,本文所提方法需要的運行時間較長,與參考文獻[15]的時間相當(dāng),這是因為本文所提方法在運行過程中要不斷迭代尋優(yōu),耗費了較長的時間。但本文算法的其它5個指標(biāo)均是最優(yōu)的,除了第1組中在結(jié)構(gòu)相似度上文獻[14]比文獻[13]略低,第2組數(shù)據(jù)中,平均梯度和空間頻上文獻[14]比文獻[13]略低外,幾個指標(biāo)基本上呈逐漸遞增趨勢,剛好與主觀人眼視覺分析相吻合。幾種比較算法中,文獻[15]所得到的參數(shù)值是最佳的,與效果較佳的文獻[15]相比,本文算法在信息熵、平均梯度、空間頻率和結(jié)構(gòu)相似度幾個參數(shù)上,第1組分別提高了4.3%,0.9%,1.0%,2.2%,第2組分別提高了4.4%,2.3%,1.2%,5.6%,第3組分別提高了4.1%,1.7%,0.6%,2.2%,交叉熵三組分別降低了2.8%,3.1%和2.6%,這與主觀人眼視覺看到的融合效果一致,體現(xiàn)了本文所提算法的先進性與有效性。
表3 三組利用不同融合方法的客觀指標(biāo)評價結(jié)果Tab.3 T hree groups evaluation results of objective index with different fusion methods
針對傳統(tǒng)紅外與可見光圖像融合算法中存在的細節(jié)紋理信息不夠清晰,邊緣信息保留不夠充分等問題,提出一種基于分數(shù)階顯著性檢測及改進量子煙花算法的NSST域圖像融合方法。圖像的低頻部分,結(jié)合分數(shù)階微分增強后進行顯著性檢測,該檢測方法突出了圖像的目標(biāo)信息,保持了邊緣細節(jié),同時一定程度上抑制了背景信息,為后續(xù)結(jié)合顯著圖匹配度的融合提供了較好的指導(dǎo)。梯度變化與灰度差異加權(quán)的高頻融合規(guī)則,使得融合后圖像邊緣細節(jié)豐富,紋理清晰。改進的量子煙花算法有效地提升了算法的尋優(yōu)能力和收斂效率。實驗結(jié)果表明:所提方法得到的融合圖像有效地綜合了源圖像中的細節(jié)信息,從人眼視覺感知和5個客觀數(shù)據(jù)分析函數(shù)驗證了本文方法的有效性,與現(xiàn)有方法相比具有較好的融合效果,且自適應(yīng)能力強、無需人工干預(yù)。