一種離焦圖像重組技術

張學典,商艷芝,朱靜遠,江旻珊

(上海理工大學 光電信息與計算機工程學院,上?！?00093)

?

一種離焦圖像重組技術

張學典,商艷芝,朱靜遠,江旻珊

(上海理工大學 光電信息與計算機工程學院,上海200093)

摘要隨著傳感技術的發(fā)展,單一的圖像傳感器通常不能從場景中提取足夠多的信息,故需進行多源圖像融合。文中在已有的圖像融合技術基礎上,提出了一種基于物理空間變異點擴散函數的方法來實現多聚焦圖像的融合。該算法能解決已有算法需求儲存量大的問題,并經過試驗證明,該方法得到的圖像視覺效果良好,可視化清晰,同時計算了不同算法得到融合圖像的均方差,新算法的均方差明顯小于已有算法的均方差。因此,證明了新算法優(yōu)于現有的離焦圖像融合算法。

關鍵詞圖像融合技術;點擴散函數;多聚焦圖像;離焦

目前,各式各樣的數據采集裝置的大量使用,使得圖像融合已經成為圖像處理的重要組成部分。由于鏡頭景深的限制,只有處于焦平面上的物體才會被清晰成像,不處于焦平面上的物體是模糊成像,于是,由同一個場景就會產生具有不同焦點的圖像,其中任何一個圖像都無法充分表達一個完整場景,但這些圖像在許多方面是相輔相成的[1]。因此人們提出多焦點融合方法來解決離焦部分的融合問題。首先獲取一組不同景深的圖像,然后使用圖像融合技術對不同圖像進行綜合,使得融合圖像中的物體是清晰的,本文首先對圖像融合技術進行了介紹,然后在此基礎上提出一種空間變異點擴散函數的算法,來應用到多焦點圖像融合中。

1圖像融合技術

圖像融合是圖像處理的重要領域[2]。圖像融合方法眾多,大致可將其分為空域融合方法及變換域融合方法。典型的空域融合方法包括像素加權平均、偽彩色映射、非線性方程法、模擬退火法、人工神經網絡法等;變換域融合方法包括小波變換法、圖像金字塔方法[3-4]、多尺度幾何分析方法等。幾種典型方法:(1)像素融合方式,其主要思想對要融合的源圖像不進行任何變換,不考慮像素之間的相關性,直接對源圖像中的各像素分別進行選擇、平均或加權等簡單處理后,得到新的融合圖像。該方法是一種典型的圖像融合方法,應用也較為廣泛。該方法實施簡單,但在一定程度上降低了融合圖像的整體對比度;(2)小波變換法是空間(時間)和頻率的局部變換,因而能有效地從信號中提取信息。小波變換具有良好的多分辨率特性,在圖像處理技術中經常為其他算法提供預處理信息。但傳統(tǒng)小波變換不能處理2D或更高維奇異性的問題[5]。在多分辨率分解融合算法中,采用小波變換融合算法多會引入高頻噪聲,從而影響融合圖像的質量[6];(3)圖像金字塔技術,主要包括高斯金字塔,拉普拉斯金字塔[7-8],梯度金字塔等。而金字塔這類算法的一般模式是先對每一源圖像分別進行某種塔形分解,建立各圖像相應的金字塔,再對圖像金字塔的多分解層分別進行融合處理,不同分解層可用不同的融合算子進行融合處理得到融合后相應的金字塔,最后對其進行圖像重組,得到的合成圖像包含了源圖像的所有重要信息。金字塔式圖像融合算法能在多尺度,多分辨率上進行特征分解從而得到較好的融和效果,但此類算法存在方向性問題和存儲量大的問題;(4)基于以上的各種技術,Cunha A L等人實現了非下采樣Contourlet變換(NSCT)。NSCT不但繼承了Contourlet的多尺度、多方向性,同時還具備了平移不變特性,可有效消除吉布斯現象。但該方法由于非自適應于具體圖像,無法最稀疏地描述圖像信息,容易造成融合過程中系數選取得不準確,導致融合圖像出現邊緣模糊和偽噪聲[9];(5)針對非下采樣Contourlet變換(NSCT)中低頻子帶系數稀疏度較低不利于融合的問題,提出基于NSCT和稀疏表示的圖像融合方法(NSCT-SR)[10]。該算法得到的融合圖像更加清晰,信息更豐富,對比度更高。在以往的文獻中發(fā)現了多種輕微散焦圖片的多聚焦圖像融合方法,且每種方式都得到了相應的測試,在本文中將提出一種可處理強散焦情況下的多聚焦圖像融合新算法。

2基于物理空間變異點擴散函數算法

該方法基于光學圖像形成理論,且遵循平面上的三維近似場景。當三維場景利用光學系統(tǒng)成像時,只有聚焦于像平面上的物體才會呈現清晰的像,而物體的其他部分將會處于離焦狀態(tài)即形成模糊的像?？紤]到一個場景中各系列圖像均有各自的聚焦面,則就需要獲得不同焦距的系統(tǒng)。假設jk(在RGB圖像中,jk=(jRk,jGk,jBk),k=1,…,n)是n張圖片中的第k張成像,在忽略噪聲和色差的情況下,焦距為L=Lk處的jk圖像,在空域其可表示為

jk=(x,y)=ik(x,y)+∑k′≠khkk’(x,y)×ik’(x,y)

(1)

其中,Ik是焦點區(qū)域內獲得清晰圖像;jk場景中的散焦部分是Ik’與點擴散函數hkk’(x,y)的卷積,如圖1所示焦距是Lk的一個光學系統(tǒng)成像jk,該成像是距離為Lk的紅色物體和距離為Lk’的綠色物體共同成像。

在嚴重散焦情況下,國內外學者對于光學成像系統(tǒng)的點擴散函數進行了研究,并提出了近似模型[11]

(2)

式中,rkk’將滿足

(3)

其中,p指相機的像素間距;R0=Rd/p,R是成像透鏡的半徑;d是成像鏡頭到像平面的距離,如圖1所示。

圖1　焦距為lk的光學系統(tǒng)

融合的圖像z(x,y)是不同焦距圖像的總和即

(4)

如果獲得z(x,y),首先將式(1)進行傅里葉變換

(5)

其中,(a,b)是空間頻率坐標;hkk’是光學傳遞函數(OTF),即hkk’=FT(hkk’),Ik’=FT(Ik’),對于n=2的特殊情況,可直接由式(5)直接獲得z=FT-1{(j1+j2)∕(1+h12)},而對于任意數值n,等式(5)可用向量的形式表示

j(a,b)=h(a,b)I(a,b)

(6)

式中,j和I均為n維列向量,H為n×n的對稱矩陣,其中

等式(4)的傅里葉變換是

(7)

式中,e是長度為N的單位向量。從式(6)和式(7)中可得到Z(a,b)即

Z(a,b)=e(h-j)

(8)

式中,H-是H的逆矩陣。文中從式(8)中得到了z(a,b)即z(x,y)的傅里葉變換,若要得到z(x,y),則將z(a,b)進行傅里葉逆變換即可。

3實驗結果

為驗證該算法的有效性,文中將該算法和加權梯度算法(MWGF),拉普拉斯金字塔算法(LP),基于非下采樣Contourlet變換算法(NSCT),NSCT稀疏結合算法(NSCT-SR)的結果進行對比。因MWGF和NSCT-SR可處理兩張源圖像來得出融合圖像,LP,NSCT和本文提供的方法可處理任意長度的堆棧圖像。

如圖2(a)所示分別將單獨拍攝的電路圖像和地板圖像放在鏡頭的L1,L2(L2=4/3 L1)處,如圖2(b)所示是電路板圖像和地板圖像均在焦點時所成的圖像,其目的是測試其他融合圖像時作為參考圖像。在式(3)中R0分別取20 L1,40 L1,80 L1和160 L1分別代表從輕度離焦成像到重度離焦成像,對于每一個R0值都將組成一個n=4的圖像堆棧,這幾張圖像的成像系統(tǒng)將分別聚焦于L1-Δ,L1,L2和L2-Δ(Δ=0.2 L1)處,如圖2(c)～圖2(f)是R0=160 L1的成像情況。

當一個堆棧中只需兩張圖片時,文中用圖2(d)和圖2(e),如圖2(d)代表的是在L1位置的電路板圖像是對焦圖像,而處于L2位置的地板圖像是離焦狀態(tài)下的成像。如圖2(e)所示則是對焦地板圖像,離焦電路板圖像的情況,從式(3)和利用L2,L1的關系,當R0=20 L1,40 L1,80 L1,和 160 L1時,對應的模糊圓盤半徑分別為5,10,20,和 40得到了離焦的另外兩個圖像2(c)和圖2(f)。

圖2　不同距離中需要合成的電路板圖像和地板圖像

圖3是根據不同算法得到的融合圖像,a1～a5是N=2時分別用MWGF,LP,NSCT,NSCT-SR,Proposed Method得到的融合圖像,b1～b3是N=4時分別用LP,NSCT,Proposed Method得到的融合圖像,隨即也計算了不同算法融合圖像的均方誤(MSE),并將其列于表1中。如表1所示,黑體數字代表著R0和N確定時,所有方法的最佳性能值,從表中可看出該方法優(yōu)于其他方法。

圖3　R0=160l1時兩張圖像和4張圖像用不同方法的融合圖像

R0NMWGFLPNSCTNSCT-SRPM20l120.16630.42340.63380.61830.56484-4.72031.2354-3.249540l121.58830.67853.65806.32540.51324-3.726812.4563-2.687480l124.57653.012028.146535.14980.43524-6.032180.3654-2.6913160l1214.328931.6798112.7692114.56890.61134-65.3274256.3214-3.4195

4結束語

介紹了圖像融合技術的基本概念和主要算法,基于此進行了物理空間變異點擴散函數的算法研究,其屬于可處理強離焦狀態(tài)下的圖像融合技術,并進行了實驗,且與其他的融合技術進行了比較。對實驗結果進行分析,不但視覺上較為清晰,且計算不同算法的均方差,也證明了新算法的優(yōu)越性,但仍有一定的誤差,希望可進一步分析研究,以待提高該算法的效率。

參考文獻

[1]Sarder P,Nehorai,Arye.Deconvolution methods for 3-dfluorescence microscopy images[j].IEEE Signal Process,2006,23(3):32-45.

[2]嚴春滿,郭寶龍,楊秀紅.一種抗噪聲的高效多聚焦圖像融合算法[j].西安電子科技大學學報:自然科學版,2011,38(3):63-68.

[3]Miao Qiguang,Wang Baoshu.Multi-sensor image fusion based on improved laplacian pyramid transform[j].Acta Optica Sinica,2007,27(9):1605-1610.

[4]朱若萍.Matlab在多分辨金字塔式圖像融合技術中的應用[j].儀器儀表用戶,2006(4):86-88.

[5]王珺,彭進業(yè),何貴青,等.基于非下采樣Contourlet變換和稀疏表示的紅外與可見光圖像融合方法[j].兵工學報,2013,34(7):815-820.

[6]林玉池,周欣,宋樂,等.基于NSCT變換的紅外與可見光圖像融合技術研究[j].傳感器與微系統(tǒng),2008,27(12):45-47.

[7]Wang q,Dai y,Zhao b,et al.a superconducting magnet system for whole-body metabolism imagin[j].IEEE Transactions on Appled Superconductivily,2012,22(3):58-63.

[8]Burt P,Adelson e.the laplacian pyramid as a compact image code[j].IEEE Transactions on Communication,1983,31(4):532-540.

[9]楊揚,戴明,周籮魚,等.基于非下采樣Bandelet變換的多聚焦圖像融合[j].吉林大學學報:工學版,2014,44(2):525-530.

[10]高珊,邱天爽,易梅,等.基于雙稀疏字典的醫(yī)學圖像融合算法及在腦血管疾病診斷中的應用[j].北京生物醫(yī)學工程,2015,34(3):239-243.

[11]Subbarao M,Choi t s,Nikzad a.Focusing technology[j].Optical Engineering,1993,32(11):2824-2836.

An Image Reconstruction Technique Under Defocus

ZHANG Xuedian,SHANG Yanzhi,ZHU Jingyuan,JIANG Minshan

(School of Optical-Electrical and Computer Engineering,University of Shanghai forScience and Technology,Shanghai 200093,China)

AbstractAs a single image sensor can not extract enough information from a scene,the multi-source image fusion is necessary.In this paper,a method based on the physical space variant point spread function is proposed to realize the fusion of multi focus images.This algorithm avoids the requirement of large storage of the existing algorithms.Tests show that the visual effect of the image obtained by the proposed method is clear and the mean square error (MSE) of the fusion image is significantly less than those by existing algorithms.

Keywordsimage fusion technology;PSF;multi-focus image;defocus

doi:10.16180/j.cnki.issn1007-7820.2016.05.043

收稿日期:2015-10-04

基金項目:國家科技部重大儀器專項基金資助項目(2013YQ03065104);國家重大科學儀器設備開發(fā)專項基金資助項目(2014YQ090709)

作者簡介:張學典(1974—),男,博士,副教授。研究方向:光電檢測儀器。商艷芝(1990—),女,碩士研究生。研究方向:圖像重組。

中圖分類號TP391.41

文獻標識碼A

文章編號1007-7820(2016)05-162-03