魏晨晨,羿旭明
基于改進DRLSE水平集模型的圖像分割
魏晨晨,羿旭明
(武漢大學數學與統(tǒng)計學院,湖北 武漢 430072)
針對DRLSE水平集模型對噪聲敏感、依賴初始輪廓位置以及演化速度緩慢等不足,利用小波變換和小波閾值去噪的方法,構造對噪聲不敏感的邊緣信息刻畫矩陣,定義基于圖像信息的邊緣停止函數和自適應權重系數,獲得了改進的DRLSE水平集圖像分割模型。利用有限差分法對模型求解,并采用Jaccard相似度作為評價模型的定量分析方法,數值結果顯示改進的模型及算法對圖像分割的有效性,克服了DRLSE水平集模型分割含噪圖像以及定義初始輪廓位置的局限性,提高了DRLSE水平集模型的計算效率和圖像分割精度。
圖像分割;DRLSE水平集;邊緣停止函數;自適應
近年來,由OSHER和SETHIAN[1]提出的水平集方法已經被廣泛地應用于計算機視覺的圖像分割領域[2-4]。水平集方法的基本思想是將輪廓曲線表示為在較高維度中定義的隱式函數的零水平集,并根據相應的偏微分方程演化水平集函數[5]?;顒虞喞P妥鳛閳D像分割的重要工具之一,按照輪廓線表達形式的不同分為參數活動輪廓模型[6-7]和幾何活動輪廓模型[5,8-10]。與參數活動輪廓模型相比,幾何活動輪廓模型基于曲線演化理論和水平集方法,具有對初始輪廓不敏感、能夠適應曲線拓撲結構變化以及可以得到穩(wěn)定唯一的數值解等優(yōu)點[8]。最早的幾何活動輪廓模型是由文獻[3]和文獻[4]分別提出的測地線活動輪廓模型(geodesic active contour,GAC),在圖像梯度變化較大時該模型可以進行穩(wěn)定的目標邊界檢測[9]。但是為了保證水平集穩(wěn)定而有效地演化,需要在演化過程中重新初始化水平集函數。
為了避免重新初始化水平集函數帶來的時間代價和數值偏差,LI等[5,10]提出了距離保持水平集演化模型(distance regularized level set evolution,DRLSE)。DRLSE模型無需進行水平集函數的重新初始化,并且在利用有限差分法數值求解時可以使用較大的時間步長,極大地提高了水平集演化速度。然而該模型存在以下不足:①邊緣停止函數基于梯度信息,從而對噪聲敏感,在分割含噪圖像時,水平集容易陷入虛假邊緣導致分割效果不理想[11];②在圖像的弱邊界處,圖像梯度小,使得邊緣停止函數值較大,演化曲線容易越過目標邊界;③能量泛函的權重系數是常數,不能根據圖像信息自適應地調整符號和大小,水平集演化不具有自適應性。
針對DRLSE模型的不足,研究者提出了許多改進方法。HE等[12]利用Laplace算子在圖像邊界兩側符號相反的性質構造出使水平集演化方向具有自適應性的權重系數。但是,Laplace算子的計算基于二階導數,使得模型對噪聲敏感。LIU等[13]將歸一化局部熵引入到邊緣停止函數中以減弱模型對噪聲的敏感性。但是,歸一化局部熵存在的塊效應影響了分割結果的精確性。小波變換具有多分辨分析的特性,在圖像去噪[14]和邊緣檢測[15-16]等方面發(fā)揮著重要作用。本文基于閾值處理后的小波系數構造邊緣信息刻畫矩陣,通過定義新的邊緣停止函數和自適應權重系數,提高了DRLSE模型的分割效率以及分割含噪圖像的有效性。
設為圖像區(qū)域,()為定義在上的水平集函數。DRLSE模型的能量泛函[10]表示為
其中,第1項是懲罰項,用于保證水平集曲線在演化過程中的光滑性;第2項和第3項分別是長度項和面積項,其作用是引導水平集向目標邊界演化。正常數,和常數為各能量項的權重系數;(·)為能量密度函數;?為梯度算子;(?)和(?)分別為Dirac函數和Heaviside函數。邊緣停止函數()定義為
模型使用雙勢阱函數[10]作為能量密度函數
式(2)定義的邊緣停止函數基于光滑圖像的梯度,水平集在梯度信息的引導下演化。相比于傳統(tǒng)的活動輪廓模型[6-7],DRLSE模型能夠準確而穩(wěn)定地完成對目標物體的分割[10]。但是在分割含噪圖像時,演化曲線受噪聲干擾容易陷入虛假邊緣。如 圖1(b)所示,DRLSE模型可以有效分割出無噪聲圖像中的目標物體;圖1(c)~(d)是向原圖添加方差()分別為0.01和0.10高斯噪聲后的分割結果,可以看出,隨著噪聲的出現和增強,演化曲線受到的干擾程度變大,目標物體得不到有效分割。
(a) 原圖(b) 無噪聲(c) var=0.01(d) var=0.10
權重系數是預先設定的常數。一方面,水平集根據的符號進行收縮演化(>0)或擴張演化 (<0),初始輪廓必須設置為包圍目標或在目標內部(或外部)。一旦初始輪廓與目標區(qū)域相交如圖2(a),模型在>0 (圖2(b))和<0 (圖2(c))的情形下均不能有效地進行圖像分割。另一方面,當||過小時,水平集演化緩慢容易陷入局部極小值(圖2(d));而當||過大時,容易出現邊界泄漏(圖2(f))。
(a) 初始輪廓(b) v>0(c) v<0 (d) v=0.5(e) v=1.5(f) v=2.5
文獻[16]提出的基于小波系數的邊緣信息刻畫函數,使得水平集在演化過程中能夠迅速捕捉到圖像的邊緣,從而更加準確和高效地分割圖像。但是對于含噪圖像,圖像的細節(jié)和噪聲經小波分解后均體現在細節(jié)系數部分。因此,以上邊緣信息刻畫函數對噪聲敏感。
本文首先對圖像(,)進行層小波分解,得到近似系數A以及水平、垂直和對角方向的細節(jié)系數1,···,H,1,···,V,···,1,···,D在構造邊緣信息刻畫矩陣前,小波分解系數按以下方式進行處理:
(1) 使用如下函數對各尺度細節(jié)系數進行閾值處理
再對矩陣進行歸一化處理,得到邊緣信息刻畫矩陣norm。
在圖像光滑區(qū)域,小波系數梯度幅值小,矩陣元素norm(,)較??;在目標邊界處,小波系數梯度幅值大,矩陣元素norm(,)較大。圖3(a)是邊緣深度凹陷圖像,其邊緣信息刻畫矩陣的圖像表示如圖3(b)所示,可以看出矩陣norm有效地刻畫出圖像邊緣。向原圖添加方差分別為0.01和0.10高斯噪聲后,對應的邊緣信息刻畫矩陣的圖像表示如圖3(c)~(d)所示??梢钥闯?,隨著噪聲的增強,矩陣norm表現出對噪聲的魯棒性。
(a) 原圖(b) 無噪聲(c) var=0.01(d) var=0.10
為了提高DRLSE模型分割含噪圖像的有效性,本文將邊緣信息刻畫矩陣norm引入到式(2)中,定義新的邊緣停止函數new(,)為
由式(18)可知,new(,)與圖像梯度和小波系數梯度幅值成近似反比關系,并且具有在圖像光滑區(qū)域接近1和在目標邊界接近0的性質。而在含有噪聲的圖像區(qū)域,矩陣元素norm(,)較小,new(,)具有較大的值,避免了演化曲線陷入虛假邊緣。此外,矩陣norm刻畫圖像邊緣信息,使函數new(,)能夠刻畫真實的目標邊界。
圖4給出了2幅圖像邊緣停止函數的圖像表示。圖4(a)是含噪圖像,在背景和目標區(qū)域,new(,)的值較小(圖4(b))而new(,)的值接近1(圖4(c)),表明作為邊緣停止函數,new(,)受噪聲干擾的程度小于(,);圖4(d)是邊緣深度凹陷圖像,(,)和new(,)在目標邊界的值均接近0,但是new(,)對邊緣細節(jié)有更多的表現(圖4(f))。
(a) 原圖1(b) g(x,y),1(c) gnew1(x,y),1 (d) 原圖2(e) g2(x,y),2(f) gnew2(x,y),2
圖像的目標與背景區(qū)域分別記為I和I。為了克服DRLSE模型對初始輪廓的依賴性和對演化速度敏感的缺點,本文引入了基于圖像信息的自適應權重系數
(2)new(,)的大小與圖像梯度和小波系數梯度幅值有關。在圖像光滑區(qū)域,|new(,)|較大,水平集快速演化以避免陷入虛假邊緣;在目標邊界處, |new(,)|較小,水平集平穩(wěn)演化以避免出現邊界泄漏;在含有噪聲的區(qū)域,矩陣元素norm(,)較小使得水平集仍以較小的速度繼續(xù)演化。權重系數能夠根據圖像信息自適應地調整大小,以保持水平集合理的演化速度。
將初始輪廓設置在與圖像目標相交的位置,如圖5所示。分別采用取固定值的DRLSE模型和new由式(9)定義的本文模型分割圖像,由分割結果可以看出,DRLSE模型根據的符號引導水平集收縮或擴張演化,而圖5(c)和5(f)證明了自適應權重系數new的有效性。
(a) 初始輪廓1(b)v=1.5,1(c)vnew,1 (d) 初始輪廓2(e)v=–1.5,2(f)vnew,2
本文提出的改進DRLSE水平集模型的具體數值求解步驟如下:
步驟2.初始化水平集函數,設置參數0,計算初始輪廓內部灰度均值1和外部灰度均值2;
步驟3.將圖像進行多層小波分解,對各尺度的小波細節(jié)系數進行閾值處理;
步驟4.計算邊緣信息刻畫矩陣norm,邊緣停止函數new(,)和自適應權重系數new(,);
步驟5.根據離散化的水平集演化方程式(11)演化水平集函數;
步驟6.判斷水平集演化迭代次數是否完成,若完成,輸出圖像分割結果,否則轉步驟5。
為了定量分割和評價不同模型的分割質量,采用Jaccard相似(Jaccard Similarity, JS)系數來度量圖像分割模型的精度[20]。Jaccard相似系數定義為
其中,為標準的分割結果;為待評價的分割結果。指標值越高則表明模型的分割效果越好。
為檢驗本文模型對含噪圖像分割的有效性,設置DRLSE模型參數=3,本文模型參數1=3,2=8,迭代次數50,分割結果如圖6所示??梢杂^察到:由于噪聲的干擾,DRLSE模型中的演化曲線停止在虛假邊緣處(圖6(b))或者越過目標邊界(圖6(e));本文模型在設定的迭代次數下成功分割出目標物體(圖6(c)和圖6(f))。
(a) 原圖1(b) DRLSE 1(c) 本文模型2 (d) 原圖2(e) DRLSE 2(f) 本文模型2
為檢驗本文模型檢測目標物體復雜邊界的有效性,選取如下邊緣深度凹陷圖像。設置DRLSE 模型參數=1.5,本文模型參數1=1.5,2=8,迭代次數30,圖像分割結果如圖7所示??梢杂^察到:DRLSE模型中的演化曲線不能收斂到目標物體深度凹陷的邊界(圖7(b));本文模型則能夠成功分割出圖像的深度凹陷部分(圖7(c)),并且能夠捕捉到目標物體的真實邊界(圖7(f))。
(a) 原圖1(b) DRLSE 1(c) 本文模型1 (d) 原圖2(e) DRLSE 2(f) 本文模型2
為檢驗自適應權重系數new(,)的有效性,選取如下噪聲圖像。設置DRLSE模型參數=1.5,本文模型參數1=1.5,2=6,迭代次數分別為15和30。初始輪廓設置為包含目標、在目標內部和與目標相交3種情形,圖像分割結果如圖8所示??梢杂^察到:使用本文模型時,初始輪廓無論置于何處均能夠經15次迭代后收斂到目標邊界,如圖8(d)所示;而使用DRLSE模型,只有初始輪廓與目標區(qū)域不相交并且需要經30次迭代才能完成對目標物體的分割(圖8(c))。
(a)初始 輪廓(b) DRLSE,15(c) DRLSE,30(d)本文模 型,15
另外,檢驗本文模型對各類復雜圖像的分割效果,并與DRLSE模型和文獻[21]模型進行對比分析。選取高噪聲圖像(圖9(a)~(b)),邊緣深度凹陷圖像(圖9(c)~(d))以及遙感圖像(圖9(e)~(f))。設置DRLSE模型參數=1.5,文獻[21]模型參數=3,本文模型參數1=1.5,2=8,圖像分割結果如圖9所示,對應的迭代次數、演化時間以及Jaccard相似系數分別見表1和表2。
(a) 原圖1(a1) DRLSE,1(a2) 文獻[21],1(a3) 本文,1 (b) 原圖2(b1) DRLSE,2(b2) 文獻[21],2(b3) 本文,2 (c) 原圖3(c1) DRLSE,3(c2) 文獻[21],3(c3) 本文,3 (d) 原圖4(d1) DRLSE,4(d2) 文獻[21],4(d3) 本文,4 (e) 原圖5(e1) DRLSE,5(e2) 文獻[21],5(e3) 本文,5 (f) 原圖6(f1) DRLSE,6(f2) 文獻[21],6(f3) 本文,6
表1 不同模型的迭代次數與演化時間對比
表2 圖9(a)~(d)采用不同模型分割的Jaccard相似系數
從圖9可知,由于噪聲的干擾以及局部熵塊效應的影響,文獻[21]模型沒有對圖9(b)和9(e)的目標區(qū)域進行精確地分割,如圖9(b2)和9(e2)所示;圖9(c)中,動物四肢的輪廓表現為圖像的深度凹陷邊緣,DRLSE模型和文獻[21]模型均不能將動物的四肢準確分割出來,如圖9(c1)~(c2)所示;對于灰度不均勻且多有凹陷區(qū)的遙感圖像(圖9(f)),文獻[21]模型中的演化曲線即使經過800次迭代也不能完全收斂到目標物體的真實邊界,如圖9(f2)所示。
結合表1,對于圖9中的所有圖像,采用本文模型使用相對較少的迭代次數在較短的演化時間內均得到較為理想的分割結果。相比于DRLSE模型,本文模型的迭代次數平均減少了70%,演化時間平均減少了73.13%。再結合表2,本文模型的分割效果比其他兩種模型更好。
本文針對DRLSE模型的不足,通過定義新的邊緣停止函數和自適應權重系數,提出了改進的DRLSE水平集模型,并通過數值實驗驗證了改進模型及算法的有效性。相較于DRLSE模型,本文模型對噪聲有更強的魯棒性,對邊緣信息的捕捉能力更好,分割圖像的效率和精度也更高。
[1] OSHER S, SETHIAN J A. Fronts propagating with curvature dependent speed: Algorithms based on Hamilton-Jacobi formulations [J]. Journal of Computational Physics, 1988, 79(1): 12-49.
[2] HAN X, XU C, PRINCE J L. Topology preserving level set method for geometric deformable models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 755-768.
[3] SELLES V, CATT F, COLL T, et al. A geometric model for active contours in image processing [J]. Numerische Mathematik, 1993, 66(1): 1-31.
[4] MALLADI R, SETHIAN J A, VEMURI B C. Shape modeling with front propagation: A level set approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(2): 158-175.
[5] LI C, XU C, GUI C, et al. Level set evolution without re-initialization: A new variational formulation [C]// Proceeding of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2005: 430-436.
[6] KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contours models [J]. International Journal of Computer Vision, 1988, 1(4): 321-331.
[7] XU C, PRINCE J L. Snakes, shapes and gradient vector flow [J]. IEEE Transactions on Image Processing, 1998, 7(3): 359-369.
[8] LIE J, TAI L X C. A variant of the level set method and applications to image segmentation [J]. Mathematics of Computation, 2006, 75(255): 1155-1175.
[9] CASELLES V, KIMMEL R, SAPIRO G. Geodesic active contours [J]. International Journal of Computer Vision, 1997, 22(1): 61-79.
[10] LI C, XU C, MEMBER S, et al. Distance regularized level set evolution and its application to image segmentation [J]. IEEE Transactions on Image Processing, 2010, 19(12): 3243-3254.
[11] LIU C, LIU W, XING W. An improved edge-based level set method combining local regional fitting information for noisy image segmentation [J]. Signal Processing, 2017, 130: 12-21.
[12] HE C J, LI M, ZHANG Y. Adaptive distance preserving level set evolution for image segmentation [J]. Journal of Software, 2009, 19(12): 3161-3169.
[13] LIU C, LIU W, XING W. A weighted edge-based level set method based on multi-local statistical information for noisy image segmentation [J]. Journal of Visual Communication and Image Representation, 2019, 59(1): 89-107.
[14] 謝杰成, 張大力, 徐文立. 小波圖象去噪綜述[J]. 中國圖象圖形學報, 2002, 7(3): 209-217.
[15] 付金明, 羿旭明. 基于小波多分辨率分析和改進窄帶法的C-V水平集圖像分割模型[J]. 數學雜志, 2016, 36(4): 867-874.
[16] 楊志巧, 羿旭明. 基于小波邊緣刻畫與LBF水平集變分模型的圖像分割[J]. 數學雜志, 2019, 39(1): 87-96.
[17] OSHER S, FEDKIW R, PIECHOR K. Level set methods and dynamic implicit surfaces [J]. Applied Mechanics Reviews, 2004, 57(3): 15-273.
[18] 王大凱, 侯榆青, 彭進業(yè). 圖像處理的偏微分方程方法[M]. 北京: 科學出版社, 2008: 1-224.
[19] 相瑞, 王力, 何慶, 等. 小波變換與偏微分方程的圖像去噪算法[J]. 通信技術, 2017, 50(1): 30-37.
[20] 冀珂, 羿旭明. 基于變動權值的混合水平集圖像分割模型[J]. 圖學學報, 2017, 38(6): 831-836.
[21] 張夢夢, 張涇周, 周三平, 等. 基于局部熵的邊界與區(qū)域水平集圖像分割模型[J]. 系統(tǒng)工程與電子技術, 2016, 38(12): 2884-2888.
An Improved Method for Image Segmentation Based on DRLSE Level Set
WEI Chen-chen, YI Xu-ming
(School of Mathematics and Statistics, Wuhan University, Wuhan Hubei 430072, China)
Aiming at the fact that the DRLSE level set model is inadequately sensitive to noise and dependent on the initial contour and slow evolution we used wavelet transform and wavelet threshold denoising methods. A new edge stop function and adaptive weight coefficient based on image information are defined by constructing the edge characterization matrix which is not sensitive to noise. An improved DRLSE level set image segmentation model is thus obtained. The finite difference method is employed to solve the model, and Jaccard similarity is used as the quantitative analysis method of evaluation model. The numerical results show that the improved model and algorithm are effective for image segmentation, overcoming the limitation of DRLSE level set model and dividing the noisy image and defining the initial contour position, which improve the computational efficiency and image segmentation precision of the DRLSE level set model.
image segmentation; DRLSE level set; edge stop function; adaptive
TP 391
10.11996/JG.j.2095-302X.2019050885
A
2095-302X(2019)05-0885-07
2019-04-29;
22019-07-08
國家自然科學基金面上項目(11671307)
魏晨晨(1995-),女,安徽宿州人,碩士研究生。主要研究方向為圖形圖像處理。E-mail:783424700@qq.com
羿旭明(1964-),男,湖南澧縣人,教授,博士。主要研究方向為小波分析理論及其應用、圖像處理。E-mail:247960864@qq.com