避免顏色越界的各向異性擴(kuò)散圖像彩色化

陳 穎 王朔中

?

避免顏色越界的各向異性擴(kuò)散圖像彩色化

陳 穎*①②王朔中①

①(上海大學(xué)通信與信息工程學(xué)院 上海 200072)②(上海應(yīng)用技術(shù)學(xué)院計(jì)算機(jī)科學(xué)與信息工程學(xué)院 上海 201418)

圖像彩色化是根據(jù)人工描繪的局部初始顏色用計(jì)算機(jī)為灰度圖像著色。該文提出一種各向異性的非線性擴(kuò)散圖像彩色化方法，該方法能夠克服顏色越界問題。首先建立基于偏微分的擴(kuò)散方程，通過設(shè)置自適應(yīng)的張量函數(shù)，使顏色在平滑區(qū)域快速均勻擴(kuò)散，在顏色交界處按各向異性方式擴(kuò)散，能夠有效增強(qiáng)邊緣顏色的連貫性。算法采用有限差分法實(shí)現(xiàn)擴(kuò)散方程的數(shù)值求解，與當(dāng)前流行的彩色化技術(shù)相比，該方法能得到更加清晰自然的彩色化圖像和更高的圖像質(zhì)量。

圖像彩色化；張量；各向異性；有限差分

1 引言

圖像彩色化是用計(jì)算機(jī)給灰度圖像加上顏色的處理過程，是數(shù)字圖像處理的一個(gè)熱點(diǎn)問題[1]，可廣泛應(yīng)用于影視制作、舊照片加工、廣告設(shè)計(jì)、視頻編輯等領(lǐng)域。

常見的圖像彩色化方法是一種局部顏色擴(kuò)散法，該方法事先給灰度圖像賦予一些初始顏色，將顏色從局部擴(kuò)展到全局。Levin等人[2]用手工在圖像各區(qū)域涂上適當(dāng)?shù)牟噬€條，利用待著色像素與周圍鄰域像素的亮度關(guān)系列出彩色化方程，通過求解方程實(shí)現(xiàn)顏色擴(kuò)散。Sapiro[3]借鑒圖像修復(fù)方法引入偏微分方程(PDE)，在描繪初始彩色線條后，由亮度梯度決定的引導(dǎo)場(chǎng)將顏色擴(kuò)展到整幅圖像中。Kawulok等人[4]用手工涂上部分初始顏色后，用自適應(yīng)競(jìng)爭(zhēng)的方法選擇顏色傳播路徑，再通過色度混合進(jìn)行圖像彩色化。隨后的研究者提出了多種方法，例如基于圖的半監(jiān)督學(xué)習(xí)的圖像彩色化[5]，應(yīng)用再生核空間理論實(shí)現(xiàn)的灰度圖像彩色化[6]，輸入反映語義的檢索詞從互聯(lián)網(wǎng)獲得參考圖像來實(shí)現(xiàn)的彩色化[7]，利用紋理合成技術(shù)的彩色化[8]，利用視覺線索的顏色轉(zhuǎn)移方法[9]等。

現(xiàn)有方法往往不能很好地定位圖像邊緣，產(chǎn)生顏色越界現(xiàn)象，造成局部圖像質(zhì)量不佳。各向異性擴(kuò)散是一種對(duì)圖像紋理和邊緣具有自適應(yīng)能力的處理方法，Bertalmio曾將其用于圖像修復(fù)[10]，Tripathi等人[11]研究了基于各向異性擴(kuò)散的圖像增強(qiáng)方法。為改進(jìn)彩色化效果，解決邊緣區(qū)域因越界擴(kuò)散導(dǎo)致的顏色模糊問題，本文提出了一種各向異性擴(kuò)散圖像彩色化方法。該方法通過定義一個(gè)適當(dāng)?shù)臄U(kuò)散張量函數(shù)，導(dǎo)出用于圖像彩色化的非線性各向異性擴(kuò)散方程，并給出有限差分算法來求解該方程。該方法的特點(diǎn)是：顏色在平滑區(qū)域按各向同性方式擴(kuò)散，在邊緣區(qū)則按各向異性方式擴(kuò)散，從而有效避免了顏色越界。實(shí)驗(yàn)結(jié)果表明，本文方法得到的彩色化圖像色彩自然清晰，明顯改善了不同顏色邊界處的彩色化效果。

2 各向異性擴(kuò)散圖像彩色化算法

2.1 圖像彩色化中的各向異性擴(kuò)散

在圖像平滑區(qū)，鄰近像素的亮度相近，顏色值也相近，這就要求顏色梯度的2范數(shù)在平滑區(qū)域接近于零。考慮求解如式(1)的最小化問題。

泊松方程式(2)相當(dāng)于各向同性擴(kuò)散達(dá)到平衡時(shí)的情況，這里未考慮不同顏色交界處的復(fù)雜情況，很容易產(chǎn)生顏色越界。為了解決這一問題，必須對(duì)色度分量進(jìn)行非均勻各向異性擴(kuò)散，也就是在邊緣附近沿亮度變化緩慢的方向擴(kuò)散，而不越過邊緣。Weickert在研究圖像濾波時(shí)討論了式(3)的各向異性擴(kuò)散方程[12]：

其中是擴(kuò)散方程中的加權(quán)因子。加權(quán)因子采用不同的形式會(huì)得到不同的擴(kuò)散結(jié)果。當(dāng)加權(quán)因子為標(biāo)量常數(shù)時(shí)，是均勻各向同性擴(kuò)散；加權(quán)因子是與位置有關(guān)的標(biāo)量函數(shù)時(shí)是非均勻各向同性擴(kuò)散；當(dāng)加權(quán)因子是與位置有關(guān)的張量時(shí)，是非線性各向異性擴(kuò)散，或自適應(yīng)各向異性擴(kuò)散。

以圖像降噪為例，各向同性擴(kuò)散在降噪同時(shí)平滑了圖像的邊緣；非均勻各向同性擴(kuò)散能識(shí)別邊緣，對(duì)邊緣區(qū)不進(jìn)行平滑；非均勻各向異性擴(kuò)散可識(shí)別邊緣，又能改變平滑方向，沿邊緣進(jìn)行平滑以取得良好的效果。

本文通過非線性各向異性擴(kuò)散來解決圖像彩色化問題，關(guān)鍵在于根據(jù)亮度分量的梯度確定合適的擴(kuò)散張量，然后對(duì)色度分量進(jìn)行擴(kuò)散?；叶葓D像彩色化算法可通過求解式(4)來實(shí)現(xiàn)：

式中是待求圖像的色度，U和U分別表示沿和方向的偏導(dǎo)數(shù)，div是散度算子，是擴(kuò)散張量。與式(3)的不同之處在于，這里的并非直接與待求函數(shù)有關(guān)，而是由亮度分量確定的。采用合適的擴(kuò)散張量函數(shù)可克服顏色越界現(xiàn)象，對(duì)得到效果良好的彩色化效果至關(guān)重要。

2.2 阻止顏色越界的各向異性擴(kuò)散張量

文獻(xiàn)[13]中定義了如式(5)的各向異性擴(kuò)散中的結(jié)構(gòu)張量：

基于結(jié)構(gòu)張量導(dǎo)出如式(6)的各向異性擴(kuò)散方程[14]：

其中()稱為擴(kuò)散系數(shù)。方程式(6)的性質(zhì)主要取決于擴(kuò)散張量，因此選擇合適的是解決具體問題的關(guān)鍵。

將灰度圖像的顏色空間從RGB空間轉(zhuǎn)換到Y(jié)UV空間，其中表示亮度分量，和為色度分量。對(duì)進(jìn)行高斯平滑以減低噪聲和中小尺度起伏的影響。計(jì)算的梯度?=[YY]T，根據(jù)式(5)對(duì)每一像素(,)得到大小為2′2的結(jié)構(gòu)張量：

此處高斯卷積的作用之一是平滑濾波，使結(jié)構(gòu)張量具有抗噪聲能力，增強(qiáng)魯棒性；二是引入空間相關(guān)性，一個(gè)像素的結(jié)構(gòu)張量包含其周圍的信息，可體現(xiàn)局部結(jié)構(gòu)信息。也就是說，平滑后任一像素的結(jié)構(gòu)張量均受到周圍像素的影響。的特征值為和，對(duì)應(yīng)相互正交的特征向量為1和2。

為了防止在圖像邊緣處發(fā)生顏色越界，要求沿邊緣的擴(kuò)散強(qiáng)度大于垂直于邊緣的擴(kuò)散強(qiáng)度。如上所述，1指向幾何結(jié)構(gòu)的最大對(duì)比度方向，即指向垂直于邊緣的方向，2的方向與1的方向垂直，即沿著邊緣的方向。是較大的特征值，較小。為了實(shí)現(xiàn)沿邊緣的擴(kuò)散，我們令擴(kuò)散系數(shù)()與特征值成反比：

將式(10)代入式(4)，得到顏色分量滿足的非線性各向異性偏微分方程，同樣也可得到顏色分量滿足的方程。由于張量的作用，使顏色在圖像平滑區(qū)按各向同性擴(kuò)散，而在邊緣處按照各向異性方式擴(kuò)散，從而有效避免顏色越界，克服了泊松方程引起的邊界顏色模糊問題。對(duì)于在平滑區(qū)域和邊緣附近的作用分析如下：

(1)圖像平滑區(qū)往往是相似顏色區(qū)域內(nèi)部，若亮度分量完全均勻，Y和Y的值為零，則結(jié)構(gòu)張量所有元素值為0，特征值==0，特征向量1=[1 0]T,2=[0 1]T，因此擴(kuò)散張量為

此時(shí)不會(huì)產(chǎn)生各向異性加權(quán)作用，因而顏色沿所有方向均勻快速擴(kuò)散。常數(shù)的取值與擴(kuò)散速度有關(guān)，當(dāng)大時(shí)擴(kuò)散慢，會(huì)導(dǎo)致擴(kuò)散不足，造成圖像部分區(qū)域沒有染上色；小能提高擴(kuò)散速度，但容易出現(xiàn)顏色溢出的現(xiàn)象，造成圖像部分區(qū)域顏色模糊不清；在本文實(shí)驗(yàn)中，取=0.01，獲得了良好的實(shí)驗(yàn)效果。

(2)在圖像邊緣區(qū)域即不同顏色交界處，亮度值值有較大變化，Y和Y取非零值，因此結(jié)構(gòu)張量中有非零元素出現(xiàn)，擴(kuò)散張量產(chǎn)生各向異性的加權(quán)效果，顏色按各向異性方式傳播，避免了圖像邊緣處嚴(yán)重的色彩混合，使邊緣顏色過渡更自然。

2.3 彩色化的算法實(shí)現(xiàn)

本文采用有限差分法求解式(4)的偏微分方程。設(shè)擴(kuò)散張量如下：

式(4)右邊可展開如下：

用差分近似表示偏微商：

將式(13)代入式(12)，則式(4)可轉(zhuǎn)化為如式(14)的迭代表達(dá)式：

(14)

基于上述討論，實(shí)現(xiàn)圖像彩色化的算法步驟如下：

(1)用人工方法在黑白圖像的主要區(qū)域賦予初始顏色；

(2)將圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)UV空間，原黑白圖像的灰度分布就是亮度分量；

(3)按式(9)計(jì)算得到擴(kuò)散張量；

(5)按式(14)進(jìn)行迭代計(jì)算，得到彩色化圖像的分量，用同樣的方法計(jì)算得到分量；

(6)將亮度和得到的色度,合并，轉(zhuǎn)換到RGB空間，輸出彩色化結(jié)果。

3 實(shí)驗(yàn)結(jié)果和討論

實(shí)驗(yàn)1 采用本文算法對(duì)不同的灰度圖像進(jìn)行彩色化實(shí)驗(yàn)，得到的彩色化結(jié)果如圖1所示。圖1(a)列是4幅原始灰度圖像，圖1(b)列為初始染色情況，圖1(c)列是用上述方法得到的彩色化結(jié)果。由圖1可見，用本文的方法對(duì)植物、動(dòng)物、人物等不同類型的圖像進(jìn)行彩色化，都可得到清晰自然的彩色化圖像，視覺效果良好。

實(shí)驗(yàn)2 為驗(yàn)證算法穩(wěn)定性，對(duì)同一幅灰度圖像賦予不同的初始染色，用本文算法進(jìn)行彩色化，結(jié)果如圖2所示。圖2(a)列是對(duì)一幅灰度圖像的兩種初始染色情況，圖2(b)列是獲得的彩色化結(jié)果。本文方法可在圖像梯度較大處阻止擴(kuò)散越界。圖2中右下圖所示實(shí)驗(yàn)結(jié)果中的黃色略有溢出，是由于相鄰的郁金香初始顏色中含有較多黃色成分(=0,=91,=80)，在與小花交界處黃色分量梯度較小，發(fā)生了少量越界。而圖2上面的例子中，初始顏色的黃色成分少(=27,=89,=19)，因而沒有越界。采用文獻(xiàn)[3]和文獻(xiàn)[4]的方法對(duì)該圖進(jìn)行實(shí)驗(yàn)，越界現(xiàn)象更為明顯，如圖3所示，可見本文方法在邊緣較弱時(shí)也有優(yōu)勢(shì)。

實(shí)驗(yàn)3 對(duì)同一幅灰度圖像采用同樣的初始染色，比較不同迭代次數(shù)所得結(jié)果，如圖4所示。圖4(a)是初始染色圖像，圖4(b)是迭代500次的彩色化結(jié)果，圖4(c)是迭代1500次的結(jié)果，圖4(d)是迭代2000次的結(jié)果。如圖所示，當(dāng)?shù)螖?shù)較少于500次時(shí)，顏色擴(kuò)散還不夠充分；當(dāng)?shù)?500次以上時(shí)顏色擴(kuò)散充分，圖像彩色化結(jié)果良好。迭代500次所需要的時(shí)間約為3 s，迭代1500次所需要的時(shí)間約為5 s，迭代2000次所需要的時(shí)間約為8 s，可見在較短時(shí)間內(nèi)即可獲得良好的彩色化圖像。

圖1 本文方法彩色化實(shí)驗(yàn)結(jié)果

圖2 本文對(duì)不同初始染色的彩色化結(jié)果

圖3 文獻(xiàn)[3]和文獻(xiàn)[4]的方法用于圖2所得的彩色化結(jié)果

圖4 本文方法不同迭代次數(shù)的彩色化結(jié)果

實(shí)驗(yàn)4 將本文方法與文獻(xiàn)[2]，文獻(xiàn)[3]和文獻(xiàn)[4]的方法進(jìn)行比較，考慮視覺效果和定量指標(biāo)兩方面。對(duì)同一幅灰度圖像，用同樣的初始染色用上述方法和本文方法進(jìn)行彩色化，圖5所示為其中兩幅圖像的實(shí)驗(yàn)結(jié)果。3種文獻(xiàn)的方法均有不同程度的顏色越界，本文方法效果最優(yōu)。文獻(xiàn)[2]基于相似灰度的像素點(diǎn)具有相似顏色的假設(shè)，在不同顏色交界處若灰度相近就會(huì)得到相似的顏色，容易產(chǎn)生顏色模糊。文獻(xiàn)[3]和文獻(xiàn)[4]分別采用基于泊松方程的各向同性擴(kuò)散和自適應(yīng)競(jìng)爭(zhēng)，在邊緣附近效果較差。本文方法在交界處能自適應(yīng)改變擴(kuò)散方向和強(qiáng)弱，避免顏色越界，得到自然清晰的彩色化效果。

相對(duì)于原始彩色圖像，計(jì)算彩色化圖像的峰值信噪比(PSNR)：

表1 4種方法的峰值信噪比(dB)

4 結(jié)束語

本文引入了自適應(yīng)的擴(kuò)散張量函數(shù)，建立了用于圖像彩色化的非線性各向異性擴(kuò)散方程。采用有限差分法求解方程，得到了計(jì)算效率高、彩色化效果優(yōu)良的算法。該算法在圖像平滑區(qū)域可實(shí)現(xiàn)快速的各向同性擴(kuò)散，在邊界區(qū)自適應(yīng)控制擴(kuò)散方向，可避免顏色越界造成的模糊。與其它同類方法相比，本文提出的方法能明顯改善彩色化效果，不僅在同種顏色區(qū)域取得良好效果，而且在不同顏色交界的邊緣處能保持顏色細(xì)節(jié)，得到清晰自然的彩色化圖像。

圖5 4種算法的彩色化結(jié)果比較

[1] Ding X W, Xu Y, and Deng L. Colorization using quaternion algebra with automatic scribble generation[J]., 2012, 7(3): 103-114.

[2] Levin A, Lischinski D, and Weiss Y. Colorization using optimization[C]. Proceedings of ACM SIGGRAPH, New York, 2004: 684-689.

[3] Sapiro G. Inpainting the colors[C]. IEEE International Conference on Image Processing, Genoa, 2005: 698-701.

[4] Kawulok M and Smolka B. Competitive image colorization [C]. IEEE International Conference on Image Processing, Hong Kong, 2010: 405-408.

[5] Liu B B and Lu Z M. Image colourisation using graph-based semi-supervised learning[J].,2009, 3(3): 115-120.

[6] Minh H Q, Sung H K, and Triet M L.Image and video colorization using vector-valued reproducing kernel hilbert space[J]., 2010, 37(1): 49-65.

[7] Chia Y S, Zhou S J, Gupta R K,Semantic colorization with internet images[C]. Proceedings of the 2011 SIGGRAPH Asia Conference, Hong Kong, 2011: 1115-1121.

[8] Wang X H, Jia J, Liao H Y,Affective image colorization[J]., 2012, 27(6): 1119-1128.

[9] Song M L, Tao D C, Chen C,Color to gray: visual cue preservation[J]., 2010, 32(9): 1537-1552.

[10] Bertalmio M, Sapiro G, and Caselles V. Image inpainting[C]. Proceedings of 27th Annual Conference on Computer Graphics and Interactive Techniques, New York, 2000: 417-424.

[11] Tripathi A K and Mukhopadhyay S. Single image fog removal using anisotropic diffusion[J]., 2012, 6(7): 966-975.

[12] Weickert J. Anisotropic diffusion in image processing[D]. [Ph. D. dissertation], University of Copenhagen, 1998.

[13] Weickert J. A scheme for coherence-enhancing diffusion filtering with optimized rotation invariance[J]., 2002, 13(1): 103-118.

[14] Tschumperlé D and Deriche R. Vector-valued image regularization with PDEs: a common framework for different applications[J]., 2005, 27(4): 506-517.

陳 穎： 女，1974年生，副教授，博士生，研究方向?yàn)閳D像處理、多媒體技術(shù).

王朔中： 男，1943年生，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理、多媒體信息安全和水聲學(xué).

Image Colorization without Edge Crossover of Colors Based on Anisotropic Diffusion

Chen Ying①②Wang Shuo-zhong①

①(,,200072,)②(,,201418,)

Image colorization is to create a color picture from gray image automatically according to manually added scribbles. A colorization algorithm based on anisotropic diffusion is proposed to overcome the problem of edge crossover of colors. By defining an adaptive diffusion tensor, a nonlinear anisotropic diffusion function based on Partial Differential Equation (PDE) is established. Colors are diffused uniformly and quickly in smooth areas, while anisotropic diffusion takes place near edges, which effectively improves color transition by suppressing unwanted crossover. Numerical solution of the PDE based on a finite difference method gets satisfactory colorization effects and better quality in edge regions compared with the popular techniques.

Image colorization; Tensor; Anisotropic; Finite difference

TN911.73

A

1009-5896(2014)02-0271-06

10.3724/SP.J.1146.2013.00558

陳穎 cheny8262@163.com

2013-04-21收到，2013-10-08改回

國家自然科學(xué)基金(61071187, 61103181)資助課題