基于非局部鄰域的圖像重新著色*

邵靖凱，厲旭杰，沈順輝

(溫州大學(xué) 物理與電子信息工程學(xué)院，浙江 溫州 325035)

?

基于非局部鄰域的圖像重新著色*

邵靖凱，厲旭杰，沈順輝

(溫州大學(xué) 物理與電子信息工程學(xué)院，浙江 溫州 325035)

提出了一種新的基于非局部鄰域的圖像重新著色方法。首先提出了非局部彩色線性模型，然后構(gòu)建了高維特征空間查找非局部鄰域，最后將提出的非局部彩色線性模型最優(yōu)化問題歸結(jié)于求解稀疏矩陣。該算法繼承了全局和局部鄰域色彩傳播方法的優(yōu)點(diǎn)，既能實(shí)現(xiàn)全局色彩傳播，即使當(dāng)需要重新著色的像素離涂色線條距離較遠(yuǎn)時，也能實(shí)現(xiàn)局部或者直接的選擇控制。與現(xiàn)有的采用全局或者局部鄰域色彩傳播的方法相比，該算法僅需要輸入少量的用戶涂色線條即可產(chǎn)生高質(zhì)量的重新著色效果。

圖像重新著色；非局部彩色線性模型；色彩傳播

0 引言

圖像重新著色技術(shù)是指通過改變圖像的顏色來改變圖像的原有風(fēng)格，達(dá)到某種特定的彩色效果的處理過程[1]。目前，實(shí)現(xiàn)圖像重新著色的技術(shù)可以粗略地分為基于參考圖像的顏色遷移方法和基于線條涂色的顏色擴(kuò)散方法[2-3]。本文主要研究基于線條涂色的顏色擴(kuò)散方法。按照傳播鄰域像素的分布，基于線條涂色的顏色擴(kuò)散方法可以粗略地分為局部鄰域傳播和全局鄰域傳播的兩種方法?；诰植苦徲騻鞑サ姆椒ň哂写硇缘氖荓evin等人[4]的工作。Levin等人假設(shè)相鄰近像素間的顏色是平滑的，提出了一個能量最優(yōu)化模型。當(dāng)用戶輸入足夠多的涂色線條的情況下，該方法能產(chǎn)生高質(zhì)量的重新著色效果。之后，Yatziv等人[5]提出基于測地線距離融合的重新著色方法，F(xiàn)attal等人[6]把小波變換技術(shù)引入了圖像編輯方法，Bhat等人[7]建立了梯度域的能量最優(yōu)化框架用于圖像編輯。

基于全局鄰域傳播的重新著色方法能實(shí)現(xiàn)全局色彩傳播，即使當(dāng)需要重新著色的像素離用戶輸入涂色線條距離較遠(yuǎn)時，色彩也能很好地進(jìn)行傳播。因此該方法對基于局部鄰域傳播的重新著色方法進(jìn)行了很好的補(bǔ)充。Musialski等人[8]提出了非局部鄰域主域保持的編輯距離算法。與基于局部鄰域傳播的重新著色方法相比，基于全局鄰域傳播的重新著色方法能實(shí)現(xiàn)全局的色彩傳播，因此可以減少用戶輸入的涂色線條數(shù)量，但是該方法缺少局部或者直接的選擇控制，當(dāng)兩個相似的顏色被涂色成不同顏色時，會造成色彩混合而出現(xiàn)錯誤。

先前基于局部鄰域傳播和基于全局鄰域傳播的重新著色方法分別存在著相應(yīng)的限制。因此，本文提出一種新的基于非局部鄰域的圖像重新著色方法。該方法既能實(shí)現(xiàn)全局的色彩傳播，又能實(shí)現(xiàn)局部或者直接的選擇控制。該算法包含兩個創(chuàng)新點(diǎn)：提出了非局部彩色線性模型能量最優(yōu)化模型，以及構(gòu)建了非局部鄰域查找的特征空間。本文提出的算法擴(kuò)展了先前的研究[9]，目標(biāo)是盡可能減少用戶輸入的涂色線條，同時能產(chǎn)生高質(zhì)量的重新著色效果。

1 算法思想

假設(shè)：特征空間中相似的非局部鄰域，重新著色后應(yīng)具有相似的顏色值。基于這個假設(shè)，給出了每個像素的非局部鄰域滿足如下的彩色線性模型：

(1)

式中，(α,β)是線性系數(shù)，I是輸入圖像，C為色彩通道，Ni是像素i的非局部鄰域，U為顏色對立維度通道a或者b(采用Lab色彩空間)。算法非常關(guān)鍵的一個步驟就是設(shè)計(jì)合適的特征空間，本文提出的特征空間包括了Lab色彩通道和空間坐標(biāo)，特征空間F(i)定義如下：

F(i)=(L(i),a(i),b(i),γx(i),γy(i))

(2)

式中，L是圖像Lab色彩空間的亮度值，a和b是圖像Lab色彩空間的顏色對立維度，γ參數(shù)控制了非局部鄰域的搜索范圍。

通過基于非局部鄰域的彩色線性模型，定義如下代價函數(shù)：

(3)

式中，ε為規(guī)則化參數(shù)。

線性系數(shù)(α,β)可以通過求解式(3)取得最小化代價函數(shù)獲得。

(4)

式(4)能量最優(yōu)化模型可以看做變量(αk,βk)的二次方程，可以通過對公式進(jìn)行求一階偏導(dǎo)數(shù)獲得[10]，求解式(4)可以得到：

(5)

其中，非局部鄰域的拉普拉斯矩陣Lnonlocal構(gòu)建如下：

(6)

通過合并基于非局部鄰域的彩色線性模型和用戶輸入的涂色限制，可以獲得如下能量最優(yōu)化方程：

J(U)=λ(U-G)TDS(U-G)+UTLnonlocalU

(7)

Ds為對角矩陣, 在該對角矩陣中，涂色線條像素對應(yīng)的對角線上的值為1，其余對角線上的值為0。G對應(yīng)為涂色線條的對立維度通道a和b。式(7)中第一項(xiàng)確保了重新著色后的顏色值和用戶涂色線條的顏色值盡可能地接近，第二項(xiàng)保證了像素和其非局部鄰域的相似性，使得已經(jīng)涂色的像素通過非局部鄰域進(jìn)行色彩傳播。參數(shù)λ用來調(diào)整這兩項(xiàng)的平衡，算法實(shí)現(xiàn)中λ設(shè)置為1。式(7)中的J(U)是顏色對立維度U的二次方程，因此J(U)的全局最小值可以通過對顏色對立維度U的一階偏導(dǎo)數(shù)為零求解得到。可以獲得如下稀疏線性系統(tǒng)：

U=(Lnonlocal+λDs)-1λDsG

(8)

式(8)中Lnonlocal+λDs為稀疏矩陣求解，本文的算法選擇通過高斯-賽德爾迭代法求解。

2 實(shí)驗(yàn)結(jié)果

圖1顯示了本文算法實(shí)現(xiàn)的各種重新著色效果，第一行為輸入圖像，第二行為本文算法實(shí)現(xiàn)的重新著色效果圖。從圖1可以看出，本文算法可以實(shí)現(xiàn)在少量用戶輸入條件下，實(shí)現(xiàn)高質(zhì)量的重新著色效果。

圖1 本文算法實(shí)現(xiàn)的各種重新著色效果

圖2對比了本文算法與現(xiàn)有的基于局部鄰域傳播的重新著色方法的效果對比，從圖中可以看出，Levin等人[4]的方法依據(jù)空間相鄰像素間的相似性進(jìn)行色彩傳播，只能向空間鄰近的平滑鄰域進(jìn)行色彩傳播，因此在少量的涂色線條情況下，會產(chǎn)生嚴(yán)重的色彩滲透現(xiàn)象，必須進(jìn)一步增加涂色線條的數(shù)量，才能產(chǎn)生高質(zhì)量的重新著色效果。Li等人[9]的算法雖然在重新著色效果上優(yōu)于Levin等人的算法，但是局限于局部鄰域的顏色傳播，當(dāng)像素離涂色線條距離較遠(yuǎn)時(第二行重新著色效果)，重新著色的效果也存在與Levin等人的算法一樣的缺陷。而本文算法能實(shí)現(xiàn)全局色彩傳播，因此僅需要輸入少量的用戶涂色線條，就能產(chǎn)生高質(zhì)量的重新著色效果。

圖2 與基于局部鄰域傳播的重新著色方法的效果對比

圖3對比了本文算法與基于局部鄰域傳播的重新著色方法在完成類似效果所需要的用戶涂色線條的數(shù)量。從圖3中可以看出，Levin等人[4]基于局部相似性的算法需要輸入大量的用戶涂色線條才能產(chǎn)生高質(zhì)量的重新著色效果，而Fattal等人[6]的算法和Bhat等人[7]的算法均是基于圖像邊緣檢測基礎(chǔ)上的重新著色方法，因此無法對兩個獨(dú)立的區(qū)域進(jìn)行色彩傳播，本質(zhì)上都是屬于局部鄰域像素的顏色傳播，因此涂色線條上的顏色無法進(jìn)行遠(yuǎn)距離的色彩傳播。而本文算法則不受局部鄰域傳播方法的限制，圖3證明了本文算法所需要的輸入涂色線條要明顯少于基于局部鄰域傳播的重新著色方法，大大減少了用戶的勞動力。

圖3 與基于局部鄰域傳播的重新著色方法對比完成類似效果所需要的用戶涂色線條的數(shù)量

圖4對比了本文算法與基于全局鄰域傳播的重新著色方法的效果對比，基于全局鄰域傳播的重新著色方法能實(shí)現(xiàn)全局的色彩傳播，但是該方法缺少局部或者直接選擇控制，當(dāng)兩個相似的顏色被涂色成不同顏色時，Musialski等人[8]的方法造成了色彩混合而出現(xiàn)錯誤，需要說明的是，即使用戶輸入足夠多的涂色線條，基于全局鄰域傳播的重新著色方法仍舊存在這個限制。而本文提出的算法既能實(shí)現(xiàn)全局色彩傳播，又能實(shí)現(xiàn)局部或者直接的選擇控制。

圖4 與基于全局鄰域傳播的重新著色方法效果對比

3 結(jié)束語

本文提出了一種新的基于非局部鄰域的圖像重新著色方法。該算法繼承了全局和局部鄰域色彩傳播方法的優(yōu)點(diǎn)，既能實(shí)現(xiàn)全局色彩傳播，即使當(dāng)需要重新著色的像素離涂色線條距離較遠(yuǎn)時，也能實(shí)現(xiàn)局部或者直接的選擇控制。與現(xiàn)有的采用全局或者局部鄰域色彩傳播的方法相比，本文算法僅需要輸入少量的用戶涂色線條，就能產(chǎn)生高質(zhì)量的重新著色效果。

[1] 陳穎, 李神速. 基于遺傳算法的圖像彩色化方法[J]. 計(jì)算機(jī)工程, 2011, 37(15):193-194.

[2] 李浩, 何建農(nóng). 結(jié)合蟻群和自動區(qū)域生長的彩色圖像分割算法[J]. 微型機(jī)與應(yīng)用, 2015, 34(16):36-42.

[3] 張自嘉, 岳邦珊, 潘琦,等. 基于蟻群和自適應(yīng)濾波的模糊聚類圖像分割[J]. 電子技術(shù)應(yīng)用, 2015, 41(4):144-147.

[4] LEVIN A, LISCHINSKI D, WEISS Y, Colorization using optimization [J]. ACM Trans Graph, 2004, 23(3):689-694.

[5] YATZIV L, SAPIRO G. Fast image and video colorization using chrominance blending[J].Trans Img Proc,2006,15(5):1120-1129.

[6] FATTAL R. Edge-avoiding wavelets and their applications[J]. ACM Trans Graph, 2009, 28(3):1-10.

[7] BHAT P, ZITNICK C L, COHEN M, et al. GradientShop: A gradient-domain optimization framework for image and video filtering [J]. ACM Trans Graph, 2010, 29(2):1-14.

[8] MUSIALSKI P, CUI M, YE J, et al. A framework for interactive image color editing [J]. Vis Comput, 2013, 29(11):1173-1186.

[9] HUANG H, LI X, ZHAO H, et al. Manifold-preserving image colorization with nonlocal estimation [J]. Multimedia Tools and Applications, 2015, 74(18):7555-7568.

[10] 高明, 鄒耀斌, 雷幫軍,等. 噪聲干擾下的霧天降質(zhì)圖像增強(qiáng)方法[J]. 微型機(jī)與應(yīng)用, 2016, 35(6):39-47.

Littelfuse推出首款專為本質(zhì)安全防護(hù)設(shè)計(jì)的密封表面貼裝保險絲業(yè)內(nèi)唯一一款達(dá)到UL 913認(rèn)證標(biāo)準(zhǔn)的表面貼裝保險絲

Littelfuse, Inc.，作為全球電路保護(hù)領(lǐng)域的領(lǐng)先企業(yè)，近日宣布推出了專為設(shè)備本質(zhì)安全防護(hù)設(shè)計(jì)的首款密封表面貼裝保險絲，這類設(shè)備旨在用于危險場所和爆炸性環(huán)境內(nèi)部或附近，并且通過了UL 913標(biāo)準(zhǔn)認(rèn)證。在過流和短路條件下，PICO?304系列表面貼裝保險絲主體外厚1 mm的密封層將最大限度地減少所產(chǎn)生的熱量，并遏制保險絲組件內(nèi)部的火花或弧閃，避免其接觸環(huán)境中的潛在爆炸性氣體或粉塵。由于采用此類封裝，因此無需為印刷電路板或組件加上灌封或涂層，節(jié)約生產(chǎn)時間與成本，從而降低最終產(chǎn)品的成本。

(Littelfuse 供稿)

Image recoloring based on nonlocal neighborhood

Shao Jingkai, Li Xujie, Shen Shunhui

(College of Physics & Electronic Information Engineering, Wenzhou University, Wenzhou 325035, China)

A novel nonlocal image recoloring approach is proposed. Firstly, a nonlocal color linear model optimization assumption is designed. Next, the nonlocal principle by computing K nearest neighbors in the high-dimensional feature space is implemented. Finally, the nonlocal color linear model optimization can be attributed to solve a sparse linear system. Our nonlocal color linear model optimization inherits the advantages of global and local color propagation methods, which can propagate color cues in global manner, also can propagate color to relatively far from the provided color line, while our approach can provide the user with good local control. Compared with the state-of-the-art methods, our approach can produce higher-quality results with only a small amount of user interaction than those only consider local propagation or global propagation approaches.

image recoloring; nonlocal color linear model; color propagation

國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目 (201610351019)； 溫州大學(xué)實(shí)驗(yàn)室開放項(xiàng)目(16SK34A)； 浙江省自然科學(xué)基金 (LQ14F020006)

TP301.6

A

10.19358/j.issn.1674- 7720.2017.13.015

邵靖凱，厲旭杰，沈順輝.基于非局部鄰域的圖像重新著色[J].微型機(jī)與應(yīng)用，2017,36(13)：49-51.

2017-02-06)

邵靖凱(1998-)，男，本科，主要研究方向：圖形圖像處理技術(shù)，高性能并行計(jì)算。

厲旭杰(1981-)，男，通信作者，高級實(shí)驗(yàn)師，CCF高級會員，主要研究方向：圖形圖像處理技術(shù)，高性能并行計(jì)算。E-mail:lixujie101@aliyun.com。