基于自適應(yīng)噪聲模型和線積分卷積的鉛筆畫模擬

劉 磊， 陳 越， 盛 蘊(yùn)， 張桂戌

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)技術(shù)系, 上海 200241)

基于自適應(yīng)噪聲模型和線積分卷積的鉛筆畫模擬

劉 磊， 陳 越， 盛 蘊(yùn)， 張桂戌

(華東師范大學(xué)信息科學(xué)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)技術(shù)系, 上海 200241)

提出一種鉛筆畫模擬的方法。和傳統(tǒng)的鉛筆畫步驟類似，經(jīng)過輪廓提取和色調(diào)合成，產(chǎn)生鉛筆畫模擬圖像。輪廓提取通過L0平滑后，用四向索貝爾算子提取邊界，借助線積分卷積實(shí)現(xiàn)色調(diào)合成。與現(xiàn)存方法不同的是，給出一種自適應(yīng)噪聲模型，根據(jù)源圖像產(chǎn)生自適應(yīng)的噪聲，將其作為線積分卷積的輸入圖像。實(shí)驗(yàn)證明提出的方法可以用來產(chǎn)生具有藝術(shù)效果的鉛筆畫模擬圖像。

非真實(shí)感圖像繪制；鉛筆畫模擬；線積分卷積；自適應(yīng)噪聲

非真實(shí)感圖像繪制是一種通過計(jì)算機(jī)模擬各種藝術(shù)形式圖像的渲染技術(shù)，如鉛筆畫和油畫等。這種技術(shù)已成為連接計(jì)算機(jī)科學(xué)和藝術(shù)表達(dá)之間的橋梁。與傳統(tǒng)的計(jì)算機(jī)圖形學(xué)不同，非真實(shí)感圖像繪制可運(yùn)用各種方法將一幅數(shù)字圖像轉(zhuǎn)換為具有藝術(shù)效果的圖像。

鉛筆畫模擬是非真實(shí)感圖像繪制的一個(gè)重要分支，現(xiàn)存的鉛筆畫模擬方法主要可以分為兩大類[1]：基于圖像的渲染和基于三維模型的渲染。與基于三維模型的渲染相比，基于圖像的渲染只需考慮二維圖像藝術(shù)化[2]。在基于圖像的渲染中，輪廓和色調(diào)是兩個(gè)重要的元素。輪廓即圖像的主要邊緣，通過對(duì)輸入圖像計(jì)算梯度可以得到[3-5]。色調(diào)在鉛筆畫中，就是用線條來營造畫面的空間立體感。

Son等[6]提出了基于似然函數(shù)估計(jì)的提取 2D圖像中輪廓線的方法。該方法先計(jì)算梯度信息得到圖像的邊界，再從邊界中提取特征點(diǎn)，然后通過似然函數(shù)局部擬合成輪廓曲線。而Zhao等[7]提出的方法是用數(shù)學(xué)形態(tài)學(xué)對(duì)輪廓線進(jìn)行細(xì)化，然后用深度優(yōu)先搜索尋找相鄰的邊界點(diǎn)，將像素點(diǎn)轉(zhuǎn)換為線條的路徑，最終將輪廓曲線變成多個(gè)線段達(dá)到抽象化的目的。對(duì)于邊界復(fù)雜的圖像，這種計(jì)算會(huì)變得復(fù)雜。Doug和Santella[8]提出用對(duì)源圖像進(jìn)行顏色分割后所得到的邊緣進(jìn)行粗化，再用一個(gè)感知模型渲染來產(chǎn)生抽象的輪廓圖像。

在色調(diào)合成上，Li和Huang[9]提出了先根據(jù)顏色信息將輸入圖像分割成區(qū)域，根據(jù)區(qū)域的幾何特征和區(qū)域的紋理特性來生成相應(yīng)的向量場(chǎng)，使用線積分卷積產(chǎn)生色調(diào)。除此之外，Yamamoto等[10]和Chen 等[3]也都使用線積分卷積(line integral convolution, LIC)產(chǎn)生色調(diào)。文獻(xiàn)[10]提出的是先將輸入圖像按灰度值進(jìn)行分割，分為三種區(qū)域，對(duì)其用三個(gè)方向不同的向量場(chǎng)來進(jìn)行 LIC。文獻(xiàn)[3]的方法中沒有提到分割，但也是根據(jù)灰度值的不同選擇不同方向的向量場(chǎng)，本質(zhì)上與文獻(xiàn)[10]的方法類似。

LIC是一種常用的色調(diào)產(chǎn)生方法[11]，常通過在給定向量場(chǎng)方向卷積帶有白噪聲的輸入圖像來產(chǎn)生鉛筆色調(diào)。但用白噪聲產(chǎn)生的色調(diào)無法根據(jù)輸入圖像模擬筆觸明暗漸變的效果，其結(jié)果缺乏藝術(shù)感。Lu等[1]人提出從真實(shí)鉛筆畫色調(diào)作映射可以得到很好的色調(diào)合成結(jié)果，然而這種方法需要真實(shí)的鉛筆畫色調(diào)紋理，并不是純粹依靠計(jì)算機(jī)產(chǎn)生的。

本文提出分步的輪廓提取方法。先對(duì)輸入圖像進(jìn)行L0平滑去掉不必要細(xì)節(jié)，同時(shí)保留主要邊緣信息。為了得到更強(qiáng)烈的邊緣響應(yīng)，還提出采用四向的索貝爾算子提取邊界。在色調(diào)合成過程中，本文使用了 LIC進(jìn)行色調(diào)模擬。為了解決白噪聲在LIC中的問題，本文提出自適應(yīng)的噪聲模型，對(duì)源圖像加上自適應(yīng)的高斯噪聲代替白噪聲作為LIC的輸入圖像，從而更好地模擬鉛筆畫藝術(shù)效果。

1 輪廓提取

1.1 L0平滑預(yù)處理

L0平滑是 Xu等[12]提出的一種邊界保留平滑方法。傳統(tǒng)圖像平滑方法大多是基于局部的低通濾波，而L0是基于圖像梯度零范數(shù)的全局平滑。L0的思想是：使得平滑后的圖像梯度的零范數(shù)更小，其優(yōu)化的目標(biāo)函數(shù)如式(1)：

其中，I為輸入圖像，S為平滑后的圖像，C ( S)為平滑后圖像的零范數(shù)，即：

第一項(xiàng)為保真項(xiàng)，第二項(xiàng)為正則項(xiàng)，λ控制平滑的程度。圖1顯示了L0平滑的結(jié)果，從圖中可以看出，很多細(xì)節(jié)被平滑了，同時(shí)主要的邊緣依然保留下來。

圖1 L0平滑結(jié)果圖

1.2 邊界提取

在圖像處理中一種常用的梯度提取算子是二向的索貝爾算子。為了加強(qiáng)邊緣響應(yīng)，可將索貝爾算子拓展到四向，即計(jì)算每個(gè)像素點(diǎn)在四個(gè)方向的一階差分，并將其相加。

其中，x1 ， …，x 4分別代表平面上四個(gè)間隔為 45°方向。輸入圖像經(jīng)過L0平滑后，細(xì)節(jié)已經(jīng)被去掉了。對(duì)其使用四向的索貝爾算子，就可以得到輸入圖像的主要邊緣。

圖 2顯示了輪廓提取的結(jié)果。比較圖 2(b)和2(c)，可以看出L0平滑能夠去掉不必要的細(xì)節(jié)。圖2(d)是用四向索貝爾算子提取出的邊界，與圖2(c)相比，邊緣信息更加豐富。

2 色調(diào)合成

2.1 色調(diào)轉(zhuǎn)換

根據(jù)灰度直方圖的統(tǒng)計(jì)，普通數(shù)字照片和鉛筆畫圖像的色調(diào)分布是不同的。普通數(shù)字照片由于不同的場(chǎng)景和拍攝時(shí)不同的光照效果，色調(diào)分布沒有一定的規(guī)律。而對(duì)于鉛筆畫圖像，色調(diào)分布通常符合一定的規(guī)律。因此，在進(jìn)行色調(diào)合成之前，需要對(duì)輸入圖像進(jìn)行色調(diào)轉(zhuǎn)換。

圖2 輪廓提取結(jié)果圖

本文提出一種色調(diào)分布模型，由一個(gè)高斯分布和一個(gè)均勻分布組成，如圖 3所示。本文使用的色調(diào)分布模型為：

圖3 色調(diào)分布模型圖

其中， p( v)是像素值等于v時(shí)出現(xiàn)的概率， u1是均勻分布和高斯分布的分隔點(diǎn)， u2是高斯分布的均值，是高斯分布的方差。圖4顯示了色調(diào)轉(zhuǎn)換的結(jié)果。得到該結(jié)果時(shí)采用u1= 198, u2= 228, σ0= 0.048。該數(shù)據(jù)經(jīng)過實(shí)驗(yàn)計(jì)算而來，因此被用于本文其他鉛筆畫模擬結(jié)果的產(chǎn)生。

圖4 色調(diào)轉(zhuǎn)換結(jié)果圖

2.2 線積分卷積

LIC[6]是由 Cabral和 Leedom[11]提出的一種基于向量場(chǎng)的紋理可視化技術(shù)。它的結(jié)果和鉛筆畫的紋理很相似，所以常被用來模擬鉛筆畫的色調(diào)。通常以一個(gè)二維向量場(chǎng)和一幅白噪聲圖像作為輸入，然后通過在白噪聲圖像中進(jìn)行低通濾波，即對(duì)向量場(chǎng)流線對(duì)應(yīng)的像素點(diǎn)進(jìn)行低通濾波，產(chǎn)生可視化的向量場(chǎng)圖像。整個(gè)LIC的結(jié)果表示為：

其中， (,)F x y為LIC的輸出結(jié)果， ()F I是曲線上的像素值，ih表示沿著向量場(chǎng)正方向上的卷積結(jié)果，ih′表示沿著向量場(chǎng)反方向的卷積結(jié)果。

一般情況下，將白噪聲作為 LIC的輸入圖像，在事先定義好的向量場(chǎng)上進(jìn)行線性卷積。LIC的示意圖如圖5所示，WN代表白噪聲輸入圖像，V代表向量場(chǎng)，LIC表示線積分卷積。

圖5 線積分卷積示意圖

2.3 自適應(yīng)噪聲

在真實(shí)色調(diào)繪制過程中，畫面中較暗的區(qū)域會(huì)產(chǎn)生強(qiáng)的視覺效果，而較亮的區(qū)域會(huì)產(chǎn)生弱的視覺效果。為了模仿真實(shí)繪畫的特性，需要本方法具有自適應(yīng)性。

傳統(tǒng)的 LIC是以白噪聲為輸入。白噪聲是完全隨機(jī)的噪聲，因此不具有自適應(yīng)性。在本文中提出對(duì)輸入圖像加上自適應(yīng)的高斯噪聲來替換白噪聲。該噪聲可以用加性噪聲表示：

其中，ω是控制噪聲的權(quán)重，關(guān)于對(duì)應(yīng)像素值的函數(shù)。I( x, y)是像素點(diǎn)(x, y)原始像素值，G N( x, y)是通過原始像素值產(chǎn)生的噪聲，符合高斯分布：

其中 μ= 0， σ2= f( I( x, y ))。

為了使噪聲具有自適應(yīng)性，提出一個(gè)模擬像素值和噪聲方差之間關(guān)系的模型。方差應(yīng)隨著像素值的增大而單調(diào)遞減，即越亮的區(qū)域噪聲越少。且像素值越接近于 255時(shí)，即越接近白色，方差的遞減趨勢(shì)也減緩。使用邏輯斯蒂函數(shù)來模擬這種關(guān)系。

α和β為模型的系數(shù)，該模型的函數(shù)圖像如圖6。

圖6 方差關(guān)于像素值的函數(shù)圖像

圖7 線積分卷積結(jié)果圖

有了式(6)～(8)，自適應(yīng)噪聲可根據(jù)色調(diào)轉(zhuǎn)換后的圖像計(jì)算出來。圖 7顯示的是給一幅圖像加上自適應(yīng)噪聲再進(jìn)行LIC。從結(jié)果中可以看出，顏色較黑的區(qū)域產(chǎn)生的噪聲幅度較大，而較色較淺的區(qū)域產(chǎn)生的噪聲幅度較小。

3 實(shí)驗(yàn)結(jié)果

將輪廓提取的結(jié)果和色調(diào)合成的結(jié)果做點(diǎn)積運(yùn)算，就可以產(chǎn)生最終的鉛筆畫模擬圖像。將本文的結(jié)果和其他的方法產(chǎn)生的結(jié)果進(jìn)行比較。圖8顯示的是本文的結(jié)果和文獻(xiàn)[10]的結(jié)果對(duì)比圖，矩形區(qū)域內(nèi)是局部放大的效果圖。從局部放大的對(duì)比中可以看出，文獻(xiàn)[10]用白噪聲產(chǎn)生的色調(diào)結(jié)果在不同灰度值的區(qū)域產(chǎn)生的筆觸效果是相同的，而本文在不同灰度值區(qū)域的筆觸效果有明顯的差異。在圖像越暗的區(qū)域，產(chǎn)生的筆觸效果越明顯。該特性使得本文方法能夠更好地模擬真實(shí)鉛筆畫的效果。圖 9顯示的是將本文結(jié)果和文獻(xiàn)[1]和文獻(xiàn)[13]的結(jié)果比較。文獻(xiàn)[1]使用的是從真實(shí)鉛筆畫的色調(diào)紋理進(jìn)行映射的方法，文獻(xiàn)[13]用一種混合擦除模型產(chǎn)生的效果，而本文是采用基于自適應(yīng)噪聲和LIC的色調(diào)合成方法。

本文的方法不僅可以用在灰度圖像的處理，同樣可以用于彩色圖像的處理。將輸入圖像轉(zhuǎn)為YUV通道后，只對(duì)亮度通道進(jìn)行處理，可以得到彩色結(jié)果。圖10顯示了一組輸入圖像原圖像和彩色結(jié)果。

圖8 結(jié)果比較

圖9 結(jié)果比較

圖10 更多結(jié)果

4 結(jié) 論

本文提出了一種鉛筆畫模擬的方法，在輪廓提取時(shí)，首先通過L0平滑去掉輸入圖像中的一些細(xì)節(jié)，為了得到較強(qiáng)的邊緣響應(yīng)，本文使用四向的索貝爾濾波器提取邊緣。在色調(diào)合成過程中，提出了一個(gè)由均勻分布和高斯分布組成的色調(diào)分布模型。另外，為了使得模擬結(jié)果具有自適應(yīng)性，還提出了自適應(yīng)的噪聲模型，產(chǎn)生的噪聲圖像作為 LIC的輸入圖像。實(shí)驗(yàn)證明，本文提出的方法可以產(chǎn)生具有較好藝術(shù)效果的鉛筆畫模擬圖像。下一步將進(jìn)行以下研究工作：首先，在色調(diào)合成時(shí)，本文使用的 LIC的向量場(chǎng)較為單一。在真實(shí)作畫中，色調(diào)的筆觸方向應(yīng)隨著畫面中物體的形狀、光照方向等因素的改變而改變。解法之一是根據(jù)輸入圖像的梯度切線方向調(diào)整向量場(chǎng)的方向，從而增強(qiáng)渲染的藝術(shù)效果[14]。其次，在輪廓提取方面，可將現(xiàn)在得到的結(jié)果再進(jìn)行曲線擬合，得到更抽象的線條，從而增加輪廓表現(xiàn)力。

(在論文寫作過程中，香港中文大學(xué)Lu Cewu耐心解答很多重要問題，在此表示感謝！)

[1]Lu Cewu, Xu Li, Jia Jiaya. Combine sketch and tone for pencil drawing production [C]//Proceedings of the Symposium on Non-Photorealistic Animation and Rending, Annecy, France, 2012： 65-73.

[2]Kyprianidis J E, Collomosse J, Wang Tinghuai, et al. State of the 'art'： a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 19(5)：866-885.

[3]Chen Zhenyu, Zhou Jingye, Gao Xingyu, et al. A novel method for pencil drawing generation in non-photorealistic rendering [C]//Advances in Multimedia Information Processing-PCM, Tainan, 2008： 931-934.

[4]Wang Jin, Bao Hujun, Zhou Weihua, et al. Automatic image-based pencil sketch rendering [J]. Journal of Computer Science and Technology, 2002, 17(3)：347-355.

[5]Zhou Jin, Li Baoxin. Automatic generation of pencilsketch like drawings from personal photos [C]// Proceedings of the Symposium on Multimedia and Expo, Amsterdam, 2005：1026-1029.

[6]Son M J, Kang H, Lee Y J, et al. Abstract line drawings from 2D images [C]//Proceedings of the 15th Pacific Conference on Computer Graphics and Applications, Maui, 2007： 333-342.

[7]Zhao Jingxiu, Li Xinghua, Chong Feng. Abstract line drawings from 2D images based on thinning [C]// Congress on Image and Signal Processing, Sanya, China, 2008： 466-470.

[8]Doug D C, Santella A. Stylization and abstraction of photographs [J]. In ACM Transactions on Graphics (TOG), 2002, 21(3)： 769-776.

[9]Li Nan, Huang Zhiyong. A feature-based pencil drawing method [C]//Proceedings of the 1st International Conference on Computer Graphics and Interactive Techniques, 2003： 135-ff.

[10]Yamamoto S, Mao Xiaoyang, Imamiya A. Enhanced LIC pencil filter [C]//Proceedings of the Computer Graphics, Imaging and Visualization, Aachen, Germany, 2004： 251-256.

[11]Cabral B, Leedom L C. Imaging vector fields using line integral convolution [C]//Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, 1993： 263-270.

[12]Xu Li, Lu Cewu, Xu Yi, et al. Image smoothing via L0 gradient minimization [J]. ACM Transactions on Graphics (TOG), 2011, 30(6)： 174.

[13]Sousa M C, Buchanan J W. Observational model of blenders and erasers in computer-generated pencil rendering [C]//Graphics Interface, San Francisco, 1999：157-166.

[14]Kang H, Lee Seungyong, Chui C K. Coherent line drawing [C]//Proceedings of the 5th International Symposium on Non-photorealistic Animation and Rendering, San Diego, 2007： 43-50.

Pencil Drawing Simulation Based on Adaptive Noise Model and Line Integral Convolution

Liu Lei, Chen Yue, Sheng Yun, Zhang Guixu
(Department of Computer Science, School of Information Science Technology, East China Normal University, Shanghai 200241, China)

A method for pencil drawing simulation is proposed in this paper. As the conventional procedure of pencil drawing, our method performs line drawing followed by tonal drawing. Line drawing is implemented by L0smoothing and four-directional Sobel gradient operators, while tonal drawing is simulated by using of a line integral convolution method. Unlike the existing methods, an adaptive noise model is given, which can be added to the source image replacing white noise as the input to line integral convolution. The experimental results show that the proposed method can closely imitate real pencil drawing with artistic effects.

non-photorealistic rendering; pencil drawing simulation; line integral convolution; adaptive noise

TP 391

A

2095-302X(2015)01-0077-06

2014-08-11；定稿日期：2014-08-20

國家自然科學(xué)基金青年科學(xué)基金資助項(xiàng)目(61202291)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目

劉 磊(1991-)，男，安徽蕪湖人，碩士研究生。主要研究方向?yàn)榉钦鎸?shí)感圖像繪制、圖像分割等。E-mail：qingshi5230@163.com

盛 蘊(yùn)(1979-)，男，湖南長沙人，副教授，博士。主要研究方向?yàn)槿S幾何重建、三維人臉及動(dòng)畫合成、非真實(shí)感圖像繪制。E-mail：ysheng@cs.ecnu.edu.cn