基于方向場(chǎng)正則化的線描畫生成算法

李晶晶 許建樓 熊 靜 張選德

一直以來(lái)，人們對(duì)繪畫作品比較感興趣，它反映、傳播和塑造了人類的文化[1].藝術(shù)家們手工繪制鉛筆畫、卡通畫、油畫、水彩畫等不同風(fēng)格的作品，需耗費(fèi)大量的時(shí)間和精力，幾乎每一部經(jīng)典作品都凝聚著藝術(shù)家的心血.近年來(lái)，利用算法對(duì)輸入圖像進(jìn)行快速的風(fēng)格轉(zhuǎn)化引發(fā)了計(jì)算機(jī)視覺領(lǐng)域廣泛的研究興趣.圖像風(fēng)格轉(zhuǎn)化(Image style transfer，IST)算法可視作一個(gè)系統(tǒng)，系統(tǒng)的輸入是利用相機(jī)拍攝的自然圖像(Photorealistic image)，輸出是具有某種特定藝術(shù)風(fēng)格的圖像(Non-photorealistic image).IST 在娛樂產(chǎn)業(yè)和消費(fèi)電子中有著廣泛的應(yīng)用，例如智能手機(jī)的圖片編輯功能中通常提供多個(gè)風(fēng)格轉(zhuǎn)化選項(xiàng);在電影和游戲的制作過程中，常采用IST 算法來(lái)快速生成各種風(fēng)格的場(chǎng)景.

過去幾十年來(lái)，計(jì)算機(jī)視覺領(lǐng)域?qū)ST 問題進(jìn)行了廣泛的研究.1996 年，Decaudin 等[2]對(duì)卡通風(fēng)格轉(zhuǎn)化進(jìn)行了明確的定義，并研究了如何從靜態(tài)或動(dòng)態(tài)3D 場(chǎng)景中生成卡通風(fēng)格的2D 圖像或者視頻.2002 年，DeCarlo 等[3]利用眼動(dòng)儀(Eye tracker)來(lái)記錄當(dāng)人觀測(cè)一幅圖像時(shí)的眼球運(yùn)動(dòng)數(shù)據(jù)，并基于眼球運(yùn)動(dòng)數(shù)據(jù)和視覺感知模型來(lái)確定圖像中的視覺顯著元素(Meaningful elements)，然后基于圖像的多尺度表示構(gòu)造了一種風(fēng)格轉(zhuǎn)化算法，風(fēng)格化后的圖像能保持并凸顯原圖像中的視覺顯著元素.2004 年，Santella 等[4]借助眼動(dòng)儀來(lái)驗(yàn)證文獻(xiàn)[3]中構(gòu)造的算法是否達(dá)到了凸顯視覺顯著元素的目標(biāo).2008 年，Kyprianidis 等[5]提出一種基于結(jié)構(gòu)自適應(yīng)濾波的圖像風(fēng)格轉(zhuǎn)化算法.該算法計(jì)算圖像在每一像素點(diǎn)處的結(jié)構(gòu)張量，并以結(jié)構(gòu)張量確定的梯度方向和切線方向作為引導(dǎo)，實(shí)現(xiàn)對(duì)圖像的局部自適應(yīng)濾波.2009 年，Kang 等[6]采用雙邊濾波對(duì)圖像的切線場(chǎng)進(jìn)行光滑，并利用光滑切線場(chǎng)來(lái)引導(dǎo)風(fēng)格轉(zhuǎn)化算法.2015 年，Qian 等[7]提出一種基于各向異性Kuwahara 濾波和迭代線積分卷積的風(fēng)格化方法，其中Kuwahara 濾波能較好地克服雙邊濾波及其均值漂移濾波器在邊緣保持方面的局限性.

以上方法屬于傳統(tǒng)方法，是研究者基于自己的知識(shí)或經(jīng)驗(yàn)，啟發(fā)式地構(gòu)造的風(fēng)格轉(zhuǎn)化算法，這種算法不依賴于樣本，也無(wú)需進(jìn)行訓(xùn)練.近幾年來(lái)，隨著深度學(xué)習(xí)方法的“橫空出世”，研究者們對(duì)深度學(xué)習(xí)方法在圖像風(fēng)格轉(zhuǎn)化中的應(yīng)用表現(xiàn)出非常強(qiáng)烈的興趣[8-11].其中 Gatys 等[8]采用預(yù)訓(xùn)練的、用于一般特征表示(Feature representation)的卷積神經(jīng)網(wǎng)絡(luò) (Convolutional neural network，CNN)來(lái)分別處理自然圖像的內(nèi)容和風(fēng)格，提出一種基于紋理合成的圖像風(fēng)格轉(zhuǎn)化算法.Johnson 等[9]采用感知損失函數(shù)(Perceptual loss function)訓(xùn)練前饋網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)圖像風(fēng)格轉(zhuǎn)化.Ulyanov 等[10]首先訓(xùn)練緊湊的前饋卷積網(wǎng)絡(luò)，以生成任意大小且紋理相同的多個(gè)樣本，并將藝術(shù)風(fēng)格從給定圖像轉(zhuǎn)移到任何其他圖像.Elad 等[11]從字典學(xué)習(xí)、字典表示的角度拓展了Kwatra 等[12]提出的紋理合成方法，得到了具有與CNN 類似效果的圖像風(fēng)格轉(zhuǎn)化方法.基于深度學(xué)習(xí)的方法能夠獲得非常好的風(fēng)格轉(zhuǎn)化效果，但是深度學(xué)習(xí)方法依賴于樣本進(jìn)行訓(xùn)練，運(yùn)算代價(jià)較大.

本文采用傳統(tǒng)方法研究圖像風(fēng)格的轉(zhuǎn)化，聚焦于“線描畫”風(fēng)格，提出了一種基于方向場(chǎng)正則化的線描畫生成算法(Direction field regularization based line drawing generation，DFR-LDG).該算法由以下幾部分構(gòu)成:1)為了減輕噪聲的影響，采用非局部平均(Non-local means，NLM)濾波對(duì)輸入圖像進(jìn)行預(yù)處理;2)計(jì)算輸入圖像的方向場(chǎng)，并對(duì)方向場(chǎng)進(jìn)行Tikhonov 正則化，為了提高運(yùn)算速度，采用Sherman-Morrison-Woodbury 公式來(lái)對(duì)正則化算法進(jìn)行加速;3)以正則方向場(chǎng)作為引導(dǎo)，對(duì)預(yù)處理圖像作高斯差分(Difference of Gaussian，DoG)濾波;4)根據(jù)人類視覺系統(tǒng)(Human visual system，HVS)的非線性特點(diǎn)，設(shè)計(jì)感知閾值(Perceptual thresholding) 算法來(lái)對(duì)高斯差分濾波的結(jié)果進(jìn)行閾值處理，得到二值的線描畫圖像.數(shù)值實(shí)驗(yàn)表明，提出的算法可將輸入圖像轉(zhuǎn)化為線條流暢的線描畫圖像.

本文結(jié)構(gòu)安排如下:第1 節(jié)首先介紹線描畫，然后分析線描畫與邊緣檢測(cè)的關(guān)系，最后探討邊緣檢測(cè)算子作為線描畫生成算法的不足;第2 節(jié)詳細(xì)介紹基于方向場(chǎng)正則化的線描畫生成算法;第3 節(jié)進(jìn)行數(shù)值實(shí)驗(yàn);第4 節(jié)對(duì)本文工作進(jìn)行總結(jié).

1 線描畫與邊緣檢測(cè)

1.1 線描畫

人類視覺系統(tǒng)具有非常強(qiáng)大的抽象能力，能夠?qū)⒂^測(cè)到的對(duì)象抽象成線條.漢字中的象形字便充分地體現(xiàn)了這種抽象能力.此外，圖像信息是通過灰度值的變化來(lái)呈現(xiàn)的，如果一幅圖像的灰度值在空域所有像素點(diǎn)處都一致，即沒有任何灰度變化，則這幅圖像不包含任何信息.灰度值劇烈變化的區(qū)域通常對(duì)應(yīng)語(yǔ)義對(duì)象的邊緣，而語(yǔ)義對(duì)象的邊緣可用線條來(lái)勾勒.因而，線條自然成為美術(shù)構(gòu)圖的最重要元素，而線描畫也成為最古老、最基礎(chǔ)的繪畫種類.遠(yuǎn)古時(shí)期，先民們就開始本能地在巖壁上繪制線描畫，圖1 (a)所呈現(xiàn)的是賀蘭山巖畫.美術(shù)教育中，也通常將線描畫作為基礎(chǔ)的必修畫種(圖1 (b)).美術(shù)史上，畢加索和豐子愷都是描述畫大師(圖1 (c)和圖1 (d)).畢加索采用更簡(jiǎn)約流暢的線條，作品趨于夸張和抽象風(fēng)格，而豐子愷的作品則趨于寫實(shí)和漫畫風(fēng)格.

從圖像處理的角度考察，線描畫圖像具有以下特點(diǎn):1)線描畫屬于二值圖像，線條所在像素值為0，而背景區(qū)域的像素值為1;2)線描畫采用流暢的線條勾勒語(yǔ)義對(duì)象的輪廓，比原圖像更加簡(jiǎn)約，但能夠表達(dá)原圖像中的主要信息.從而，線描畫與邊緣檢測(cè)(Edge detection)密切相關(guān)，而邊緣檢測(cè)算子也可以作為線描畫生成算法.

1.2 邊緣檢測(cè)

圖1 線描畫圖Fig.1 Line drawing

圖像處理中，邊緣檢測(cè)(Edge detection)指確定(Identify)圖像中具有劇烈灰度變化的、不連續(xù)的像素點(diǎn)的方法.常用的邊緣檢測(cè)算子包括Canny算子、Sobel 算子、Prewitt 算子、Roberts 算子等.其中Sobel 算子、Prewitt 算子和Roberts 算子三種方法的基本思想類似，都是利用模板卷積來(lái)逼近圖像在水平和垂直方向的方向?qū)?shù)，然后對(duì)梯度模進(jìn)行閾值得到二值的邊緣圖像(Edge image).不同之處在于采用模板不同，如圖2 所示.根據(jù)采用的模板分析，Sobel 算子和Prewitt 算子都可以度量水平和垂直兩個(gè)方向的變化，但Sobel 算子較Prewitt 算子更強(qiáng)調(diào)中心位置像素的作用.Roberts 算子度量主對(duì)角和副對(duì)角方向的變化.這三個(gè)算子都未對(duì)圖像作預(yù)處理，由于導(dǎo)數(shù)運(yùn)算對(duì)于噪聲非常敏感，這使得這三個(gè)算子對(duì)噪聲的魯棒性較差.Canny 算子可視作上述三個(gè)算子的改進(jìn)，其主要步驟包括:1)采用高斯濾波來(lái)抑制噪聲，提高方向?qū)?shù)計(jì)算的魯棒性;2)計(jì)算圖像的梯度模;3)通過非局部極大抑制(Non-maximum suppression)來(lái)消除虛假邊緣;4)利用雙閾值來(lái)確定潛在的邊緣;5)消除弱的、或者與強(qiáng)的邊緣沒有連接的孤立的檢測(cè)點(diǎn)，得到最終的邊緣圖像.Canny 算子有嚴(yán)格的理論作支撐，邊緣檢測(cè)效果相比其他幾個(gè)算子都要好.

圖3 和圖4 呈現(xiàn)了幾種邊緣檢測(cè)算子在測(cè)試圖像Baboon 和Lena 上的檢測(cè)效果.從邊緣檢測(cè)的角度分析，利用Sobel 算子、Prewitt 算子、Roberts算子得到的邊緣(分別參考圖3(b)～ (d)和圖4(b)～(d)) 都存在漏檢邊緣、邊緣不夠連續(xù)的問題，而Canny 算子(參考圖3 (e)和圖4 (e))能夠檢測(cè)出所有主要的邊緣，而且檢測(cè)出的邊緣也比較連續(xù).但是，將以上4 種邊緣檢測(cè)算子視作線描畫生成算法，從線描畫風(fēng)格轉(zhuǎn)化的角度來(lái)考察，則不難發(fā)現(xiàn)這幾個(gè)算子的轉(zhuǎn)化效果都不能令人滿意，其中最顯著的問題在于得到的線條不夠流暢.圖3 (f)和圖4 (f)還呈現(xiàn)了本文算法得到的結(jié)果，對(duì)比可以看出，本文算法生成的二值圖像，能表達(dá)原圖像的主要信息，而且線條更加流暢，更接近線描畫風(fēng)格.

圖2 幾種邊緣檢測(cè)算子采用的模板Fig.2 Templates for several edge detection operators

2 基于方向場(chǎng)正則化的線描畫生成算法

本文提出一種基于方向場(chǎng)正則化的線描畫生成算法，該算法由以下4 個(gè)部分構(gòu)成:1)為了在消除噪聲的同時(shí)盡可能保持圖像的結(jié)構(gòu)，采用非局部平均算法對(duì)輸入圖像進(jìn)行預(yù)處理;2)考慮到圖像在局部具有各向異性結(jié)構(gòu)，分別利用水平、垂直、主對(duì)角、副對(duì)角共4 個(gè)方向的模板來(lái)計(jì)算方向場(chǎng)，為了能夠提取連續(xù)流暢的線條，對(duì)方向場(chǎng)進(jìn)行Tikhonov 正則化，為了提高運(yùn)算速度，采用Sherman-Morrison-Woodbury 公式來(lái)對(duì)正則化算法進(jìn)行加速;3)以正則方向場(chǎng)為引導(dǎo)，對(duì)預(yù)處理圖像逐點(diǎn)進(jìn)行一維DoG 濾波，即在每一像素點(diǎn)處，沿變化最大的方向進(jìn)行DoG 濾波;4)對(duì)DoG 濾波的結(jié)果進(jìn)行非線性閾值處理，得到二值的線描畫圖像.整個(gè)算法流程如圖5 所示，下面對(duì)每一步驟逐一闡釋.

2.1 預(yù)處理

Canny 算子采用高斯濾波來(lái)濾除噪聲，但高斯核是各向同性的，不能自適應(yīng)于圖像的局部結(jié)構(gòu)，這使得高斯濾波在濾除噪聲的同時(shí)在一定程度上模糊圖像的邊緣.這里采用NLM[13]濾波來(lái)對(duì)輸入圖像進(jìn)行預(yù)處理，NLM 利用鄰域像素的加權(quán)平均來(lái)對(duì)圖像進(jìn)行逐點(diǎn)估計(jì)，而權(quán)重通過相似度來(lái)計(jì)算.

記輸入圖像V={V(i)|i ∈Ω}，NLM 濾波后的圖像U={U(i)|i ∈Ω}，其中，Ω為圖像區(qū)域，i為像素索引.則U(i) 可表示為

圖3 幾種邊緣檢測(cè)算子和本文算法在Baboon 上的效果對(duì)比Fig.3 Comparison of several edge detection operators and the algorithm of this paper on Baboon

圖4 幾種邊緣檢測(cè)算子和本文算法在Lena 上的效果對(duì)比Fig.4 Comparison of several edge detection operators and the algorithm of this paper on Lena

圖5 基于方向場(chǎng)正則化的線描畫生成算法框圖 (注:為了使正則化的效果可視，對(duì)方向場(chǎng)進(jìn)行降維處理且只在Lena 局部區(qū)域上顯示)Fig.5 Block diagram of line drawing generation algorithm based on direction field regularization (Note:In order to make the regularization effect visible，the direction field is dimension-reduced and displayed only on the local area of Lena)

NLM 算法中，濾波的光滑程度由參數(shù)h和t控制.h決定相似性度量d(i，j)對(duì)于權(quán)重w(i，j) 的影響程度，h越大，d(i，j)對(duì)于w(i，j) 的影響越小，從而濾波的光滑程度越大;反之，h越小，濾波的光滑程度也越小.t決定參與加權(quán)的像素點(diǎn)的個(gè)數(shù)，濾波的光滑程度隨著t的增大而增大.圖像風(fēng)格轉(zhuǎn)化問題中，輸入圖像通常只包含弱噪聲，因此h和t的取值都較小.這里取h=8，t=5 .

2.2 方向場(chǎng)正則化

2.2.1 方向場(chǎng)的計(jì)算

經(jīng)典的Sobel、Roberts、Prewitt 等一階梯度算子只能度量水平和垂直兩個(gè)方向的變化，但圖像在空域具有豐富的多方向結(jié)構(gòu).為此，這里考慮4 個(gè)方向的變化，在每一像素點(diǎn)計(jì)算水平、4 5°方向、垂直方向、135°方向共4 個(gè)方向的方向?qū)?shù).方向?qū)?shù)通過模板卷積來(lái)計(jì)算，所采用的模板如圖6 所示.

圖6 計(jì)算方向?qū)?shù)采用的模板Fig.6 Template for calculating directional derivatives

以M1，M2，M3，M4分別表示圖6 所示的水平、45°方向、垂直方向、135°方向的模板，則U的方向?qū)?shù)為Gd=U ?Md，d=1，2，3，4，其中“?”表示卷積運(yùn)算.以Gd(i)，i ∈Ω表示U在像素點(diǎn)i處、d方向上的方向?qū)?shù)，則g(i)=[G1(i)，G2(i)，G3(i)，G4(i)]T構(gòu)成像素點(diǎn)i處的方向矢量.方向矢量刻畫了圖像的局部結(jié)構(gòu)，而圖像在所有像素點(diǎn)處的方向矢量總體{g(i)|i ∈Ω}就構(gòu)成了圖像的方向場(chǎng).

2.2.2 方向場(chǎng)的Tikhonov 正則化

盡管對(duì)輸入圖像的預(yù)處理可以一定程度上提高方向?qū)?shù)對(duì)于噪聲的魯棒性，但直接從預(yù)處理圖像計(jì)算得到的方向場(chǎng)不夠正則，尤其邊緣處的方向顯得比較雜亂，如圖7 (a)所示.為了提取流暢的線條，這里基于自表示的思想，利用Tikhonov 方法對(duì)方向場(chǎng)進(jìn)行正則化處理.像素點(diǎn)i處的方向矢量為g(i)，以i為中心、t為半徑的方鄰域 Ωi中所有像素點(diǎn)處的方向矢量為g(j)，j ∈Ωi.考慮到圖像在空域的平穩(wěn)性及圖像中存在大量的自相似結(jié)構(gòu)，g(i)可由g(j)，j ∈Ωi線性表示，即

圖7 方向場(chǎng)正則化效果圖 (注:為了使正則化的效果可視，對(duì)方向場(chǎng)進(jìn)行降維處理且只在Lena 局部區(qū)域上顯示)Fig.7 Directional field regularization effect map (Note:In order to make the regularization effect visible，the direction field is dimension-reduced and displayed only on the local area of Lena)

2.2.3 正則化算法的加速

第2.2.2 節(jié)中對(duì)方向場(chǎng)的正則化需要逐點(diǎn)計(jì)算，且由式(7)可見，每個(gè)點(diǎn)上都需要計(jì)算一個(gè)大小為(2t+1)2× (2t+1)2的矩陣的逆.當(dāng)t取值較大時(shí)，運(yùn)算量會(huì)非常大.實(shí)驗(yàn)中取t=5，那么對(duì)于512×512像素的圖像，方向場(chǎng)正則化需要計(jì)算262 144 個(gè)121×121 的矩陣的逆，運(yùn)算開銷很大.為了減少運(yùn)算量，加速算法，我們引用Sherman-Morrison-Woodbury[14]矩陣恒等式:

對(duì)比式(7)與式(10)不難發(fā)現(xiàn)，利用式(7)，需要計(jì)算 (2t+1)2×(2t+1)2的矩陣的逆;而利用式(10)，無(wú)論t如何取值，都只需計(jì)算 4×4 的矩陣的逆;因此，當(dāng)t取值較大時(shí)，利用式(10)可大大加速算法.

由式(6)可見，當(dāng)正則參數(shù)λ→0 時(shí)，Tikhonov正則化退化為最小二乘法，這會(huì)導(dǎo)致平凡解，起不到正則化的作用;由式(10)可見，當(dāng)λ→∞時(shí)，線性表示的系數(shù)向量中的各個(gè)分量趨于相同，這會(huì)使得Tikhonov 正則化具有類似于均值濾波的效果，會(huì)破壞方向場(chǎng)的固有結(jié)構(gòu).為了既能保持方向場(chǎng)固有的大結(jié)構(gòu)，又能對(duì)方向場(chǎng)進(jìn)行一定的正則化處理.在數(shù)值實(shí)現(xiàn)過程中，取λ=25 .圖7 呈現(xiàn)了方向場(chǎng)正則化的效果圖.從中可見，經(jīng)正則化處理后，方向場(chǎng)更為正則.

2.3 正則方向場(chǎng)引導(dǎo)的高斯差分濾波

自然圖像中，語(yǔ)義對(duì)象的邊緣對(duì)應(yīng)灰度值變化較顯著的區(qū)域.因此，要勾勒出語(yǔ)義對(duì)象的邊緣，首先需要度量圖像在空域的灰度值變化.原則上，所有的高通濾波都可以度量灰度值的變化.這里選用一維高斯差分濾波來(lái)度量變化，DoG 濾波以下面的函數(shù)作為濾波的核函數(shù):

可見，K(r) 是兩個(gè)零均值的高斯函數(shù)之差.Marr等[15]指出，DoG 濾波能很好地模擬人類視網(wǎng)膜細(xì)胞對(duì)于亮度變化的響應(yīng)，并且建議取α2=1.6α1.為了提升DoG 濾波的穩(wěn)定性，數(shù)值實(shí)現(xiàn)過程中使用文獻(xiàn)[16]的核函數(shù):

并取ε=0.001 .

自然圖像在空域具有“各向異性”的性質(zhì)，灰度值通常在與邊界垂直的方向上變化大，而在與邊界平行的方向上變化小.像素點(diǎn)i處的方向矢量為，這4 個(gè)分量分別度量了圖像在水平、45°、垂直、135°方向的灰度變化，如圖8 (a)所示.在圖8 (b)中，的4 個(gè)分量中絕對(duì)值最大者所在的方向?yàn)樽兓畲蟮姆较颍洖?，我們沿著變化最大的方向?qū)︻A(yù)處理圖像作一維高斯差分濾波，而具體實(shí)現(xiàn)過程中，需要對(duì)DoG 濾波的核函數(shù)進(jìn)行離散.上述DoG 濾波在每個(gè)像素處都需要利用方向矢量來(lái)確定濾波的方向，因而將其稱之為“正則方向場(chǎng)引導(dǎo)的DoG 濾波(Regularized direction field guided dog filter，RDF-DoG)”.濾波的結(jié)果記作

圖8 (c)中展示了RDF-DoG 濾波的結(jié)果，從中可見，濾波結(jié)果能較準(zhǔn)確地度量圖像灰度值的變化.

圖8 RDF-DoG 濾波操作示意圖Fig.8 RDF-DoG filtering operation diagram

2.4 感知閾值

類似于邊緣檢測(cè)，對(duì)RDF-DoG 濾波的結(jié)果進(jìn)行閾值處理就可以勾勒出語(yǔ)義對(duì)象的邊緣，這里根據(jù)人類視覺系統(tǒng)的非線性特點(diǎn)來(lái)設(shè)計(jì)閾值算法.RDF-DoG 的濾波結(jié)果所度量的灰度值變化，屬于客觀量(物理量，客觀刺激)，而HVS 感知到的變化屬于主觀量(心理量，主觀響應(yīng))，如圖9 所示.眾所周知，人類所有的感知系統(tǒng)，包括聽覺系統(tǒng)、視覺系統(tǒng)、觸覺系統(tǒng)、味覺系統(tǒng)、嗅覺系統(tǒng)，都是非線性系統(tǒng).生物學(xué)和計(jì)量心理學(xué)中都對(duì)人類感知系統(tǒng)的響應(yīng)規(guī)律進(jìn)行了廣泛的研究.一般認(rèn)為人類所有的感知系統(tǒng)都具有“雙邊抑制”效應(yīng).以味覺系統(tǒng)對(duì)鹽溶液的感知為例，考察鹽濃度(客觀量)與人感知到的“咸的程度”(主觀量)之間的關(guān)系，人在鹽濃度非常小時(shí)，感覺不到咸;只有鹽濃度達(dá)到一定程度時(shí)，才開始有咸的感覺;此時(shí)，隨鹽濃度的增加，人會(huì)感覺到越來(lái)越咸;但是鹽濃度達(dá)到一定量時(shí)，再增加鹽濃度，人不會(huì)有更咸的感覺(主觀量不會(huì)明顯增加).HVS 對(duì)灰度值變化的感知具有類似的規(guī)律，只有當(dāng)客觀灰度變化達(dá)到一定程度時(shí)，才能被HVS 感覺到.此時(shí)，隨著客觀變化的增大，HVS 感知到的變化隨之增大，但是客觀變化達(dá)到一定量時(shí)，HVS 感知到的變化量不再隨客觀變化的增加而明顯增加.

圖9 HVS 對(duì)于灰度變化的感知過程Fig.9 HVS perception process of grayscale changes

人類視覺系統(tǒng)具有的非線性特性與支撐視覺感知過程的復(fù)雜生化反應(yīng)有關(guān)，這種特性是人類在長(zhǎng)期的進(jìn)化中形成的.這里用雙曲正切函數(shù)來(lái)模擬客觀灰度變化 (B(i)，i ∈Ω) 與HVS 感知到的變化之間的關(guān)系，即取

圖10 展示了H(x)的形態(tài)，利用H(x) 可將客觀量映射為主觀量.

為了勾勒語(yǔ)義對(duì)象的邊緣，這里對(duì)主觀量(HVS 感知到的變化)進(jìn)行閾值處理，采用如下形式的閾值函數(shù):

圖10 客觀灰度變化與感知到的變化之間的關(guān)系Fig.10 The relationship between objective grayscale changes and pereceived changes

其中，τ表示閾值參數(shù)，正常取值范圍τ ∈[0，1]，這意味著將HVS 感知到的變化大到一定程度的部分作為語(yǔ)義對(duì)象的邊緣.通常美術(shù)構(gòu)圖中需充分考慮HVS的感知規(guī)律，因而這一處理更符合美術(shù)構(gòu)圖的原則.

3 數(shù)值實(shí)驗(yàn)

為了驗(yàn)證本文提出的線描畫提取算法，我們進(jìn)行了大量的實(shí)驗(yàn).實(shí)驗(yàn)在3.6 GHz Intel CPU，8 GB RAM 的個(gè)人計(jì)算機(jī)上進(jìn)行，算法采用MATLAB 2016a來(lái)實(shí)現(xiàn).除了式(16)中閾值參數(shù)τ外，在第2 節(jié)中對(duì)算法涉及的所有參數(shù)進(jìn)行了說明，這里對(duì)式(16)中閾值參數(shù)τ選取進(jìn)行分析，圖11 呈現(xiàn)了閾值參數(shù)取不同值時(shí)算法的輸出結(jié)果.

圖11 Lena 圖像在不同參數(shù) τ 時(shí)的線描畫Fig.11 Line drawing of Lena images at different parameters τ

從中可見，閾值參數(shù)τ的設(shè)定對(duì)算法的輸出有很大的影響，隨著閾值參數(shù)的增大，圖像的邊緣對(duì)噪聲更敏感，邊緣涵蓋過多的噪聲信息直接影響結(jié)果的美觀性.而閾值參數(shù)偏小時(shí)容易遺漏原圖像的一些細(xì)節(jié)信息.實(shí)驗(yàn)中，我們根據(jù)經(jīng)驗(yàn)取閾值τ=0.6.

隨后，我們用本文算法對(duì)大量圖像進(jìn)行了測(cè)試.圖12 為任意選取的幾幅測(cè)試圖像，其實(shí)現(xiàn)的線描畫效果如圖13 所示.從中可見，提取的線描畫利用簡(jiǎn)潔流暢的線描線條勾勒了語(yǔ)義對(duì)象的邊緣，能凸顯出圖像中的主要信息，視覺上相當(dāng)美觀.由于該算法直接從自然圖像中生成線描畫，與圖1 呈現(xiàn)的藝術(shù)家們手工繪制的線描畫相對(duì)比，具有“完全寫實(shí)”的風(fēng)格.

4 總結(jié)與展望

圖12 測(cè)試圖像Fig.12 Test image

圖13 線描畫圖Fig.13 Line drawing

本文構(gòu)造了一種基于方向場(chǎng)正則化的線描畫生成算法，該算法的顯著特點(diǎn)體現(xiàn)在以下兩個(gè)方面:1)基于自表示的思想，采用Tikhonov 正則化方法對(duì)方向場(chǎng)進(jìn)行正則化處理，且對(duì)正則化算法進(jìn)行了加速;2)利用HVS 的非線性特點(diǎn)設(shè)計(jì)感知閾值算法.數(shù)據(jù)實(shí)驗(yàn)表明，本文算法可從任意圖像中提取相當(dāng)美觀的線描畫.本文的工作可從以下幾個(gè)角度進(jìn)行拓展:1)如第2.3 節(jié)中對(duì)RDF-DoG 濾波的結(jié)果作進(jìn)一步處理，沿著邊緣方向作平滑濾波，有望改善提取的線描畫的質(zhì)量;2)本文算法是對(duì)灰度圖像設(shè)計(jì)的，如何刻畫彩色圖像的邊緣，從彩色圖像中提取線描畫，值得進(jìn)一步研究;3)將本文算法擴(kuò)展到視頻序列，利用鄰近幀的信息來(lái)優(yōu)化算法的性能;4)與其他風(fēng)格轉(zhuǎn)化問題一樣，線描畫的風(fēng)格轉(zhuǎn)化可以利用深度學(xué)習(xí)方法實(shí)現(xiàn)，當(dāng)然，這需要經(jīng)過一定訓(xùn)練的志愿者根據(jù)給定自然圖像繪制一定數(shù)量的線描畫作為訓(xùn)練樣本，工作量很大;5)嚴(yán)格來(lái)講，圖像風(fēng)格轉(zhuǎn)化問題的構(gòu)建不夠明確.圖像的“風(fēng)格”難以明確定義，也難以準(zhǔn)確量化，這使得風(fēng)格轉(zhuǎn)化算法的處理效果只能采用主觀評(píng)價(jià).如何客觀地評(píng)價(jià)風(fēng)格轉(zhuǎn)化算法的性能同樣是值得考慮的問題，對(duì)算法性能評(píng)價(jià)問題的研究會(huì)使得風(fēng)格轉(zhuǎn)化問題的構(gòu)建更加明確.