子像素形態(tài)學(xué)反走樣算法的改進

劉鏡榮,杜慧敏,杜琴琴

(1.西安郵電大學(xué) 電子工程學(xué)院,西安 710061 2.西安郵電大學(xué) 計算機學(xué)院,西安 710061) (*通信作者電子郵箱425114135@qq.com)

子像素形態(tài)學(xué)反走樣算法的改進

劉鏡榮1*,杜慧敏1,杜琴琴2

(1.西安郵電大學(xué) 電子工程學(xué)院,西安 710061 2.西安郵電大學(xué) 計算機學(xué)院,西安 710061) (*通信作者電子郵箱425114135@qq.com)

針對子像素形態(tài)學(xué)反走樣(SMAA)算法提取圖像輪廓信息少和存儲空間較大的問題,提出一種改進的形態(tài)學(xué)反走樣算法。該算法用一個像素的亮度與調(diào)整因子的乘積作為動態(tài)閾值,來判定該像素是否為輪廓條件。與SMAA利用固定閾值判定輪廓相比,動態(tài)閾值嚴格限制了輪廓的判斷條件,因此改進算法可以提取出更多的輪廓信息。同時,在分析SMAA存儲形態(tài)模式的基礎(chǔ)上,合并了不同模式但是面積計算和混合方式相同的存儲,能有效地減少面積紋理的存儲面積。在Windows 7操作系統(tǒng)下,用Microsoft DirectX SDK和HLSL著色語言實現(xiàn)了所改進的算法。實驗結(jié)果表明:相對于SMAA算法,改進后算法可以提取更多更清晰的輪廓線,存儲減少了51.93%。

形態(tài)學(xué);反走樣;像素亮度;調(diào)整因子;閾值

0 引言

計算機圖形的走樣主要發(fā)生在光柵化[1]和紋理映射[2]過程中,分別被稱為幾何走樣和紋理走樣。早期為了消除幾何走樣,研究者提出了超采樣反走樣(Super Sampling Antialiasing, SSAA)算法[3]。SSAA是一種全屏反走樣(Full Scene Anti-Aliasing，F(xiàn)SAA)技術(shù),它將屏幕上所有的像素細分成子像素,用子像素顏色的平均值作為該像素的顏色,經(jīng)過SSAA處理后的圖形質(zhì)量好,一般用作衡量標準。但是,SSAA的計算量和存儲代價較大,不適用于圖形的實時反走樣,因此,研究人員又相繼提出了多重采樣反走樣(MultiSampling Anti-Aliasing, MSAA)[4]、覆蓋采樣抗鋸齒(Coverage Sampling Anti-aliasing, CSAA)技術(shù)[5]和增強質(zhì)量反走樣(Enhanced Quality Anti-Aliasing, EQAA)[6],這些算法存儲代價和計算量都有所減少,但處理反走樣的效果不如SSAA。紋理反走樣通常采用紋理濾波的方式,主要有最近鄰采樣、雙線性插值[7]、MIPmapping[8]、三線性插值[9]和各向異性濾波[10]等。

延遲渲染(Deferred Shading)技術(shù)[11-13]將像素的幾何信息(位置坐標、紋理坐標、法線向量等)存儲在中間緩存G-buffer中,然后從G-buffer中讀取信息并進行光照等處理。與傳統(tǒng)的渲染方式相比,延遲渲染推遲了光照計算,極大提高了渲染速度,是目前比較流行的一種渲染技術(shù)。為了與延時渲染技術(shù)相適應(yīng),近些年來,業(yè)界提出對渲染后的像素進行反走樣處理,取得了較好的效果。通常這個階段采用的反走樣技術(shù)被稱為后處理反走樣技術(shù),而在光柵化和紋理映射階段采用的反走樣技術(shù)被稱為前處理反走樣技術(shù)。

本文對后處理反走樣算法中主流的形態(tài)學(xué)反走樣算法進行了研究,通過對邊緣檢測閾值的改進和紋理存儲面積的優(yōu)化,提高了反走樣效果并且降低了內(nèi)存占用。

1 形態(tài)學(xué)反走樣技術(shù)相關(guān)工作

2009年Intel工程師Reshetov[14]將形態(tài)學(xué)引入到了計算機反走樣領(lǐng)域,提出了形態(tài)學(xué)反走樣(MorphoLogical Anti-Aliasing, MLAA)技術(shù)。MLAA根據(jù)相鄰像素之間的顏色差值提取邊緣輪廓,對提取出的邊緣輪廓與預(yù)定的模式匹配,利用模式計算權(quán)值進行顏色混合。最初的MLAA只能在CPU上進行處理,速度比較慢。MLAA算法的優(yōu)點是獨立于圖形流水線,對邊緣像素進行抗鋸齒處理,算法簡單且易于實現(xiàn);其缺點是無法處理因采樣不足造成的走樣現(xiàn)象,受光照的影響較大。但是MLAA是具有代表性的邊緣反走樣技術(shù),后續(xù)研究者在此基礎(chǔ)上提出了多種改進算法。2009年，NVIDIA提出了快速近似反走樣(Fast approXimate Anti-Aliasing, FXAA)技術(shù),FXAA與MLAA類似,對圖像邊緣進行抗鋸齒處理,速度快,但反走樣效果無法與硬件反走樣相比;2010年，Jimenez等[15]提出了實用性MLAA(Practical MLAA)技術(shù),為了與MLAA區(qū)分,本文命名為Jimenez’s MLAA,該算法是MLAA的改進算法,可對實時性圖像進行抗鋸齒處理,但仍存在模糊現(xiàn)象。2013年Intel公司改進了Jimenez’s MLAA,提出了一種子像素形態(tài)學(xué)反走樣(Sub-pixel Morphological Antialiasing, SMAA)技術(shù)[17],該技術(shù)可與硬件反走樣技術(shù)(如SSAA)相抗衡,能得到較高品質(zhì)的圖像質(zhì)量。但SMAA算法采用固定閾值,能提取的圖像輪廓較少;同時存儲了不必要的面積紋理,存儲面積較大。

本文提出了一種改進的形態(tài)學(xué)反走樣算法,引入了動態(tài)閾值,嚴格限制了像素邊界條件,使算法可以提取出更多的邊界細節(jié);同時剔除了不必要的面積紋理,減少了面積紋理的存儲。本文在Microsoft DirectX SDK下實現(xiàn)了改進算法,實驗結(jié)果表明:本文提出的改進算法可提取更多更清晰的輪廓線,存儲減少了51.93%。

2 改進的形態(tài)學(xué)反走樣算法

2.1 算法概述

同Jimenez’s MLAA和SMAA算法一樣,本文算法可分為邊緣提取、面積計算和顏色混合等三個步驟,具體流程見圖1。

圖1 本文算法的設(shè)計流程

1)邊緣提取。SMAA算法的邊緣檢測算法有三種方式:亮度檢測、顏色檢測和深度檢測。SMAA設(shè)定固定的閾值提取邊緣像素,造成部分幾何邊界無法被提取。本文提出自適應(yīng)閾值的邊緣檢測算法,以提取出更多的圖像邊緣信息。

2)權(quán)值計算。將檢測到的邊緣輪廓線與預(yù)設(shè)幾何模式進行匹配,通過距離搜索長度對應(yīng)的面積紋理(面積表示混合權(quán)值)進行顏色混合。本文提高了存儲的面積紋理空間效率,減少了內(nèi)存占用。

3)顏色混合。本文采用與SMAA算法一樣的混合方式。

2.2 邊緣提取算法閾值的改進

SMAA的三種邊緣提取算法中,提取顏色信息可以提取出色度差產(chǎn)生的走樣邊緣,但計算量偏大;深度信息雖然能夠快速提取出邊緣信息,但容易丟失邊緣信息;亮度信息邊緣提取算法與前兩者相比,能夠提取出邊緣信息,代價比深度信息大。

SMAA利用式(1)將場景中像素的顏色值RGB轉(zhuǎn)化為亮度信息,然后在根據(jù)局部對比調(diào)整判定邊緣像素。在式(1)中采用歸一化的顏色空間,即R、G、B的取值范圍為0～1。

L=0.212 6R+0.715 2G+0.072 2B

(1)

圖2說明了邊界信息,灰色圓點所在的像素表示待檢測的當前像素,ct、cb、cl和cr分別表示上下左右四個相鄰像素的亮度值與當前像素亮度值的差值。c2l和c2t分別表示左方和上方第一個像素與第二個像素之間的亮度差。SMAA算法只對左方像素和上方像素進行標記,相應(yīng)的右方和下方像素的信息可從其他像素得到。

圖2 SMAA亮度信息邊緣提取算法[16]

cmax=max(ct,cb,cl,cr,c2t,c2l)

(2)

(3)

該方法利用固定閾值,不能根據(jù)場景的實際復(fù)雜程度進行邊緣提取,造成部分幾何邊界無法被提取出來,如圖3所示。

圖3 不同算法的人物邊緣提取結(jié)果

本文引入動態(tài)閾值T′=α·Lc作為判定像素邊界條件,其中:Lc是當前像素的亮度,α是調(diào)整因子。當α的取值范圍設(shè)定為[0.05, 0.2]時,一定有T′=α·Lc≤T,即動態(tài)閾值一定小于T,因為α和Lc均是小于1的實數(shù)。動態(tài)閾值導(dǎo)致了像素邊界的判定條件更加嚴格,這樣提取出的邊緣輪廓更接近實際場景。從圖3～4可以看出:本文算法能夠提取更多的邊緣,而SMAA容易丟失這些幾何特征。

圖4 不同算法的物體邊緣提取結(jié)果

2.3 面積紋理存儲的改進

SMAA算法中預(yù)設(shè)的幾何模式主要分為正交和對角線模式兩種類型,分別用于處理傾向于水平、垂直和傾斜方向上的走樣現(xiàn)象。如圖5(a)所示,根據(jù)正交邊檢測出的幾何模式有16種,每種幾何模式的主邊長度可能是[1, 16]內(nèi)的整數(shù),因此16種模式就需要存儲16×16=256種情況的面積。預(yù)設(shè)定的幾何形狀有L-Shapes、U-Shapes和Z-Shapes三種。如果對圖5(a)中的模式0、5、10、15進行面積混合,容易產(chǎn)生走樣,因此對這四種模式不作任何處理,相應(yīng)的區(qū)域面積為0;模式7、11、13、14與預(yù)設(shè)的三種幾何形狀不匹配,計算面積時按照Z-Shapes進行處理；模式11、13的面積計算和混合方式與模式9一樣；模式7、14的面積計算和混合方式與模式6相同。SMAA需要對這16種幾何模式進行面積存儲,共需要存儲16×16=256種情況的面積。

圖5 預(yù)設(shè)的幾何模式及其對應(yīng)的面積紋理存儲方式[17]

根據(jù)上面的分析,可以優(yōu)化面積模式的存儲,如表1所示,對面積為0的模式0、5、10、15不進行存儲,直接返回值0。將模式11、13的面積和模式9存儲到一個面積紋理中,將模式7、14的面積和模式6存儲到一個面積紋理中。優(yōu)化后,需要存儲8×16=128種模式,SMAA需要256種面積存儲情況，本文算法只需要128種面積存儲情況。

預(yù)設(shè)的正交模式相應(yīng)的面積存儲空間降低了50%,極大地減少了所需內(nèi)存。

表1 預(yù)設(shè)正交模式存儲的改進

3 結(jié)果對比

實驗的計算機環(huán)境是Intel core i7 3.4 GHz CPU、16 GB內(nèi)存、64位操作系統(tǒng)、NVIDIA GTX560 GPU。在Windows 7 系統(tǒng)下的Microsoft Visual Studio 2010環(huán)境下，使用Python語言實現(xiàn)面積紋理，用Microsoft DirectX SDK和HLSL著色語言實現(xiàn)了所提出的算法。

3.1 邊緣提取算法結(jié)果對比

本文算法采用自適應(yīng)閾值的方式進行邊緣提取,能夠更好地提取出場景的幾何輪廓,減少幾何邊緣輪廓的走樣現(xiàn)象。從圖6所示的邊緣輪廓線提取結(jié)果可看出，本文算法能夠提取出圖像更多的邊緣輪廓和幾何輪廓。

圖6 邊緣提取算法結(jié)果對比

3.2 面積紋理存儲的對比

本文算法對面積紋理存儲進行改進,對正交模式和對角線模式中不需要進行存儲的面積進行剔除。本文算法和SMAA面積紋理大小的對比結(jié)果：SMAA算法的面積紋理大小為1 138 KB，而本文算法面積紋理的大小為547 KB。本文算法與SMAA算法相比，降低了51.93%的存儲比例。

3.3 反走樣效果比較

本文算法能夠提取出更好的幾何輪廓和圖像輪廓,可以對SMAA中不能檢測到的幾何邊緣進行抗鋸齒處理。

從圖7所示的反走樣效果圖可看出，圓形窗戶的外部邊框(方框處)的邊緣鋸齒明顯相對平緩、光滑，圓形窗戶的內(nèi)部邊框(橢圓處)的邊緣鋸齒相對也有一定的改善。本文算法處理后的圓形窗戶邊緣的鋸齒狀現(xiàn)象明顯減弱。

圖7 復(fù)雜場景抗鋸齒效果對比

從圖8中放大煙囪的左下角可以明顯看出，本文算法處理后的抗鋸齒效果較好。

圖8 簡單場景抗鋸齒效果對比

4 結(jié)語

本文分析了SMAA算法的不足,并提出用一個像素的亮度與調(diào)整因子的乘積作為動態(tài)閾值來判定該像素是否為輪廓；同時,合并了不同模式但是面積計算和混合方式相同的存儲,有效地減少了面積紋理的存儲。實驗結(jié)果表明:本文算法比SMAA算法可以提取更多更清晰的輪廓線,存儲面積減少了51.93%。本文算法可以集成在大型三維場景軟件中,提高場景的真實感,減少運行存儲。但是,相對于SMAA,由于提出輪廓信息多,因此,所需要的反走樣處理時間就長。未來可以考慮用硬件實現(xiàn)本文提出的改進算法,提高處理速度。

References)

[1] 杜慧敏, 郝哲, 王鵬超, 等. 三角形的光柵化與反走樣算法[J]. 西安郵電大學(xué)學(xué)報, 2015, 20(3): 33-38. (DU H M, HAO Z, WANG P C, et al. Rasterization and anti-aliasing algorithm for triangles [J]. Journal of Xi’an University of Posts and Telecommunications, 2015, 20(3): 33-38.)

[2] 李增忠. 紋理映射技術(shù)的研究[D]. 西安:西安電子科技大學(xué), 2005. (LI Z Z. Research on texture mapping technology [D]. Xi’an: Xidian University, 2005.)

[3] CROW F C. A comparison of antialiasing techniques [J]. IEEE Computer Graphics amp; Applications, 1981, 1(1): 40-48.

[4] LAINE S, AILA T. A weighted error metric and optimization method for antialiasing patterns [EB/OL]. [2017- 01- 10]. http://dx.doi.org/10.1111/j.1467-8659.2006.00919.x.

[5] YOUNG P. Coverage sampled antialiasing. [EB/OL]. NVIDIA. [2016- 10- 26]. http://www.nvidia.com/object/coverage-sampled-aa.html.

[6] AMD. EQAA modes for AMD 6900 series graphics cards [EB/OL]. [2016- 11- 01]. http://amd-dev. wpengine. netdna-cdn. com/wordpress/media/2012/10/EQAA%20Modes%20for%20AMD%20HD%206900%20Series%20Cards. pdf.

[7] BLINN J. Hyperbolic interpolation [J]. IEEE Computer Graphics amp; Applications, 1992, 12(4): 89-94.

[8] WILLIAMS L. Pyramidal parametrics [J]. ACM SIGGRAPH Computer Graphics, 1983, 17(3): 1-11.

[9] EWINS J P, WALLER M D, WHITE M, et al. MIP-map level selection for texture mapping [J]. IEEE Transactions on Visualization amp; Computer Graphics, 1998, 4(4): 317-329.

[10] EWINS J P, WALLER M D, WHITE M, et al. Implementing an anisotropic texture filter [J]. Computers amp; Graphics, 2000, 24(2): 253-267.

[11] SHISHKOVTSOV O. Deferred shading in S. T. A. L. K. E. R. in GPU Gems 2. [M]. Upper Saddle River: Addison Wesley Professional, 2005: 143-166.

[12] HARGREAVES S. Deferred shading [EB/OL]. [2016- 11- 02]. http://amd.wpengine.com/wordpress/media/2012/10/D3DTutor ial_DeferredShading.pdf.

[13] KOONCE R. Deferred Shading in Tabula Rasa. in GPU Gems 3. [M]. Upper Saddle River: Addison Wesley Professional, 2007: 429-457.

[14] RESHETOV A. Morphological antialiasing [EB/OL]. [2017- 01- 10]. http://www.cs.cmu.edu/afs/cs/academic/class/15869-f11/www/readings/reshetov09_mlaa.pdf.

[15] JIMENEZ J, MASIA B, ECHEVARRIA J I, et al. Practical morphological antialiasing [M]// ENGEL W. GPU Pro 2: Advanced Rendering Techniques. Boca Raton, Florida, USA: CRC Press, 2011.

[16] JIMENEZ J, ECHEVARRIA J I, SOUSA T, et al. SMAA: enhanced subpixel morphological antialiasing [J]. Computer Graphics Forum, 2012, 31(2): 355-364.

[17] PERSSON E. Second-depth antialiasing [M]// ENGEL W. GPU Pro 4: Advanced Rendering Techniques. Boca Raton, Florida: CRC Press, 2013: 201-212.

Improvementofsub-pixelmorphologicalanti-aliasingalgorithm

LIU Jingrong1*, DU Huimin1, DU Qinqin2

(1.SchoolofElectronicEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’anShaanxi710061,China2.SchoolofComputerScienceamp;Technology,Xi’anUniversityofPostsandTelecommunications,Xi’anShaanxi710061,China)

Since Sub-pixel Morphological Anti-Aliasing (SMAA) algorithm extracts images with less contour and needs larger storage, an improved algorithm for SMAA was presented.In the improved algorithm, the multiplication of luminance of a pixel and an adjustable factor was regarded as a dynamic threshold, which was used to decide whether the pixel is a boundary pixel. Compared with fixed threshold for boundary decision in SMAA, the dynamic threshold is stricter for deciding whether a pixel is a boundary one, so the presented algorithm can extract more boundaries. Based on the analysis of different morphological models and used storage, some redundant storages were merged so as to reduce the size of memory. The algorithm was implemented by Microsoft DirectX SDK and HLSL under Windows 7. The experimental results show that the proposed algorithm can extract clearer boundaries and the size of the memory is reduced by 51.93%.

morphology; anti-aliasing; pixel luminance; adjustable factor; threshold value

2017- 04- 06;

2017- 06- 12。

國家自然科學(xué)基金資助項目(61136002);西安市科技發(fā)展計劃項目(CXY1440(10))。

劉鏡榮(1992—),男,陜西西安人,碩士研究生,主要研究方向:計算機圖形學(xué)、圖形圖像處理; 杜慧敏(1966—),女,山東濰坊人,教授,博士,CCF會員,主要研究方向:計算機體系結(jié)構(gòu)、計算機圖形學(xué); 杜琴琴(1989—),女,陜西西安人,碩士研究生,主要研究方向:計算機體系結(jié)構(gòu)。

1001- 9081(2017)10- 2871- 04

10.11772/j.issn.1001- 9081.2017.10.2871

TP391.41

A

This work is partially supported by the National Natural Science Foundation of China (61136002);the Science and Technology Development Programmer of Xi’an (CXY 1440(10)).

LIUJingrong, born in 1992, M. S. candidate. His research interests include computer graphics, graphics and image processing.

DUHuimin, born in 1966, Ph. D., professor. Her research interests include computer architecture, computer graphics.

DUQinqin, born in 1989, M. S. candidate. Her research interests include computer architecture.