基于多曝光的高動(dòng)態(tài)圖像合成的噪聲處理

劉宗玥，席志紅

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

?

基于多曝光的高動(dòng)態(tài)圖像合成的噪聲處理

劉宗玥，席志紅

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

針對(duì)在高動(dòng)態(tài)范圍圖像合成的過(guò)程中有噪聲影響圖像的質(zhì)量這一問題，采取一種基于多曝光圖像的高動(dòng)態(tài)范圍圖像合成降噪算法。通過(guò)對(duì)各曝光圖像的灰度數(shù)據(jù)進(jìn)行提取、整理、分析，能合成代表原始場(chǎng)景光線分布的亮度圖像。通過(guò)分析噪聲對(duì)高動(dòng)態(tài)范圍圖像合成質(zhì)量的影響，提出在圖像合成前將圖像中含有的噪聲進(jìn)行處理。根據(jù)光子散粒噪聲變化的特點(diǎn)，將圖像混有的噪聲問題轉(zhuǎn)化為求解一個(gè)多曝光圖像序列組的平均值問題，合成的圖像視覺效果與真實(shí)圖像極為接近。

高動(dòng)態(tài)范圍圖像合成；多曝光圖像；降噪算法；亮度圖像；光子散粒噪聲

普通的數(shù)字相機(jī)拍攝[1]的圖像與真實(shí)場(chǎng)景差別很大，但利用普通數(shù)字相機(jī)很難生成動(dòng)態(tài)范圍很高的圖像。適當(dāng)?shù)乩孟鄼C(jī)的曝光時(shí)間，對(duì)相同的場(chǎng)景進(jìn)行多次的拍攝，且每次拍攝的圖像都具有不用的曝光量。通過(guò)調(diào)節(jié)ISO設(shè)置，不同的曝光時(shí)間可拍攝到一組有著不同曝光量的圖像，利用每張圖像中細(xì)節(jié)完整的部分，可有效地合成高動(dòng)態(tài)范圍圖像[2]。

在具體場(chǎng)景中，一幅數(shù)字圖像的曝光區(qū)域不同，分為過(guò)曝光，曝光不足和正常曝光3個(gè)區(qū)域。不同的曝光時(shí)間會(huì)影響圖像的拍攝效果，曝光時(shí)間長(zhǎng)的圖像，在低曝光的區(qū)域的圖像拍攝效果更好，相反，曝光時(shí)間短的圖像，在過(guò)曝光圖像區(qū)域的圖像拍攝的效果更好。利用這種現(xiàn)象，對(duì)同一場(chǎng)景進(jìn)行拍攝，通過(guò)改變曝光時(shí)間可獲得一系列的曝光圖像[3]，可以對(duì)每個(gè)圖像提取不同亮度區(qū)域[4]的圖像信息，最后利用這組圖像的細(xì)節(jié)信息的合成一幅高動(dòng)態(tài)范圍圖像。在高動(dòng)態(tài)范圍圖像合成過(guò)程中將圖像中含有的噪聲[5]進(jìn)行優(yōu)化，可使合成的高動(dòng)態(tài)范圍圖像視覺效果更接近真實(shí)場(chǎng)景。

1 降噪算法模型

本文中所提出的噪聲，主要指圖像合成過(guò)程中所產(chǎn)生的噪聲，可將噪聲主要分為3類：暗電流噪聲，光子散粒噪聲和讀噪聲。由于數(shù)碼相機(jī)傳感器固有的缺陷，噪聲可以在相機(jī)[6]的非線性響應(yīng)過(guò)程和相機(jī)后期處理過(guò)程中產(chǎn)生[7]。暗電流噪聲由電子的熱運(yùn)動(dòng)引起，在感光元件工作時(shí)產(chǎn)熱而導(dǎo)致噪聲的增加，噪聲服從泊松分布或正態(tài)分布。光子散粒噪聲是光子隨機(jī)運(yùn)動(dòng)進(jìn)入感光器件形成的，也服從泊松分布。讀出噪聲成因較多，分布類型也不確定。本文所處理的噪聲主要是光子散粒噪聲，針對(duì)光子散粒噪聲服從泊松分布，而設(shè)定了降噪模型[8]。

由于相機(jī)本身的缺陷，總會(huì)在拍攝后的圖片上攜帶噪聲，令所合成的圖像[9]質(zhì)量下降。針對(duì)這一問題，本文提出了對(duì)多曝光圖像序列在合成前進(jìn)行降噪處理，令合成的高動(dòng)態(tài)范圍圖像視覺效果更滿意。

圖像中的噪聲[10]是本文的主要解決的問題，根據(jù)噪聲的特性[11]，用一個(gè)模型進(jìn)一步說(shuō)明。假設(shè)一幅圖像的區(qū)域輻照度是I，圖像j在拍攝過(guò)程中相機(jī)記錄的輻照度帶有加性噪聲nj。如果光子散粒噪聲為主要噪聲，隨著拍攝時(shí)間增加方差減小，所以nj～sj/tj，其中,sj表示單位時(shí)間的方差。所以圖像j的輻照度可表示為

Ij=(I+sj/tj)tj

(1)

在本文算法中，先要根據(jù)曝光時(shí)間將圖像線性排列，然后計(jì)算加權(quán)平均，如式(2)所示。

(2)

其中，權(quán)重項(xiàng)用w簡(jiǎn)要表示，整理為

(3)

設(shè)定w=tj，整理為

(4)

2 算法原理

本文將同一場(chǎng)景的不同曝光圖像，按著曝光時(shí)間的排序，形成一組多幀的圖像。利用多幀圖像的平均，將已經(jīng)選好的可用圖像組成序列，在合成HDR圖像[12]之前進(jìn)行預(yù)處理，降噪要在噪聲被進(jìn)一步放大前完成。

已知相機(jī)的響應(yīng)f和權(quán)重函數(shù)w，利用由N幀構(gòu)成的相關(guān)像素值的加權(quán)平均求像素p的輻照度的值Ip。

(5)

其中，f-1是相機(jī)響應(yīng)曲線[13]的逆；pi是i圖像的像素p的值；ti是圖像i的曝光時(shí)間。為了能修正一個(gè)噪聲幀，需要將每一幀進(jìn)行加權(quán)平均，并要將相同序列的之后的幾個(gè)更長(zhǎng)時(shí)間的曝光幀進(jìn)行平均，如式(6)～式(8)所示。

(6)

(7)

pi′=f(tici)

(8)

式(6)中,g是權(quán)重方程，將平均序列中不同幀給定不同的權(quán)重系數(shù)。在式(7)中ci是第i幀圖像的修正值，s是進(jìn)行加權(quán)平均的圖像組的大小，用做平均曝光序列的長(zhǎng)度值。例如，若s為4，第1幀的平均就是用第2幀，第3幀和第4幀進(jìn)行平均。第2幀就是用第3幀，第4幀和第5幀進(jìn)行平均，以此類推。將第i組的圖像利用相機(jī)響應(yīng)曲線的逆乘上權(quán)重系數(shù)并除以曝光時(shí)間tj，再進(jìn)行加權(quán)平均[14]去修正帶有噪聲的圖像。式(8)中pi′是經(jīng)過(guò)相機(jī)響應(yīng)曲線輸出的去掉噪聲的圖像。

權(quán)重方程g是每個(gè)曝光量的權(quán)值v的集合。而另一個(gè)方程t是用來(lái)排除曝光度過(guò)高和不符合要求的像素點(diǎn)。在數(shù)字圖像中，由于噪聲和偽影的存在，波動(dòng)通常發(fā)生在像素的極值附近，這樣的波動(dòng)會(huì)給本文算法帶來(lái)一個(gè)負(fù)面的影響。由于曝光過(guò)度的圖像在平均的過(guò)程中會(huì)導(dǎo)致動(dòng)態(tài)范圍的丟失，在結(jié)果中表現(xiàn)出來(lái)一種“沖潰”現(xiàn)象。為避免這種情況的發(fā)生，設(shè)定t函數(shù)將大于249的像素從多曝光圖像的序列中排除，在200～249之間的像素是平滑增長(zhǎng)的，利用埃爾米特插值進(jìn)行加權(quán)平均，小于200的像素做完全平均。

(9)

在加權(quán)平均的一組圖像中，有可能一些像素超過(guò)了249，此時(shí)t便可應(yīng)用在所有的圖片而不僅是當(dāng)前正在修正的圖片。例如，當(dāng)前正在處理第1幀圖像，假設(shè)一組圖像內(nèi)有3幀，t也可將第2幀和第3幀圖像中曝光過(guò)度的和不可信的像素點(diǎn)排除。

當(dāng)所有幀的圖像修正后，根據(jù)相機(jī)的響應(yīng)曲線，就可利用每一幀的圖像合成高動(dòng)態(tài)范圍圖像[15]。根據(jù)已知的權(quán)重方程w和圖像降噪后的ci可求得圖像的輻照度Ip。

(10)

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用SONY公司的數(shù)字相機(jī)α57，對(duì)獲得的多曝光圖像進(jìn)行圖像去噪處理，實(shí)驗(yàn)部分采用的硬件平臺(tái)是PentiumDual-Core2.70GHz處理器，2.00GB內(nèi)存，仿真軟件編程環(huán)境是MicrosoftVisualStudio2010。對(duì)比算法包括：Jiang算法，Gu算法，Granados算法，Lee算法和Mertens算法。算法輸出標(biāo)準(zhǔn)的RadianceRGB格式。由于常規(guī)顯示器的動(dòng)態(tài)范圍是100∶1，遠(yuǎn)小于亮度圖像的動(dòng)態(tài)范圍，因此本文采用基于局部線性變換的方法進(jìn)行色階映射，再通過(guò)Gamma校正將亮度圖像轉(zhuǎn)化為位圖文件進(jìn)行存儲(chǔ)、顯示。

由于本文算法，噪聲的多集中在低曝光圖像的拍攝過(guò)程中，提取多曝光圖像序列中曝光時(shí)間比較短的5張圖像進(jìn)行實(shí)驗(yàn)結(jié)果對(duì)比，通過(guò)實(shí)驗(yàn)仿真的結(jié)果，可證實(shí)本文的方法可較好地降低噪聲，令合成的HDR圖像更清晰清晰，如圖1所示。

圖1 場(chǎng)景Bridge不同曝光圖像去噪后的對(duì)比圖

由對(duì)比圖可看出，曝光度越低的圖像有的噪聲越多，圖像越不清楚，圖1(a)未經(jīng)本文算法處理的圖像，噪點(diǎn)較多，細(xì)節(jié)模糊。圖1(b)是經(jīng)過(guò)本文算法處理的，清晰且視覺效果更好。第6幅圖像是截取局部的放大圖像，對(duì)比的效果明顯。之后再將Jiang算法，Gu算法，Granados算法，Lee算法和Mertens算法與本文經(jīng)過(guò)降噪處理合成的高動(dòng)態(tài)范圍圖像進(jìn)行比對(duì)，如圖2和圖3場(chǎng)景Wildness所示。

圖2 場(chǎng)景Wildness的多曝光圖像

圖3 場(chǎng)景Wildness對(duì)應(yīng)的不同高動(dòng)態(tài)范圍成像算法的視覺比較

4 結(jié)束語(yǔ)

本文提出了一種簡(jiǎn)單有效的高動(dòng)態(tài)范圍圖像的降噪技術(shù)，算法只需相機(jī)的響應(yīng)曲線，或是從圖像序列中恢復(fù)出響應(yīng)曲線，任何現(xiàn)有的恢復(fù)算法均可回復(fù)相機(jī)的響應(yīng)曲線。利用較短的曝光時(shí)間的圖像序列，可通過(guò)增加相機(jī)的ISO設(shè)置來(lái)實(shí)現(xiàn)，這種方法獲得的圖像通常產(chǎn)生較大的噪聲，但本文算法可以將圖像中的噪聲降低，彌補(bǔ)這一缺點(diǎn)。本文算法還有一個(gè)重要的優(yōu)勢(shì)就是發(fā)生圖像模糊或鬼影的現(xiàn)象概率較小。此外，本文的算法也可應(yīng)用在高動(dòng)態(tài)范圍的視頻影像中，通過(guò)增加視頻攝像機(jī)的靈敏度來(lái)獲得更高的幀速率，可利用本文算法，對(duì)所拍攝的幀進(jìn)行后期處理。

[1]ReinhardE,StarkM,ShirleyP,etal.Photographictonereproductionfordigitalimages[J].ACMTransactionsonGraphics,2002,21(3):267-276.

[2]ReinhardE,HeidrichW,DebevecP,etal.Highdynamicrangeimaging:acquisition,display,andimage-basedlighting[M].MA,USA:MorganKaufmann, 2010.

[3] 張軍,戴霞,孫德全,等.不同曝光值圖像的直接融合方法[J].軟件學(xué)報(bào),2011,22(4):813-825.

[4]LeddaP,WardG,ChalmersA.Awidefield,highdynamicrange,stereographicviewer[C].Macao:Proceedingsofthe1stInternationalConferenceonComputerGraphicsandInter-activeTechniquesinAustralasiaandSouthEastAsia,ACM, 2003.

[5] 黃芹華,歐陽(yáng)為民.手機(jī)及小型手持?jǐn)?shù)字設(shè)備數(shù)字取證研究綜述[J].計(jì)算機(jī)工程與應(yīng)用,2009, 45(18):81-84.

[6] 都琳,孫華燕,張廷華,等.基于相機(jī)響應(yīng)曲線的高動(dòng)態(tài)范圍圖像融合[J].計(jì)算機(jī)工程與科學(xué),2015,37(7):1331-1337.

[7]WardG.Realpixels[M].Boston:AcademicPress,1991.

[8]LiS,KangX.Fastmulti-exposureimagefusionwithmedianfilterandrecursivefilter[J].IEEETransactionsonConsumerElectronics, 2012, 58(2): 626-632

[9]GuB,LiWJ,HuangJT,etal.Gradientfieldmulti-exposureimagesfusionforhighdynamicrangeimagevisualization[M].JournalofVisualCommunicationandImageRepresentation, 2012, 23(4): 604-610.

[10] 佟首峰,阮錦,郝志航.CCD圖像傳感器降噪技術(shù)的研究[J].光學(xué)精密工程,2000(2):140-145.

[11] 李云飛,司國(guó)良,郭永飛.科學(xué)級(jí)CCD相機(jī)的噪聲分析及處理技術(shù)[J].光學(xué)精密工程,2008(s1):158-163.

[12] 劉衛(wèi)華.合成高動(dòng)態(tài)圖像有關(guān)技術(shù)綜述分析[J].電子世界,2014(4):178-179.

[13] 章衛(wèi)祥,周秉鋒.一個(gè)穩(wěn)健的用于HDR圖像的相機(jī)響應(yīng)函數(shù)標(biāo)定算法[J].計(jì)算機(jī)學(xué)報(bào),2006,29(4):658-663.

[14] 劉慶祥,蔣天發(fā).彩色與灰度圖像間轉(zhuǎn)換算法的研究[J].武漢理工大學(xué)學(xué)報(bào):交通科學(xué)與工程版,2003,27(3):344-346.

[15] 李光鑫.紅外和可見光圖像融合技術(shù)的研究[D].長(zhǎng)春:吉林大學(xué),2008.

Noise Processing of High Dynamic Image Synthesis Based on Multiple Exposure

LIU Zongyue，XI Zhihong

( School of Information and Communication Engineering,Harbin Engineering University,Harbin 150001, China)

Aiming at the problem that the quality of image is affected by noise in the process of high dynamic range image synthesis, a high dynamic range image synthesis algorithm based on multi exposure image is adopted. By extracting, sorting out and analyzing the gray data of each exposure image, the brightness image of the light distribution of the original scene can be synthesized. By analyzing the effect of noise on the quality of the high dynamic range image, it is proposed to deal with the noise in the image before the image is synthesized. According to the characteristics of the photon shot noise, the mixed image noise problem is transformed into the average value problem of a multi exposure image sequence group, and the image visual effect is very close to the real image.

high dynamic range image synthesis; multiple exposure images; noise reduction algorithm; luminance image; photon shot noise

2016- 01- 21

國(guó)家自然科學(xué)基金項(xiàng)目(60875025)

劉宗玥(1989-)，女。碩士研究生。研究方向：數(shù)字圖像處理。席志紅(1965-)，女，博士，教授，博士生導(dǎo)師。研究方向：數(shù)字圖像處理。

10.16180/j.cnki.issn1007-7820.2016.11.026

TP391.41

A

1007-7820(2016)11-090-04