RGB空間的HDR圖像合成與色彩調(diào)節(jié)算法

姚洪濤，李鑫巖

（長(zhǎng)春理工大學(xué)　計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春　130022）

RGB空間的HDR圖像合成與色彩調(diào)節(jié)算法

姚洪濤，李鑫巖

（長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，長(zhǎng)春130022）

相機(jī)的成像原理決定了它不像人眼一樣有很強(qiáng)的適應(yīng)性，對(duì)于一些亮暗分明的場(chǎng)景，只能取亮或暗的部分而無(wú)法兼顧。高動(dòng)態(tài)范圍圖像將一組亮暗程度不同的圖像，取出它們的優(yōu)質(zhì)區(qū)域，然后合成到一起，從而兼顧了場(chǎng)景的亮暗部分。合成HDR圖像首先需分別標(biāo)定R、G、B通道相機(jī)的響應(yīng)曲線(xiàn)，然后通過(guò)該曲線(xiàn)可得到圖像對(duì)應(yīng)通道每個(gè)像素點(diǎn)的照度值，再使用色調(diào)映射算法就可將像素點(diǎn)照度值轉(zhuǎn)換成灰度值顯示在屏幕上。然而在RGB空間下傳統(tǒng)的色調(diào)映射算法會(huì)壓縮R、G、B通道的顏色差異，導(dǎo)致圖像顏色失真，由此提出了一種色彩調(diào)節(jié)的算法，該算法首先提取原始序列圖的顏色控制系數(shù)，然后用該系數(shù)調(diào)整色調(diào)映射算法產(chǎn)生的顏色差異，從而使合成圖的顏色與序列圖保持一致。

動(dòng)態(tài)范圍；響應(yīng)曲線(xiàn)；照度值；色調(diào)映射；色彩調(diào)節(jié)

人眼能夠分辨的亮度范圍很廣，從夜視閾值到強(qiáng)光閃約有1010量級(jí)，人的視覺(jué)系統(tǒng)在同一時(shí)間能夠適應(yīng)的亮度范圍約為104量級(jí)。用Lm和Ln分別表示某場(chǎng)景中亮度的最大值和最小值（單位cd/m2），其比值Lm/Ln為該場(chǎng)景下的動(dòng)態(tài)范圍（Dynamic Range）。對(duì)于普通的數(shù)字圖像，其動(dòng)態(tài)范圍為100∶1，這遠(yuǎn)遠(yuǎn)達(dá)不到人類(lèi)肉眼能夠分辨的動(dòng)態(tài)范圍10000∶1，普通的數(shù)字圖像顯示高動(dòng)態(tài)范圍的場(chǎng)景不是在明亮處過(guò)度曝光，無(wú)法還原場(chǎng)景中的細(xì)節(jié)，就是陰暗的部分曝光不足導(dǎo)致場(chǎng)景無(wú)法分辨。高動(dòng)態(tài)范圍圖像（High-Dynamic Range Image）是一種可以表示實(shí)際場(chǎng)景中亮度大范圍變化的圖像，圖像中的像素值正比于場(chǎng)景中對(duì)應(yīng)點(diǎn)的實(shí)際亮度值。它可以將場(chǎng)景中亮區(qū)域和暗區(qū)域的細(xì)節(jié)較好保留下來(lái)。

對(duì)于彩色圖像來(lái)說(shuō)，通常需要分別對(duì)R、G、B通道進(jìn)行合成，然而使用傳統(tǒng)方式的色調(diào)映射算法，會(huì)導(dǎo)致R、G、B通道的顏色差異被壓縮，從而產(chǎn)生的合成圖往往是色彩失真的。本文針對(duì)傳統(tǒng)的色調(diào)映射進(jìn)行改進(jìn)，在色調(diào)映射算法中添加色彩調(diào)節(jié)算法，就可以解決RGB空間下高動(dòng)態(tài)范圍圖像顏色失真的問(wèn)題。

1　RGB空間下的高動(dòng)態(tài)范圍圖像合成算法

高動(dòng)態(tài)范圍圖像合成算法要求必須使用兩幅或以上圖像來(lái)進(jìn)行合成，由于拍攝條件所限，使用的圖像數(shù)越多使其拍攝難度越大，導(dǎo)致其應(yīng)用就越受限。本文使用兩幅圖像合成HDRI，這兩幅圖像是同一場(chǎng)景下的兩幅曝光程度不同的圖像，一幅為低曝，一幅為過(guò)曝，分別如圖1（a）、（b）所示，圖1（c）為該場(chǎng)景的自動(dòng)曝光圖像。圖（a）、（b）、（c）的曝光時(shí)間分別為0.001s、0.0167s、0.004s。通過(guò)觀(guān)察圖（a）、（b）可看出圖像的曝光程度不同，其細(xì)節(jié)展現(xiàn)就不同，將圖（c）與圖（a）、（b）對(duì)比就會(huì)發(fā)現(xiàn)對(duì)于高動(dòng)態(tài)范圍場(chǎng)景，自動(dòng)曝光的圖像不能將該場(chǎng)景的亮暗細(xì)節(jié)都展現(xiàn)出來(lái)?？梢?jiàn)在這種場(chǎng)景下，對(duì)圖像進(jìn)行HDR合成是十分必要的。RGB空間下合成HDR圖像的過(guò)程包括相機(jī)響應(yīng)曲線(xiàn)的標(biāo)定，HDR合成，如需將HDR圖像在普通顯示設(shè)備顯示出還要對(duì)其進(jìn)行色調(diào)映射。

1.1相機(jī)響應(yīng)曲線(xiàn)的標(biāo)定

由相機(jī)的成像原理可知某場(chǎng)景中的實(shí)際亮度值與其對(duì)應(yīng)的圖像中的像素值間存在著某種非線(xiàn)性的映射關(guān)系，這種映射關(guān)系就是所要求的相機(jī)響應(yīng)曲線(xiàn)，標(biāo)定該曲線(xiàn)是合成HDRI的關(guān)鍵。

已知相機(jī)的曝光量Y與相機(jī)鏡頭的照度E和快門(mén)時(shí)間Δt存在關(guān)系式：

整個(gè)相機(jī)成像過(guò)程中某些非線(xiàn)性的映射的組合產(chǎn)生了曝光量Y到最終像素值Z的某種非線(xiàn)性關(guān)系：其中，式（2）的輸入是圖像的的曝光時(shí)長(zhǎng)和像素點(diǎn)照度值。用Δtj表第幅 j圖像的曝光時(shí)間，用Ei表示像素點(diǎn)i對(duì)應(yīng)場(chǎng)景點(diǎn)的照度，從而可得：

Zij為第 j幅圖像第i個(gè)像素點(diǎn)的像素值。令 f單調(diào)，則f可逆，對(duì)式（3）逆變換并取對(duì)數(shù)：式（4）中Δt為已知，Zij取值離散且有限（0-255），目標(biāo)求Inf-1（Zij）和Ei。用N表示每幅圖像中像素點(diǎn)的個(gè)數(shù)，用M表示序列圖像的張數(shù)。由此對(duì)Inf-1（Zij）和Ei的求解轉(zhuǎn)化成了對(duì)最小二乘目標(biāo)函數(shù)的求解：

根據(jù)大量的實(shí)驗(yàn)數(shù)據(jù)［1］可知，灰度級(jí)極限附近的像素點(diǎn)噪聲比較嚴(yán)重，使得這些點(diǎn)可靠性降低。因此需要在目標(biāo)方程組中加一個(gè)權(quán)值函數(shù)h（z），式（5）就變成：

權(quán)值函數(shù)使權(quán)重靠近灰度值極限值的權(quán)重最小，靠近灰度值中間點(diǎn)的權(quán)重最大。所引入權(quán)值函數(shù)：

其中Zmin和Zmax分別為Z域的最大值和最小值，該函數(shù)是一個(gè)三角帽型函數(shù)。令F（Zij）=Inf-1（Zij），在式（6）中還需引入平滑項(xiàng)F''（z）=F（z-1）-2F（z）+ F（z+1）來(lái)平滑曲線(xiàn)。最終目標(biāo)函數(shù)就變成：

其中參數(shù)l用來(lái)調(diào)整平滑項(xiàng)的權(quán)重。

圖1　一組曝光時(shí)長(zhǎng)不同的圖像

此外需給系統(tǒng)加兩個(gè)限制條件：（1）設(shè)128灰度的像素點(diǎn)是單位曝光點(diǎn)，這樣可以確定一個(gè)曲線(xiàn)水平位置的方程F（128）=0；（2）為了使函數(shù)曲線(xiàn)的形狀唯一，要求系統(tǒng)是靜定的。每幅圖像的每個(gè)采樣像素點(diǎn)都對(duì)應(yīng)一個(gè)方程，所以共M×N+1個(gè)方程構(gòu)成了一個(gè)線(xiàn)性方程組。由于相機(jī)響應(yīng)函數(shù)F（z）共有256組值，所以可不用求出F（z）的表達(dá)式，只需解出256組F（z）值即可。對(duì)于F（z），無(wú)需M×N+1個(gè)方程就可以標(biāo)定其相機(jī)響應(yīng)曲線(xiàn)。設(shè)n為求系統(tǒng)解時(shí)每個(gè)通道所需像素點(diǎn)的個(gè)數(shù)，M為圖像的張數(shù)，由于系統(tǒng)要求靜定，則滿(mǎn)足：

即可使用奇異值分解法求出所有的F（z）。

對(duì)于本文要合成的圖像M=2，帶入式（9），解出n＞256，即要求每幅圖像每個(gè)通道的采樣點(diǎn)個(gè)數(shù)大于128，本文合成過(guò)程中取n=400。由于每幅圖的采樣點(diǎn)足夠多，所以使用均勻采樣就能精確的標(biāo)定相機(jī)響應(yīng)曲線(xiàn)。通過(guò)這400個(gè)像素點(diǎn)就可構(gòu)建式（8）的系數(shù)矩陣，通過(guò)該系數(shù)矩陣與圖像曝光時(shí)長(zhǎng)就可以標(biāo)定出對(duì)應(yīng)通道的相機(jī)響應(yīng)曲線(xiàn)。對(duì)圖1中的三幅圖由式（8）標(biāo)定相機(jī)響應(yīng)函數(shù)曲線(xiàn)，分別如圖2 （a）、（b）、（c）所示。

1.2HDR圖像的合成算法

R、G、B通道的相機(jī)響應(yīng)函數(shù)曲線(xiàn)標(biāo)定后，就可根據(jù)這些曲線(xiàn)求得所需合成圖像對(duì)應(yīng)通道每個(gè)像素點(diǎn)的輻射照度值。從式（4）可推導(dǎo)出：

InΔtj為已知，F(xiàn)（Zij）在上節(jié)中已求出，InEi為所求。由于每張圖片的曝光時(shí)間不同，有些像素點(diǎn)在短曝下效果好，有些在長(zhǎng)曝下效果好，為了使這些優(yōu)質(zhì)像素點(diǎn)能展現(xiàn)在HDR圖像上，需將M張圖像融合起來(lái)計(jì)算每個(gè)像素點(diǎn)的照度值。同樣出于灰度級(jí)極限值附近點(diǎn)的噪聲較嚴(yán)重的原因，需要將這些點(diǎn)的權(quán)重降低，引入上節(jié)提到的三角帽型權(quán)值函數(shù)h（z）。于是，式（11）就變成：

通過(guò)該式可得到每個(gè)像素點(diǎn)的輻射照度值，由這些數(shù)據(jù)就可以得到對(duì)應(yīng)場(chǎng)景下的高動(dòng)態(tài)范圍圖像。

1.3HDR圖像的色調(diào)映射

目前常規(guī)的顯示設(shè)備的動(dòng)態(tài)范圍僅能達(dá)到100∶1，即使得到了高動(dòng)態(tài)范圍圖像，依然無(wú)法在顯示設(shè)備將高動(dòng)態(tài)范圍圖像的顯示出。因此就需要某種方法將圖像的動(dòng)態(tài)范圍進(jìn)行縮放，使之匹配只能輸出低動(dòng)態(tài)范圍的顯示設(shè)備。這種方法叫做色調(diào)映射（Tone Mapping），它用一種算法將真實(shí)世界場(chǎng)景的亮度壓縮到輸出設(shè)備能顯示的范圍。在壓縮亮度范圍過(guò)程中，它必須充分保留原場(chǎng)景的對(duì)比度，細(xì)節(jié)，色調(diào)，色飽和度等特性。目前色調(diào)映射算法主要分兩大類(lèi)：全局色調(diào)映射算法和局部色調(diào)映射算法。

本文采用全局色調(diào)映射算法中的對(duì)數(shù)變換算法，可使用下面的公式將場(chǎng)景的照度值E壓縮成圖像的灰度值D：

其中Emax和Emin為場(chǎng)景中照度的最大和最小值，Dmax和Dmin為灰度值的最大和最小值，偏移量τ為圖像的全局亮度控制量。一般來(lái)講，手動(dòng)確定τ是一個(gè)反復(fù)試錯(cuò)的過(guò)程，為了減小手動(dòng)確定τ帶來(lái)的誤差和節(jié)約時(shí)間的考慮，需使用一種算法自動(dòng)確定τ的值。這個(gè)算法可分為三步：

圖2　R、G、B通道的相機(jī)響應(yīng)曲線(xiàn)

（1）計(jì)算場(chǎng)景照度的平均值Eave，如式（13）所示

其中N為圖像像素點(diǎn)的總數(shù)，由于場(chǎng)景中某個(gè)點(diǎn)的照度值E（x，y）可能為零，這時(shí)對(duì)數(shù)函數(shù)無(wú)法計(jì)算，為了避免這種情況出現(xiàn)需要設(shè)置一個(gè)偏移量ε，這個(gè)偏移量的最優(yōu)取值是0.001。

（2）確定中間值k，如式（14）所示：

其中要求k的值必須在0和1之間。常量A和B的值一般分別取0.4和2，中間值k的取值區(qū)間就會(huì)在0.2到0.8之間，這是k最優(yōu)取值區(qū)間。

（3）由式（15）使用牛頓迭代法可求出偏移量τ：

由于本文在RGB空間下合成HDR圖像，所以需要分別對(duì)R、G、B通道進(jìn)行色階映射。對(duì)于R通道，可將式（12）的所有變量都換成R通道下的變量，如式（16）所示：

同樣的G通道、B通道下的算法如式（17）和式（18）所示：

通過(guò)式（16）、（17）、（18）可把HDR圖像中的R、G、B分量壓縮成LDR圖像的R、G、B，此時(shí)就可顯示出經(jīng)過(guò)色調(diào)映射的HDR圖像。由圖1合成的經(jīng)過(guò)色調(diào)映射的HDR圖像如圖3所示。

圖3　經(jīng)過(guò)色調(diào)映射的HDR圖像

2　RGB空間HDR圖像的色彩調(diào)節(jié)算法

將圖3與圖1（c）對(duì)比可發(fā)現(xiàn)RGB空間下合成高動(dòng)態(tài)范圍圖像會(huì)產(chǎn)生偏色，原因已在引言分析，本節(jié)對(duì)傳統(tǒng)的色調(diào)映射算法進(jìn)行改進(jìn)，在算法中添加色彩調(diào)節(jié)的部分，使R、G、B通道的顏色差異減小，從而修正圖像偏色的情況。

色彩調(diào)節(jié)部分參考白平衡算法中經(jīng)典的“灰度世界法”，該算法對(duì)顏色單一的圖像的色彩調(diào)節(jié)會(huì)失效，但是高動(dòng)態(tài)范圍圖像具有對(duì)比強(qiáng)烈、色彩豐富的特點(diǎn)，所以該算法可適用于大部分HDR圖像，本文在原算法基礎(chǔ)上進(jìn)行改進(jìn)使其適應(yīng)色調(diào)映射算法。雖然圖1（c）某些場(chǎng)景過(guò)亮或過(guò)暗導(dǎo)致部分細(xì)節(jié)無(wú)法分辨，但該圖顏色與真實(shí)場(chǎng)景是一致的，不存在偏色的情況。所以色彩調(diào)節(jié)可參考自動(dòng)曝光圖像，提取該圖的R、G、B通道的增益系數(shù)kr、kg、kb，用增益系數(shù)調(diào)整色調(diào)映射算法中的R、G、B分量，就可得到經(jīng)過(guò)色彩調(diào)節(jié)的色階映射圖像，假設(shè)自動(dòng)曝光圖像大小為M×N，則

其中Rij、Gij、Bij分別表示自動(dòng)曝光圖像R、G、B分量的第i行、第j列像素點(diǎn)的灰度值。用增益系數(shù)kr、kg、kb分別乘以色調(diào)映射算法中的R、G、B分量：

其中DR、DG、DB為色調(diào)映射算法中的R、G、B分量，分別如式（16）、（17）、（18）所示，DR'、DG'、DB'為色彩調(diào)整后色調(diào)映射算法的R、G、B分量，式（20）即為RGB空間下HDR圖像的色彩調(diào)節(jié)算法。

3　實(shí)驗(yàn)結(jié)果

圖4是由式（16）得到的圖像，即經(jīng)過(guò)色彩調(diào)節(jié)的圖像，對(duì)于該算法得到圖像通過(guò)人眼觀(guān)察就能看出處理的效果，可與圖3進(jìn)行直觀(guān)對(duì)比。

圖4　由色彩調(diào)節(jié)算法得到的HDR圖像

4　結(jié)論

本文研究了在RGB空間高動(dòng)態(tài)范圍圖像的合成算法，雖然HDR圖像的合成是復(fù)雜、耗時(shí)的過(guò)程，但是HDR圖像擁有普通圖像不可替代的優(yōu)勢(shì)。然而在合成過(guò)程中由于RGB空間標(biāo)定相機(jī)曲線(xiàn)是相互獨(dú)立的，使各通道之間失去了聯(lián)系，導(dǎo)致圖像的色彩差異被壓縮，最終顏色表現(xiàn)欠佳。本文根據(jù)經(jīng)典的“灰度世界法”，對(duì)色調(diào)映射算法進(jìn)行改進(jìn)，參考合成序列圖或自動(dòng)曝光圖的顏色空間提取增益系數(shù)，用該系數(shù)調(diào)整合成圖的色彩差異比例，使合成圖的色彩與原始圖保持一致，克服了RGB空間下合成高動(dòng)態(tài)范圍圖像偏色的弱點(diǎn)。

［1］P E Debevec，J Malik.Recovering high dynamic range radiance maps from photographs［C］.Proceedings of the SIGGRAPH'97，Los Angeles，USA，1997.

［2］ T Mitsunaga，S K Nayar.Radiometric self calibration ［C］.Proceedings of the Computer Vision and Pattern Recognition，F(xiàn)ort Collins，USA，1999.

［3］ J Tumblin，H Rushmeier.Tone reproduction for realistic images［J］.IEEE Computer Graphics、and Applications，1993，13（6）：42-48.

［4］Liu Y，Chan W，Chen Y.Automatic white balance for digital still camera［J］.IEEE Trans on Consumer Electronics，1995，41（3）：460-466.

［5］S H Park，E D Montag.Evaluating tone mapping algorithms for rendering non-pictorial high-dynamic-range images［J］.Journal of Visual Communication and Image Representation，2007，18（5）：415-428.

［6］R SZELISKI.Image mosaicing for tele-reality applications［J］.IEEE Computer Graphics and Applications，1996，12（5）：33-40.

［7］ 朱秀明.高動(dòng)態(tài)范圍圖像的合成及可視化研究［D］.杭州：浙江大學(xué)，2008.

［8］ 王維.數(shù)碼相機(jī)的自動(dòng)白平衡算法研究及實(shí)現(xiàn)［D］.湘潭：湖南科技大學(xué)，2014.

［9］ 陳軍，胡福喬.YUV空間的彩色圖像HDR合成算法［J］.計(jì)算機(jī)工程，2012，38（9）：214-216.

HDR Image Composition and Color Adjustment in RGB Space

YAO Hongtao，LI Xinyan
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

TheprincipleofCamera imaging makes it can’t have the strongadaptabilityashumaneyes，forsome scenes which have a distinct set of tonal steps from light to shadow，normally take either bright or dark parts.In dealing with a set of images of different brightness degree，high dynamic range images take out their high quality region and combinethemtogether，so asto takeintoaccountthe light and darkofscenes.Synthetic HDR images first need calibration channels R，G and B separately of camera response curve，and through this curve we can get their luminance values for each pixel of the image for corresponding channel，and then pixel luminance value can be converted to gray scale values and displayed on the screen by using the tone mapping algorithm.However，in the RGB colorspace，the traditional tone mapping algorithm will compresses the color difference of R，G，B channels，result in color distortion，thus we proposed a color adjustment algorithm which extract color control coefficients of the original sequencefirstly，then adjustingcolor differences of tone mapping algorithmsthroughthecoefficients，so thatthe color of the composite image could keep pace with the sequence diagram.

dynamic range；response curve；luminance values；tone mapping；color adjustment

TP391

A

1672-9870（2015）05-0145-05

2015-09-15

姚洪濤（1973-），男，碩士，副教授，E-mail：278119526@qq.com