相機(jī)響應(yīng)函數(shù)定標(biāo)的正則化方法

王 安 定， 謝 蓄 芬， 鄒 念 育

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

0 引 言

相機(jī)響應(yīng)函數(shù)(Camera response function，CRF)表達(dá)了圖像灰度與真實(shí)場(chǎng)景輻射量之間的映射關(guān)系[1-3]，是系統(tǒng)成像過程中各個(gè)鏈路環(huán)節(jié)效應(yīng)的總和。相機(jī)響應(yīng)函數(shù)的標(biāo)定是圖像動(dòng)態(tài)范圍延展的基礎(chǔ)[4-6]，受隨機(jī)噪聲、系統(tǒng)響應(yīng)非均勻性和各種隨機(jī)擾動(dòng)的影響，相機(jī)響應(yīng)函數(shù)的標(biāo)定結(jié)果偏差較大，難以獲得精確的結(jié)果，因此相機(jī)響應(yīng)函數(shù)的標(biāo)定受到廣泛關(guān)注。

從20世紀(jì)90年代高動(dòng)態(tài)范圍圖像的提出到近些年來不斷發(fā)展，越來越多的研究者開始關(guān)注高動(dòng)態(tài)范圍成像技術(shù)，因此出現(xiàn)了很多對(duì)相機(jī)響應(yīng)函數(shù)進(jìn)行標(biāo)定的方法[7-9]。Mann等[10]提出了通過不同曝光圖像延展系統(tǒng)動(dòng)態(tài)范圍的方法，指出相機(jī)響應(yīng)函數(shù)的標(biāo)定受噪聲影響。Mitsunaga等[11]提出用N次多項(xiàng)式近似描述相機(jī)響應(yīng)函數(shù)，降低了算法對(duì)成像設(shè)備的要求，但是算法穩(wěn)定性欠佳。Debevec等[12]提出利用響應(yīng)函數(shù)的微分對(duì)響應(yīng)曲線相對(duì)定標(biāo)結(jié)果進(jìn)行約束，增加定標(biāo)結(jié)果的光滑性。方華猛等[13]從求解方法上改進(jìn)了Debevec提出的約束最小二乘法，但是都沒有對(duì)相機(jī)響應(yīng)函數(shù)標(biāo)定時(shí)所存在的病態(tài)問題進(jìn)行詳細(xì)分析，也沒有關(guān)聯(lián)泛函空間，缺少對(duì)正則項(xiàng)的形式的分析和論證。章衛(wèi)祥等[14]在Mitsunaga 和Nayar所做工作的基礎(chǔ)上增加限制條件和改進(jìn)迭代條件提高了算法的穩(wěn)定性，但只粗略地估計(jì)了光圈大小、曝光時(shí)間的比值影響標(biāo)定結(jié)果的精確性。Goossens等[15]利用最大信噪比準(zhǔn)則構(gòu)建服從泊松分布的權(quán)值函數(shù)來消除數(shù)碼相機(jī)中傳感器帶來的圖像噪聲，優(yōu)化相機(jī)響應(yīng)函數(shù)的標(biāo)定結(jié)果，但研究沒有解決相機(jī)響應(yīng)函數(shù)標(biāo)定存在的病態(tài)問題。

本研究針對(duì)相機(jī)響應(yīng)函數(shù)存在的病態(tài)問題，在Sobolev空間[16-18]中，討論了不同正則算子形式下獲得的相機(jī)響應(yīng)函數(shù)的穩(wěn)定性，根據(jù)實(shí)驗(yàn)結(jié)果驗(yàn)證了正則算子的形式。同時(shí)通過L曲線法確定了正則參數(shù)的選取[19-20]，得到了穩(wěn)定的相機(jī)響應(yīng)函數(shù)。

1 相機(jī)響應(yīng)函數(shù)模型

1.1 相機(jī)的成像原理

當(dāng)使用相機(jī)拍攝景物時(shí)，景物反射的輻射能量進(jìn)入鏡頭，當(dāng)按下快門后，圖像傳感器曝光，光電探測(cè)器受到光子的激發(fā)而釋放出電荷，生成電信號(hào)。電信號(hào)經(jīng)過放大和濾波后被傳送至模/數(shù)轉(zhuǎn)換器(ADC)，經(jīng)ADC信號(hào)采樣、量化將電信號(hào)(模擬信號(hào))轉(zhuǎn)換為數(shù)字信號(hào)，轉(zhuǎn)換后的數(shù)字信號(hào)被輸出到DSP(數(shù)字信號(hào)處理器)中；為了數(shù)據(jù)存儲(chǔ)與傳輸?shù)姆奖悖瑪?shù)字信號(hào)編碼壓縮為不同的圖像格式[21]，其原理如圖1所示。

圖1 相機(jī)成像原理Fig.1 The principle of camera imaging

1.2 建立數(shù)學(xué)模型

通過一系列曝光量不同的圖像來確定圖像傳感器所接收的輻射通量Ф與圖像灰度Z之間映射關(guān)系，建立成像系統(tǒng)響應(yīng)模型。

Z=f(ΦΔt)

(1)

式中：Z為圖像灰度，Ф為成像系統(tǒng)中圖像傳感器所接受的輻射通量，t為相機(jī)的曝光時(shí)間，f為圖像傳感器所接受的輻射通量與圖像灰度之間的映射關(guān)系，也稱之為相機(jī)響應(yīng)函數(shù)。相機(jī)響應(yīng)函數(shù)是成像系統(tǒng)在實(shí)際成像過程中所受到的各種線性與非線性關(guān)系(如非線性動(dòng)態(tài)范圍的壓縮與量化)的總和。

假設(shè)f單調(diào)，則f可逆，對(duì)f逆變換并取對(duì)數(shù)，為了簡(jiǎn)化方程，令g=lnf-1

g(Zij)=lnΦi+ln Δtj

(2)

2 相機(jī)響應(yīng)函數(shù)標(biāo)定

2.1 相機(jī)響應(yīng)函數(shù)標(biāo)定的最小二乘法

對(duì)于式(2)所確定的相機(jī)響應(yīng)函數(shù)模型，采用經(jīng)典最小二乘法求解，得到公式(3)。

g^(z)=arg min∑i∑jw(Zij)g(Zij)-ln Φi-lnΔtj2

(3)

隨著曝光時(shí)間的改變，曝光時(shí)間較短或較長(zhǎng)時(shí)獲得的圖像中存在許多曝光不足或過度曝光的像素點(diǎn)，使得這些像素點(diǎn)的灰度偏小或偏大，所以引入加權(quán)函數(shù)以減小此類像素點(diǎn)在求解過程產(chǎn)生的影響，如式(4)所示。當(dāng)圖像序列為4幅曝光時(shí)間不同的圖像時(shí)，圖2(a)表示各灰度的權(quán)值。

(4)

式中：Zmid取圖像像素灰度的中間值128，k為圖像序列的圖像個(gè)數(shù)，曝光時(shí)間的增加或減小會(huì)使圖像中存在的過度曝光或者曝光不足問題加劇。

由于相機(jī)響應(yīng)函數(shù)模型所確定的方程組的條件數(shù)為1.25×103(條件數(shù)接近1穩(wěn)定，數(shù)值越大穩(wěn)定性越差)，說明該模型存在較強(qiáng)的復(fù)共線性，相機(jī)響應(yīng)函數(shù)模型存在病態(tài)問題，所以最小二乘法一般不能得到滿意的結(jié)果，如圖2(b)所示。

(a) 權(quán)值函數(shù)

(b) 最小二乘法獲得的相機(jī)響應(yīng)函數(shù)圖2 權(quán)值函數(shù)和最小二乘法求解Fig.2 The function of weight and CRF calculated by least squares method

2.2 相機(jī)響應(yīng)函數(shù)定標(biāo)的正則化方法

由于相機(jī)響應(yīng)函數(shù)模型存在病態(tài)問題，使得最小二乘法不能獲得穩(wěn)定的解。而索伯列夫空間具有良好的收斂性和光滑性，把求解限制在索伯列夫空間則可能解決病態(tài)問題，在式(3)中加入索伯列夫空間正則項(xiàng)得到。

g^

(5)

取p=2。λ為正則參數(shù)，是一個(gè)大于零的實(shí)數(shù)，通過調(diào)節(jié)λ的大小可以得到穩(wěn)定的近似解

g^

(z)λ。mg(Z)稱為正則算子，是在Sobolev空間中定義的微分算子(弱導(dǎo)數(shù))。

3 正則算子和正則參數(shù)選取

在正則化方法中正則算子和正則參數(shù)的選取對(duì)相機(jī)響應(yīng)函數(shù)的標(biāo)定結(jié)果有著至關(guān)重要的作用。實(shí)驗(yàn)使用Canon EOS 600D獲取圖像序列，感光度固定為100，曝光補(bǔ)償為0，光圈大小為f/8，曝光時(shí)間為30、15、8、4、2、1、1/2、1/4、1/8、1/15、1/30、1/60 s。研究共選取了6個(gè)室內(nèi)場(chǎng)景，包括日光環(huán)境、電光環(huán)境和混合環(huán)境，獲得6組圖像序列。

3.1 正則算子分析

以圖像序列的紅色通道為例，圖3為最小二乘法和正則化方法獲得的相機(jī)響應(yīng)函數(shù)。由圖3可知，正則化方法獲得的相機(jī)響應(yīng)函數(shù)解決了響應(yīng)函數(shù)模型的病態(tài)問題，穩(wěn)定性得到顯著提高。

使用累積相鄰點(diǎn)差值絕對(duì)值之和描述相機(jī)響應(yīng)函數(shù)的光滑性，差越小表示曲線越光滑，如公式(6)所示。

σ=1Zmax∑Zmax-1z=1(g^(Z)-g^(Z-1))

(6)

當(dāng)正則算子m=1時(shí)，6組圖像序列獲得的相機(jī)響應(yīng)函數(shù)的光滑性的平均值為8.20×10-5，表現(xiàn)最穩(wěn)定且光滑性較好；當(dāng)m=2時(shí)，6組圖像序列獲得的相機(jī)響應(yīng)函數(shù)的光滑性的平均值為12.3×10-5，穩(wěn)定性和光滑性略差；當(dāng)m=3時(shí)，6組圖像序列獲得的相機(jī)響應(yīng)函數(shù)的光滑性的平均值為13.6×10-5，表現(xiàn)最不穩(wěn)定且光滑性較差，如表1所示。可見m取值為1時(shí)，相機(jī)響應(yīng)函數(shù)的光滑性、穩(wěn)定性最優(yōu)。

表1 不同正則算子下相機(jī)響應(yīng)函數(shù)的光滑性Tab.1 Smoothness of CRF under different regular operator 10-5

3.2 正則參數(shù)分析

正則參數(shù)決定了相機(jī)響應(yīng)函數(shù)的殘差和正則項(xiàng)的比例關(guān)系。正則參數(shù)越大，正則項(xiàng)在求解過程中所占比例越大，反之，殘差最小在求解過程中所占比例越大。

(a) 最小二乘法

(b)m=1

(c)m=2

(d) m=3

使用L曲線法確定正則參數(shù)，在對(duì)數(shù)坐標(biāo)圖上以目標(biāo)函數(shù)為橫坐標(biāo)，正則項(xiàng)為縱坐標(biāo)，得到由一系列點(diǎn)構(gòu)成的形狀類似字母L的曲線。定位L曲線上曲率最大的點(diǎn)，即將其拐點(diǎn)對(duì)應(yīng)的λ作為正則參數(shù)的取值。

令

(7)

那么，L曲線的曲率計(jì)算公式為：

(8)

圖4(a)表示L曲線法所繪制的曲線，曲線曲率最大的點(diǎn)對(duì)應(yīng)的正則參數(shù)即為L(zhǎng)曲線法所確定的正則參數(shù)。圖4(b)表示圖4(a)中確定的正則參數(shù)λ=60時(shí)所對(duì)應(yīng)的相機(jī)響應(yīng)函數(shù)。

(a) L曲線

(b) 正則化方法

圖4 L曲線和正則化方法獲得相機(jī)響應(yīng)函數(shù)
Fig.4 L-curve and camera response function obtained by regularization method

4 結(jié) 論

在Sobolev空間中，對(duì)不同正則算子形式下的相機(jī)響應(yīng)函數(shù)的穩(wěn)定性作了分析，確定一階微分算子作為正則算子時(shí)相機(jī)響應(yīng)函數(shù)不僅有良好的光滑性，而且表現(xiàn)出良好的穩(wěn)定性和精確性。在此基礎(chǔ)上又通過L曲線法確定了正則參數(shù)的選取，結(jié)果表明L曲線法可以有效地確定正則參數(shù)的選取。在保證相機(jī)響應(yīng)函數(shù)精確性的前提下，相機(jī)響應(yīng)函數(shù)標(biāo)定的正則化方法可以有效解決相機(jī)響應(yīng)模型中的病態(tài)問題。