梯度域多曝光圖像融合*

(中國(guó)西南電子技術(shù)研究所，成都 610036)

1 引 言

眾所周知,普通成像設(shè)備是無(wú)法捕獲場(chǎng)景中的整個(gè)亮度動(dòng)態(tài)范圍的。即使高端的單反相機(jī)具有擴(kuò)展位寬的記錄能力，但是其內(nèi)部的數(shù)字感光器件仍只有有限動(dòng)態(tài)范圍的接受能力，這限制了普通消費(fèi)級(jí)別的相機(jī)不能在一次曝光中產(chǎn)生真正的高動(dòng)態(tài)范圍(High Dynamic Range,HDR)圖像[1]。有效的解決辦法是利用多張不同曝光的圖像融合成高動(dòng)態(tài)范圍圖像[2]。公認(rèn)的多曝光圖像合成高動(dòng)態(tài)范圍圖像的過(guò)程有3個(gè)步驟,即相機(jī)的標(biāo)定、多曝光圖像合成、動(dòng)態(tài)范圍壓縮。遵循這3個(gè)傳統(tǒng)的步驟，雖然過(guò)程清晰、效果好，但是計(jì)算太繁瑣。首先，相機(jī)的標(biāo)定需要已知相機(jī)的一些參數(shù)，但是在實(shí)際應(yīng)用中，例如圖像是從網(wǎng)上下載的，就無(wú)法得知這些參數(shù)。另外，多曝光圖像合成的目的是為了能夠正常顯示，第二步得到的高動(dòng)態(tài)范圍圖像成了中間結(jié)果，而最終結(jié)果是動(dòng)態(tài)范圍壓縮的低動(dòng)態(tài)范圍(Low Dynamic Range,LDR)圖像。因此，本文將討論如何采用圖像融合的方法直接將多曝光圖像融合成適合顯示的結(jié)果圖像，以避免繁瑣的3個(gè)步驟，使計(jì)算效率更高，實(shí)用性更強(qiáng)。常見的方法是在梯度域融合圖像[3]，較像素域加權(quán)平均像素值的方法更能突出圖像中豐富的邊緣和細(xì)節(jié)信息，更適合人眼觀看。本文在梯度域融合多曝光圖像的基礎(chǔ)上進(jìn)一步改進(jìn)算法，使其能夠融合含運(yùn)動(dòng)景物的圖像，消除多曝光圖像的不一致處。

在獲取多張曝光圖像的過(guò)程中，有曝光時(shí)間和拍攝兩幅圖像之間的間隔時(shí)間，在這段時(shí)間內(nèi)，難免會(huì)出現(xiàn)景物移動(dòng)位置。另一種情況是相機(jī)本身有晃動(dòng)，相機(jī)晃動(dòng)造成圖像之間的差別，需要在融合之前對(duì)圖像進(jìn)行配準(zhǔn)，或者更簡(jiǎn)單的使用三腳架，消除圖像之間的位移。但對(duì)于圖像內(nèi)景物的移動(dòng)，處理更困難。通常的辦法是設(shè)定標(biāo)準(zhǔn)，選擇一幅圖像作為參考圖像，其他圖像中的景物與該參考圖像位置有不同，那么在融合中就消除這些不同位置的景物；或者通過(guò)估算出相機(jī)灰度映射函數(shù)(Intensity Mapping Function,IMF)來(lái)判斷當(dāng)前像素值是否偏離該映射關(guān)系[4],融合時(shí)排除那些偏離映射關(guān)系的像素值，得到的圖像就是一致的，否則,如果不對(duì)移動(dòng)景物采取措施，會(huì)得到存在偽影的圖像，影響視覺(jué)效果，也與真實(shí)場(chǎng)景不符。本文采用選擇一幅圖像作為參考的融合方法，但如何選擇參考圖像是一件困難的事情，困難在于標(biāo)準(zhǔn)難以確定，或者某些情況下，我們希望結(jié)果圖像中存在景物在某個(gè)位置，但是根據(jù)制定的標(biāo)準(zhǔn)而選擇的參考圖像中，景物卻又在另一個(gè)位置。針對(duì)這個(gè)問(wèn)題，本文提出了一種算法，能夠以每一張曝光圖像都作為參考圖像，分別融合成結(jié)果圖像，并且結(jié)果圖像具有相同的高質(zhì)量，也就是看上去沒(méi)有曝光的差別。那么對(duì)于景物的每一個(gè)位置，都有相應(yīng)的融合圖像。

2 算法流程

圖1 算法流程圖Fig.1 The algorithm flow chart

2 基于黎曼幾何梯度域融合

一幅HDR圖像被看作一個(gè)二維曲面，被嵌入到了一個(gè)n維空間中。在二維空間中，HDR圖像I具有坐標(biāo)系統(tǒng)(x1,x2)，那么它就是一個(gè)黎曼流形，用Ω∈2表示這個(gè)二維黎曼流形。HDR圖像同樣可以用多曝光圖像分量表示為(I1,I2,…,In)，每一個(gè)分量是一幅曝光圖像，同樣有坐標(biāo)系統(tǒng)(x1,x2)，那么在這個(gè)n維空間中，HDR圖像就被看作是引入了局部坐標(biāo)系統(tǒng)，因此它也是一個(gè)黎曼流形，用M∈n表示。于是就存在一種映射φ:Ω→M，將(Ω,g)嵌入到(M,h)中，其中g(shù)和h分別表示各自空間的黎曼度量。

二維空間Ω中HDR圖像I的幾何性質(zhì)是由每個(gè)像素在各個(gè)方向的變化所描述的。首先，每個(gè)像素點(diǎn)的全微分可以表示為

(1)

它的平方形式為

(2)

根據(jù)映射關(guān)系φ，度量g可表示為h的拉回[7]：

g=φ*h=JThJ，

(3)

式中：J是φ的雅可比矩陣：

(4)

通常這個(gè)n維特征流形的度量h被假設(shè)是歐幾里德度量δ，是一個(gè)單位矩陣,從而，通過(guò)式(3)～(4)就將多幅圖像融合得到一個(gè)結(jié)構(gòu)張量g。根據(jù)公式(2)，g是半正定的，它的最大特征值λ+和特征方向v+，在指定了正負(fù)號(hào)后，可以構(gòu)造成一個(gè)梯度向量V。通過(guò)解如下的泊松方程，得到融合圖像f[8]:

(5)

式中：n是Ω上的單位法向量，?Ω上的邊界條件為諾依曼條件，Δ是拉普拉斯算子，是梯度算子。

3 消除偽影的梯度域融合

由于多幅圖像中存在景物運(yùn)動(dòng)，造成內(nèi)容的不一致，直接融合會(huì)產(chǎn)生該物體半透明的現(xiàn)象，如圖2(f)所示，影響視覺(jué)效果。一種簡(jiǎn)單有效的解決辦法是對(duì)每幅圖像都找到相應(yīng)的運(yùn)動(dòng)物體，在融合過(guò)程中消除。

圖2 多曝光圖像及出現(xiàn)偽影的融合圖像Fig.2 Multi-exposure images and their fusion image with ghosts

將式(3)和式(4)合并寫為每個(gè)像素上的結(jié)構(gòu)張量：

(6)

式中：w是h對(duì)角線上的元素。很容易想到，只需要將運(yùn)動(dòng)像素位置的w設(shè)置為0，其余為1，就可以做到消除運(yùn)動(dòng)像素的目的。

3.1 偽影的檢測(cè)

偽影是由于多幅圖像內(nèi)容不一致造成的，又因?yàn)閱畏鶊D像相對(duì)于自身是一致的[1]，那么選擇一幅圖像作為參考圖像后，就可以選出其他圖像的差別之處。但是，這種差別不能用減法來(lái)實(shí)現(xiàn)，因?yàn)樗械南袼刂翟谄毓獠煌那闆r下都在變化。理論上，不同曝光圖像像素值之間的關(guān)系是由如下公式表示的：

Ib=F(Ia)=f(f-1(Ia)·e)。

(7)

式中：f是相機(jī)的響應(yīng)函數(shù)，e是與曝光相關(guān)的參數(shù)。公式(7)表達(dá)了像素值之間的關(guān)系是通過(guò)映射函數(shù)F來(lái)定義的，其形狀可以簡(jiǎn)單的通過(guò)聯(lián)合直方圖估計(jì)得到。

聯(lián)合直方圖反映了空間上相應(yīng)像素的值的概率密度分布，它又是一個(gè)矩陣，表示為

對(duì)于喂食，如果寶寶已經(jīng)發(fā)出了明顯的拒絕信號(hào)：不張嘴、扭頭等，就應(yīng)該把他抱下餐椅。這點(diǎn)非常重要，這是在幫寶寶建立良好的用餐習(xí)慣，讓他知道：吃就在，不吃就要離開。如果你不想兩三歲還要每天追在屁股后面喂飯，那么從最開始就應(yīng)該讓孩子知道，這個(gè)時(shí)間、這個(gè)場(chǎng)景，是要來(lái)吃飯的。如果不想吃、吃夠了，就需要離開，離開之后是不會(huì)再吃到食物的。

(8)

式中：Jh就是這個(gè)矩陣；M是圖像中像素的個(gè)數(shù)；p是一個(gè)像素的位置；T[·]是一個(gè)函數(shù)，如果括號(hào)里面的等式成立，就取值1，否則取值0。聯(lián)合直方圖如圖2(g)～(h)所示，圖中像素越亮，表示其概率密度越大。

首先假設(shè)圖像中運(yùn)動(dòng)物體所占的面積遠(yuǎn)遠(yuǎn)小于背景的面積，一般情況下，這個(gè)假設(shè)都成立。那么一對(duì)圖像中大多數(shù)相應(yīng)位置的像素應(yīng)該符合關(guān)系函數(shù)F，在聯(lián)合直方圖中，可以通過(guò)查找最大概率來(lái)確定大多數(shù)的像素對(duì)應(yīng)關(guān)系。對(duì)于圖2(g)中豎直方向上搜索找到最大概率的位置，記錄下來(lái)，描繪如圖3(a)所示，這就是函數(shù)F形狀的估計(jì)。為了獲得F更準(zhǔn)確的估計(jì)，需要將其平滑，并且使得它單調(diào)遞增。在搜索像素對(duì)的過(guò)程中，采用了三步操作：首先，設(shè)置了一個(gè)閾值，那些概率低于10-5的像素對(duì)被去除；其次，相鄰位置Ib的增量不能大于20，如果超過(guò)了這個(gè)閾值，就強(qiáng)制將增量設(shè)置為1；最后，如果Ib在減小，或者增量為負(fù)，就設(shè)置增量為0。獲得的F的估計(jì)顯示于圖3(b)中的藍(lán)色線，而紅色線是對(duì)反函數(shù)F-1的估計(jì)。上述兩個(gè)閾值的精確值很難確定，因此它們被設(shè)置得很寬松，設(shè)置這兩個(gè)值是要消除那些明顯的錯(cuò)誤。

(a)對(duì)每一個(gè)Ia，具有最大概率的像素對(duì)圖示

(b)對(duì)圖(a)的改善圖3 多曝光圖像間像素值映射關(guān)系曲線Fig.3 The mapping curve between pixels in multi-exposure images

因?yàn)楹瘮?shù)F的輸入值是離散的，輸出值Ib很可能沒(méi)有包含所有的像素值。通常的做法是對(duì)Ib進(jìn)行插值，但是插值的方法在這里可能會(huì)擴(kuò)大估計(jì)的誤差。一種更實(shí)用的方法是獲取函數(shù)F的逆函數(shù)：

Ia=F-1(Ib)。

(9)

過(guò)程與前面相同，除了它是在圖2(g)的水平方向上搜索。獲得的F-1估計(jì)顯示于圖3(b)的紅色線。這兩條線幾乎完全一致，這也說(shuō)明了該估計(jì)算法是有效的。

由此建立了任意兩張圖像的映射關(guān)系，如果某像素值違反了這種映射關(guān)系，就被認(rèn)為是偽影像素。許多算法[9-11]提出要選取最佳曝光圖像作為參考圖像，但是本算法可以選取任意圖像作為參考圖像，并且結(jié)果圖像具有相同的高質(zhì)量，因此更具有魯棒性。對(duì)圖2(a)～(e)檢測(cè)到的偽影區(qū)域顯示于圖4中，圖2(c)被選作參考圖像。

圖4 多曝光圖像偽影圖Fig.4 The ghost maps of multi-exposure images

3.2 融合算法

為消除偽影，簡(jiǎn)單的辦法是設(shè)置式(6)中的融合權(quán)值w為0。得到的結(jié)構(gòu)張量g，如第2節(jié)所述，可以分解構(gòu)成梯度向量V：

(10)

3.3 梯度域動(dòng)態(tài)范圍壓縮

由以上步驟得到的融合圖像是HDR圖像，不適合正常顯示，還需要將它壓縮成LDR圖像。采用一種直接對(duì)梯度進(jìn)行修改的方法[3]，在多尺度上削減梯度大小來(lái)達(dá)到壓縮動(dòng)態(tài)范圍的目的。但是并不像通常的方法那樣構(gòu)造多分辨序列，所有的操作都是在全分辨下完成的，運(yùn)算效率非常高。

梯度大小可以表示為|V|=|Vx1|+|Vx2|，削減梯度大小的操作在這兩個(gè)分量獨(dú)立進(jìn)行：

(11)

高尺度的梯度從上次修改后的梯度得到：

(12)

式中：N=2l+1，l表示尺度，Avg是均值濾波核，上標(biāo)T表示轉(zhuǎn)置，*表示卷積運(yùn)算。

通過(guò)迭代運(yùn)算式(11)和式(12)實(shí)現(xiàn)多尺度梯度修改,其中，l=1,2,…,9表示使用了9個(gè)尺度。最后解泊松方程(5)，得到融合的LDR圖像。圖2(a)～(e)的融合圖像顯示于圖5(a)，其中圖2(c)被選作參考圖像?？梢钥吹?，融合圖像中沒(méi)有偽影出現(xiàn)。到目前為止，所有操作都是在圖像亮度分量上進(jìn)行的，下一節(jié)將討論如何恢復(fù)色彩信息。

圖5 多曝光圖像融合結(jié)果Fig.5 The fused result of multi-exposure images

4 色彩復(fù)原

4.1 色彩的融合

圖像的色彩信息是在每個(gè)像素上簡(jiǎn)單地通過(guò)輸入圖像的加權(quán)平均得到的。RGB圖像的色彩分量是高度相關(guān)的，如果每個(gè)分量分別采用不同操作，那么很容易造成色彩偏差。因此，對(duì)于每個(gè)像素的3個(gè)色彩分量，它們的權(quán)值是相等的。權(quán)值計(jì)算為

(13)

式中：ω表示權(quán)值，Ik是第k幅曝光圖像的亮度通道值。ε是一個(gè)很小的數(shù)，它使得ω非奇，Ik在[0,1]范圍上。

色彩融合同樣需要避免偽影。在融合計(jì)算中，同樣使用前面得到的偽影檢測(cè)圖來(lái)作為權(quán)值。融合色彩圖計(jì)算為

(14)

式中：C=R,G,B表示輸出的3個(gè)色彩分類;Cin表示輸入;偽影點(diǎn)m=0，其他情況下m=1。

4.2 對(duì)融合圖像的色彩復(fù)原

Fattal等人[12]提出了一種色彩復(fù)原的方法，根據(jù)每個(gè)色彩分量與亮度值的原始比值來(lái)恢復(fù)色彩值。色彩的復(fù)原計(jì)算為

(15)

用上式的色彩復(fù)原方法會(huì)在圖像亮度取值范圍的高端和低端出現(xiàn)色彩異常。因?yàn)樵谑苓\(yùn)動(dòng)偽影影響的區(qū)域中使用了沒(méi)曝光好的圖像信息來(lái)融合，然后出現(xiàn)的色彩異常會(huì)被式(15)放大。例如，讓C等于(1，2，3)表示一個(gè)曝光不好區(qū)域中記錄的像素色彩，這時(shí)色彩的偏差還看不出來(lái)，因?yàn)樗鼛缀跏呛谏摹Ｈ绻麎嚎s后的LDR圖像的灰度值f=10，并且讓?duì)?1，那么計(jì)算的輸出Cout將等于(25，50，75),這時(shí)色彩的偏差就很明顯了。

為了控制色彩偏差放大的程度，一種有效的途徑是分別用減法和加法來(lái)替代除法和乘法。矯正后的色彩復(fù)原計(jì)算為

Cout=(C-Y)β+f。

(16)

這時(shí)，前面所述例子的輸出Cout就等于(49，50,51),3個(gè)分量之間的差距被保持住了。這個(gè)像素呈現(xiàn)灰色，色彩上的偏差仍然保持看不出來(lái)。

5 實(shí)驗(yàn)結(jié)果及分析

圖6和圖7顯示了存在運(yùn)動(dòng)物體的不同場(chǎng)景的多曝光圖像的融合實(shí)驗(yàn)結(jié)果。所有實(shí)驗(yàn)中，色彩復(fù)原使用的參數(shù)β都設(shè)置為0.7。

圖6 與其他算法融合結(jié)果對(duì)比Fig.6 Results comparison with other methods

圖7 分別以圖2(a)～(e)作為參考圖像得到的融合結(jié)果Fig.7 The result images taking Fig. 2(a)～(e) as references respectively

圖6顯示了本文的結(jié)果與其他兩種算法[10-11]的對(duì)比。Heo[10]同樣采用選取參考圖的方法，使用聯(lián)合柱狀圖設(shè)置閾值來(lái)選取候選偽影像素點(diǎn)，再使用了一個(gè)最小能量方法來(lái)提煉和改善偽影區(qū)域。本文提出的算法在偽影區(qū)域檢測(cè)之前就要改善像素值映射曲線，避免了耗時(shí)的最小能量計(jì)算，更重要的是，檢測(cè)錯(cuò)誤會(huì)在梯度域融合中得到容忍。Gallo[11]提出選取最佳曝光圖像作為參考圖，然后將圖像進(jìn)行分塊融合。本文方法可以選取任意圖像作為參考圖，避免了“最佳曝光圖像”的定義不明確性。本文結(jié)果圖6(c)中的天花板看起來(lái)要比(b)清楚得多，(c)中的地板磚的紋路、顏色等細(xì)節(jié)看起來(lái)都要比(a)清楚得多?？梢哉f(shuō)本文算法的結(jié)果能清楚地呈現(xiàn)場(chǎng)景中的所有細(xì)節(jié)，每個(gè)位置顯示出具有最好的曝光。

本算法的先進(jìn)之處在于，無(wú)論選取哪張?jiān)磮D像作為參考圖像，都能獲得相同高質(zhì)量的結(jié)果圖像，這一點(diǎn)顯示于圖7中，除了有無(wú)運(yùn)動(dòng)物體的差別，這些結(jié)果圖像幾乎完全相同。在實(shí)際操作中，每張曝光圖像都有可能包含我們想要的運(yùn)動(dòng)物體，另一方面，要自動(dòng)或手動(dòng)地確定一張最佳圖像作為參考圖像也不是件容易的事情。因此，本算法具有魯棒性，無(wú)論哪幅圖像都可以作為參考圖像，都能夠有效得到高質(zhì)量的結(jié)果。

本算法比Heo等人[10]的方法更有效率，未優(yōu)化的Matlab程序在裝有Intel 3.4 GHz頻率CPU的PC條件下處理這些圖像中的一幅大約需要20 s，而Heo等人實(shí)現(xiàn)其算法的[10]C++程序在相同PC條件下卻需要花費(fèi)6.5 min。

6 結(jié)束語(yǔ)

本文提出了一種新穎的融合多曝光動(dòng)態(tài)圖像的方法。與現(xiàn)有文獻(xiàn)中在像素域選擇特定參考圖像的融合方法不同，本方法在梯度域融合圖像可以選取任意圖像作為參考圖像，并準(zhǔn)確地檢測(cè)每張圖像中運(yùn)動(dòng)物體，在融合過(guò)程中將其有效移除。本算法實(shí)用性較好，使用時(shí)所有參數(shù)設(shè)置為默認(rèn)值，任意選擇一幅圖像作為參考圖像，都能自動(dòng)地將輸入圖像序列轉(zhuǎn)化成一張效果較好的結(jié)果LDR圖像輸出。實(shí)驗(yàn)顯示結(jié)果圖像具有較好的質(zhì)量，適合顯示和觀看，具備輸入圖像中所有曝光較好區(qū)域的細(xì)節(jié)信息。

選擇參考圖像的方法固有一種限制，那些與背景對(duì)比度較大的景物容易檢測(cè)到，而那些與背景相似的景物卻難以準(zhǔn)確地檢測(cè)到。進(jìn)一步可以研究一種不需要選擇參考圖的方法，認(rèn)為多幅圖像中一致區(qū)域的概率較大，而運(yùn)動(dòng)區(qū)域的概率較小，迭代選取概率較大的區(qū)域得到融合圖像。這樣做的好處是，即使所有圖像中都存在運(yùn)動(dòng)物體，結(jié)果圖像中也可以完全消除該物體，而選取參考圖像的方法就做不到。如何做到多曝光圖像融合達(dá)到一致性，目前尚未出現(xiàn)理論和實(shí)際應(yīng)用公認(rèn)的最佳方法，未來(lái)仍然會(huì)是高動(dòng)態(tài)范圍圖像處理領(lǐng)域的重要研究方向。

：

[1] REINHARD E,WARD G,PATTANAIK S,et al.High dynamic range imaging:acquisition,display,and image-based lighting[M].2nd ed. Burlington,MA,USA:Morgan Kaufmann,2010.

[2] DEBEVEC P,MALIK J.Recovering high dynamic range radiance maps from photographs[C]//Proceedings of 1997 International Conference on Computer Graphics and Interactive Techniques.Los Angeles,CA,USA:IEEE,1997:369-378.

[3] GU B,LI W,WONG J,et al.Gradient field multi-exposure images fusion for high dynamic range image visualization[J].Journal of Visual Communication and Image Rrepresentation,2012,23(4):604-610.

[4] MA K,LI H,YONG H,et al.Robust multi-exposure image fusion:a structural patch decomposition approach[J].IEEE Transactions on Image Processing,2017,26(5):2519-2532.

[5] ZENZO S. A note on the gradient of a multi-image[J].Computer Vision,Graphics,and Image Processing,1986,33(1):116-125.

[6] CUMANI A. Edge detection in multispectral images[J].Graphical Models and Image Processing,1991，53(1):40-51.

[7] SOCHEN N,KIMMEL R,MALLADI R. A general framework for low level vision[J].IEEE Transactions on Image Processing,1998,7(3):310-318.

[8] SOCOLINSKY D. A variational approach to image fusion[D].Washington DC:The Johns Hopkins University,2000.

[9] GROSCH T. Fast and robust high dynamic range image generation with camera and object movement[C]//Proceeding of 2006 Vision,Modeling and Visualization Conference. Aachen,Germany:IEEE,2006:277-284.

[10] HEO Y,LEE K,LEE S,et al.Ghost-free high dynamic range imaging[C]//Proceedings of 2010 Asian Conference on Computer Vision(ACCV). Heidelberg，Berlin:Springer,2010:486-500.

[11] GALLO O,GELFAND N,CHEN W,et al.Artifact-free High dynamic range imaging[C]//Proceeding of 2009 IEEE International Conference on Computational Photography(ICCP). Houston,TX:IEEE,2009:1-7.

[12] FATTAL R,LISCHINSKI D,WERMAN M.Gradient domain high dynamic range compression[J].ACM Transactions on Graphics,2002,21(3):249-256.