基于雙邊伽馬校正的保亮度圖像增強方法

胡 鈺 李甜甜 黃梁松 李玉霞

(山東科技大學電氣與自動化工程學院 山東 青島 266590)

0 引 言

保亮度圖像增強方法在消費電子產(chǎn)品中有著廣泛的用途，比如電視視頻信號為了避免視覺效果失真，在圖像增強過程中會盡量保持視頻序列的亮度不變。傳統(tǒng)的直方圖均衡化方法具有輸出圖像亮度與輸入圖像亮度無關的特點，使得經(jīng)過該方法增強后的圖像往往出現(xiàn)“過增強”或“偽影”現(xiàn)象，破壞了圖像固有的自然效果，相應地限制了該方法在消費電子產(chǎn)品中的應用[1-8]。針對傳統(tǒng)直方圖均衡化方法(CHE)的如上缺點，近年來國際上不斷提出改進方法[1-8]。1997年，Kim提出雙邊直方圖均衡化方法(BBHE)[8]；1999年，Wang提出等區(qū)域二元子圖直方圖均衡化方法(DISHE)[7]；2003年，Chen提出迭代均值分割直方圖均衡化方法(RMSHE)[6]和最小亮度差雙邊直方圖均衡化方法(MMBEBHE)[5]；2005年，Wang從變分的角度提出最大熵亮度保持直方圖均衡化方法(BPHEME)[3]；2007年，Menotti提出多直方圖均衡化方法(MHE)[1]。上述直方圖均衡化思想方法的共同點是通過尋找某種約束下的一個或多個直方圖分隔點來實現(xiàn)圖像的保亮度，借助直方圖均衡化方法固有的對比度拉伸特性來提高圖像對比度。基于直方圖均衡化思想[10-20]的圖像增強方法存在兩個局限性：其一，根據(jù)整幅圖像或局部圖像的灰度統(tǒng)計特性來調(diào)整圖像亮度，而忽視中心像素點與其鄰域像素點的空間相關性，因此容易導致圖像“過增強”現(xiàn)象；其二，該類方法是在空間域增強，在確定直方圖分割點后，難以在灰度級子圖內(nèi)利用直方圖均衡化同時增強對比度和保圖像亮度[9]。

傳統(tǒng)的伽馬校正通常會改變輸入圖像的亮度且難以同時在過暗和過亮區(qū)域同時取得良好的增強效果。本文設計的雙邊伽馬校正曲線，在空域能夠同時改善輸入圖像中的過暗區(qū)域和過亮區(qū)域視覺效果。多尺度圖像分解能夠使得圖像亮度和細節(jié)單獨處理，其中決定圖像的亮度信息主要集中在低頻，細節(jié)信息主要集中在高頻[21]。基于上述兩點，本文提出一種空域頻域相結合的保亮度圖像增強方法。首先在空域將輸入的圖像進行雙邊伽馬校正，然后對雙邊伽馬校正所生成的兩幅圖像進行多尺度圖像融合[11]，其中在低頻子帶圖像采用加權平均融合規(guī)則以保圖像亮度，在高頻子帶圖像采用平均選擇融合規(guī)則以突出細節(jié)。

1 方法設計

1.1 系統(tǒng)框架

伽馬校正通常會改變輸入圖像的亮度[13]，而圖像融合方法則要求輸入多幅圖像[11]，因此伽馬校正或圖像融合方法很少用于保亮度的圖像增強。本文首先根據(jù)伽馬校正設計了雙邊伽馬校正曲線，然后將雙邊伽馬校正與多尺度圖像融合方法相結合用于保亮度圖像增強。圖1是本文方法的流程圖。

圖1 本文方法的流程圖

1.2 雙邊伽馬校正曲線設計

伽馬校正已經(jīng)廣泛地應用于改善光照不均勻的退化圖像[12-13]，其簡化形式表示為：

g(u)=uγ

(1)

式中：u是灰度值，γ是伽馬值。鑒于不同γ的伽馬校正曲線對亮區(qū)域和暗區(qū)域的改善效果不同，本文設計了雙邊伽馬校正曲線。

1.2.1曲線段特性分析

圖2(a)表明，γ<1時，曲線OAB使得每個灰度級(除兩端點)的亮度都得到了提升，有利于提高過暗區(qū)域的亮度；圖2(b)表明，γ>1時，曲線OAB使得(除兩端點)每個灰度級的亮度都得到了衰減，有利于抑制過亮區(qū)域的亮度增加。

(a)(b)圖2 伽馬值γ對亮度和對比度的影響

文獻[14]給出了兩像素點間的對比度定義為:

(2)

式(2)直觀地表明在亮度差Ii-Ij不變的情況下，背景亮度的增加使得圖像對比度下降，視覺效果變差。事實上在亮度差不變的條件下對過暗區(qū)域進行亮度提高后，人眼通常會觀察到更多的細節(jié)信息，視覺效果反而得到提高，其原因可用人眼視覺系統(tǒng)的亮度閾值效應曲線[15]給予解釋：在低灰度區(qū)間，灰度的增加將使得臨界可見偏差JND降低，因此在經(jīng)過背景亮度提高后的過暗區(qū)域人眼通常會觀察到更多的細節(jié)信息。

在圖2(a)中，點A是曲線斜率為1的點，其坐標為(ua,g(ua))。假定圖像中過暗區(qū)域灰度值在[0,xa]內(nèi)，由于圖2(a)中曲線段OA的斜率大于1，所以曲線段OA提高了灰度值在[0,xa]內(nèi)過暗區(qū)域的亮度和梯度值，抑制了背景亮度提高引起的對比度衰減。此外，亮度閾值曲線影響，曲線段OA使得過暗區(qū)域更多的細節(jié)將被顯示。

在圖2(b)中，點A是曲線斜率等于1的點，其對應坐標記為(ua,g(ua))。圖2(b)中曲線段AB使得灰度值介于[ua,1]內(nèi)的過亮區(qū)域的亮度降低，另一方面該曲線段的斜率大于1使得相鄰像素間的亮度差Ii-Ij提高，兩者共同提高了對比度。

上述分析表明，圖2(a)的曲線段OA適用于過暗區(qū)域的亮度提高和對比度增強，從而改善過暗區(qū)域的視覺效果；圖2(a)的曲線段AB顯然會使得灰度值在[ua,1]內(nèi)的區(qū)域亮度增加，同時削弱該區(qū)域的對比度，從而導致該區(qū)域的視覺效果惡化。圖2(b)的曲線段OA部分，顯然使得灰度值在[0,ua]內(nèi)的區(qū)域亮度降低，同時削弱其圖像對比度，從而造成該區(qū)域的視覺效果惡化；圖2(b)的曲線段AB抑制了灰度值分布在區(qū)間[ua,1]內(nèi)的過亮區(qū)域的亮度，提高了該區(qū)域的圖像對比度，從而改善了該區(qū)域的圖像視覺效果。表1是伽馬校正曲線段對不同亮度區(qū)域增強效果的總結。

表1 伽馬校正曲線段對亮度區(qū)域的改善效果

1.2.2伽馬值γ的確定

確定伽馬校正曲線的關鍵步驟是確定伽馬值γ。圖2中，點A是伽馬校正曲線斜率為1的點。不同的伽馬校正曲線對應的點A位置不同；反之，給定點A的位置也就唯一地確定了伽馬校正曲線。因此可通點A來間接地確定伽馬校正曲線。根據(jù)式(1)求得導數(shù)為:

g′(u)=ruγ-1

(3)

令g′(u)u=u0=g′(u0)=1,則可導出u0關于γ的函數(shù)為:

(4)

該公式表明在已知u0條件下可求解出γ。

1.2.3參數(shù)值u0的確定

參數(shù)值u0的確定通過估計過暗區(qū)域和過亮區(qū)域的灰度值分布范圍來完成。若γ<1，理想的u0值使得[0,u0]盡可能地覆蓋過暗區(qū)域的灰度值范圍，且其取值盡可能?。蝗籀?1，理想的u0值使得[u0,1]盡可能地覆蓋過亮區(qū)域的灰度值分布范圍，且其取值盡可能大。本文給出兩種估計參數(shù)值u0的策略：

(1) 預先設定策略。由場景明暗區(qū)域的大致灰度區(qū)間分布預先設定參數(shù)值u0；

(2) 直方圖統(tǒng)計策略。根據(jù)圖像的灰度統(tǒng)計直方圖，找出過暗區(qū)域和過亮區(qū)域的灰度值分界點來確定參數(shù)值u0。

1.2.4設計流程

綜上所述，雙邊伽馬校正曲線的設計流程歸納為：首先在γ<1條件下，確定用于改善過暗區(qū)域的u0值；在γ>1條件下，確定用于改善過亮區(qū)域的u0值。然后根據(jù)式(4)確定出一組伽馬值(對應兩條伽馬校正曲線)，最終生成同時改善圖像中過暗區(qū)域和過亮區(qū)域視覺效果的雙邊伽馬校正曲線。

1.3 雙邊伽馬校正后圖像的融合處理

表1表明雙邊伽馬校正所生成的兩幅圖像中視覺效果改善和視覺惡化均存在，且雙邊伽馬校正改變了輸入圖像的亮度。因此，優(yōu)化兩者視覺效果和保亮度需要對圖像進行融合處理。在空域將伽馬校正所生成的兩幅圖像進行加權平均圖像融合會造成圖像對比度下降，因此本文后端采用基于頻率思想的多尺度圖像融合處理方法。

多尺度圖像融合優(yōu)勢在于它將圖像分解到不同的頻率域，在不同的頻率域運用不同的融合規(guī)則，使得融合圖像保留了輸入圖像在不同頻率域的顯著特征[11]。通常在多尺度分析中，圖像的低頻分量集中了圖像的絕大部分能量，低頻分量決定圖像亮度，高頻分量決定圖像細節(jié)[19]。因此本文方法首先利用多尺度分解實現(xiàn)雙邊伽馬校正后圖像的亮度和細節(jié)相分離，然后根據(jù)亮度和細節(jié)的優(yōu)化目標設計不同的融合規(guī)則，具體如下：

假定fA表示輸入圖像，其圖像均值記為mA；fB和fC分別表示經(jīng)雙邊伽馬校正生成的兩幅校正圖像，其均值分別記為mB和mC。將fB和fC進行N層多尺度分解成具有兩個多尺度圖像序列fNB和fNC：

fNX={fk,LXfk,HzX}k=1,2,…，N；X={B,C}

(5)

式中：fk,LX為第k層上的低頻子帶圖像，fk,HzX為第k層上第z方向上的高頻子帶圖像。

若多尺度分解方法是拉普拉斯塔形分解(每一層包含兩個子空間)，則式(5)可改寫為：

fNX={fk,LXfk,HX}k=1,2,…，N；X={B,C}

(6)

若多尺度分解方法是小波分解(每一層包含四個子空間)，則式(5)可改寫為:

fNX={fk,LLX,fk,LHX,fk,HLXfk,HHX}k=1,2,…,N；X={B,C}

(7)

由于本文方法與多尺度分解方法具有相同的基本思路，所以統(tǒng)一采用式(5)作為基本形式進行闡述。

為了保持輸入圖像亮度，本文采用如下加權平價融合規(guī)則融合低頻子帶圖像fN,LB和fN,LC,記融合后的低頻子帶圖像fN,LF為：

fN,LF=α·fN,LB+β·fN,LC

(8)

為了突出圖像細節(jié)，本文采用Burt提出的平均選擇融合規(guī)則[16]融合高頻子帶圖像fk,HzB和fk,HzC。計算融合后高頻子帶圖像fk,HzF的步驟如下:

(9)

(10)

(11)

(12)

2 實 驗

2.1 評價指標

本文采用主觀視覺效果和客觀圖像質量評價指標來綜合評價保亮度圖像增強方法。本文采用亮度B、亮度差BD、平均局部標準差MLSD作為客觀評價指標[1]，具體內(nèi)容如下：

亮度B在保亮度圖像增強方法中用圖像平均灰度值來表征[1,8]，因此亮度差BD也可以用輸出圖像和輸入圖像的平均灰度差絕對值來表征。若BD值越小，表明輸出圖像對應的增強方法保亮度性能越優(yōu)，反之越差。

通?！斑^增強”圖像具有較大的MLSD值，因此在不發(fā)生“過增強”基礎上討論MLSD指標才具有意義。在不發(fā)生“過增強”前提下，MLSD值越大表明其局部對比度越好，其中MLSD指標定義為：

(13)

2.2 實驗結果及分析

本文以四幅不同亮度的標準圖像[17]作為輸入圖像設計了兩組實驗。實驗中的四幅圖像分別被命名為Carnev、House、Barch和Flash，它們的平均灰度值分別為20.085、159.338、126.593、91.617。為了與其他算法進行比較，我們采用了CHE、BBHE、DSIHE、MMBEBHE、RMSHE(r=2)、BPHEME等不同的算法以及我們提出的算法對圖像進行增強。

在我們提出的圖像增強方法中，實驗過程分為兩個步驟。第一步是雙伽馬矯正的過程，采用預先設定策略分別在r<1條件下，取u0=0.2；在r≥1條件下，取u0=0.5。第二步是多尺度圖像融合的過程，采用拉普拉斯金字塔分解[12]將雙伽馬校正后的圖像分解為三層，然后進行融合，在高頻子帶圖像融合過程中，滑動窗口的尺寸為3×3。

圖3-圖6反映了四組實驗的結果，表2-表5中顯示B、BD和MLSD值，可作為評價圖像處理效果的評價標準。

分析結果如下：

1) 在過增強方面。我們可以通過視覺來判斷過增強，在圖3中BBHE、DSIHE、MMBEBHE和RMSHE四種增強方法均出現(xiàn)明顯的“過增強”現(xiàn)象；而基于HE方法所得到的圖像在圖4、圖5和圖6中都產(chǎn)生了圖像過度增強，因為圖4-圖6比圖3的平均灰度值大，所以圖4、圖6的過增強不明顯。但是在圖3-圖6中本文方法均沒有出現(xiàn)“過增強”現(xiàn)象，表明本文方法能夠抑制“過增強”現(xiàn)象。

2) 在亮度保持方面。由于BD反映了兩幅圖像的亮度差異，因此BD是判斷圖像亮度保存效果的最直接標準。我們可以看到在表2、表3、表4、表5中BD值分別為0.119、0.011、0.020和0.290，遠小于其他方法。實驗結果表明，無論圖像的平均灰度值大小，該方法都具有良好穩(wěn)定的亮度保持性能。

3) 在“過增強”和 保亮度前提下分析MLSD。MLSD能夠反映局部區(qū)域對比度的變化，MLSD值越大，越容易產(chǎn)生圖像的邊緣，因此MLSD值越大越好。我們可以從表2到表5中看到本方法的MLSD值分別為42.919、48.390、42.051和52.476，雖然這些值不全是每組中最大的值，但是它們是較大的值之一，實驗表明，本文方法沒有發(fā)生“過增強”且有效保亮度，其指標大約1.5倍于輸入圖像的MLSD指標，表明本文方法能夠增強輸入圖像細節(jié)。

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖3 輸入圖像名為“Carnev”的視覺效果對比

方法BBDMLSD輸入圖像20.08524.440CHE142.722122.63745.733BBHE47.16827.08349.498DSIHE65.93945.85464.138MMBEBHE45.29425.20941.563RMSHE(r=2)28.8498.76437.680BPHEME21.8601.77513.905本文方法19.9660.11942.919

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖4 輸入圖像名為“House”的視覺效果對比

方法BBDMLSD輸入圖像159.33841.796CHE128.63530.70362.046BBHE151.8587.48063.478DSIHE148.76810.57064.232MMBEBHE160.3080.97051.185RMSHE(r=2)162.6623.32452.923BPHEME160.2230.88559.715本文方法159.3490.01148.390

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖5 輸入圖像名為“Barch”的視覺效果對比

方法BBDMLSD輸入圖像126.59338.801CHE128.6432.05057.806BBHE146.16919.58055.667DSIHE137.02110.43057.615MMBEBHE127.6451.05057.847RMSHE(r=2)137.14510.55051.900BPHEME127.7961.20057.855本文方法126.6080.02042.051

(a) 輸入圖像(b) CHE

(c) BBHE(d) DSIHE

(e) MMBEBHE(f) RMSHE(r=2)

(g) BPHEME(h) 本文方法圖6 輸入圖像名為“Flash”的視覺效果對比

方法BBDMLSD輸入圖像91.61744.573CHE134.10542.49043.456BBHE117.26625.65046.826DSIHE116.63625.02046.649MMBEBHE102.22510.61054.971RMSHE(r=2)103.85012.23049.801BPHEME95.6474.03044.960本文方法91.3260.29052.476

3 結 語

保亮度圖像增強處理本質上是一種在亮度不變約束下的圖像優(yōu)化過程，其優(yōu)化目標是增強圖像對比度(突出細節(jié))，同時避免“過增強”現(xiàn)象。目前國際上的典型方法是借助于改進直方圖均衡化思想進行圖像增強，但直方圖均衡化思想的圖像增強方法存在其固有局限性。

本文方法與其他方法相比的優(yōu)點：與直方圖中“尖峰”處對應的灰度變換曲線相比，雙邊伽馬曲線是相對平滑曲線，不易出現(xiàn)過度灰度拉升，避免了過增強現(xiàn)象。此外，雙邊伽馬曲線也為后端的圖像融合創(chuàng)造了條件，多尺度圖像融合從頻域上實現(xiàn)了亮度和細節(jié)分離，使得亮度和細節(jié)能夠分別融合處理。亮度信息主要集中在低頻，本文采用加權平均融合策略實現(xiàn)保亮度的目標。細節(jié)突出(或對比度增強)與相鄰像素亮度值密切相關，本文方法在融合高頻子帶圖像過程中通過在滑動窗內(nèi)融合，因此充分考慮了像素間的空間相關性。