基于明亮通道先驗(yàn)和Retinex 模型的弱光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)*

顧振飛陳 燦陳 勇孔令民趙 冉

(1.南京信息職業(yè)技術(shù)學(xué)院網(wǎng)絡(luò)與通信學(xué)院，江蘇 南京 210023；2.南京龍淵微電子科技有限公司，江蘇 南京 210000；3.南京郵電大學(xué)物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003；4.中國人民解放軍94826 部隊(duì)，上海 200020)

在弱光照環(huán)境下采集的圖像易于呈現(xiàn)紋理模糊、色彩失真、信噪比下降和對(duì)比度不足等負(fù)面效應(yīng)，而上述效應(yīng)嚴(yán)重干擾了機(jī)器視覺系統(tǒng)對(duì)被測物體的特征提取，從而導(dǎo)致模式識(shí)別、目標(biāo)定位、視覺測量與檢測等主流應(yīng)用的有效性大幅下降[1-3]。因此，對(duì)弱光照?qǐng)D像進(jìn)行增強(qiáng)處理，使其具備與在理想光照條件下所采集的清晰圖像相似的主觀視覺特征和客觀評(píng)價(jià)指標(biāo)，已經(jīng)成為機(jī)器視覺領(lǐng)域的研究熱點(diǎn)之一，具有一定的理論研究與實(shí)際應(yīng)用價(jià)值。

Retinex 模型[4]是弱光照?qǐng)D像增強(qiáng)領(lǐng)域的重要理論基礎(chǔ)之一，即圖像可以被建模為入射光分量和反射特性分量乘積的形式，且物體的真實(shí)色彩不受入射光照干擾而具有恒常性。當(dāng)前，基于Retinex 模型的弱光照?qǐng)D像增強(qiáng)處理核心流程基本相似，即首先估計(jì)出弱光照?qǐng)D像的入射光分量圖，進(jìn)而依據(jù)模型在弱光照?qǐng)D像中剝離入射光分量，并以抽取出的圖像反射特性分量圖作為增強(qiáng)后的弱光照?qǐng)D像。據(jù)此可知，基于Retinex 模型的弱光照?qǐng)D像增強(qiáng)方法的核心之處在于對(duì)弱光照?qǐng)D像的入射光分量進(jìn)行準(zhǔn)確估計(jì)。然而，針對(duì)圖像入射光分量的估計(jì)問題，研究者通常僅利用了入射光的空間平滑性假設(shè)，但單一的約束條件必然導(dǎo)致此類欠定問題的估計(jì)結(jié)果缺乏魯棒性[5]。針對(duì)上述缺陷，基于Retinex 模型的改進(jìn)策略[6-8]被相繼提出，如提高濾波層級(jí)并通過考慮各色彩通道分量之間的比例關(guān)系以提高增強(qiáng)效果的色彩保真性，但此類策略并不能實(shí)質(zhì)約束光照分量的自由度，因而無法完全避免局部失效問題。通過以能量泛函形式表達(dá)Retinex 模型，變分Retinex 模型[5]可以引入更多的圖像統(tǒng)計(jì)規(guī)律作為附加約束條件對(duì)入射光分量進(jìn)行估計(jì)，并將入射光分量的估計(jì)轉(zhuǎn)化為二次規(guī)劃問題進(jìn)行求解。基于變分Retinex 模型，文獻(xiàn)[9]因引入了多種面向梯度分量的圖像先驗(yàn)知識(shí)而具備了較好的紋理細(xì)節(jié)增強(qiáng)能力，文獻(xiàn)[10]利用圖像結(jié)構(gòu)先驗(yàn)對(duì)所估計(jì)出的圖像入射光分量進(jìn)行約束，可以實(shí)現(xiàn)保持細(xì)節(jié)恢復(fù)能力的同時(shí)大幅改善增強(qiáng)后圖像的邊緣結(jié)構(gòu)。然而，約束條件增多必然導(dǎo)致模型復(fù)雜度增加，并進(jìn)而導(dǎo)致相關(guān)增強(qiáng)方法受制于較高的計(jì)算復(fù)雜度[11]。總體而言，Retinex 模型復(fù)雜度低但卻因難以有效約束模型參數(shù)的自由度而導(dǎo)致難以對(duì)入射光分量進(jìn)行準(zhǔn)確估計(jì)，變分Retinex 模型能夠通過增加模型約束項(xiàng)來提高估計(jì)準(zhǔn)確率，但較高的計(jì)算復(fù)雜度使得相關(guān)增強(qiáng)方法普遍缺乏實(shí)時(shí)性。

近年來，隨著機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被引入了機(jī)器視覺領(lǐng)域，如模式識(shí)別、霧霾圖像增強(qiáng)、圖像超分辨率等。在弱光照?qǐng)D像增強(qiáng)領(lǐng)域，文獻(xiàn)[12]結(jié)合了Retinex 模型和卷積神經(jīng)網(wǎng)絡(luò)提出了LNET，該方法利用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)弱光照?qǐng)D像所對(duì)應(yīng)的入射光分量圖，并使用導(dǎo)向?yàn)V波對(duì)估計(jì)結(jié)果進(jìn)行優(yōu)化處理。文獻(xiàn)[13]依據(jù)Retinex理論，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)弱光照?qǐng)D像的入射光分量圖進(jìn)行調(diào)整，并進(jìn)而利用模型得到增強(qiáng)后的圖像。文獻(xiàn)[14]利用了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪框架，提出了一種基于深度自編碼器的從低光圖像中識(shí)別信號(hào)特征并自適應(yīng)增亮圖像的方法，證明了堆疊稀疏去噪自編碼器可以通過自主學(xué)習(xí)對(duì)弱光照?qǐng)D像進(jìn)行增強(qiáng)處理。文獻(xiàn)[15]提出了一種基于雙向生成對(duì)抗網(wǎng)絡(luò)的框架，該方法可以賦予輸入圖像給定的特征，因此也具備了弱光照?qǐng)D像增強(qiáng)能力。上述方法中，結(jié)合圖像增強(qiáng)模型和卷積神經(jīng)網(wǎng)絡(luò)的方法通常具有較好的增強(qiáng)能力，但對(duì)入射光分量圖的后期優(yōu)化處理一定程度上增加相關(guān)方法的計(jì)算復(fù)雜度，而不涉及圖像增強(qiáng)模型的方法則受制于復(fù)雜的前期預(yù)處理或增強(qiáng)力度不足。

據(jù)此，本文結(jié)合明亮通道先驗(yàn)和Retinex 模型，提出了一種弱光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)。相較于現(xiàn)有方法，所提方法結(jié)合Retinex 模型基本定義和圖像先驗(yàn)知識(shí)進(jìn)行弱光照?qǐng)D像入射光分量估計(jì)，克服了單純依據(jù)空間平滑性假設(shè)所導(dǎo)致的弱魯棒性；通過對(duì)入射光分量進(jìn)行多尺度估計(jì)再基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合的方式進(jìn)一步提高了魯棒性。

1 背景知識(shí)

1.1 基于明亮通道先驗(yàn)的Retinex 入射光分量估計(jì)

Retinex 模型[4]具有較為簡潔的數(shù)學(xué)表達(dá)，即依據(jù)該模型可以將待增強(qiáng)弱光照?qǐng)D像分解為入射光分量圖和反射光分量圖的乘積形式，具體如下所示:

式中:I是待增強(qiáng)弱光照?qǐng)D像，L和R分別是I所對(duì)應(yīng)的入射光分量圖和反射光分量圖。

文獻(xiàn)[16]提出的明亮通道先驗(yàn)表明:在理想光照條件下所采集的清晰圖像中的像素在以其為中心的圖像鄰域中至少存在一個(gè)像素的某色彩通道的強(qiáng)度等于(或接近)為1，其數(shù)學(xué)表達(dá)形式如下:

式中:IHD是在理想光照條件下所采集的清晰圖像，c∈{R，G，B}是圖像的RGB 色彩通道索引，Ω(x，y)是以像素(x，y)為中心的圖像鄰域。

基于Retinex 模型和明亮通道先驗(yàn)的基本定義，反射光分量圖R可以被視為增強(qiáng)后的圖像，因而其必然符合明亮通道先驗(yàn)，以及入射光分量必然具有一定的局部相似性，文獻(xiàn)[19]給出了入射光分量的估計(jì)方法如下:

1.2 研究動(dòng)機(jī)分析

通過對(duì)公式(3)的觀察可知，基于明亮通道先驗(yàn)和Retinex 模型，可以對(duì)弱光照?qǐng)D像的入射光分量圖進(jìn)行快速估計(jì)。然而，公式(3)的有效性需要明亮通道先驗(yàn)和入射光分量的局部相似性在相同的鄰域半徑下同時(shí)成立，因而其有效性存在一定的不確定性。產(chǎn)生上述不確定性的原因在于:(1)明亮通道先驗(yàn)如需成立，則需要確保圖像中的每個(gè)像素在其一定范圍的鄰域中存在至少一個(gè)像素的某色彩通道的強(qiáng)度近似為1，因而鄰域Ω(x，y)的尺度越大則明亮通道先驗(yàn)的魯棒性越好；(2)入射光分量的局部相似性如需成立，則需要大幅抑制鄰域Ω(x，y)的尺度，因?yàn)槿肷涔庹赵谳^大范圍內(nèi)必然難以保證一致性。據(jù)此可知，基于公式(3)的弱光照?qǐng)D像的入射光分量圖估計(jì)準(zhǔn)確性取決于鄰域半徑，而真實(shí)圖像中入射光照的復(fù)雜性勢必導(dǎo)致無法確定出適用于所有圖像的鄰域半徑。

為驗(yàn)證上述推論，在圖1 中選取一幅弱光照?qǐng)D像，在鄰域半徑3 至30 時(shí)分別利用公式(3)對(duì)其入射光分量圖進(jìn)行快速估計(jì)，并依據(jù)文獻(xiàn)[19]方法獲得增強(qiáng)效果。通過對(duì)圖1 的觀察可以發(fā)現(xiàn)，在不同的鄰域半徑下，弱光照?qǐng)D像的增強(qiáng)效果之間存在較大差異，當(dāng)鄰域半徑較小時(shí)，僅有入射光分量的局部相似性條件得以滿足，因此增強(qiáng)效果獲得了較強(qiáng)的紋理增強(qiáng)效果，而在明亮通道先驗(yàn)條件不能充分滿足的區(qū)域卻導(dǎo)致了嚴(yán)重的色偏和光暈偽影。當(dāng)鄰域半徑較大時(shí)，僅有明亮通道先驗(yàn)條件得以滿足，因此增強(qiáng)效果獲得了較好的色彩保真性，但因入射光分量的局部相似性條件未能充分滿足而導(dǎo)致了增強(qiáng)力度顯著不足。

圖1 不同鄰域半徑時(shí)基于明亮通道先驗(yàn)的Retinex 方法增強(qiáng)效果對(duì)比圖

2 基于明亮通道先驗(yàn)和Retinex 模型的弱光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)

基于上述分析，本文設(shè)計(jì)了一個(gè)端到端的網(wǎng)絡(luò)框架，該網(wǎng)絡(luò)的作用是激活輸入的待增強(qiáng)弱光照?qǐng)D像，并直接輸出增強(qiáng)后的弱光照?qǐng)D像。如圖2 所示，網(wǎng)絡(luò)架構(gòu)由3 個(gè)子模塊組成，包括入射光分量多尺度估計(jì)模塊、多尺度入射光分量融合模塊和增強(qiáng)效果生成模塊。其中，入射光分量多尺度估計(jì)模塊將在不同的鄰域半徑下對(duì)輸入的待增強(qiáng)弱光照?qǐng)D像進(jìn)行入射光分量估計(jì)，并將其作為輸入傳遞至多尺度入射光分量融合模塊；入射光分量融合模塊將其學(xué)習(xí)的清晰圖像的基本特征映射到入射光分量估計(jì)結(jié)果中，將融合后的入射光分量圖作為增強(qiáng)效果生成模塊的輸入；增強(qiáng)效果生成模塊基于Retinex 模型，該模塊將依據(jù)輸入的入射光分量圖對(duì)待增強(qiáng)弱光照?qǐng)D像進(jìn)行逐像素的像素強(qiáng)度調(diào)節(jié)，并輸出反射光分量圖作為增強(qiáng)后的弱光照?qǐng)D像。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)框圖

2.1 入射光分量多尺度估計(jì)模塊

基于公式(3)對(duì)弱光照?qǐng)D像進(jìn)行入射光分量圖估計(jì)具有計(jì)算復(fù)雜度低的優(yōu)勢，但估計(jì)結(jié)果的有效性取決于鄰域半徑選擇的準(zhǔn)確性，而圖像中入射光照的復(fù)雜性決定了并不存在一個(gè)適用于所有圖像的鄰域半徑。針對(duì)相似的問題，文獻(xiàn)[17]使用實(shí)驗(yàn)方法大致確定出了實(shí)用性較好的鄰域半徑范圍，但并不能實(shí)質(zhì)上解決上述問題。

因此，本文在設(shè)計(jì)入射光分量多尺度估計(jì)模塊時(shí)采用了一種綜合利用不同鄰域半徑下入射光分量估計(jì)結(jié)果中的有效增益的策略。依據(jù)上述思路，針對(duì)輸入的待增強(qiáng)弱光照?qǐng)D像，自鄰域半徑3 起，逐次遞增鄰域半徑1，直至鄰域半徑30 截止，共進(jìn)行28次入射光分量估計(jì)，并將估計(jì)結(jié)果分別傳遞至多尺度入射光分量融合模塊。

2.2 多尺度入射光分量融合模塊

將28 次入射光分量估計(jì)結(jié)果獨(dú)立作為各層分量輸入多尺度入射光分量融合模塊后，通過下式獲得融合后的入射光分量圖:

式中:Li=1，…，28表示作為各層獨(dú)立分量的28 次入射光分量估計(jì)結(jié)果，Wi=1，…，28是各層獨(dú)立分量所對(duì)應(yīng)的融合權(quán)重?；诠?4)，設(shè)計(jì)多尺度入射光分量融合模塊如圖3 所示。多尺度入射光分量融合模塊由多個(gè)自適應(yīng)權(quán)重融合模塊組成，每個(gè)模塊由2 個(gè)卷積層組成，分別采用Relu 和Softmax 作為激活函數(shù)。為了進(jìn)一步增強(qiáng)自適應(yīng)性，該網(wǎng)絡(luò)在卷積層采用可變卷積[20]取代了傳統(tǒng)卷積。多尺度入射光分量融合模塊在訓(xùn)練后能夠?qū)W習(xí)到在理想光照條件下所采集的清晰圖像的基本特征，并將學(xué)習(xí)到的清晰圖像特征映射到入射光分量多尺度估計(jì)模塊所傳遞來的入射光分量多尺度估計(jì)結(jié)果中，并最終生成入射光分量圖。

圖3 多尺度入射光分量融合模塊結(jié)構(gòu)圖

2.3 增強(qiáng)效果生成模塊

增強(qiáng)效果生成模塊基于Retinex 模型設(shè)計(jì)，該模塊的主要作用是依據(jù)入射光分量圖對(duì)待增強(qiáng)弱光照?qǐng)D像進(jìn)行逐像素式的強(qiáng)度調(diào)節(jié)，從而生成弱光照?qǐng)D像的反射光分量圖。相較于文獻(xiàn)[18]，本文所提方法僅需對(duì)入射光分量圖進(jìn)行一般性的邊緣保持平滑處理，也可以直接將增強(qiáng)效果生成模塊所生成的反射光分量圖視為增強(qiáng)后的弱光照?qǐng)D像，有效避免了由人為假設(shè)或圖像先驗(yàn)知識(shí)所引入的特定圖像特征。

3 實(shí)驗(yàn)結(jié)果與分析

由于沒有專門針對(duì)弱光照?qǐng)D像增強(qiáng)的標(biāo)準(zhǔn)數(shù)據(jù)集，本文利用文獻(xiàn)[18]的方法構(gòu)建包含3 000 個(gè)樣本的數(shù)據(jù)集。將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集(80%)，驗(yàn)證集(10%)和測試集(10%)。由于GPU 顯存的限制，批量大小設(shè)置為32。采用均方誤差作為損失函數(shù)；采用Adam 優(yōu)化器來訓(xùn)練網(wǎng)絡(luò)框架；遍歷數(shù)設(shè)置為5 000；學(xué)習(xí)率設(shè)置為0.000 1。實(shí)驗(yàn)硬件環(huán)境為:NVIDIA Titan XP GPU；軟件環(huán)境為:Tensorflow 2.0。為驗(yàn)證本方法的有效性和魯棒性，將本文方法與以下現(xiàn)有主流方法進(jìn)行定性和定量對(duì)比:自適應(yīng)直方圖均衡類的文獻(xiàn)[21]方法、基于多尺度Retinex模型的文獻(xiàn)[6]方法、基于先驗(yàn)知識(shí)的文獻(xiàn)[19]方法、基于全變分Retinex 模型的文獻(xiàn)[10]方法。

3.1 客觀比較

客觀實(shí)驗(yàn)采用了3 個(gè)廣泛使用的客觀評(píng)價(jià)指標(biāo)，包括新增可見邊緣比e、對(duì)比度恢復(fù)質(zhì)量r和圖像清晰度D。由文獻(xiàn)[22]可知，新增可見邊緣比可以測量增強(qiáng)后圖像中出現(xiàn)的新增邊緣的比率，對(duì)比度恢復(fù)質(zhì)量驗(yàn)證了增強(qiáng)后圖像的平均能見度提升度。由文獻(xiàn)[23]可知，圖像清晰度可以測量基于人眼視覺特征的圖像可視性。通常，新增可見邊緣比和對(duì)比度恢復(fù)質(zhì)量的數(shù)值越高，對(duì)應(yīng)增強(qiáng)方法的效果越好；而圖像清晰度的數(shù)值越低表示圖像清晰度越高?？陀^比較實(shí)驗(yàn)并基于測試集展開，本文所提方法和上述四類對(duì)比方法針對(duì)測試集所取得的客觀評(píng)價(jià)指標(biāo)平均值如表1 所示。

表1 客觀實(shí)驗(yàn)結(jié)果

綜合新增可見邊緣比e和對(duì)比度恢復(fù)質(zhì)量r均值可知，本文所提方法具有較好的紋理細(xì)節(jié)增強(qiáng)能力，且不會(huì)為了獲得較高紋理增強(qiáng)結(jié)果而產(chǎn)生一定的噪聲放大效應(yīng)。此外，本文所提方法未產(chǎn)生顯著的色彩偏離現(xiàn)象，因此對(duì)比度恢復(fù)質(zhì)量具有較好的可信度。由圖像清晰度D可知，本文所提方法在圖像可視性增強(qiáng)方面具有一定的比較優(yōu)勢，而這一點(diǎn)也和主觀比較的結(jié)果是一致的。由文獻(xiàn)[23]可知，圖像清晰度值能夠以較為接近人眼視覺效果的方式綜合判斷圖像的清晰度增強(qiáng)效果，因此上述結(jié)果證明本文所提方法能夠?qū)W(xué)習(xí)到的清晰度圖像特征映射到最終的增強(qiáng)效果中。

3.2 主觀比較

受篇幅限制，從測試結(jié)果中挑選了四幅具有挑戰(zhàn)性的弱光照?qǐng)D像的實(shí)驗(yàn)主觀對(duì)比用于展示，具體如圖4 至圖7 所示。通過對(duì)比可以發(fā)現(xiàn)，改進(jìn)的直方圖均衡類增強(qiáng)方法仍然具有一定的結(jié)構(gòu)盲目性而呈現(xiàn)出了弱魯棒性，圖4 和圖7 因全局光照較弱而均未得到有效增強(qiáng)，僅有圖5 和圖6 因自身具有一定的動(dòng)態(tài)調(diào)整范圍而具備了一定的增強(qiáng)效果；基于多尺度Retinex 模型的增強(qiáng)方法需要提取并利用待增強(qiáng)圖像中原有的各層頻域分量，因而在處理頻域分量層次豐富的圖像(如圖4)時(shí)具有一定優(yōu)勢，但在處理頻域分量相對(duì)較為單一的圖像(如圖7)時(shí)增強(qiáng)力度不足且易于引入模糊現(xiàn)象；文獻(xiàn)[19]方法基于單尺度明亮通道先驗(yàn)而魯棒性不足，因而在明亮通道先驗(yàn)在特定的鄰域半徑內(nèi)失效的圖像時(shí)明顯效果不佳(如圖4)，且后續(xù)的各項(xiàng)優(yōu)化處理易于產(chǎn)生噪聲放大現(xiàn)象(見圖6 和圖7 的增強(qiáng)效果)；文獻(xiàn)[10]方法基于變分Retinex 模型大幅提高了光照分量的估計(jì)準(zhǔn)確性，整體增強(qiáng)效果較好，但無法完全抑制過曝光和色偏現(xiàn)象(如圖4 有局部過曝，圖5 整體偏紅而圖6 偏藍(lán))。相較而言，本文所提方法具有更好的紋理細(xì)節(jié)增強(qiáng)效果和色彩保真度，且未出現(xiàn)過曝光、過增強(qiáng)或光暈偽影等負(fù)面視覺效應(yīng)。

圖4 增強(qiáng)效果比較實(shí)驗(yàn)1

圖5 增強(qiáng)效果比較實(shí)驗(yàn)2

圖6 增強(qiáng)效果比較實(shí)驗(yàn)3

圖7 增強(qiáng)效果比較實(shí)驗(yàn)4

為進(jìn)一步展示本方法的增強(qiáng)效果，選取兩幅典型的弱光照?qǐng)D像(全局弱光照?qǐng)D像如圖8(a)所示，局部弱光照?qǐng)D像如圖9(a)所示)，依據(jù)本方法對(duì)其進(jìn)行增強(qiáng)處理，并在圖8 和圖9 的(b)列中展示了相應(yīng)的增強(qiáng)效果。

通過對(duì)比增強(qiáng)前后的圖像可以發(fā)現(xiàn)，本方法可以有效提升弱光照?qǐng)D像的整體視覺效果并恢復(fù)其中的紋理細(xì)節(jié)，消除了因像素強(qiáng)度不足所導(dǎo)致的色彩偏移、對(duì)比度不足等負(fù)面視覺效應(yīng)，且未出現(xiàn)局部增強(qiáng)力度不足或過增強(qiáng)現(xiàn)象，以及光暈偽影、邊緣畸變等現(xiàn)象。此外，在圖8 和圖9 的(c)列中展示了增強(qiáng)處理后紅色通道的像素強(qiáng)度增益空間分布(因?yàn)榫G色和藍(lán)色通道的增益與紅色通道基本相似)，通過觀察可以發(fā)現(xiàn)本文所提方法能夠有效增強(qiáng)弱光照?qǐng)D像，并使其呈現(xiàn)出近似清晰圖像的視覺效果。

圖8 全局弱光照?qǐng)D像及其增強(qiáng)效果

圖9 局部弱光照?qǐng)D像及其增強(qiáng)效果

4 結(jié)論

本文提出了一種基于明亮通道先驗(yàn)和Retinex模型的弱光照?qǐng)D像增強(qiáng)網(wǎng)絡(luò)。所提方法結(jié)合Retinex 模型基本定義和圖像先驗(yàn)知識(shí)進(jìn)行弱光照?qǐng)D像入射光分量估計(jì)，克服了單純依據(jù)空間平滑性假設(shè)所導(dǎo)致的弱魯棒性；通過對(duì)入射光分量進(jìn)行多尺度估計(jì)，再基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行融合的方式進(jìn)一步提高了魯棒性。