一種改進(jìn)的Retinex礦井圖像增強(qiáng)算法

李曉宇， 呂進(jìn)來(lái)， 郝曉麗

(太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院， 晉中 030600)

智能監(jiān)控是當(dāng)前煤礦安全生產(chǎn)系統(tǒng)中的重要組成部分，為工作人員的安全及設(shè)備的正常運(yùn)作提供了有力的保障。目前，礦井視頻監(jiān)控依然主要依靠人工監(jiān)測(cè)，由于礦井下工作環(huán)境的特殊性，監(jiān)控采集到的視頻圖像存在光照分布不均勻、對(duì)比度低、過(guò)亮及過(guò)暗區(qū)域細(xì)節(jié)丟失等特點(diǎn)，從而導(dǎo)致成像質(zhì)量差，極大地影響了人眼視覺(jué)觀測(cè)的效果，所以如何減弱光照影響、增強(qiáng)圖像的細(xì)節(jié)信息、為后期井下視頻的分析提供有力的依據(jù)，已成為當(dāng)前該領(lǐng)域的研究熱點(diǎn)。

應(yīng)用于礦井圖像增強(qiáng)的算法通常有直方圖類(lèi)，基于模型類(lèi)和基于Retinex類(lèi)等，其中基于直方圖的增強(qiáng)算法[1-2]通過(guò)重新分配圖像中像素的灰度值來(lái)增強(qiáng)對(duì)比度，運(yùn)算速度快，但由于礦井圖像光照不均勻，全局均衡會(huì)使得具體的增強(qiáng)結(jié)果不易控制，還可能會(huì)過(guò)多地合并輸出圖像的灰度級(jí)，進(jìn)而導(dǎo)致圖像細(xì)節(jié)信息丟失；基于模型的算法[3-4]利用了低照度圖像的反向圖與霧天圖像的相似性，借助大氣物理散射模型，將去霧算法應(yīng)用于低照度圖像增強(qiáng)，保持了增強(qiáng)結(jié)果的自然性，但由于模型的復(fù)雜度高，導(dǎo)致算法的計(jì)算量較大，實(shí)用性較低；基于Retinex的增強(qiáng)算法[5-6]通過(guò)將圖像分解為照度分量和反射分量，去除光照成分從而實(shí)現(xiàn)增強(qiáng)，一般而言具有顏色保真、克服噪聲的優(yōu)勢(shì)，在霧天、夜晚等惡劣環(huán)境下的圖像有較強(qiáng)的增效效果，但也存在以下問(wèn)題：①傳統(tǒng)Retinex算法利用高斯濾波實(shí)現(xiàn)照度分量和反射分量的分離，由于高斯函數(shù)的各向同性，會(huì)導(dǎo)致增強(qiáng)結(jié)果出現(xiàn)噪聲放大、對(duì)比度下降等現(xiàn)象；②由于礦井圖像顯著的光照非均勻性，通過(guò)去除照度分量實(shí)現(xiàn)增強(qiáng)，會(huì)由于不可避免的估計(jì)誤差，使得增強(qiáng)后的圖像常存在高亮區(qū)域范圍擴(kuò)大即過(guò)增強(qiáng)的問(wèn)題。

針對(duì)問(wèn)題①，劉曉陽(yáng)等[7]使用雙邊濾波代替高斯濾波進(jìn)行照度分量的估計(jì)，以克服噪聲及光暈現(xiàn)象，但是算法的時(shí)間復(fù)雜度較高，且存在色彩失真現(xiàn)象。王星等[8]將引導(dǎo)濾波結(jié)合到Retinex算法中，能夠?qū)崿F(xiàn)與雙邊濾波相當(dāng)?shù)谋＿呅Ч倚瘦^高，但出現(xiàn)了光暈?zāi)：膯?wèn)題，且過(guò)增強(qiáng)現(xiàn)象依然明顯。針對(duì)過(guò)增強(qiáng)問(wèn)題，智寧等[9]提出結(jié)合多尺度引導(dǎo)濾波的Retinex改進(jìn)算法，提出照度和細(xì)節(jié)調(diào)整系數(shù)的思想，能夠較好地均衡照度的影響，圖像邊緣細(xì)節(jié)也得到了較好的保護(hù)，但算法較為復(fù)雜，需手動(dòng)設(shè)置許多參數(shù)，且光暈?zāi)：F(xiàn)象仍然存在。

上述改進(jìn)算法均在一定程度上實(shí)現(xiàn)礦井圖像的有效增強(qiáng)，但仍未解決增強(qiáng)過(guò)程中的光暈及過(guò)增強(qiáng)問(wèn)題，所以現(xiàn)提出一種改進(jìn)Retinex的礦井圖像增強(qiáng)方法(improved mine image enhancement algorithm based on Retinex，IMIEAR)，采用轉(zhuǎn)換彩色空間的思想保持增強(qiáng)結(jié)果的色彩，有以下兩點(diǎn)創(chuàng)新：①針對(duì)光暈問(wèn)題，在估計(jì)照度分量時(shí)，提出使用改進(jìn)的引導(dǎo)濾波器，根據(jù)各個(gè)窗口的不同紋理信息自適應(yīng)改變權(quán)重值，期望達(dá)到消除模糊的目的；②針對(duì)過(guò)增強(qiáng)現(xiàn)象，提出一種“S”形照度均衡曲線，提升低亮區(qū)域的同時(shí)適當(dāng)?shù)囊种聘吡羺^(qū)域，以符合礦井圖像的特點(diǎn)，實(shí)現(xiàn)合理有效的增強(qiáng)。

1 改進(jìn)的Retinex礦井圖像增強(qiáng)算法

針對(duì)傳統(tǒng)Retinex及其改進(jìn)算法在處理礦井圖像時(shí)存在的過(guò)增強(qiáng)及光暈?zāi)：葐?wèn)題，提出一種改進(jìn)的Retinex礦井圖像增強(qiáng)算法，算法流程如圖1所示。①首先將待處理圖像從RGB空間轉(zhuǎn)至HSV空間，并提取表示亮度的V分量進(jìn)行后續(xù)處理，以達(dá)到保護(hù)圖像色彩的目的；②為避免光暈及模糊現(xiàn)象的出現(xiàn)，對(duì)V分量使用改進(jìn)的自適應(yīng)引導(dǎo)濾波進(jìn)行照度估計(jì)，并在對(duì)數(shù)域中計(jì)算得到反射分量；③根據(jù)Retinex理論，照度分量主要包含圖像的低頻信息，反映了入射到物體上的光源能量，對(duì)其進(jìn)行均衡調(diào)整以改善礦井圖像的不均勻性；④而反射分量表示了圖像的高頻細(xì)節(jié)部分，對(duì)其進(jìn)行非線性拉伸，以解決礦井圖像細(xì)節(jié)丟失的現(xiàn)象；⑤將處理后的兩分量融合得到新的V分量，可以避免因估計(jì)誤差對(duì)增強(qiáng)效果造成影響，最后，新的V分量與原H、S分量融合并轉(zhuǎn)回RGB空間后，得到增強(qiáng)結(jié)果。接下來(lái)，將對(duì)算法的主要步驟進(jìn)行詳細(xì)介紹。

圖1 算法流程Fig.1 Flow chart of algorithm proposed

1.1 彩色空間轉(zhuǎn)換

由于礦井下環(huán)境復(fù)雜，圖像整體較暗且不均勻性明顯，若在RGB空間分別對(duì)3個(gè)通道進(jìn)行Retinex處理后在融合，不僅加大了計(jì)算量，往往還會(huì)導(dǎo)致色彩失真。故將待處理圖像轉(zhuǎn)至HSV空間，只處理表示亮度的V分量，保護(hù)分別表示色調(diào)、飽和度的H、S分量，達(dá)到避免色彩失真的目的。將提取到的V分量表示為IV(x,y)。

RGB空間到HSV空間的轉(zhuǎn)換公式為

V=max(R,G,B)

(1)

(2)

(3)

1.2 基于自適應(yīng)引導(dǎo)濾波的照度估計(jì)

引導(dǎo)濾波由He等[10]在2010年提出，由于其運(yùn)算較快，具有邊緣保持特性，且不具有梯度反轉(zhuǎn)效應(yīng)等優(yōu)勢(shì)，自提出以來(lái)在圖像增強(qiáng)領(lǐng)域得到了廣泛的應(yīng)用，其核心為假定引導(dǎo)圖像和濾波輸出圖像存在局部線性關(guān)系，即在以像素k為中心的窗口ωk中存在如下線性關(guān)系：

qi=akIi+bk,?i∈ωk

(4)

式(4)中：Ii為引導(dǎo)圖像的像素；qi為輸出圖像的像素；ak、bk為濾波窗口ωk的線性系數(shù)。依據(jù)式(5)所示的輸入輸出圖像的最小代價(jià)模型，可獲得線性系數(shù)ak和bk，如式(6)、式(7)所示。

(5)

式(5)中：ε為一個(gè)防止ak過(guò)大的正則化系數(shù)；pi為輸入圖像的像素值。

(6)

bk=pk-akμk

(7)

(8)

但其對(duì)于所有區(qū)域的局部窗口而言，在代價(jià)函數(shù)中都使用相同的且固定的正則化參數(shù)，從而對(duì)所有窗口內(nèi)平滑力度的約束均相等，雖在一定程度上可以彌補(bǔ)部分區(qū)域平滑力度不足的問(wèn)題，但是并沒(méi)有考慮當(dāng)前窗口是否處于邊緣區(qū)域或非邊緣區(qū)域，若對(duì)邊緣區(qū)域過(guò)度平滑，就會(huì)引起光暈和模糊現(xiàn)象，因此考慮不同窗口內(nèi)紋理信息的差異性是必要的。

故此處選擇引入梯度信息設(shè)計(jì)權(quán)值參數(shù)，由于在圖像的邊緣區(qū)域可以得到較大的梯度響應(yīng)幅值，將其作為懲罰項(xiàng)即可得到較小的正則化系數(shù)，以減弱平滑力度；而對(duì)于非邊緣區(qū)可得到較小的響應(yīng)幅值，進(jìn)而使用較大的正則化系數(shù)來(lái)減小誤差，最終實(shí)現(xiàn)根據(jù)當(dāng)前窗口所在區(qū)域，自適應(yīng)調(diào)整正則項(xiàng)，達(dá)到減弱光暈，避免邊緣模糊的目的。

圖像的梯度及幅值通過(guò)2×2鄰域的一階偏導(dǎo)有限差分來(lái)計(jì)算，計(jì)算公式為

(9)

式(9)中：Px[i,j]和Py[i,j]分別為x和y方向上的梯度信息；M[i,j]為梯度幅值；I[i,j]為待處理圖像。

定義歸一化幅值響應(yīng)為

(10)

式(10)中：ΔMi表示歸一化結(jié)果；|Mi|表示圖像的梯度響應(yīng)幅值。

然后，利用指數(shù)函數(shù)定義權(quán)重因子為

(11)

式(11)中：A和σ為固定參數(shù)，進(jìn)一步加強(qiáng)權(quán)重因子的效果。

(12)

則式(6)就修改為

(13)

將此自適應(yīng)引導(dǎo)濾波作用于IV(x,y)，估計(jì)出照度分量LV(x,y)，表達(dá)式為

LV(x,y)=IV(x,y)⊕G(K,r)

(14)

式(14)中：?G(K,r)表示作用于IV(x,y)的自適應(yīng)引導(dǎo)濾波，K表示引導(dǎo)圖像，r表示濾波器的尺度。

為了簡(jiǎn)化計(jì)算，加快運(yùn)行速度，將引導(dǎo)圖像和輸入圖像都進(jìn)行1/s的降采樣，得到輸出圖像后，再進(jìn)行s倍的雙線性插值上采樣得到最終的照度分量。

根據(jù)Retinex理論，反射分量可由照度分量和原始圖像計(jì)算得出，為計(jì)算方便，通常在對(duì)數(shù)域進(jìn)行，即

lnRV(x,y)=lnIV(x,y)-lnLV(x,y)

(15)

式(15)中：RV(x,y)表示反射分量。

1.3 照度均衡

光照的不均勻性是礦井圖像的主要特點(diǎn)之一，由于井下大多使用人工照明，會(huì)使得圖像呈現(xiàn)出整體照度低、光源及光源附近的區(qū)域照度高的現(xiàn)象。常見(jiàn)的照度調(diào)整方法如直方圖均衡、灰度拉伸等均可以實(shí)現(xiàn)對(duì)圖像的整體亮度進(jìn)行調(diào)整，但用于非均勻照度圖像會(huì)造成過(guò)增強(qiáng)現(xiàn)象，即無(wú)法抑制光源周?chē)雀吡羺^(qū)域，使得增強(qiáng)后的高亮區(qū)域范圍擴(kuò)大。

所以，對(duì)于礦井下非均勻照度環(huán)境的圖像，有必要合理設(shè)計(jì)照度均衡函數(shù)，使其在提升圖像整體亮度的同時(shí)，抑制高亮區(qū)域，避免出現(xiàn)過(guò)增強(qiáng)現(xiàn)象。

針對(duì)非均勻照度圖像整體亮度低、光源附近小部分區(qū)域亮度高的特點(diǎn)，提出一種“S型”函數(shù)對(duì)照度分量進(jìn)行調(diào)整，表達(dá)式為

(16)

式(16)中：I(x,y)為待處理圖像；G(x,y)為照度均衡后的輸出圖像；a和γ為調(diào)整系數(shù)。圖2和圖3分別為當(dāng)系數(shù)γ和系數(shù)a取不同值時(shí)的函數(shù)曲線。

圖2 γ取不同值時(shí)函數(shù)曲線Fig.2 Function curve when γ takes different values

可以看出，曲線大致呈現(xiàn)“S”形，系數(shù)γ控制函數(shù)的變化率。曲圖3可知，各曲線大致以x=0.55為拐點(diǎn)，x∈[0,0.55]時(shí)，曲線是凸函數(shù)，x∈(0.55,1]時(shí)，曲線為凹函數(shù)，在照度調(diào)整時(shí)分別表現(xiàn)為像

圖3 a取不同值時(shí)函數(shù)曲線Fig.3 Function curve when a takes different values

素值的提升和抑制，當(dāng)系數(shù)γ越大時(shí)，函數(shù)圖像在直線y=x兩側(cè)都表現(xiàn)為越“陡峭”，相應(yīng)的調(diào)整效果也越明顯。而系數(shù)a則控制函數(shù)曲線與直線y=x的交點(diǎn)的位置，a越大，交點(diǎn)越靠近點(diǎn)(1,1)，凸函數(shù)的區(qū)間越大，凹函數(shù)的區(qū)間越小，體現(xiàn)在圖像的照度調(diào)整中為提升范圍越大，抑制范圍越小。

故通過(guò)調(diào)整該函數(shù)中的系數(shù)，作用于照度分量LV(x,y)，得到均衡后的照度分量LVA(x,y)為

(17)

可以實(shí)現(xiàn)應(yīng)對(duì)礦井圖像的非均勻特性，實(shí)現(xiàn)合理的照度調(diào)整的目的。

1.4 細(xì)節(jié)增強(qiáng)

此外，礦井圖像還存在過(guò)亮或過(guò)暗區(qū)域細(xì)節(jié)丟失的現(xiàn)象，也是影響視覺(jué)觀測(cè)效果和后續(xù)處理任務(wù)的主要問(wèn)題，因此增加細(xì)節(jié)增強(qiáng)策略，將有助于實(shí)現(xiàn)圖像的有效增強(qiáng)。

圖像的反射分量中包含了圖像高頻的細(xì)節(jié)部分，也稱作圖像的細(xì)節(jié)層，可以看作引導(dǎo)濾波的輸出和輸入圖像之間的差異。增加細(xì)節(jié)增強(qiáng)處理過(guò)程，可以很好地抑制噪聲，同時(shí)使得結(jié)果圖中包含更多的細(xì)節(jié)信息。

使用式(18)所示的Sigmoid函數(shù)對(duì)反射分量進(jìn)行非線性拉伸。

RVout=

(18)

式(18)中：參數(shù)u和β分別設(shè)置為3和0.6。

根據(jù)Retinex理論，將處理后的照度分量和反射分量合成為新的V分量I′V(x,y)，如式(19)所示，并將其與原H、S分量進(jìn)行融合，得到最終的增強(qiáng)結(jié)果。

lnI′V(x,y)=lnRVout(x,y)+lnLVA(x,y)

(19)

2 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提IMIEAR算法對(duì)真實(shí)礦井圖像的有效性，選取了礦井下的工作面、巷道等真實(shí)場(chǎng)景的彩色圖像，通過(guò)MATLAB進(jìn)行了仿真實(shí)驗(yàn)，所用的PC機(jī)操作系統(tǒng)為Windows10，CPU為Intel 3.6 GHz 的i7處理器，運(yùn)行內(nèi)存為4 G，編程環(huán)境版本為MATLAB2017b。并且將IMIEAR算法的增強(qiáng)結(jié)果與具有代表性的受限自適應(yīng)直方圖均衡化算法[11](contrast limited adaptive histogram equalization，CLAHE)，具有色彩恢復(fù)的多尺度Retinex算法[12](multi-scale Retinex with color restoration, MSRCR)算法，以及智寧等[9]提出的基于照度調(diào)整的非均勻圖像增強(qiáng)算法(enhancement algorithm base on illumination ajustment，EAIA)進(jìn)行對(duì)比實(shí)驗(yàn)，其參數(shù)均按照相關(guān)文獻(xiàn)的推薦進(jìn)行改進(jìn)設(shè)置。

2.1 參數(shù)設(shè)置

在實(shí)驗(yàn)過(guò)程中，式(16)中的系數(shù)對(duì)實(shí)驗(yàn)結(jié)果有重要的影響，該照度調(diào)整函數(shù)能夠在提升整體亮度的同時(shí)，抑制高亮區(qū)域，而系數(shù)γ則影響了提升或抑制效果的強(qiáng)度。圖4所示為γ取不同值時(shí)對(duì)增強(qiáng)效果的影響，其中系數(shù)a固定為0.3?？梢钥闯?，γ越大，對(duì)圖像的調(diào)整程度越強(qiáng)，但過(guò)大的γ會(huì)導(dǎo)致增強(qiáng)后的圖像對(duì)比度有所降低，通過(guò)多次實(shí)驗(yàn)對(duì)比，建議將γ設(shè)定為4。

圖4 不同γ的增強(qiáng)效果對(duì)比Fig.4 Contrast of enhancement effect when γ takes different values

而系數(shù)a則控制圖像像素的提升或抑制范圍的大小，a越小，對(duì)低亮度區(qū)域的提升范圍越大，對(duì)高亮區(qū)域的抑制范圍越小，經(jīng)過(guò)多次實(shí)驗(yàn)后，建議a的取值范圍為[0.1,0.5]。圖5所示為a取不同值時(shí)對(duì)增強(qiáng)效果的影響，其中系數(shù)γ固定為4?？梢钥闯?，a取值越大，圖像的整體亮度會(huì)降低。由于礦井圖像大部分區(qū)域亮度較低，故將系數(shù)a設(shè)定為0.3。

圖5 不同a的增強(qiáng)效果對(duì)比Fig.5 Contrast of enhancement effect when a takes different value

2.2 主觀評(píng)價(jià)

圖6所示為各算法對(duì)所選取的兩幅礦井圖像增強(qiáng)后的效果對(duì)比，可以看出，圖像的整體亮度和對(duì)比度都有所提高。CLAHE算法的運(yùn)算簡(jiǎn)潔，運(yùn)行速度較快，但處理結(jié)果的整體亮度較低，如圖6(c)中巷道深處經(jīng)增強(qiáng)后依然亮度很低，圖6(d)中高亮度區(qū)域范圍擴(kuò)大，出現(xiàn)過(guò)增強(qiáng)現(xiàn)象；MSRCR算法處理過(guò)的圖像整體對(duì)比度較低，如圖6(e)、圖6(f)所示，圖像泛白，表面像蒙著一層粉塵，且出現(xiàn)顏色失真的現(xiàn)象；EAIA算法和IMIEAR算法都能在增強(qiáng)圖像整體亮度和對(duì)比度的同時(shí)避免高亮區(qū)域過(guò)增強(qiáng)，但相比較而言，經(jīng)IMIEAR算法處理的圖像進(jìn)一步克服了邊緣光暈和模糊，且色彩保持得更加豐富，表現(xiàn)出了IMIEAR算法的有效性和優(yōu)越性。圖7所示為IMIEAR算法對(duì)其他礦井場(chǎng)景做增強(qiáng)后的效果展示。

圖6 礦井圖像增強(qiáng)效果對(duì)比Fig.6 Contrast of enhancement results of mine image

圖7 本文算法增強(qiáng)效果Fig.7 Enhancement results of algorithm proposed in this paper

2.3 客觀評(píng)價(jià)

為避免因主觀因素導(dǎo)致評(píng)價(jià)不可靠，選擇局部標(biāo)準(zhǔn)差平均值(average local standard deviation，ALSD)、信息熵(entropy)和平均梯度(average gradient，AD)3種指標(biāo)來(lái)從客觀角度對(duì)增強(qiáng)結(jié)果進(jìn)行進(jìn)一步驗(yàn)證。

(1)局部標(biāo)準(zhǔn)差平均值將圖像分塊，取各分塊的標(biāo)準(zhǔn)差的平均值作為評(píng)價(jià)結(jié)果(選擇分塊尺寸為20×20)，用來(lái)評(píng)價(jià)圖像的對(duì)比度，值越高，對(duì)比度越強(qiáng)。標(biāo)準(zhǔn)差計(jì)算公式為

(20)

式(20)中：M、N分別表示分塊的高和寬；P(i,j)表塊內(nèi)第i行、第j列的像素；μ表示均值。

(2)信息熵在一定程度上可以反映圖像信息的豐富程度，信息熵越大，圖像包含的信息量越大，表達(dá)式為

(21)

式(21)中：p(i)表示像素i在圖像中的概率。

(3)平均梯度可以反映圖像的細(xì)節(jié)，值越大，細(xì)節(jié)內(nèi)容越豐富，圖像越清晰，表達(dá)式為

(22)

對(duì)圖6、圖7所示的6幅圖像采用上述評(píng)價(jià)指標(biāo)對(duì)各算法的增強(qiáng)結(jié)果圖進(jìn)行評(píng)價(jià)，評(píng)價(jià)結(jié)果如表1～表3所示(最優(yōu)數(shù)據(jù)加粗表示)。可以看出，經(jīng)CLAHE、MSRCR、EAIA及IMIEAR算法處理后的圖像標(biāo)準(zhǔn)差平均值、信息熵、平均梯度都較原圖像有所提高，且IMIEAR算法在3個(gè)方面均能取得較好的結(jié)果，大部分均優(yōu)于其他對(duì)比算法，增強(qiáng)后圖像的標(biāo)準(zhǔn)差平均值、信息熵和平均梯度較原圖而言分別平均提高了144.58%、118.65%、19.94%。

表1 各算法處理結(jié)果的局部標(biāo)準(zhǔn)差平均值對(duì)比Table 1 The comparison of ALSD of each algorithm

表2 各算法處理結(jié)果的信息熵對(duì)比Table 2 The comparison of entropy of each algorithm

表3 各算法處理結(jié)果的平均梯度對(duì)比Table 3 The comparison of AD of each algorithm

3 結(jié)論

通過(guò)實(shí)驗(yàn)得出以下結(jié)論。

(1)考慮礦井圖像的特點(diǎn)，在傳統(tǒng)Retinex算法的基礎(chǔ)上，提出分別處理照度分量和反射分量再融合的改進(jìn)思路。

(2)提出改進(jìn)的自適應(yīng)引導(dǎo)濾波進(jìn)行照度估計(jì)，避免了使用原始引導(dǎo)濾波導(dǎo)致的光暈?zāi)：F(xiàn)象。

(3)針對(duì)礦井圖像的光照不均勻性，使用一種“S”形的函數(shù)進(jìn)行照度調(diào)整，實(shí)現(xiàn)提升低量區(qū)域的同時(shí)抑制高亮區(qū)域的目的，避免過(guò)增強(qiáng)現(xiàn)象。

(4)本文算法能夠在有效提升圖像對(duì)比度和亮度的同時(shí)，避免光暈?zāi)：瓦^(guò)增強(qiáng)現(xiàn)象，且較其他對(duì)比算法而言增強(qiáng)效果有明顯提升。未來(lái)的研究工作將著重于算法精簡(jiǎn)，使其滿足實(shí)際生產(chǎn)應(yīng)用的需求。