煤礦掘進工作面低照度視頻增強技術研究

張旭輝，楊紅強，白琳娜，石 碩，杜昱陽，張 超，萬繼成，楊文娟，毛清華，董 征

(1.西安科技大學 機械工程學院，陜西 西安 710054；2.陜西省礦山機電裝備智能監(jiān)測重點實驗室，陜西 西安 710054)

煤炭作為我國的主體能源，是保障國家經(jīng)濟發(fā)展的重要基礎性能源[1]。煤礦智能化是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術支撐，是煤礦發(fā)展的必由之路，煤礦智能化進入加快發(fā)展階段[2]。掘進工作面作為煤礦開采最前沿、勞動強度最大、危險程度最高的場所，其智能化建設是煤礦智能化的重要環(huán)節(jié)，是實現(xiàn)礦井智能化、少人化高效開采的關鍵。而視頻技術的應用是煤礦安全高效生產(chǎn)、智能化建設的重要組成部分，其為掘進工作面的目標識別、目標監(jiān)測、目標跟蹤、圖像分割等提供了重要的信息支撐。但是，掘進工作面粉塵濃度大、光照不足、雜光干擾等環(huán)境因素，直接導致視頻圖像存在亮度不均、細節(jié)紋理模糊不清、噪聲較多等問題[3]，嚴重影響后續(xù)視頻的分析與決策。因此，研究適合煤礦掘進工作面低照度視頻增強算法具有十分重要的實際意義。

針對煤礦井下視頻圖像增強技術，許多學者開展了廣泛而深入的研究與實踐。袁明道等[4]采用限制對比度自適應直方圖均化和同態(tài)濾波處理光照不均勻和對比度低的問題，并通過非線性映射函數(shù)對管道探測圖像細節(jié)進行增強，但是對噪聲的抑制效果不太明顯。智寧等[5]提出通過調(diào)整圖像的照度分量來實現(xiàn)圖像的增強的思路，并針對照度不均勻的特性，提出一種新的 “S”形曲線函數(shù)并對其進行調(diào)整，但是沒有消除粉塵對于圖像的影響。Guo Xiaojie 等[6]提出了一種LIME(Local Interpretable Model-Agnostic Explanations,LIME)算法，通過對初始照度分量進行細化，得到更為平滑的照度估計，利用伽馬變換將調(diào)整后的照度圖與反射圖相乘得到增強結果，該算法可以有效提升低照度視頻圖像的亮度，但在亮區(qū)容易過曝光。董靜薇等[7]針對視頻中的圖像增強問題，從時頻分析的角度出發(fā)，增強了圖像的對比度，使圖像更具有可視性，但是局部增強效果不明顯。龔云等[8]針對煤礦井下圖像灰度偏暗和對比度低的問題，提出一種在HSV 空間下結合加權分布自適應伽馬校正的同態(tài)濾波方法，能夠在增強圖像的亮度和對比度的同時，還能保留圖像的細節(jié)信息，但存在一定的顏色失真現(xiàn)象。LI Zhi 等[9]通過小波融合將2 個提升過10 倍的V 分量進行融合，可以很好地增強照度極低的視頻圖像，但對于每幅圖像都提升10 倍顯然不夠合理。郭伶俐等[10]將視頻分幀，對于每一幀圖像提取V 分量，并根據(jù)低照度大氣散射模型求解得到初步增強的V 分量，同時為了豐富圖像細節(jié)，提出細節(jié)優(yōu)化方法，得到增強圖像，合成每一幀增強圖像得到增強視頻。蔡利梅等[11]提出了一種基于改進HSV (Hue,Saturation,Value)的空間顏色可恢復多尺度圖像增強算法，其對背景噪聲有效抑制，但增強后的圖像層次不夠清晰。He Kaiming 等[12]通過觀察和統(tǒng)計大量測試圖像估計出含霧圖像的粗略透射率圖與大氣光亮度等，再利用軟摳圖技術對粗略透射率圖進行進一步優(yōu)化，最后利用大氣散射模型復原得到無霧、清晰的圖像，但是處理過程復雜度較高。蔡秀梅等[13]基于模糊邏輯與模糊集理論將同態(tài)濾波中的傅里葉變換與反變換改進為模糊與去模糊隸屬度函數(shù)變換，然后在圖像的HSV 空間中，僅在模糊特征平面上對亮度分量進行改進的同態(tài)濾波處理，在一定程度上增強了圖片的對比度。程德強等[14]提出了一種基于引導濾波的單尺度Retinex 算法，該算法在對比度提升、細節(jié)增強和去噪方面有較好的效果，但無法同時滿足圖像的動態(tài)范圍壓縮和顏色高保真。

鑒此，筆者針對煤礦掘進工作面低照度視頻提出一種基于可分離高斯濾波、完美反射法白平衡、混合亮度圖像增強和改進暗通道的視頻增強算法，以期快速、有效提升掘進工作面低照度視頻圖像對比度，抑制噪聲、雜光干擾，使增強后的視頻具有更加豐富的細節(jié)信息。

1 總體方案

煤礦掘進工作面低照度視頻增強技術總體方案如圖1 所示。

圖1 總體方案Fig.1 Overall scheme

首先對原始視頻進行預處理操作，其主要步驟包括：使用可分離高斯濾波將視頻圖像進行水平卷積與垂直卷積消除噪聲影響，基于完美反射法實現(xiàn)自動白平衡，解決顏色失真問題，再利用混合亮度增強方法提高圖像細節(jié)信息。然后通過改進暗通道先驗去霧算法與大氣散射模型實現(xiàn)視頻的快速去霧，其主要步驟包括：使用遞歸算法將視頻區(qū)域分割為高光區(qū)、中間調(diào)、暗調(diào)區(qū)，再利用3 個分區(qū)通道像素最大值的均值進行大氣光照估算，并引入調(diào)節(jié)因子對透射率的估算進行調(diào)整優(yōu)化。最后，通過大氣散射模型實現(xiàn)視頻圖像去霧，并對去霧后的圖像進行空間銳化濾波，提高圖像清晰度，實現(xiàn)掘進機工作面低照度視頻增強、去霧。

2 低照度視頻預處理

煤礦井下掘進工作面受光照、粉塵、雜光等環(huán)境因素干擾，導致視頻存在光照不均勻、細節(jié)模糊不清、噪聲異常復雜等問題[3]。為了獲取視頻更多細節(jié)信息，消除光照因素對于視頻質(zhì)量的影響，首先對拍攝到的原始視頻進行預處理操作。

2.1 可分離高斯濾波

圖像濾波是數(shù)字圖像處理和計算機視覺中廣泛使用的基礎圖像處理方法，由于煤礦井下環(huán)境較為復雜，所以采集到的視頻一般含有大量噪聲，圖像對比度不高，導致場景目標模糊。因此，為了準確識別圖像中的細節(jié)，對圖像進行高斯濾波處理。

高斯濾波屬于線性平滑濾波范疇，適合消除圖像中含有的高斯噪聲，其被廣泛應用于圖像處理過程中的降噪環(huán)節(jié)，高斯濾波有2 種實現(xiàn)方式：離散化滑窗卷積和傅里葉變換[15]。其中離散化滑窗卷積目前最常見，而在高斯卷積應用中，可能會用到較大的卷積核，嚴重影響計算速度。

因此，為了降低卷積復雜度和計算量，利用卷積的可分離性實現(xiàn)可分離高斯濾波，即將圖像先與一維水平卷積核相卷積，再與一維垂直方向的卷積核相卷積。對于原始視頻圖像f(x,y)，則可分離高斯濾波表示為：

原始視頻圖像f(x,y)使用可分離高斯濾波前后對比效果如圖2 所示。

圖2 可分離高斯濾波前后效果對比Fig.2 Effect comparison before and after separable Gaussian filtering

由圖2 可知，由于低照度問題，無法對視頻圖像的濾波效果進行主觀評價。因此，引入信噪比(Signal-to-Noise Ratio,SNR)作為圖像濾波后衡量降噪程度的客觀評價指標，其值越大，說明視頻圖像中包含的噪聲越小，降噪效果越好；反之，降噪效果越差。通過對圖2中圖像SNR 的計算，得到圖2a 的SNR 為0.85，圖2b的SNR 為1.107。因此，原始視頻圖像f(x,y)經(jīng)可分離高斯濾波后噪聲明顯降低。

2.2 基于完美反射法的自動白平衡

人眼在觀察物體的時候，可以根據(jù)不同光源的性質(zhì)調(diào)整被觀察到的物體顏色，而相機在不同色溫光源下拍攝到的圖像會產(chǎn)生偏色。為了解決這種顏色失真問題，通常使用白平衡技術使受環(huán)境光影響的圖像和物體真實的顏色保持一致。

完美反射法作為自動白平衡技術中的重要方法，其以圖像中最亮點作為白色點，并假設該點可以完美反射B、G、R三種顏色，并以此點為參考對圖像進行自動白平衡[16]。其算法具體計算過程如下：

根據(jù)可分離高斯濾波圖像f(x,y)的像素尺寸，取其10%比例計算白色參考點T的取值：

式中：T為白色參考點；rows和cols分別為當前視頻幀圖像的行和列數(shù)量。

以圖像左上角為起始點，右下角為終止點，按先行后列遍歷求取每個像素B、G、R最大值之和：

式中：CBGR為存放每個像素B、G、R通道值和的容器；PB(r,n)、PG(r,n)、PR(r,n)分 別為r行n列 像素B、G、R通道值。

遍歷容器CBGR中每個大于T的值，并將其對應像素B、G、R的通道值累加求其平均值BAvg、GAvg、RAvg：

式中：m為CBGR中大于T的數(shù)量；PB(i)、PG(i)、PR(i)為i點處通道值。

以B、G、R通道最大值Bmax、Gmax、Rmax除 以BAvg、GAvg、RAvg作為補償系數(shù)Δb、Δg、Δr，具體表示為：

將每個像素B、G、R通道值量化到[0,255]，即某r行n列像素B、G、R乘以補償系數(shù) Δc，若其值大于255，則相應通道值為255，反之則為0，獲得白平衡處理后圖像g(x,y)，具體效果如圖3 所示。

圖3 自動白平衡前后效果對比Fig.3 Effect comparison before and after automatic white balance

由圖3 可以看出，使用完美反射法實現(xiàn)自動白平衡后，圖像細節(jié)信息更加清晰可觀，物體顏色基本和實際保持一致，不存在顏色失真問題。

2.3 混合亮度增強

由于煤礦井下低光照的影響，所以直接導致采集到的視頻中存在大量黑色區(qū)域，造成圖像特征信息丟失。因此，通過圖像混合的方法來增強視頻亮度，將更多的圖像細節(jié)信息顯現(xiàn)。其具體過程如下。

構建一個與待處理圖像g(x,y)尺寸大小一樣的矩陣，并零填充為圖像h(x,y)，則混合亮度增強圖像k(x,y)生成過程可表示為：

式中：θ為權重系數(shù)，取值為0.9。

由圖4 可以看出，自動白平衡圖像經(jīng)混合亮度增強后，圖像整體亮度有所改善，其局部細節(jié)信息也更加凸顯。

圖4 混合增強前后效果對比Fig.4 Effect comparison before and after mixed enhancement

當煤礦掘進工作面，掘進裝備作業(yè)或人員活動時，會產(chǎn)生各種巖礦飄散微粒。若其濃度越小，視頻圖像感興趣區(qū)域的背景越清晰；反之，視頻圖像感興趣區(qū)域的背景越不清晰。因此，粉塵直接影響特征信息的提取與感興趣區(qū)域的應用。

針對大氣中細小顆粒物的散射作用，S.K.Nayar等[17]提出了著名的大氣散射模型，該模型可以表示為：

式中：I(x)為 觀測到的有霧圖像；t(x)為場景投射率；A為全局大氣光值；J(x)為所求的無霧圖像。

3 低照度視頻快速去霧

3.1 大氣散射模型

3.2 暗通道模型

He Kaiming 等[12]通過觀察大量室外無霧圖像的暗通道，研究發(fā)現(xiàn)在大多數(shù)室外無霧圖像的非天空區(qū)域內(nèi)，至少一個顏色通道上的像素強度非常低，并且像素值接近于0 或者等于0。因此，提出了經(jīng)典的暗通道先驗方法，其具體過程表示為：

式中：Jd(x)為 無霧圖像J(x) 的暗通道；Jc(x)為無霧圖像J(x)的 第c個顏色通道，并且c∈{B,G,R}；? (y)為 以像素y為中心的窗口。由于無霧圖像J(x)非天空區(qū)域的暗通道灰度強度較低，因此，Jd(x)→0。

對于低照度圖像，Dong Xuan 等[18]研究發(fā)現(xiàn)，低照度圖像經(jīng)過求反操作后，與霧天圖像很相似，并且，在求反后的圖像中，背景區(qū)域的像素在B、G、R通道中的強度都很高，非背景區(qū)域的像素至少在1 個通道內(nèi)強度很低。因此，可以說明暗通道先驗理論同樣適用于低照度圖像的處理。

3.3 算法改進

針對煤礦掘進工作面復雜環(huán)境工況，基于上述大氣散射模型與暗通道先驗方法，通過算法的改進，實現(xiàn)煤礦掘進工作面低照度視頻的快速去霧。

3.3.1 大氣光值估計

煤礦掘進工作面通常因設備照明燈光、工人佩戴頭燈直接導致視頻圖像光照分布不均勻且分布具有隨機性。因此，煤礦井下視頻圖像都可以以CMYK 網(wǎng)點百分比為基準劃分為3 個區(qū)域：高光區(qū)、中間調(diào)、暗調(diào)區(qū)。

其中，高光區(qū)指圖像中最亮的部分，網(wǎng)點百分比為0%～25%；中間調(diào)指圖像中網(wǎng)點百分比在25%～75%區(qū)域；暗調(diào)區(qū)指圖像最暗或最黑部分，網(wǎng)點百分比為75%～100%。故圖像k(x,y)可表示為：

式中：kH(x,y) 為圖像高光區(qū)；kM(x,y)為圖像中間調(diào)；kS(x,y)為圖像暗調(diào)區(qū)。

雖然圖像具有高光區(qū)、中間調(diào)、暗調(diào)區(qū)之分，但是每個區(qū)之間沒有絕對的劃分界限。因此，本文采用遞歸分割算法進行區(qū)域分割，得到高光區(qū)、中間調(diào)、暗調(diào)區(qū)。具體步驟如下。

以T1為 高光區(qū)區(qū)域下限，g為區(qū)域分割范圍大小系數(shù)，將圖像k(x,y)經(jīng) 壓縮后大于g的區(qū)域為高光區(qū)：

以T2為區(qū)域下限，將圖像k(x,y)經(jīng) 壓縮后大于T2的區(qū)域為暗調(diào)區(qū)：

將圖像k(x,y)壓 縮后大于T2小于T1的區(qū)域為中間調(diào)：

對高光區(qū)、中間調(diào)、暗調(diào)區(qū)分別求取k通道像素最大值，并將其均值作為大氣光值估計值，即：

3.3.2 透射率估計

根據(jù)已知A且 暗通道先驗理論Jd(x)→0，由大氣散射模型可求得透射率t(x,y)，即：

式中：Kc(x,y) 為圖像K(x,y)的第c個顏色通道，c∈{R,G,B}。

為了使去霧圖像更加自然，避免出現(xiàn)過度失真現(xiàn)象，引入?yún)?shù) ?，?取值0～1，對透射率進行調(diào)整控制，一般取其值為0.95，透射率初步估計為：

為了避免采用軟摳圖、引導濾波等計算復雜度高且計算實時性差的問題，引入δ調(diào)節(jié)因子，滿足0 ≤δ≤1，得到透射率最終估計：

根據(jù)求得的A和t1(x,y)，通過大氣散射模型可得去霧圖像J(x,y)為：

基于上述改進算法，圖像J(x,y)去霧前后對比效果如圖5 所示。

圖5 去霧前后效果對比Fig.5 Comparison of effects before and after fog removal

由圖5 可知，有霧圖像K(x,y)經(jīng)去霧后，視頻圖像的背景更加清晰，增加了視頻圖像的可視度。

3.4 空間銳化濾波

由于視頻圖像在預處理、去霧過程會使圖像的邊緣或輪廓發(fā)生灰度突變，造成圖像的細節(jié)和邊緣信息的丟失問題。因此，為了消除這種影響，采用拉普拉斯銳化處理，增加圖像高頻成分、抑制低頻成分來提高圖像對比度，使模糊的圖像變得更加清晰可觀。

拉普拉斯是一種基于歐幾里得空間的二階微分線性算子，具有旋轉(zhuǎn)不變特性[19]，其通過對圖像鄰域中心像素的多方向求取梯度，并將梯度和相加來判斷中心像素灰度與鄰域內(nèi)其他像素灰度的關系，并用梯度運算的結果對像素灰度進行調(diào)整[20]。針對去霧圖像J(x,y)，現(xiàn)定義拉普拉斯算子表示為：

則拉普拉斯銳化圖像e(x,y)可表示為：

將視頻圖像進行拉普拉斯銳化后，為了提高視頻主觀感受，創(chuàng)建與拉普拉斯銳化圖像e(x,y)尺寸與類型一致的模板圖像r(x,y)，再對其進行圖像加權混合操作，即：

式中：β為權重值，為了降低圖像領域中心像素梯度，一般取?0.5。

如圖6 所示，混合增強圖像經(jīng)改進的大氣散射模型去霧、拉普拉斯銳化處理后，圖像更加清晰、自然，符合人眼視覺特性。

圖6 拉普拉斯銳化前后效果對比Fig.6 Comparison of effects before and after Laplacian sharpening

4 實驗結果及分析

為驗證本文算法的有效性，以某煤礦掘進工作面寬、高分別為6.24、4.55 m 的矩形斷面為數(shù)據(jù)來源工況，通過MV-EM510C 工業(yè)照相機和BT-23C0814MP5照相機鏡頭采集分辨率為2 456×2 058，像素尺寸為3.45 μm×3.45 μm 的掘進工作面視頻，并離線分別使用Retinex 算法、ALTM 算法、暗通道先驗算法和本文算法進行增強處理，并對增強后的視頻圖像進行主觀評價和客觀評價，再結合主觀評價和客觀評價進行綜合評價。

4.1 主觀評價

不同算法得到的視頻圖像增強效果如圖7 所示。

由圖7a 可知，掘進工作面原始視頻圖像由于光照不足，圖像整體暗淡，且背景大多數(shù)為黑色區(qū)域，其中包含的信息量較少；圖7b 可以看出Retinex 算法增強和去霧效果比較明顯，圖像細節(jié)信息也比較豐富，但是放大了圖像噪聲，局部出現(xiàn)顏色失真現(xiàn)象；圖7c 可以看出ALTM 算法去霧效果比較明顯，但是在高亮區(qū)域出現(xiàn)光暈偽影現(xiàn)象，顏色失真現(xiàn)象比較明顯；圖7d 中暗通道先驗算法增強效果一般，圖像整體偏暗，導致暗光區(qū)細節(jié)信息丟失，且局部出現(xiàn)顏色突變現(xiàn)象；本文算法增強效果比較明顯，圖像細節(jié)信息也比較清晰，且色彩更加真實自然，不存在失真現(xiàn)象。

圖7 不同算法增強效果Fig.7 Different algorithm enhancement effect

4.2 客觀評價

信息熵作為圖像信息量的度量標準，其數(shù)值越大，則圖像包含信息越豐富，圖像顯示細節(jié)效果越好；標準差反映了圖像像素值與均值的離散程度，其數(shù)值越大說明圖像質(zhì)量越好；平均梯度表征了圖像邊緣兩側(cè)灰度值的變化率大小，其值主要衡量圖像細節(jié)精細度，其數(shù)值越大說明圖像越清晰[21]；處理速度代表了算法的計算量以及實時性問題，其數(shù)值越小則說明此類算法信息量更新越快。

因此，為了更全面地分析本文算法的圖像增強效果和清晰度，采用信息熵、標準差、平均梯度以及算法處理時間對各類算法的增強效果進行客觀評價[22]，其結果見表1。

表1 不同算法評價指標結果Table 1 Evaluation results of different algorithms

由表1 可以看出，本文算法的信息熵、標準差、平均梯度、處理時間均高于其他3 種算法。其中，本文算法的處理時間高于暗通道先驗算法3 倍，足以表明視頻圖像經(jīng)本文算法處理后可比暗通道先驗算法具有更高的圖像細節(jié)信息，雖然本文算法處理時間與Retinex 算法相差無幾，但是相對于信息熵、標準差、平均梯度，本文算法均遠勝于Retinex 算法，圖像細節(jié)更加豐富，具有更好的視覺效果。因此，本文算法具有較快的處理速度，更好的實時性。

4.3 綜合性能分析

為了更加清晰地驗證算法的綜合性能，將表1 中信息熵、標準差、平均梯度作為綜合指標進行性能分析，其具體結果如圖8 所示。

由圖8 中可知，當掘進工作面視頻照度為5～10 LX時，針對圖像序列綜合指標平均值，本文算法相對于Retinex 算法、ALTM 算法和暗通道先驗算法分別提高了12.3%、10.8%、45.6%。整體上，本文算法綜合性能更好，對煤礦掘進工作面低照度視頻圖像改善效果更佳。但是，針對照度為5～10 LX 范圍以外的視頻增強技術，仍需進一步研究與測試。

圖8 綜合指標柱狀圖Fig.8 Comprehensive index histogram

5 結論

a.利用卷積的可分離性進行圖像水平與垂直方向的卷積濾波，并設定白色參考點，利用完美反射法解決圖像偏色、失真問題，同時以圖像混合方式增強亮度，提高對比度，凸顯更多圖像細節(jié)信息。

b.基于大氣散射模型與暗通道先驗方法，通過遞歸分割將圖像區(qū)域分割為高光區(qū)、中間調(diào)、暗調(diào)區(qū)進行大氣光照估計值計算。并引入調(diào)節(jié)因子對透射率進行調(diào)整優(yōu)化，通過拉普拉斯銳化處理，增加圖像高頻成分，抑制圖像低頻成分，實現(xiàn)掘進工作面低照度視頻快速去霧。

c.通過對掘進工作面低照度視頻的增強處理，結的主、客觀綜合分析得出，本文提出的關于煤礦掘進工作面低照度視頻增強算法，其魯棒性、實時性較強。結果表明，該算法能夠?qū)蜻M工作面低照度視頻進行實時增強，能夠為掘進工作面的目標識別、目標跟蹤、圖像分割等任務提供優(yōu)質(zhì)、可靠的信息支撐。