基于Retinex的改進夜視高光抑制視頻增強算法?

朱 俊

1 引言

隨著多媒體技術(shù)與互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，越來越多的圖片和視頻出現(xiàn)在日常生活和互聯(lián)網(wǎng)中，因此車載視頻隨之飛速發(fā)展，車載圖像增強對人們交通生活具有很重要的作用。相比于白天圖像，夜間視頻圖像具有很多外在干擾因素。夜間圖像的增強是完成智能系統(tǒng)在夜間正常工作的重要環(huán)節(jié)，考慮到夜間的光照環(huán)境較為復(fù)雜，采用普通的照相機或攝像機拍攝的圖像一般都會出現(xiàn)強光源造成的高光區(qū)域，這些高光區(qū)域的存在，使得所拍攝到的圖像因光照的動態(tài)范圍過大，導(dǎo)致了場景畫面出現(xiàn)過暗、照度不均、存在強光干擾的情況，噪聲影響大，特別是強光源（如車燈、路燈、閃光燈）對夜間圖像的增強造成了更多的困難。但是目前的圖像增強算法雖然對圖像中暗區(qū)細節(jié)的增強效果很明顯，但是對于圖像中高光區(qū)域卻沒有明顯的抑制作用，嚴重影響了光源附近的高光區(qū)域的細節(jié)顯示和駕駛?cè)藛T直接觀察效果。

2 多尺度Retinex（MSR）算法

根據(jù)Retinex理論，對于圖像S中的每個點（x，y）有：

其中：S指拍攝的目標圖像；R表示物體的反射性質(zhì)，即物體的本來面貌；L表示照射光。

多尺度Retinex（MSR）在單尺度Retinex（SSR）算法的基礎(chǔ)進行拓展，增加了環(huán)繞尺度，能實現(xiàn)動態(tài)范圍壓縮和顏色高保真，具有更好的處理效果。

多尺度Retinex的基本形式是：

其中：（x，y）表示像素點在圖像中的坐標；*表示卷積運算。N為圖像中顏色通道的個數(shù)，N=1時，表示灰度圖像；N=3時，表示彩色圖像；i∈R，G，B。Ii(x,y)表示輸入圖像中的第i個顏色通道，Ri表示多尺度Retinex輸出，F(xiàn)(x,y)為高斯函數(shù)，Wk表示第k個尺度的加權(quán)系數(shù)=1；當K=1時候，多尺度Retinex（MSR）特例化為單尺度Retinex（SSR），此時權(quán)重W1=1。

3 高光抑制算法

當用一幅圖像作為輸入數(shù)據(jù)時，經(jīng)過該算法處理，分析圖像中出現(xiàn)的高光像素，根據(jù)全局圖像中像素，選定抑制參數(shù)和抑制模板，對高光像素進行抑制。

3.1 預(yù)增強處理

對于m*n大小的輸入夜間圖像 f(x,y)=r(x,y)·i(x,y)x=1，2，…m，y=1，2，…，n［2］。

其中i(x,y)為照射分量，由光源確定，r(x,y)為反射分量，由景物特性確定。

分離輸入夜間圖像的照射分量和反射分量，根據(jù)光照特性，使用一個可以保持邊界輪廓信息的低通濾波器來估算圖像的照射分量，即從輸入夜間圖像中估算的在點（x，y）上的照射分量值 i?(x,y)為

其中為估計出的照射分量，f（x，y）為輸入的夜間圖像，a是最大權(quán)值，Sv(x,y)和Sh(x,y)分別為水平方向上和垂直方向上的邊界檢測器［3］，其表達形式分別為

其中，δ為極小的正數(shù)，H是一個常數(shù)，根據(jù)公式可以估算反射分量 r?(x,y)為

當估計的 i?（(x,y)=0 時，置 i?(x,y)=ε，ε為大于0的數(shù)。

3.2 照射分量的增強處理

根據(jù)上述公式估計出的照射分量值的分布范圍為，對照射分量處理采用改進型的gam-

利用改進型的gamma調(diào)整函數(shù)對照射分量進行增強：

其中，a(z(x,y))為權(quán)重函數(shù)，在對輸入的夜間圖像處理時，權(quán)重函數(shù)使用a(z(x,y))=z(x,y)2，參數(shù)γ∈[0.2,0.3]。

3.3 照射分量的線性對比度增強

對經(jīng)過照射分量的處理后的照射分量i?( )x,y，統(tǒng)計直方圖，因為少量的低灰度級像素以及少量的高灰度級像素的分布，使得直方圖的分布較為集中，因此影響直方圖分布，但不影響視覺效果的灰度級進行歸并，同時對照射分量進行對比度的線性展寬，計算公式如下［4］：ma函數(shù)構(gòu)造映射曲線來進行曲線調(diào)整，在處理前先將照射分量歸一化到［0，1］之間，即

其中i*(x,y)為處理后的照射分量，dlow和dhigh分別為增強處理后的照度分量i(x,y)的下飽和點和上飽和點，是根據(jù)其直方圖統(tǒng)計統(tǒng)計得到的，下飽和點和上飽和點分別選取不影響視覺效果的可歸并的最大低灰度級以及最小高灰度級的點。

3.4 反射分量的增強處理

選用sigomd函數(shù)［5］

其中，k∈[0.35,0.87]，函數(shù)c(z)為權(quán)重函數(shù)，其表達式為

其中，a∈[0.35,0.62]，b∈[1.05,1.2]，d∈[0.7,1.5]。

反射分量r?(x,y)的值增強時，采用改進型的sigmoid函數(shù)［6］構(gòu)造的調(diào)整曲線進行曲線調(diào)整，即

照射分量與反射分量融合，得到預(yù)增強處理后的圖像［7］即

3.5 抑制參數(shù)和范圍的選取

抑制模板的大小就是一高光像素為dm×dm，dm為奇數(shù)的模板；

抑制范圍為[cL,cH]，是指需要被抑制的高光像素的灰度分布范圍，其中cH為高光像素的最好灰度值，一般選擇像素灰度值為圖像F?=[f?(x,y)]m×n的最大灰度值 f?max，cL為高光像素的最低灰度值，選擇像素灰度值為0.6 f?max。

3.6 高光區(qū)域的抑制

首先，遍歷預(yù)增強圖像 F?=[f?(x,y)]m×n，尋找其 中 的 高 光 像 素 p，p∈ Ωp，Ωp={f?p=f?(x,y)|f?(x,y)∈[cL,cH]}，然后待處理高光像素P為中心，套用抑制模板，在模板內(nèi)尋找滿足條件的次高光像素q；

次高光像素q滿足以下條件：

1）次高光像素的灰度值必須小于高光像素的灰度值，即 f?q＜ f?p。

2）次高光像素的灰度值應(yīng)該最接近高光像素灰度值，即灰度值差［8］：

其中，w為模板的寬度，f?(x,y)為預(yù)增強處理后的圖像。

用次高光像素q的灰度值 f?q替換高光像素p的 灰 度 值 f?p，即 f?p=f?q，完 成 對 圖 像F?=[f?(x,y)]m×n的遍歷，對高光區(qū)域進行一層抑制。然后，增大高光像素最低灰度值cL，即令cL=cL+1，縮小抑制范圍[cL,cH]，再遍歷一次圖像F?=[f?(x,y)]m×n，完成對高光區(qū)域的一層迭代抑制，直到高光像素最低灰度值增加到與高光像素最高灰度值相等，即 cL=cH，結(jié)束對 F?=[f?(x,y)]m×n遍歷，完成對其高光區(qū)域的逐層迭代抑制。

3.7 直方圖展寬

高光抑制后，圖像的直方圖出現(xiàn)了比較集中的、連續(xù)的一段的灰度級五香素分布，利用這些空灰度級，將圖像像素灰度級進行重新分布，完成直方圖展寬處理。

統(tǒng)計高光抑制后的圖像[f?(x,y)]m×n的直方圖hr（(k)，統(tǒng)計其概率分布［9］：

其中，Nk是圖像中灰度級等于K的像素個數(shù)，圖像的大小為m×n。

統(tǒng)計直方圖中的空灰度級，即Nk=0的總個數(shù)n，并記錄空灰度級的位置 w?r(k)，其中 k=1,2,…,n。根據(jù)插空規(guī)則計算空灰度級插空位置w?r(k)，選用灰度級等概率分布插空規(guī)則，進行等概率間隔的插入空灰度級，即每隔一定數(shù)量的像素插入一個空灰度級，一次來計算新的插空位置w?r(k)。

首先統(tǒng)計出圖像的直方圖累積分布概率Pa(i)：

然后計算插空比b：b=0.99/n，其中n為空灰度級的個數(shù)，最后獲得新的插空位置w?r(k)=i，i滿足下式［10］：

得到了新的插空位置w?r(k)后，如果出現(xiàn)幾個插空位置在同一灰度級上會應(yīng)為插空太多造成灰度級斷層，影響最后直方圖展寬的效果，為此，在兩個插空位置之間設(shè)置一個最短的間隔dS，當w?r(k+1)=w?r(k)時，令 w?r(k+1)=w?r(k)+dS，依次類推。

在得到新的插空位置后，將n個空依次插空到wr(k)處，并更新灰度映射表h(i)如下：如果 w?r(k)＜wr(k)，則：

如果 w?r(k)＞wr(k)，則

如果 w?r(k)=wr(k)，則 h(i)不變；

根據(jù)灰度映射表，得到直方圖展寬處理后的結(jié)果圖像：

其中，f?(x,y)為經(jīng)過高光抑制后的圖像。

4 實驗與分析

4.1 實驗環(huán)境

本文為實現(xiàn)圖像中高光抑制，需要對視頻中的每一幀進行抑制處理，抑制算法復(fù)雜度較高，計算量較大，為了達到實時性要求，利用FPGA并行計算能力強的特點，在JESON-TK1平臺上實現(xiàn)了1080P30視頻的實時抑制算法，程序運算時間如表1。

表1 Retinex算法和本文算法運行時間比較（單位：ms）

4.2 實驗結(jié)果和分析

圖1、2分別為Retinex算法和本文算法在高光抑制后的效果，本文算法處理結(jié)果能較好的對圖像中的高光進行有效抑制，改善圖像效果，因此，在實時視頻處理中，本文算法高光抑制比Retinex算法有明顯改善。

圖1 Retinex算法

圖2 本文算法

5 結(jié)語

在夜間光照復(fù)雜的條件下，經(jīng)過本文的算法能有效地實現(xiàn)圖像視頻中的高光抑制，本文提出的算法處理后能較好地提高圖像質(zhì)量，改善畫質(zhì)。同時在接下來的研究中，需要進一步加強圖像中抑制區(qū)域的像素鄰域質(zhì)量。

［1］Inaba K，Murakami S，Suzuki M，et al.Crystal structure of the DsbB-DsbA complex reveals a mechanism of disulfide bond generation［J］.Cell，2006，127（4）：789-801.

［2］祝培，朱虹，錢學名，等.圖像景物影像清晰化算法［J］.中國圖像圖形學報，2004，9（1）：124-128.

ZHU Pei，ZHU Hong，QIAN Xueming，et al.Image scene image clearness algorithm［J］.Chinese Journal of image and graphics，2004，9（1）：124-128.

［3］Tsai C-H，Chen B-J，Chan C-H，et al.Improving disulfide connectivity prediction with sequential distance between oxidized cysteines［J］.Bioinformatics，2005，21（24）：4416-4419.

［4］葛艷，趙瑞，高占江.基于TV模型和膨脹的圖，修復(fù)方法研究［J］.微型機與應(yīng)用，2014，33（18）：39-41，44.

GE Yan，ZHAO Rui，GAO Zhanjiang.Based on the TV model and the expansion of the graph，repair methods［J］.Microcomputer and Application，2014，33（18）：39-41，44.

［5］MCCARTNEY，EJ.atmoshphere.scattering by molecules and particles［M］.New York：John Wiley and sons，1976.

［6］史延新.一種基于Retinex理論的圖像增強算法［J］.系統(tǒng)仿真學報，2009，21（4）：1195-1197.

SHI Yanxin.An image enhancement algorithm based on Retinex theory［J］.Journal of system simulation，2009，21（4）：1195-1197.

［7］Sch?ffer A A，Aravind L，Madden T L，et al.Improving the accuracy of PSI-BLAST protein database searches with composition-based statistics and other refinements［J］.Nucleic acids research，2001，29（14）：2994-3005.

［8］丁虎.低能見度圖像的清晰化處理研究［D］.南京：南京理工大學，2010.

DINGHu.Research on the image processing of low visibility［D］.Nanjing：Nanjing University of Science and Technology，2010.

［9］張遠達.線性代數(shù)原理［M］.上海：上海教育出版社，1980，216-235.

ZHANG Yuanda.Linear algebra theory［M］.Shanghai：Shanghai Education Publishing House，1980，216-235.

［10］Fariselli P，Casadio R.Prediction of disulfide connectivity in proteins［J］.Bioinformatics，2001，17（10）：957-964.