融合深度信息的霧霾情況下顯著性目標(biāo)提取

劉 坤，張曉懌，陳寧紀(jì)，蘇秀蘋

（河北工業(yè)大學(xué) 控制科學(xué)與工程學(xué)院，天津 300130）

0 引言

根據(jù)公安部道路交通事故統(tǒng)計報告，我國每年大約10%的交通事故直接與霧霾等惡劣天氣有關(guān).由于霧霾天氣下空氣中渾濁介質(zhì)增多，導(dǎo)致行車過程中能見度低、視野不清、尤其是路面上的車輛和行人等重要的顯著性目標(biāo)輪廓模糊不清，不利于駕駛員對前方道路環(huán)境做出正確的觀察與判斷.視覺顯著性目標(biāo)檢測是近些年來的研究熱點(diǎn)，通過模擬人類的視覺注意力機(jī)制，顯著性目標(biāo)檢測能夠?qū)τ邢薜男畔⒓庸べY源進(jìn)行分配與選擇，可以快速找到需要關(guān)注的目標(biāo)，降低視覺信息處理量[1].目前關(guān)于顯著性目標(biāo)的檢測已經(jīng)取得了大量的研究成果，并在圖像分割和圖像壓縮等領(lǐng)域中取得了廣泛的應(yīng)用[2-4].應(yīng)用于智能交通領(lǐng)域時，通過對路面上的顯著性目標(biāo)進(jìn)行檢測可以輔助駕駛員進(jìn)行判斷與決策，例如及時發(fā)現(xiàn)路面上的車輛和行人等顯著目標(biāo)，以降低交通事故的發(fā)生率.

霧霾天氣造成的低分辨率、低對比度導(dǎo)致被關(guān)注目標(biāo)的邊緣、輪廓、顏色，紋理等重要的圖像特征無法準(zhǔn)確提取，給顯著性目標(biāo)檢測帶來了很大的困難.盡管目前已有很多學(xué)者針對降低霧霾等大氣介質(zhì)對圖像的影響進(jìn)行了研究，但現(xiàn)有的去霧算法存在以下幾方面問題[5-6]，使其難以應(yīng)用于霧霾天氣下的顯著性目標(biāo)檢測問題中：1）去霧算法的復(fù)雜度：現(xiàn)有的去霧算法主要是針對單幅圖像的去霧問題進(jìn)行研究，算法的復(fù)雜度問題一直是該領(lǐng)域中的難題，復(fù)雜度過高使目標(biāo)檢測的實時性很難保證；2）圖像顏色的失真：大部分去霧算法在附加各種假設(shè)條件的情況下調(diào)整圖像亮度，使用假設(shè)條件的不同導(dǎo)致其去霧效果各有差異，很多算法由于集中在可見度的增強(qiáng)而并沒有從物理上恢復(fù)原始景物的光線，導(dǎo)致去霧后的圖像存在顏色的失真和光環(huán)效應(yīng)，進(jìn)一步地導(dǎo)致目標(biāo)的邊緣和輪廓等視覺特征無法準(zhǔn)確提取.

在視覺注意力模型的計算過程中，特征提取是由視覺刺激到視覺信息處理的關(guān)鍵步驟，它將圖像中的內(nèi)容轉(zhuǎn)化為定量的可計算信息描述形式，特征的質(zhì)量直接影響顯著目標(biāo)提取的準(zhǔn)確度.在最具代表性的Itti顯著性模型中[1]，提取了顏色、亮度和梯度方向等不同類型的視覺特征，通過中央-周邊操作算子得到相應(yīng)的顯著圖，特征融合之后確定顯著區(qū)域的位置和范圍.霧霾天氣下利用傳統(tǒng)的特征提取方法難以保證顯著性目標(biāo)的準(zhǔn)確檢測.這里，本文改進(jìn)了傳統(tǒng)的Itti模型中的梯度方向顯著圖的計算方法；同時，引入了霧霾場景的深度信息作為重要的顯著性特征.實驗結(jié)果表明，場景的深度信息及目標(biāo)之間的空間位置關(guān)系可以有效地提高顯著性目標(biāo)檢測的準(zhǔn)確率.本文算法的總體框架如圖1所示.

圖1 本文算法總體框架Fig.1 The framework of our algorithm

1 多通道顯著特征提取

1.1 亮度差異顯著圖

人眼對亮度的感知是最基本的視覺信息，即使是對其他信息和特征的感應(yīng)在很大程度上也是根據(jù)亮度而來的.因此，本文首先計算待檢測圖像的亮度顯著圖.具體步驟是對待檢測圖像的亮度圖建立不同尺度下的金字塔表示結(jié)構(gòu)，然后進(jìn)行中央-周邊亮度對比操作來提取亮度特征的顯著圖.通過中央與周邊亮度的對比操作，可以突出圖像中亮度與周圍相比更加顯著的部分.亮度顯著圖的計算過程如圖2所示.

首先，對待檢測圖像的亮度圖建立不同尺度下的金字塔結(jié)構(gòu)表示.由于高斯卷積核是實現(xiàn)尺度變換的唯一線性核，因此將待檢測的亮度圖像的尺度空間定義為原始圖像的高斯卷積，卷積后得到拉普拉斯函數(shù)

圖2 亮度差異顯著圖的計算Fig.2 computation of illumination difference saliencymap

1.2 梯度方向顯著圖

關(guān)于視覺注意力機(jī)制的研究表明，視覺系統(tǒng)的神經(jīng)元細(xì)胞對于固定角度的圖像信號有明顯的響應(yīng)效果，傳統(tǒng)的方向映射圖中通過構(gòu)造Gabor濾波器來描述圖像信號在多個特定方向上的朝向性，算法的計算復(fù)雜度較高．為了提高算法的效率，本文提出了一種新的梯度方向顯著圖，主要度量圖像在水平與垂直方向上的梯度大小，并基于此進(jìn)行梯度方向顯著圖的提?。僭O(shè)為輸入圖像，在處的水平和垂直方向上梯度定義為以下矢量

在實際計算過程中，為了進(jìn)一步提高算法的效率，本文利用模板卷積估計圖像在水平方向和垂直方向的梯度，同時梯度的幅值大小利用式 (7)近似代替．

通過分析可以發(fā)現(xiàn)，梯度的幅度反映了在特定方向上像素亮度變化的情況．而且，將圖像梯度的幅值圖作為有向梯度顯著圖，其中的局部差分操作在一定程度上可以凸顯出原始場景的亮度分布和變化情況．

1.3 深度特征顯著圖

本文根據(jù)暗原色先驗原理[7]對霧霾場景中的深度信息進(jìn)行提取，該原理是通過對大量的清晰圖像與霧霾圖像的亮度進(jìn)行統(tǒng)計對比后發(fā)現(xiàn)的先驗規(guī)律：在絕大多數(shù)非天空的局部區(qū)域里，總會存在某些像素其顏色通道之一的數(shù)值接近零．利用此先驗信息可以對霧霾場景中的透射率進(jìn)行提取，場景透射率的估計與場景的深度信息存在正比例關(guān)系，因此可以間接提取目標(biāo)場景的深度信息．關(guān)于霧霾情況下目標(biāo)場景的成像過程，研究人員已經(jīng)提出了很多關(guān)于大氣介質(zhì)散射的模型，其中最為著名的大氣散射模型[8]描述關(guān)系如式 (8)所示．該散射模型主要包括衰減模型和環(huán)境光模型，衰減模型描述了光從場景點(diǎn)傳播到觀測點(diǎn)的過程；環(huán)境光模型描述了周圍環(huán)境中的各種光經(jīng)過大氣粒子散射后對觀測到的光強(qiáng)的影響．

其中：Ｉ代表觀測圖像的亮度；Ｊ代表場景的輻射度；Ａ是全局大氣光；ｔ用來描述光線通過媒介投射到相機(jī)程中沒有被散射的部分．方程中右邊第一項叫做直接衰減項，描述的是景物光線在透射媒介中經(jīng)衰減后的部分；第二項是大氣光成分，它是由大氣散射引起的，會導(dǎo)致景物顏色的漂移．通過分析大氣散射介質(zhì)作用下的成像模型可以發(fā)現(xiàn)，霧霾情況下成像得到的目標(biāo)亮度值主要與目標(biāo)本身的顏色和亮度、霧霾介質(zhì)的濃度以及目標(biāo)與到攝像機(jī)的距離有關(guān).在相同的霧霾介質(zhì)濃度下，目標(biāo)在圖像中亮度值改變的多少與它到相機(jī)的距離成反比，也就是說，通過對霧霾情況下物體顏色和亮度的觀測和統(tǒng)計，反過來可以間接獲得目標(biāo)場景距離相機(jī)的深度信息.

這里假設(shè)大氣光A是給定的，且在局部范圍內(nèi)的透射率是一個常數(shù)，表示，對方程式 ( 8)的兩邊取最小化操作，可以得到

根據(jù)暗原色原理的先驗信息，其方程表示如下

進(jìn)而可以得到對圖像中場景的透射率估計結(jié)果如式 (11)所示.

由于目標(biāo)場景透射率與場景的深度信息存在正比例關(guān)系，因此通過統(tǒng)計歸一化后的霧霾圖像中的暗原色通道可以得到對圖像場景的深度信息估計結(jié)果.對于霧霾圖像中的天空區(qū)域，這里假設(shè)大氣光在天空部分的亮度為常數(shù)，因此，通過檢測圖像中亮度為恒常的圖像區(qū)域判定天空區(qū)域的位置，并將其深度信息置為無窮遠(yuǎn).

2 顯著圖融合與目標(biāo)檢測

自底向上地提取了圖像中的深度信息、亮度差異和梯度方向并計算顯著圖之后，為了獲得與任務(wù)相關(guān)的目標(biāo)位置信息，需要制定一種自上而下的顯著圖融合機(jī)制，將不同特征之間的顯著圖進(jìn)行競爭與融合，同時使得所有特征顯著圖中孤立的、顯著的極值點(diǎn)不會因為其他的特征合并而消失.傳統(tǒng)的顯著圖融合主要是利用Itti的靜態(tài)權(quán)重求和法，即給不同類型的特征顯著圖分配一個固定的權(quán)重系數(shù)，然后進(jìn)行線性加權(quán)形成融合之后的顯著圖.但是，這樣的假設(shè)不符合人眼的視覺處理機(jī)制，同時簡單的加權(quán)會抑制有效特征的效果.為此，本文利用一種新的競爭與融合機(jī)制，針對每個待檢測圖像根據(jù)其不同顯著圖的特性動態(tài)分配權(quán)重，然后再對所有的顯著圖進(jìn)行合并.

首先定義歸一化操作算子N(.) ，將所有特征顯著圖歸一化到同一個動態(tài)區(qū)間內(nèi)，本文采用最簡單有效的最大歸一化方法，將顯著圖的亮度歸一化到[0,Ma].然后將基于不同特征得到的顯著圖進(jìn)行非線性融合，融合中權(quán)系數(shù)的確定方法如公式 (12)所示.

其中：D，G，W分別表示亮度顯著圖、梯度方向顯著圖和紋理特征顯著圖； 為最終合成的顯著圖.N(.)表示對圖像的規(guī)范化操作.其中Mai為不同特征顯著圖中的全局極大值為除去全局極大值之后的所有局部極大值的平均值.經(jīng)過這樣的運(yùn)算之后，具有顯著性的極大值的圖像就會被加強(qiáng)，不具有顯著性極大值的圖像就會被抑制.

通過對待檢測圖像的深度、亮度差異和梯度方向進(jìn)行特征提取與顯著圖計算與融合之后，獲得了顯著性目標(biāo)的候選區(qū)域.為了進(jìn)一步獲得準(zhǔn)確的感興趣目標(biāo)的位置信息，本文采用最大類間差方法進(jìn)行顯著性目標(biāo)的檢測與定位.具體做法是根據(jù)待檢測圖像的灰度特性將圖像分成背景和目標(biāo)兩部分，背景與目標(biāo)之間的類間方差越大，說明構(gòu)成圖像的兩部分差別越大.當(dāng)部分目標(biāo)錯分為背景或部分背景錯分為目標(biāo)都會導(dǎo)致兩部分差別變小.因此，類間方差最大的分割意味著使目標(biāo)與背景錯分概率最小.定義t為前景與背景的分割閾值，假設(shè)前景點(diǎn)數(shù)占圖像的比例為0，平均灰度為0；背景點(diǎn)數(shù)占圖像比例為1；平均灰度為1，則圖像的總平均灰度為u=w0×u0+w1×u1.從圖像中的最小灰度值到最大灰度值進(jìn)行遍歷，當(dāng)t使得g=w0× w1×(u0-u12最大時，即為進(jìn)行目標(biāo)檢測與分割的最佳閾值.

圖3 基于不同特征的顯著圖生成及目標(biāo)檢測Fig.3 saliencymap based on different featuresand objectdetection

3 實驗結(jié)果

為了驗證本文算法的有效性，這里在霧霾天氣下采集的大量交通路面視頻中進(jìn)行測試，針對圖像中路面上的行人等顯著性目標(biāo)進(jìn)行了檢測.通過對圖像計算亮度差異顯著圖、梯度方向顯著圖和深度顯著圖，將其合成最終的顯著圖后利用最大類間差法得到的自適應(yīng)閾值對其進(jìn)行二值化處理，顯著圖中大于或等于閾值的像素點(diǎn)構(gòu)成了初始的顯著區(qū)域；而小于閾值的像素點(diǎn)構(gòu)成了初始的背景區(qū)域.為了提高分割的準(zhǔn)確率，兩個準(zhǔn)則被用于去除二值圖中的“噪聲”區(qū)域：一些初始的顯著區(qū)域面積相當(dāng)小，而一些初始的顯著區(qū)域離大部分區(qū)域在空間位置上較遠(yuǎn)，這兩類區(qū)域被重新設(shè)置為初始的背景區(qū)域，最終得到的區(qū)域為顯著性目標(biāo)的檢測結(jié)果.圖3中給出了顯著性目標(biāo)的檢測結(jié)果，其中 a）為輸入的原始圖像，b）為輸入圖像的亮度差異顯著圖，c）為通過暗原色原理提取的場景深度特征顯著圖，d）為輸入圖像的梯度方向顯著圖，e）為進(jìn)行自適應(yīng)閾值化之后的二值化結(jié)果，f）為最終的顯著性目標(biāo)檢測的位置結(jié)果.

為了進(jìn)一步驗證本文檢測算法的統(tǒng)計特性，先對目標(biāo)檢測的結(jié)果做如下定義：如果行人區(qū)域被正確檢測，則稱為真正類TP（Truepositive）；如果非行人區(qū)域被識別為行人，稱之為假正類FP（Falsepositive）；如果行人區(qū)域被認(rèn)為是非行人即為假負(fù)類FN（False negative）；如果非行人區(qū)域被認(rèn)為是非行人，則稱之為真負(fù)類TN（True negative）.進(jìn)一步地，定義目標(biāo)檢測的查準(zhǔn)率（Precision）與查全率（Recall）如式 (13)和式 (14)所示

通過對霧霾圖像提取基于不同特征的顯著圖并進(jìn)行合成之后，利用自適應(yīng)的閾值對顯著性目標(biāo)分割與檢測，再利用人工標(biāo)注的結(jié)果對這些分割結(jié)果計算查全率、查準(zhǔn)率以及F-measure，F(xiàn)-measure定義為

考慮到查準(zhǔn)率更重要一些，這里設(shè)a=0.3，用以增加查準(zhǔn)率在計算F-measure時的權(quán)重.表1中給出了本文方法與傳統(tǒng)Itti模型進(jìn)行顯著性目標(biāo)檢測時在查全率、查準(zhǔn)率以及F-measure指標(biāo)和計算效率幾個方面的對比，從表1中可以看出本文算法的檢測效果與計算效率均優(yōu)于傳統(tǒng)的算法.

表1 本文算法與傳統(tǒng)的Itti模型的對比Tab.1 Comparison ofouralgorithm w ith Ittimodel

4 結(jié)論與展望

本文提出了一種融合了深度信息的視覺顯著性目標(biāo)檢測算法，其中考慮了霧霾圖像中場景的深度信息以及目標(biāo)之間的空間位置關(guān)系，同時還改進(jìn)了傳統(tǒng)的顯著性模型中的梯度方向顯著圖的計算方法.實驗結(jié)果表明，本文提出的算法可以在霧霾天氣下可靠地檢測出交通路面上的車輛和行人等顯著性目標(biāo)，同時還提高了傳統(tǒng)顯著性目標(biāo)檢測算法的計算效率，具有較廣泛的應(yīng)用前景.

[1]IttiL，KochC.Featurecombinationstrategies forsaliency-based visualattention systems[J].JournalofElectronic Imaging，2001，10（1）：161-169.

[2]Zhang Zhuo，F(xiàn)an XinNan.A Novel Method of Visual Attention for Targets Detection[C]//International Conference on Precision Mechanical Instrumentsand MeasurementTechnology，2013，347-350.

[3]Guo C，Zhang L.A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression[J].IEEE Trans.Image Processing，2010，19（1）：185-198.

[4]余映.視覺注意計算模型設(shè)計及其應(yīng)用研究 [D].上海：復(fù)旦大學(xué)，2010.

[5]ChengM M，Zhang G Z，M itraN J.Globalcontrastbased salientregion detection[C]//ProceedingsofComputerVisionand Pattern Recognition.Los A lam itos：IEEEComputer Society Press，2011：409-416.

[6]Shwartz S，NamerE，SchechnerY Y.Blind hazeseparation.[C]//Proceedingsof IEEEConferenceon ComputerVisionand Pattern Recognition.Washington，DC： IEEEComputer Society，2006： 1984-1991.

[7]HeK，Sun J，Tang X.Single ImageHazeRemovalUsingDark ChannelPrior[J].IEEETrans.Pattern AnalysisandMachine Intelligence，2011，33（12）：2341-2353.

[8]Narsimhan G，Nayar SK.Vision and theatmosphere[J].International Journalof Computer Vision，2002，48（3）：233-254.