◆王 勇 王 臻
(廣東工業(yè)大學 計算機工程學院 廣東 11845)
物體陰影的存在會對一些計算機視覺算法的精度產(chǎn)生較大影響,例如圖像分割,目標跟蹤和目標識別等。陰影檢測與移除的主要目的是定位陰影區(qū)域,區(qū)分陰影和前景對象,然后再移除陰影。
Zhang 等[1]在論文中總結了4 種陰影檢測模型,檢測方案中基于紋理模型和顏色模型的方法最為常見。Qin 等[2]采用馬爾科夫隨機場檢測陰影區(qū)域然后采用紋理特征檢測陰影像素。Farag等[3]人提出融合LBP 特征和Gabor 特征進行陰影區(qū)域檢測。Cucchiara 等[4]基于HSV 顏色模型去檢測移度值和背景中對應像素點的色度值相差比較小,采用一些閾值可以區(qū)分前景目標。Salvador 等[5]在論文中提出了一種新的C1C2C3 顏色空間,該顏色空間主要用于顏色不變特征的提取。Chen 等[6]使用YUV 顏色空間來檢測陰影,方法比較簡單,但是容易受到噪聲的干擾。Guan等[7]使用HSV 空間的顏色空間屬性,使用多尺度小波變換去檢測陰影,采用標準差作為閾值去檢測和移除陰影。Khare 等[8]采用離散小波(DWT)變換檢測陰影,并提出了以相對標準差作為自動閾值,提升檢測的準確度。多尺度小波和離散小波存在對平移和旋轉敏感的問題,但陰影和目標在視頻序列中是以平移或旋轉的形式出現(xiàn)[9]。因而具有平移不變性質和旋轉不變性的小波更加適合視頻陰影檢測,雙樹復小波克服了上述問題,故本文采用雙樹復小波進行陰影檢測,并結合HSV 顏色模型移除陰影。
雙樹復小波變換(DT-CWT)是Kingsbury 在1998 年提出的,是離散小波變換的一個增強擴展,DT-CWT 采用具有二叉結構的雙路DWT,即將復小波的實部和虛部分離。如圖一中的Tree A和Tree B,兩個實數(shù)小波樹相互平行,并且通過實數(shù)濾波器來分別獲取復數(shù)小波的實部變換系數(shù)和虛部的變換系數(shù)。因其具良好的方向選擇性,近似平移不變性和有限的數(shù)據(jù)冗余,計算效率高以及重構效果好等特點。自提出以來就被廣泛地應用于圖像降噪、分割、分類以及圖像融合等領域。雙樹復小波的變換原理如圖1所示。
2.2.1 雙樹復小波掩模
前景區(qū)域檢測方法,將當前幀I和背景參考幀B轉分別換到HSV 顏色空間,將轉換后的圖像做背景差分計算并取絕對值得到差分圖像D,將差分圖像的亮度分量進行n級小波分解,每級分解將產(chǎn)生1 個低頻子帶和3 個高頻子帶,計算每個子帶的二值掩模,公式如下:
圖1 雙樹復小波變換原理
其中i∈{1,2,...,n}表示分解級數(shù),c∈{LL,LH,HL,HH}表示每級分解產(chǎn)生的近似、水平、垂直、對角四個子帶。Wic(·)表示第i層小波分解第c個子帶的小波系數(shù),maskic(·)為對應的小波掩模。每級分解將會產(chǎn)生對應的四個掩模,n級分解將會產(chǎn)生多個掩模,將得到的掩模進行小波反變換得到最終的掩模P,計算公式如下:
其中f(·)為雙樹復小波反變換函數(shù),mask(·)∈{mask1LL,mask1LH,....,masknHH}為子帶掩模集合。P為最終掩模。
2.2.2 閾值選擇
對于公式1 的閾值選擇,文獻[7]提出以小波系數(shù)的標準差σ作為閾值,但是該閾值對噪聲敏感,文獻[8]等人提出了相對標準差作為閾值,相對標準差為標準差和均值的比值σ/μ,該閾值對噪聲有較好的魯棒性。但上述兩個閾值都不能很好地區(qū)分背景像素同目標像素或陰影像素相似的情況。文獻[10]采用以衡量數(shù)據(jù)平衡參數(shù)的偏度作為檢測小波掩模的新閾值,經(jīng)測試偏度優(yōu)于標準差和相對標準差。本文采用偏度作為閾值,偏度公式如下:
其中μ和σ分別為小波系數(shù)的均值和方差,故閾值t可以表示為:
其中,i∈{1,2,...,n},c∈{LL,LH,HL,HH},這里skewnessic表示第i級分解中c子帶對應的偏度值。
2.2.3 陰影檢測
本文采用HSV 顏色模型進行陰影像素檢測,相比RGB 模型HSV 顏色模型更加接近人眼對顏色的感知方式。陰影覆蓋的背景區(qū)域的亮度分量會發(fā)生較大的變化,而色度分量和飽和度分量的變化較小,陰影像素的檢測公式如下:
其中H,S,V是當前幀I(x,y)和參考幀B(x,y)分別對應的HSV 圖像的色度、飽和度和亮度分量,α和β是當前幀和參考幀亮度分量比的閾值,ts代表飽和度分量的閾值,th代表是色度分量的閾值,∧為邏輯與操作。
實現(xiàn)過程如下:
(1)將當前幀和參考幀分別轉換成HSV 圖像;
(2)將當前幀的HSV 圖像減去參考幀的HSV 圖像取絕對值得到差分圖像D。差分圖像包含色度、飽和度和亮度三個分量;
(3)對亮度分量采用雙樹復小波進行小波分解,得到亮度分量的小波系數(shù),記作w;
(4)采用公式3 計算每個子帶相對應的偏度,用公式1 計算每個子帶的掩模mask;
(5)采用公式2 將得到的二值化掩模進行小波反變換,得到最終的掩模圖像P;
(6)根據(jù)獲得掩模P,進一步結合參考幀和背景幀轉換后的HSV 圖像,判斷目標區(qū)域和陰影區(qū)域,具體過程如下:
①根據(jù)掩模P 中的非零系數(shù)確定原始圖像的包含目標和陰影的區(qū)域;
②采用公式5 檢測陰影像素,其中α和β取值為0 到1,th取值為0.3,ts取值為0.25。目標像素為前景區(qū)域減去陰影區(qū)域。
為了驗證本文提出方法的有效性,采用室內和室外包含陰影的視頻序進行試驗,目前主流用于陰影檢測的數(shù)據(jù)集是ATON 實驗室收集的包含高速公路、校園、房間、實驗室、走廊等五個場景視頻,本次檢驗用到的視頻序列Higway I、Hallway 兩個場景,視頻的詳細信息在表1 給出。本文實驗基于MATLAB 平臺、操作系統(tǒng):Windows 10、CPU:i7 3960X,采用Haar 小波基進行小波分解。
表1 實驗使用的檢測序列
圖2 4 種算法在HigwayI 和Hallway 場景下的結果對比
為了給出結果分析對別,采用比較成熟的評價陰影檢測方法和去除效果分析的方法如下所示:
其中,η表示陰影檢測率(Shadow detection Rate),ξ表示陰影區(qū)分率(Shadow Discrimination Rate)。下標S和F分別代表陰影和前景,TP(True Positive)表示被正確分類到陰影或目標的像素數(shù)量,F(xiàn)N(False Negative)表示被錯誤分類到陰影或前景的像素數(shù)量,真實背景中誤判成陰影但實際上屬于目標對象的像素點數(shù)量。從表2 可以看出的本文方法在當前場景優(yōu)于其他方法。
表2 Higway I 第100 幀實驗數(shù)據(jù)對比
本文提出了基于雙樹復小波的移動目標陰影檢測和移除的方法,將背景幀和當前幀圖像轉換到HSV 顏色空間,然后對轉換后背景圖和當前圖像做背景差分得到差分圖像,利用雙樹復小波的特性將差分圖像的亮度分量進行小波分解,并采用偏度作為閾值檢測檢測小波掩模,最后將掩模進行小波反變換得到最終掩模,同時結合顏色特征檢測陰影像素點,降低算法在背景或陰影同車輛相似的區(qū)域出現(xiàn)誤判的概率,提高陰影的檢測和區(qū)分精度。由于采用雙樹復小波對于圖像進行分解會存在數(shù)據(jù)冗余,可以采用主成分分析法進行數(shù)據(jù)壓縮,可以減少程序運行時間。