熱紅外視頻監(jiān)控下行人目標前景區(qū)域提取

張玉貴，沈柳青，胡海苗

（北京航空航天大學 計算機學院，北京 100083）

視頻監(jiān)控在公共安全、刑偵破案、災難救援中具有重要的作用，尤其在公安視頻監(jiān)控中對行人目標的準確檢測更為重要，從而保障了公安辦案人員事前預警、事中干預、事后留證［1-3］。然而，在實際現(xiàn)實世界中，由于夜間低照度光照、霧霾、陰雨天氣等的影響，使得充足光照的時間不到全年總時間的二分之一。夜間低照度光照、霧霾、陰雨天氣等光照條件，嚴重影響基于可見光的視頻監(jiān)控環(huán)境中行人目標檢測的準確性，并且影響后續(xù)視頻智能化分析處理。因此，研究基于夜間低照度下的行人目標的準確檢測，并保障視頻監(jiān)控的全天時準確檢測，是公安視頻監(jiān)控中重要的應用［4-9］。在低照度下行人目標的運動前景區(qū)域準確提取是行人目標準確檢測的基礎(chǔ)。為此，本文重點研究了低照度下基于熱紅外成像來實現(xiàn)行人目標前景區(qū)域的準確提取。

熱紅外傳感器成像是根據(jù)任何物體表面的溫度超過絕對零度（-273.15℃）時會輻射出不同的紅外線電磁信息。這些紅外線電磁信息載有物體的特征信息，因此可用于判別不同目標物的熱分布場及溫度的高低。利用紅外光電技術(shù)，熱成像攝像機通過測量目標與背景或目標各部分之間的輻射差異，將物體輻射的功率信號轉(zhuǎn)換成電信號，經(jīng)過放大處理形成視頻圖像，也即是利用熱成像攝像機的作用，將物體發(fā)出的不可見紅外能量轉(zhuǎn)變?yōu)槿搜劭勺R別的熱圖像［9-10］。由于熱圖像是基于熱輻射成像，也即紅外是基于物體表面的溫度來成像的，因此不會受到低照度光照、陰雨天氣、霧霾、大雪、大風等光照條件的影響。例如，正常情況下，人體的溫度要比周邊環(huán)境的溫度要高，在熱圖像成像上人體目標就會以高亮成像；但在夏天，環(huán)境溫度較高的情況下，人體溫度低于周圍環(huán)境溫度，人體目標的成像會不明顯，甚至以暗色成像，因此在這種情況下，就會產(chǎn)生圖像像素值反轉(zhuǎn)的問題，這為行人目標的檢測帶來困難。同時，熱紅外成像技術(shù)還受到夜間的路燈、汽車的車燈、樓宇中長明燈的光亮影響，導致行人目標檢測的精度降低、誤檢率或虛警率高，影響后續(xù)的智能化分析水平［11］。

現(xiàn)有主流的基于熱紅外下行人目標前景區(qū)域的提取方法有以下3類。第1類方法主要使用熱圖像的底層視覺特征，例如目標的紋理、邊緣等特征，但這類方法中的熱紅外圖像沒有顏色信息，導致不能夠有效地檢測到行人目標的紋理特征和顏色特征［12］。第2類方法主要利用視頻序列中的時域信息來獲取運動區(qū)域，主要有幀差法［13］、背景減法［14］和光流法［15］。幀差法基于圖像序列中相鄰幀差分來獲得運動區(qū)域，該類方法對于動態(tài)環(huán)境有一定的適應性，但在目標運動過慢時，容易產(chǎn)生較大的“空洞”。背景減法是將當前圖像與背景圖像進行差分以獲得運動區(qū)域，該類方法能獲得比較完整的運動區(qū)域，但在實際應用中難以有效地建立準確的背景模型。光流法是基于視頻序列中運動目標隨時間變化的光流場特性，但該方法計算復雜，容易受噪聲影響，不利于實時處理。第3類方法主要利用視頻序列中運動目標的時域運動信息在熱紅外圖像中生成若干疑似包含人體目標的感興趣區(qū)域，后續(xù)對感興趣區(qū)域提取特征并使用分類器，來驗證是否為行人目標，進而來排除誤檢目標［16］。這3類方法盡管在一些特定場景和特定應用上具有較好的檢測精度，但對其他場景和環(huán)境，尤其是在熱紅外視頻監(jiān)控中出現(xiàn)灰度值反轉(zhuǎn)的情況下，其適應性與魯棒性仍有待提升。因此，在熱紅外視頻監(jiān)控中出現(xiàn)灰度值反轉(zhuǎn)的情況下，對行人目標的前景區(qū)域的準確檢測具有重要意義。

針對上述問題，本文提出了一種基于行人目標的邊界特征和運動特征來提取行人目標前景區(qū)域的方法。所提方法建立了有效結(jié)合行人目標本身的底層特征和中高層特征的機制，克服了環(huán)境中的溫度變化所帶來的灰度值反轉(zhuǎn)，因此對各類環(huán)境的變化有一定魯棒性。

1 相關(guān)工作

近年來，針對熱紅外圖像中行人目標前景區(qū)域的提取，研究學者們提出了諸多算法框架與解決方案。一些研究利用圖像的視覺底層信息（例如輪廓和紋理信息）來實現(xiàn)行人目標的前景區(qū)域的準確提取。Shaik和Iftekharuddin［17］提出了基于頻域相關(guān)性和貝葉斯概率技術(shù)來實現(xiàn)目標的檢測和跟蹤，所提出的算法適合于靜態(tài)或運動目標的實時檢測和跟蹤，同時在一定程度上能夠去除雜波和背景噪聲所帶來的背景干擾。Davis和Sharma［18］提出了一種基于輪廓的背景檢測技術(shù)來檢測變化很大的熱圖像中的行人目標，該技術(shù)首先利用背景減法識別局部感興趣區(qū)域，其次在每個感興趣的區(qū)域內(nèi)，將前景和背景中的信息組合起來以形成輪廓顯著圖，并利用分水嶺邊界的路徑約束搜索用于完成任何破碎的輪廓線段連接，最后填充輪廓圖像以產(chǎn)生完整輪廓。Sad jadi［19］提出了基于小波多分辨率紋理的算法，該算法使用圖像的小波分解子帶的概率密度函數(shù)。這些概率密度函數(shù)在聚類算法中用于從背景雜波中分割目標。該算法估計了一組多維預測分析性能模型，這些模型涉及算法內(nèi)部參數(shù)、目標像素數(shù)、目標背景干擾比、目標干擾比和局部熵度量。這些模型可用于在沒有可用數(shù)據(jù)的情況下預測區(qū)域的性能，并在具有已知場景和度量條件的區(qū)域中通過選擇最佳參數(shù)和恒定的虛警值來優(yōu)化性能。

同時，為了進一步提升紅外視頻監(jiān)控中行人目標前景區(qū)域的提取精度，許多研究者利用了行人目標的運動特征。Lei和Geng［20］提出了一種將三幀差分法與背景差分法相融合的紅外人體運動目標檢測方法，并采用混合高斯模型進行背景建模，結(jié)果表明，該方法在運動目標檢測中比單獨使用三幀差分法和背景差分法更好。付裕等［21］提出了一種基于高斯模型的運動目標檢測方法，該方法利用基本的預處理技術(shù)對紅外圖像做了預處理，隨后引入高斯模型，建立背景圖像的自適應模型，仿真結(jié)果表明，該方法可以準確地檢測紅外監(jiān)控圖像中的人體運動目標，較好地避免了人體運動速度過快或過慢所產(chǎn)生的拖尾或空洞現(xiàn)象。Viola等［22］提出了一種將圖像強度信息與運動信息集成在一起的行人目標檢測系統(tǒng)，其中使用了一種檢測樣式算法，該算法在視頻序列的兩個連續(xù)幀上掃描檢測器，并使用AdaBoost對檢測器進行訓練，該方法可以以非常小的比例檢測出行人，并且誤檢率非常低。Javed等［23］提出了一種背景減除方法，該方法包括3個不同的級別：像素級別、區(qū)域級別和幀級別，并且使用了多個線索以在背景干擾的條件下魯棒地檢測出目標，該方法能夠解決實際應用中的一些常見問題，例如快速照明改變、靜態(tài)背景目標的重新定位以及場景中存在運動目標的背景模型的初始化等。

因此，利用熱紅外圖像的底層視覺特征和運動特征能夠在一定程度上解決行人目標前景區(qū)域提取的問題，但當熱紅外圖像出現(xiàn)灰度值反轉(zhuǎn)時，上述方法不能夠有效地解決該類問題。

2 本文方法

針對在實際熱紅外視頻監(jiān)控中，由于熱紅外成像受環(huán)境溫度的影響，可能會出現(xiàn)圖像灰度值反轉(zhuǎn)的問題。然而，不論是行人溫度高于周圍環(huán)境溫度，還是周圍環(huán)境溫度高于行人溫度，行人目標和背景之間總會存在明顯的目標邊界?；诖?，本文提出了一種在熱紅外視頻監(jiān)控下提取行人目標前景區(qū)域的方法，該方法基于熱紅外圖像行人目標的邊界特征提取并融合行人目標的運動特征，包括以下步驟：

步驟1利用圖像梯度來提取當前幀圖像的邊界信息，并對邊界信息進行區(qū)域填充，將邊界特征提取的前景區(qū)域位置映射到原始圖像中的對應位置，并利用熱紅外行人目標分類器模型進行誤檢排除，從而獲得最終的邊界特征提取結(jié)果。

步驟2利用幀差法來獲取相鄰幀圖像的運動特征，對運動特征進行形態(tài)學處理，將運動特征獲取的前景區(qū)域位置映射到原始圖像中的對應位置，并利用熱紅外行人目標分類器模型進行誤檢排除，從而獲得最終的運動特征提取結(jié)果。

步驟3對所獲得的邊界特征提取最終結(jié)果和運動特征提取最終結(jié)果進行融合以獲取行人目標前景區(qū)域結(jié)果。

其中，熱紅外行人目標分類器模型是在LSI熱紅外行人目標分類數(shù)據(jù)集［24］上使用文獻［24］中的SVM線性模型進行訓練得到的，在訓練時所使用的行人正負樣本比例是1∶4。本文方法總體流程如圖1所示。

圖1 行人目標前景區(qū)域提取的方法流程Fig.1 Method flow for extraction of pedestrian object foreground area

2.1 邊界特征提取

基于目標與背景之間的顯著性差異來進行邊界特征提取。Zhang等［25］利用運動目標光流場和背景光流場之間的差異來提取運動目標的邊界。Liu和Xue［26］首先通過自適應邊界特征提取算法來獲取可見光視頻序列中的目標邊界，然后利用三幀差分法的檢測結(jié)果進行邊界補充，并進行形態(tài)學處理獲得運動目標。

圖像梯度是指相鄰2個像素在水平方向或者垂直方向上的差值。在本文中，對圖像梯度分別在水平方向和垂直方向上進行絕對值運算，以提取行人目標和背景之間的邊界信息。相關(guān)計算見式（1）～式（3）。

式中：gradient（I）為熱紅外圖像I的梯度；d x（i，j）和d y（i，j）分別為圖像在位置（i，j）處在水平方向和垂直方向的梯度絕對值；I（i，j）為當前圖像在（i，j）位置處的像素值。

為了去除部分干擾噪聲，降低目標檢測的誤檢率，將所獲取的圖像在水平方向的絕對值梯度和在垂直方向的絕對值梯度進行閾值處理，并將經(jīng)閾值處理后的水平方向梯度絕對值和垂直方向梯度絕對值進行算術(shù)疊加，從而得到目標的邊界信息。將所獲得的目標的邊界信息進行區(qū)域填充而得到邊界前景特征提取結(jié)果，將邊界特征提取獲取的前景區(qū)域映射到原始圖像中的對應位置，并利用行人目標分類器模型來進一步排除邊界特征提取中可能出現(xiàn)的誤檢目標，從而獲得最終的邊界特征提取結(jié)果。將水平方向的梯度絕對值和垂直方向的梯度絕對值進行疊加得到的邊界信息為

式中：Iboundary（i，j）為圖像在位置（i，j）處的邊界信息；d xth（i，j）和d yth（i，j）分別為在圖像位置（i，j）處經(jīng)過閾值處理的水平方向和垂直方向的梯度信息。邊界特征提取及行人目標分類器模型在邊界特征提取過程中的各階段結(jié)果如圖2所示。

圖2（a）是輸入的原始熱紅外圖像；圖2（b）是通過對圖2（a）在水平方向和垂直方向上分別經(jīng)過絕對值梯度運算、閾值處理和疊加而獲得；圖2（c）是通過對圖2（b）進行區(qū)域填充并經(jīng)過行人目標分類器模型排除誤檢而得到的最終結(jié)果。

圖2 邊界特征提取的結(jié)果Fig.2 Results of boundary feature extraction

2.2 運動特征提取

幀差法是一種利用連續(xù)的2幀熱紅外圖像的差值來判斷背景像素和運動像素的檢測方法。Wirayuda等［27］提出了一種通過在每個像素中使用運動方差來創(chuàng)建自適應閾值來進行運動特征提取的方法。

本文使用幀差法來獲取目標的運動特征。對連續(xù)幀之間的差異，通常需要進行閾值處理以檢測是否發(fā)生了運動。為了判斷視頻序列中的運動像素和背景像素，首先使用式（5）來計算2幀熱紅外圖像的差值絕對值：

式中：It（x，y）和It-1（x，y）分別為當前幀和上一幀的熱紅外圖像在（x，y）位置處的像素值；difft（x，y）為2幀熱紅外圖像的差值絕對值。

其次，基于式（5）的幀差結(jié)果，設(shè)定閾值T來判斷背景像素或運動像素，具體如下：

式中：diffres（x，y）為幀差結(jié)果經(jīng)過閾值判斷之后的結(jié)果，其值為1表示運動點，其值為0表示背景點。

對經(jīng)閾值判斷的結(jié)果進行形態(tài)學處理以獲取運動特征提取結(jié)果。將運動特征提取結(jié)果中的行人前景區(qū)域映射到原始圖像中的對應位置，并使用行人目標分類器模型來排除運動目標檢測中可能出現(xiàn)的誤檢目標，從而獲取最終的運動特征提取結(jié)果。運動特征提取結(jié)果如圖3所示。

圖3（a）和圖3（b）是視頻序列中相鄰2幀熱紅外圖像數(shù)據(jù)；圖3（c）是經(jīng)幀差處理的結(jié)果，白色區(qū)域表示運動目標，黑色區(qū)域是背景；圖3（d）為經(jīng)形態(tài)學處理及行人目標分類器模型排除誤檢后的最終結(jié)果。

圖3 運動特征提取的結(jié)果Fig.3 Results ofmotion feature extraction

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文采用OSU 熱紅外行人目標檢測數(shù)據(jù)集［28］和LSI熱紅外行人目標檢測數(shù)據(jù)集［24］來檢驗所提方法。在OSU熱紅外行人目標檢測數(shù)據(jù)集的采集中，使用安裝有75mm鏡頭的雷神300D熱傳感器來獲得不同天氣條件下（包括晴天、陰雨天）總計284幅熱紅外圖像，包括10個固定監(jiān)控視角下的熱紅外圖像序列。LSI熱紅外行人數(shù)據(jù)集［24］是使用駕駛的車輛在室外城市場景中采集的，其中使用Indigo Omega成像儀獲取圖像。它分為行人目標分類數(shù)據(jù)集和行人目標檢測數(shù)據(jù)集，其中行人目標分類數(shù)據(jù)集分為訓練集和測試集，圖像分辨率均為64像素×32像素，寬高比均為1/2，訓練集包含10 208個行人正樣本和43 390個行人負樣本，而測試集包含5 944個行人正樣本值和22 050個行人負樣本。本文的行人目標分類器模型使用LSI熱紅外行人分類數(shù)據(jù)集的訓練集進行訓練。LSI熱紅外行人目標檢測數(shù)據(jù)集是在13個不同的場景中獲取的，每個場景中包含不同數(shù)量的圖像。它總共包括15 224個14位單通道圖像，圖像分辨率為164像素×129像素。該行人目標檢測數(shù)據(jù)集中的訓練集包含6 159張圖像，測試集包含9065張圖像。本文使用上述2個熱紅外行人目標檢測數(shù)據(jù)集序列中具有運動信息的相鄰幀來評估所提方法的有效性。

3.2 評價指標

本文使用如式（7）～式（10）所示的精確度（Pr）、召回率（Re）、誤檢率（FPR）和F-度量函數(shù)（F-measure）指標來評估檢測方法的性能［29-30］。

式中：精確度Pr為真目標像素量相對于所有目標像素量的比率；TP為真目標的像素量；FP為誤檢的像素量。

式中：召回率Re為檢測到的真目標像素量相對于所有的真目標像素量的比率；FN為漏檢的像素量。

式中：誤檢率FPR為提取的假目標像素量相對于假目標像素量和背景像素量總和的比率；TN為背景像素的像素量。

式中：F-measure度量函數(shù)為精確度和召回率的加權(quán)平均值。

TP、FP、TN和FN是使用二值掩碼和Ground-Truth計算得出的。

3.3 結(jié)果與分析

在OSU熱紅外行人目標檢測數(shù)據(jù)集［28］中，序列3存在明顯的圖像灰度值反轉(zhuǎn)問題，序列8和序列9的圖像灰度值反轉(zhuǎn)不明顯。所有圖像的分辨率為360像素×240像素，選擇其中51組具有運動信息的圖像序列來驗證所提方法的有效性。LSI熱紅外行人目標檢測數(shù)據(jù)集總共有13個視頻序列，其中6個序列是在攝像機靜止下拍攝的，其余是在攝像機移動下拍攝的視頻序列，選擇在攝像機靜止下拍攝的6個序列來驗證所提方法的有效性。

3.3.1 OSU熱紅外行人目標檢測數(shù)據(jù)集的實驗結(jié)果

在OSU熱紅外行人目標檢測數(shù)據(jù)集［28］上，將本文方法與顯著性檢測方法［31］和幀差法［13］在視覺效果和性能指標兩方面分別進行了比較。所得實驗結(jié)果如圖4所示，其中在圖4（a）和圖4（c）中，人體溫度高于周圍環(huán)境溫度，因此不存在灰度值反轉(zhuǎn)的問題，而在圖4（b）中，周圍環(huán)境溫度高于人體溫度，存在熱紅外圖像灰度值反轉(zhuǎn)；此外，在圖4（d）中，人體溫度和周圍環(huán)境溫度相近，使得路燈存在明顯的干擾。

在圖4中，第1行是原始圖像，第2行是熱紅外圖像所對應的GroundTruth，第3行是顯著性檢測方法［31］所得的實驗結(jié)果，第4行是幀差法［13］所得的實驗結(jié)果，第5行是本文方法的實驗結(jié)果。從視覺效果上看，相比于顯著性檢測方法和幀差法，本文方法能夠更準確地檢測行人目標前景區(qū)域，尤其是對于存在灰度值反轉(zhuǎn)的情況，如圖4（b）所示。此外，本文方法還能夠降低由其他不具有運動特征的路燈或不具有完整目標邊界的汽車燈等所帶來的噪聲，如圖4（c）和4（d）所示。顯著性檢測方法利用了圖像的顏色信息，然而熱紅外圖像缺少顏色信息，導致檢測精度低。幀差法會產(chǎn)生許多噪聲，并存在明顯的誤檢和漏檢情況。本文方法主要利用了受圖像灰度值影響較小的邊界特征和運動特征，同時，使用熱紅外圖像中的行人目標分類器模型進行誤檢排除，最后通過融合邊界特征提取的最終結(jié)果和運動特征提取的最終結(jié)果來實現(xiàn)OSU熱紅外監(jiān)控中行人目標前景區(qū)域的準確提取。

圖4 OSU熱紅外行人目標檢測數(shù)據(jù)集實驗效果Fig.4 Experimental results on OSU thermal infrared pedestrian objects detection dataset

下面從性能上分析本文方法的有效性。性能評價指標主要是依據(jù)文獻［29-30］針對前景區(qū)域提取所提供的精確度、召回率、誤檢率和F-度量函數(shù)評價指標。性能評價結(jié)果如表1所示。

從表1可以看出，在OSU熱紅外行人目標檢測數(shù)據(jù)集上，相比于顯著性檢測方法［31］和幀差法［13］，本文方法具有更高的精確度、召回率和F-度量函數(shù)，和更低的誤檢率。因此，本文方法利用邊界特征和運動特征的融合能夠有效解決熱紅外圖像中由灰度值反轉(zhuǎn)所帶來的檢測精度低的問題，同時能夠排除由于實際監(jiān)控中路燈和汽車燈等其他光源所引起的誤檢問題。因此，本文方法能夠有效地在熱紅外視頻監(jiān)控下提取行人目標前景區(qū)域。

表1 OSU熱紅外行人目標檢測數(shù)據(jù)集性能評價指標Tab le 1 Perform ance evaluation indexes of OSU therm al infrared pedestrian ob jects detection dataset

3.3.2 LSI熱紅外行人目標檢測數(shù)據(jù)集的實驗結(jié)果

在LSI熱紅外行人目標檢測數(shù)據(jù)集［24］，將本文方法與顯著性檢測方法［31］和幀差法［13］在視覺效果和性能指標兩方面分別進行了比較。所得實驗結(jié)果如圖5所示，其中在圖5（a）和圖5（c）中，人體溫度高于周圍環(huán)境溫度，因此不存在灰度值反轉(zhuǎn)的問題，而在圖5（b）和圖5（d）中，周圍環(huán)境溫度和人體溫度相近，使得圖像灰度值發(fā)生反轉(zhuǎn)，并且圖像序列中背景相似對行人目標的前景區(qū)域的檢測產(chǎn)生干擾，不利于區(qū)分行人目標的前景和背景。

圖5 LSI熱紅外行人目標檢測數(shù)據(jù)集實驗效果Fig.5 Experimental results on LSI thermal infrared pedestrian objects detection dataset

在圖5中，第1行是原始圖像，第2行是熱紅外圖像所對應的GroundTruth，第3行是顯著性檢測方法［31］所得的實驗結(jié)果，第4行是幀差法［13］所得的實驗結(jié)果，第5行是本文方法的實驗結(jié)果。從視覺效果上看，相比于顯著性檢測方法和幀差法，本文方法能夠更準確地檢測行人目標前景區(qū)域，尤其是對于存在灰度值反轉(zhuǎn)的情況，如圖5（b）和圖5（d）所示。此外，本文方法還能夠降低由其他不具有運動特征的建筑物和路燈等所帶來的噪聲，如圖5（a）和圖5（c）所示。本文方法主要利用了受圖像灰度值影響較小的邊界特征和運動特征，同時，使用熱紅外圖像中的行人目標分類器模型進行誤檢排除，最后通過融合邊界特征提取的最終結(jié)果和運動特征提取的最終結(jié)果來實現(xiàn)LSI熱紅外監(jiān)控中行人目標前景區(qū)域的準確提取。

下面從性能上分析本文方法的有效性。性能評價結(jié)果如表2所示。

表2 LSI熱紅外行人目標檢測數(shù)據(jù)集性能評價指標Tab le 2 Perform ance evaluation indexes of LSI therm al in frared pedestrian ob jects detection dataset

從表2可以看出，在LSI熱紅外行人目標檢測數(shù)據(jù)集上，相比于顯著性檢測方法［31］和幀差法［13］，本文方法具有更高的精確度、召回率和F-度量函數(shù)，和更低的誤檢率。因此，本文方法利用邊界特征和運動特征的融合能夠有效解決熱紅外圖像中由灰度值反轉(zhuǎn)所帶來的檢測精度低的問題，從而有效提取在熱紅外視頻監(jiān)控下行人目標前景區(qū)域。

4 結(jié) 論

本文提出了一種提取行人目標前景區(qū)域的方法，并在公開數(shù)據(jù)集上對所提方法進行了實驗驗證。實驗結(jié)果表明：

1）所提方法能夠有效降低外界環(huán)境溫度改變對熱紅外圖像灰度值的不利影響。

2）所提方法能夠有效地降低行人目標前景區(qū)域提取的誤檢率。