基于雙目立體視覺的取走物檢測技術(shù)研究

張愛升，張艷彬

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

0 引 言

隨著計算機(jī)視覺技術(shù)的快速發(fā)展，各種先進(jìn)的視頻序列處理技術(shù)被應(yīng)用到視頻監(jiān)控領(lǐng)域，在一定程度上能夠保障財產(chǎn)的安全。目前，在視頻監(jiān)控領(lǐng)域中，人們大多通過在RGB圖像中進(jìn)行前景檢測來對場景中的物品進(jìn)行監(jiān)控[1]，這種方法基于背景建模的取走物檢測方法，但有些取走物檢測方法只能對劃定好的感興趣區(qū)域進(jìn)行監(jiān)控，不夠智能化。同時其抗干擾性較差，檢錯率較高。

立體雙目視覺技術(shù)是一種非常實(shí)用的計算機(jī)視覺技術(shù)，利用兩個攝像頭捕捉同一場景的畫面，能夠計算出圖像中的深度信息。雙目立體視覺技術(shù)能夠提取深度信息，這為取走物檢測方法提供了新的思路。目前，雙目立體視覺技術(shù)不僅廣泛應(yīng)用于三維測量及工業(yè)測量距離[2]等領(lǐng)域，而且在目標(biāo)跟蹤[3]、行人檢測[4-5]等視頻監(jiān)控領(lǐng)域也應(yīng)用廣泛，但關(guān)于取走物檢測的研究比較欠缺。

對此，文中提出了基于雙目立體視覺技術(shù)的取走物檢測方法，通過RGB圖像信息結(jié)合深度圖像信息判斷室內(nèi)物品的狀態(tài)，對物品進(jìn)行監(jiān)控。在取走物檢測中，采用改進(jìn)的surendra算法快速提取前景目標(biāo)，并結(jié)合深度信息排除其他運(yùn)動物體的干擾，以有效提高檢測的準(zhǔn)確率。

1 取走物檢測流程

取走物檢測流程分為兩個子流程，一個是彩色圖像的運(yùn)動前景提取，另一個是深度圖的分析。獲取場景的彩色圖像后，利用改進(jìn)的surendra算法求得運(yùn)動前景，再加以濾波去除噪聲。同時利用雙目立體視覺技術(shù)將采集的左右兩幅圖像進(jìn)行處理，得到深度圖，并進(jìn)行腐蝕操作，去除深度圖中的噪聲后再進(jìn)行分析。深度圖的分析結(jié)果有兩方面的作用：第一個是在更新背景時，深度減小且差分二值圖像值為1的區(qū)域不需要更新背景，其余的區(qū)域都需要更新；第二個是在利用背景減除法獲得運(yùn)動前景之后，在前景區(qū)域中，屬于深度增加或基本不變的區(qū)域，都認(rèn)為是取走物區(qū)域。再對檢測到的取走物區(qū)域進(jìn)行膨脹操作，得到取走物檢測結(jié)果。

取走物的檢測流程如圖1所示。

圖1 取走物檢測流程

2 立體匹配和深度圖的生成

雙目立體視覺技術(shù)先對攝像機(jī)進(jìn)行立體標(biāo)定[6-7]，獲得攝像機(jī)的內(nèi)外參數(shù)，通過對準(zhǔn)同一目標(biāo)的兩個角度的相機(jī)采集圖像，再對獲得的圖像進(jìn)行立體矯正和立體匹配等[8-12]，達(dá)到獲取深度信息的目的。其中最關(guān)鍵的部分是立體匹配，立體匹配是在圖像上找到與另一視角的圖像上相對應(yīng)的像素點(diǎn)，其結(jié)果可以計算出視差圖[13-15]，再將視差圖做變換可得到深度圖。

文中采用的立體匹配算法是基于動態(tài)規(guī)劃的全局立體匹配算法[16]，該算法能夠形成較為致密的視差圖，符合取走物檢測方法的需求。為了提高取走物檢測的效率，采用每次只在一行像素上尋找最優(yōu)路徑的動態(tài)規(guī)劃算法。

動態(tài)規(guī)劃算法基于極線約束，其思想就是把求解整個圖像深度值的過程分解為一些子過程，然后逐漸實(shí)現(xiàn)每個子過程，通過在視差圖像上尋找最小代價路徑，最終得到深度圖。

算法步驟如下：

(1)將立體匹配全過程分解成若干個子過程。為了提高效率，每次匹配只匹配圖像中一行的像素點(diǎn)。如圖2所示，以像素點(diǎn)的行方向作為橫坐標(biāo)方向，縱坐標(biāo)表示視差值的大小，依次將整個過程分為k個階段。

圖2 動態(tài)規(guī)劃原理圖

(2)將上述各個階段所處的匹配階段用不同的狀態(tài)表示，共有三種狀態(tài)：相互匹配M，左可見右遮擋為L，即在右圖中沒有與之相匹配的點(diǎn)，右可見左遮擋為R，即前一個點(diǎn)的匹配點(diǎn)在后一個點(diǎn)的匹配點(diǎn)的后面。

(3)根據(jù)前一階段的狀態(tài)確定當(dāng)前階段的狀態(tài)，根據(jù)順序性約束，允許的狀態(tài)轉(zhuǎn)移形式有7種，如圖3所示。

圖3 狀態(tài)轉(zhuǎn)移圖

圖3中小寫字母的狀態(tài)代表前一時刻的狀態(tài)，大寫字母的狀態(tài)代表后一時刻的狀態(tài)。0為正確匹配，1、2為匹配產(chǎn)生左圖像遮擋點(diǎn)，4、5為產(chǎn)生右圖像遮擋點(diǎn)，3、6為圖像由背景進(jìn)入前景，視差跳變產(chǎn)生不連續(xù)點(diǎn)。

(4)按順序自左向右，計算相似性測度函數(shù)和平滑函數(shù)的最小值，當(dāng)所有階段都計算完成后，選取全局能量函數(shù)最小的一條匹配路徑，作為匹配結(jié)果。

全局能量函數(shù)如式1所示：

E(d)=E(data)+E(smooth)

(1)

其中，E(data)為數(shù)據(jù)約束項(xiàng)，代表像素之間的相似性，為了保證取走物的實(shí)時監(jiān)測，采用亮度特征衡量像素之間的相似性，亮度差越小越相似；E(smooth)為相鄰點(diǎn)間的平滑約束項(xiàng)，采用順序性約束評估平滑約束項(xiàng)的大小。最后全局能量最小的一條路徑上的點(diǎn)為一行像素的匹配結(jié)果。

為了保證能正確找到匹配點(diǎn)，根據(jù)實(shí)驗(yàn)場景與攝像頭的距離和左右兩個攝像頭之間的距離，在每一行上尋找匹配點(diǎn)只考慮距離在0～36之間的點(diǎn)，因此視差的取值范圍是0～36，將視差值乘以7，生成像素值范圍在0～252的深度圖。

3 surendra運(yùn)動前景提取算法

surendra運(yùn)動目標(biāo)檢測算法[17-18]利用幀差法更新背景圖像，利用背景減除法獲得運(yùn)動前景，能夠捕捉快速移動的目標(biāo)，應(yīng)用在取走物檢測中，有利于檢測出被迅速取走的物品。

surendra算法流程如下：

(1)先利用幀差法得到差分二值圖像。

(2)

其中，Ii(x,y)和Ii-1(x,y)分別為第i幀圖像和第i-1幀圖像在(x,y)處的亮度值；Ts為可自行設(shè)定的閾值。

(2)利用二值差分圖像Ci更新背景圖像Bi。

(3)

其中，Bi(x,y)為背景圖像在(x,y)處的亮度值；α為背景更新率，α越大，背景更新的速度就越快。

然后將當(dāng)前圖像與背景圖相減，若差值大于閾值，則該點(diǎn)屬于運(yùn)動前景區(qū)域，從而檢測出運(yùn)動目標(biāo)。

4 取走物檢測方法

4.1 深度圖像的分析

分析深度圖時，只將深度圖與特定參考幀進(jìn)行對比分析，將原始無人場景的深度圖作為參考幀。文中取深度圖序列中的第一幀作為參考幀，每幀深度圖像素取值范圍是0～252。設(shè)D0(i,j)為參考幀在(i,j)位置的深度值，Dt(i,j)為第t幀在(i,j)位置的深度值，Td為設(shè)定的閾值，為正數(shù)。若Dt(i,j)-D0(i,j)>Td，深度信息增加，考慮有物品被取走；若|Dt(i,j)-D0(i,j)|≤Td，深度信息基本不變，可能是較薄的物體被取走或是存在噪聲干擾，需結(jié)合運(yùn)動前景進(jìn)一步判斷，若此區(qū)域在彩色圖像中為運(yùn)動前景區(qū)域，則判斷為取走物區(qū)域，否則為噪聲干擾區(qū)域；如果D0(i,j)-Dt(i,j)>Td，深度信息減小，則考慮為其他情況，如進(jìn)入場景的人體區(qū)域。

4.2 改進(jìn)的surendra算法

surendra算法在提取運(yùn)動前景上具有效率高的優(yōu)點(diǎn)，但是要將surendra算法應(yīng)用到取走物檢測上，必須進(jìn)行改進(jìn)。文中將深度信息分析與背景更新相結(jié)合，對surendra背景更新進(jìn)行改進(jìn)，公式如下：

Bi(x,y)=

(4)

從式4可以看出，背景更新不再只根據(jù)幀差法得到的差分圖像進(jìn)行更新，而是只有深度信息明顯減少且是運(yùn)動前景的區(qū)域不進(jìn)行更新，其他區(qū)域全都進(jìn)行更新，使得進(jìn)入場景的物體區(qū)域(如人體區(qū)域)不會更新到背景模型中。

surendra算法中的背景更新部分改進(jìn)之后，利用背景減除法得到運(yùn)動前景，再對運(yùn)動前景區(qū)域進(jìn)行深度變化分析，將深度增加或基本不變的前景區(qū)域視為取走物區(qū)域。

5 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)是在光線合適的室內(nèi)進(jìn)行的，取走物品為室內(nèi)的電熱水壺。取一幅室內(nèi)的原始場景圖像，并生成深度圖像，如圖4所示。

圖4 監(jiān)控場景及深度圖

圖5為取走物檢測結(jié)果。圖中可以顯露出被取走物體的大體形狀，surendra運(yùn)動前景檢測算法和基于單行像素匹配的動態(tài)規(guī)劃立體匹配使得文中取走物檢測算法計算效率較高，能夠滿足實(shí)時檢測的需求。但是需要在取走物場景光線合適的條件下，才能獲取較好的深度圖，文中的取走物檢測方法才能有效檢測出被取走的物品。

圖5 取走物檢測結(jié)果

6 結(jié)束語

圍繞著取走物檢測這個主題，將雙目立體視覺技術(shù)應(yīng)用到取走物檢測中，提出了新的取走物檢測方法。利用深度信息改進(jìn)surendra運(yùn)動前景提取算法，得到運(yùn)動前景后，再次利用深度信息結(jié)合運(yùn)動前景，判斷是否有原始場景中的物品被取走。最后對提出的取走物檢測方法進(jìn)行了實(shí)驗(yàn)，證明該方法取得了較好的檢測效果。

參考文獻(xiàn)：

[1] JOSHI K A,THAKORE D G.A survey on moving object detection and tracking in video surveillance system[J].International Journal of Soft Computing and Engineering,2012,2(3):44-48.

[2] HU Yanqiang,MA Yue,XU Min,et al.Measurement algorithm of mounting holes based on binocular stereo vision[C]//2016 IEEE international conference on cyber technology in automation,control,and intelligent systems.Chengdu,China：IEEE,2016:489-492.

[3] GOVINDIYA B,SHAIKH N.Real-time distance measurement with tracking using binocular stereo vision[J].Interna-

tional Journal of Emerging Technologies and Innovative Research,2015,2(6):1920-1923.

[4] ZHANG Zhiguo, TAO Wenbing. Pedestrian detection in binocular stereo sequence based on appearance consistency[J].IEEE Transactions on Circuits and Systems for Video Technology,2016,26(9):1772-1785.

[5] 張 華.基于立體視覺的人頭檢測與統(tǒng)計方法研究[D].長沙：湖南大學(xué)，2015.

[6] HORAUD R,CSURKA G,DEMIRDIJIAN D.Stereo calibration from rigid motions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):1446-1452.

[7] ZHANG Ke, ZHAO Gao. The comparison of calibration method of binocular stereo vision system[C]//2015 3rd international conference on material, mechanical and manufacturing engineering.Manchester,UK:[s.n.],2015:896-901.

[8] 夏春容.雙目立體視覺處理關(guān)鍵技術(shù)研究[D].南京：南京大學(xué)，2014.

[9] YE Qing,DONG Junfeng,ZHANG Yongmei.3D human behavior recognition based on binocular vision and face-hand feature[J].International Journal for Light and Electron Optics,2015,126(23):4712-4717.

[10] 耿英楠.立體匹配技術(shù)的研究[D].長春：吉林大學(xué)，2014.

[11] 洪 磊,嵇保健,洪 峰.一種基于亞像素角點(diǎn)的SIFT立體匹配算法研究[J].計算機(jī)技術(shù)與發(fā)展,2016,26(1):48-52.

[12] 王雅寧,梁新剛.基于交互式圖像分割的立體匹配方法[J].計算機(jī)技術(shù)與發(fā)展,2016,26(9):163-166.

[13] KATO D,BABA M,SASAKI K S,et al.Effects of generalized pooling on binocular disparity selectivity of neurons in the early visual cortex[J].Philosophical Transactions of the Royal Society of London,2016,371(1697):20150266.

[14] MU Taijiang,SUN Jiajia,MARTIN R R,et al.A response time model for abrupt changes in binocular disparity[J].The Visual Computer,2015,31(5):675-687.

[15] 趙 戈,藺 蘭,唐延?xùn)|,等.一種基于曲率與置信度傳播的視差估計方法[J].模式識別與人工智能,2013,26(12):1154-1160.

[16] 何高奇,楊 宇,倪 佳,等.基于動態(tài)規(guī)劃的實(shí)時立體匹配算法[J].華東理工大學(xué)學(xué)報:自然科學(xué)版,2013,39(5)：601-609.

[17] 徐方明,盧官明.基于改進(jìn)surendra背景更新算法的運(yùn)動目標(biāo)檢測算法[J].山西電子技術(shù),2009(5):39-40.

[18] YANG Mingyang.A moving objects detection algorithm in video sequence[C]//International conference on audio,language and image processing.Shanghai,China:IEEE,2014:410-413.