基于無(wú)人機(jī)視覺(jué)的道路違法搭建檢測(cè)

張 晨，劉寧鐘

(南京航空航天大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211106)

0 引 言

隨著公路網(wǎng)的日趨完備，公路的養(yǎng)護(hù)和管理問(wèn)題也日益突出。公路的管理水平和綜合服務(wù)能力，不但要通過(guò)暢通、安全的基礎(chǔ)設(shè)施予以體現(xiàn)，更需要整潔、優(yōu)美的路域環(huán)境予以提升。整潔良好的路容路貌不僅體現(xiàn)出一個(gè)城市的路域環(huán)境的綜合治理能力，更是為道路交通安全暢通提供的基礎(chǔ)保障。目前，路域環(huán)境管理存在的問(wèn)題主要有違規(guī)廣告牌混亂、私開(kāi)道口問(wèn)題、雜亂堆積物[1]。傳統(tǒng)的道路違法搭建和檢測(cè)工作基本是靠人工用肉眼進(jìn)行識(shí)別判斷，并沒(méi)有實(shí)現(xiàn)全自動(dòng)智能化，這種檢測(cè)方法速度慢，效率低，成本高，工作量大，準(zhǔn)確率低，很難適應(yīng)公路養(yǎng)護(hù)現(xiàn)代化的發(fā)展需求。因此，亟須通過(guò)技術(shù)創(chuàng)新，對(duì)道路周?chē)`法堆積物搭建物的檢測(cè)進(jìn)行智能化升級(jí)。

無(wú)人機(jī)應(yīng)用于交通領(lǐng)域的理念最早來(lái)自美國(guó)，其運(yùn)輸署和國(guó)家航空航天局專(zhuān)門(mén)開(kāi)展了一個(gè)項(xiàng)目，證實(shí)了小型無(wú)人機(jī)數(shù)據(jù)采集系統(tǒng)用于交通監(jiān)控和管理的可行性[2]。近年來(lái)，無(wú)人機(jī)技術(shù)發(fā)展迅速。無(wú)人機(jī)信息采集方式在機(jī)動(dòng)性、采集范圍和時(shí)空連續(xù)性等方面具有獨(dú)特的優(yōu)勢(shì)，因此，在交通領(lǐng)域的運(yùn)用也得到了越來(lái)越多的重視和研究[3]。對(duì)于無(wú)人機(jī)拍攝圖像或視頻處理中存在的相關(guān)問(wèn)題，比如消除抖動(dòng)帶來(lái)的影響、目標(biāo)檢測(cè)等，已經(jīng)提出了一些可行算法。劉慧等針對(duì)背景像素的移動(dòng)，提出了SURF特征穩(wěn)像和光流法向量相結(jié)合的方法來(lái)解決低空視頻的道路目標(biāo)檢測(cè)[4]；Kozempel等基于四個(gè)形態(tài)邊緣濾波器，快速檢測(cè)航拍圖像的目標(biāo)[5]；Cheng等針對(duì)無(wú)人機(jī)視頻，利用背景消除和背景配準(zhǔn)技巧來(lái)進(jìn)行消抖和檢測(cè)[6]。這些算法大都基于傳統(tǒng)的特征提取方法進(jìn)行車(chē)輛識(shí)別。由于無(wú)人機(jī)視頻時(shí)空?qǐng)鼍皬?fù)雜，干擾因素多樣，這些方法并不能適用于所有情況，在檢測(cè)準(zhǔn)確性和魯棒性上有待提高。

1 處理框架和總體流程

文中提出采用無(wú)人機(jī)飛過(guò)相同路段兩次進(jìn)行拍攝對(duì)比的方法。在第一次飛行時(shí)，保證路域環(huán)境正常，沒(méi)有違法搭建物，作為標(biāo)準(zhǔn)模板。若干天后，進(jìn)行第二次飛行拍攝，也就是進(jìn)行檢測(cè)。將兩次拍攝的圖像作為輸入，通過(guò)數(shù)字圖像處理和機(jī)器視覺(jué)技術(shù)對(duì)其進(jìn)行對(duì)比，識(shí)別出明顯發(fā)生變化的圖像區(qū)域，作為疑似違法搭接物異常進(jìn)行輸出。圖1分別為兩次無(wú)人機(jī)飛過(guò)拍攝下的圖像，右邊第二次拍攝的圖像中，用圓圈標(biāo)記出了搭建的廣告牌，這是需要通過(guò)算法自動(dòng)檢測(cè)出來(lái)的目標(biāo)。

圖1 無(wú)人機(jī)兩次飛過(guò)拍攝的圖像比較

在檢測(cè)識(shí)別算法中，首先要做的是將兩次拍攝同一地區(qū)的圖像進(jìn)行匹配對(duì)準(zhǔn)，使用了直方圖規(guī)范化來(lái)消除光照差異，用SURF特征匹配變換來(lái)進(jìn)行關(guān)鍵點(diǎn)位置匹配。使用邊緣檢測(cè)方法和形態(tài)學(xué)閉運(yùn)算來(lái)自動(dòng)檢測(cè)出指定需要匹配的檢控區(qū)域。最后使用綜合性特征匹配方法來(lái)保證更穩(wěn)定的匹配。總體流程如圖2所示。

2 算法流程

2.1 圖像匹配

由于兩次拍攝的圖像都是無(wú)人機(jī)在空中拍攝的，并且是在不同時(shí)間拍攝的，即便用過(guò)無(wú)人機(jī)GPS等硬件條件定位，也不能保證兩張圖的光照、角度和位置完全相同。如圖3所示，這樣的兩張照片就在光照、角度和位置上存在一定的偏差，需要對(duì)這兩張圖先進(jìn)行一定的預(yù)處理，以消除光照、角度和位置的不匹配性。文中將第一次飛行拍攝下的照片作為原始圖像，將第二次飛行拍攝下的照片作為標(biāo)定圖像。所做的匹配變換，是以標(biāo)定圖像為目標(biāo)，將原始圖像進(jìn)行變換，以得到和標(biāo)定圖像具有相同模式的變換圖像。

圖2 算法流程

圖3 兩次拍攝的圖像在光照和位置上的差異

2.1.1 光照匹配矯正

對(duì)于不同光照情況下拍攝的兩幅圖像，在兩幅圖像對(duì)應(yīng)區(qū)域展現(xiàn)出來(lái)的色澤或亮度會(huì)存在一些偏差，這樣會(huì)對(duì)后面的處理操作產(chǎn)生干擾。所以在最開(kāi)始階段，需要對(duì)圖像進(jìn)行光照匹配矯正，使得兩幅圖像具備同樣的光照性質(zhì)。文中采用直方圖規(guī)定化的方法[7]來(lái)進(jìn)行光照匹配矯正。

在直方圖均衡化的基礎(chǔ)上，通過(guò)建立原始圖像與標(biāo)定圖像之間的關(guān)系，使得原始圖像的直方圖匹配特定的形狀。

先對(duì)原始圖像進(jìn)行均衡化，如式1。

(1)

然后對(duì)標(biāo)定圖像進(jìn)行均衡化，如式2。

(2)

令s=v，有如下關(guān)系：

z=g-1(s)=g-1(f(r))

(3)

可按照如下方式由輸入圖像得到標(biāo)定圖像的匹配變換圖像：根據(jù)式1得到變換關(guān)系f(r)；根據(jù)式2得到變換關(guān)系g(z)；求得反變換函數(shù)g-1(s)；對(duì)輸入圖像所有像素應(yīng)用式3中的變換，從而得到輸出圖像。

由于上述變換是單通道的，這里對(duì)實(shí)際圖像采用的方法是先將RGB三個(gè)通道分離，然后分別對(duì)每個(gè)通道進(jìn)行光照矯正變換，最后合并三個(gè)通道。

2.1.2 特征點(diǎn)匹配

由于無(wú)人機(jī)在空中飛行拍攝，本身定位存在一定誤差，而且風(fēng)力對(duì)飛行姿態(tài)也會(huì)產(chǎn)生一定的影響，導(dǎo)致傾斜、抖動(dòng)、顛簸。這些因素使得無(wú)人機(jī)在空中拍攝的兩次圖像在位置上無(wú)法做到完全一致，所以應(yīng)該采用圖像匹配技術(shù)，對(duì)原始圖像進(jìn)行形變，以得到和標(biāo)定圖像對(duì)應(yīng)位置關(guān)系的匹配圖像。

分別計(jì)算兩幅圖像的SURF[8]特征點(diǎn)，對(duì)每個(gè)特征點(diǎn)，得到一個(gè)64維的特征向量。對(duì)兩幅圖的特征向量進(jìn)行暴力匹配，排除匹配度太低的20%的點(diǎn)對(duì)。剩余的點(diǎn)對(duì)集采用RANSAC方法[9]進(jìn)行計(jì)算，得到透視變換矩陣M[10]：

(4)

將原始圖像根據(jù)式5進(jìn)行此透視變換。其中原始圖像中點(diǎn)的坐標(biāo)為(u,v)，變換后的圖像坐標(biāo)為(x,y)，x=x'/w'，y=y'/w'。

[x',y',w']=[u,v,w]M

(5)

變換后即可得到與標(biāo)定圖像角度、位置匹配的圖像，如圖4所示。其中右圖是將圖像進(jìn)行匹配變換得到與左圖位置關(guān)系一樣的圖像。

圖4 圖像匹配變換

2.2 確定監(jiān)控區(qū)域

通常在道路兩側(cè)15 m范圍內(nèi)屬于道路違法搭建的指定監(jiān)控區(qū)域，需要自動(dòng)找出這塊區(qū)域，只對(duì)該區(qū)域內(nèi)的圖像內(nèi)容進(jìn)行比對(duì)。即不考慮道路內(nèi)車(chē)輛對(duì)對(duì)比結(jié)果造成的干擾，也不考慮路面過(guò)遠(yuǎn)的區(qū)域。顯而易見(jiàn)，也就是要先識(shí)別出路面區(qū)域，然后根據(jù)路面區(qū)域位置推算出檢控區(qū)域。由于道路區(qū)域和非道路區(qū)域存在明顯的邊緣、色度差別，可以將圖像分成一個(gè)個(gè)小塊，對(duì)每個(gè)小塊圖像區(qū)域內(nèi)容進(jìn)行邊緣屬性和色度屬性的判別，以對(duì)可能的路面區(qū)域圖像塊進(jìn)行篩選。對(duì)篩選后的圖像進(jìn)行連通域的判斷，最大連通域的兩側(cè)即為道路兩側(cè)，由此可以確定監(jiān)控區(qū)域。

2.2.1 粗糙區(qū)域過(guò)濾

由于路面整體顏色的一致性，圖像路面區(qū)域比較平滑，邊緣特性弱；而道路外景物復(fù)雜[11]，尤其是一些植物會(huì)為圖像帶來(lái)很強(qiáng)的邊緣特性?？梢愿鶕?jù)這個(gè)特點(diǎn)來(lái)進(jìn)行圖像塊區(qū)分。

根據(jù)式6～8，先用Sobel算子[12-13]對(duì)原圖像塊I進(jìn)行邊緣檢測(cè)，得到邊緣圖像G。

(6)

(7)

(8)

如式9，選取特定閾值t，將邊緣圖像進(jìn)行二值化。

(9)

二值化后的圖像白色區(qū)域表示原圖像中邊緣強(qiáng)烈的區(qū)域。根據(jù)二值化后的區(qū)域?qū)υ瓐D像做掩模，即進(jìn)行與操作，得到的圖像再進(jìn)行顏色過(guò)濾。

2.2.2 顏色過(guò)濾

根據(jù)路面區(qū)域顏色總是偏藍(lán)這一特性，可以對(duì)圖像像素中RGB分量進(jìn)行判斷對(duì)比，若藍(lán)色分量大于其他分量，則保留，若綠色分量最大，或紅色分量最大，則將此像素排除，如式10所示。

(10)

該方法可以有效排除掉河塘、池水等同樣平滑，但顏色不同的區(qū)域。

通過(guò)這兩步過(guò)濾之后留下的區(qū)域如圖5(b)所示。

圖5 確定道路監(jiān)控區(qū)域

2.2.3 確定路邊平行線

對(duì)于經(jīng)過(guò)粗糙區(qū)域過(guò)濾和顏色過(guò)濾后的圖像，進(jìn)行先膨脹再腐蝕的形態(tài)學(xué)閉運(yùn)算[14-15]，如圖5(c)所示，可以將主要連通區(qū)域連接起來(lái)，并有效去除小的噪聲連通區(qū)域。最后得到的連通區(qū)域的兩側(cè)即為道路區(qū)域的兩側(cè)，如圖5(d)所示。兩側(cè)邊線外延指定長(zhǎng)度即為指定道路監(jiān)控區(qū)域。

2.3 圖像塊特征匹配

這里還是將圖像分為好多小的圖像塊，以分別對(duì)每對(duì)圖像塊做是否匹配的判斷。由于在道路兩側(cè)區(qū)域內(nèi)環(huán)境復(fù)雜，變化多樣，提取圖像的特征要有一定的穩(wěn)定性，即不能太容易受到噪聲的干擾；但同時(shí)也要具有一定的區(qū)分性，即變化太多的圖像在提取出的特征處能夠表現(xiàn)出很大的差異。基于這兩點(diǎn)需求，提出的特征提取方法為基于圖像塊均值和邊緣特性的匹配方法。

將圖像塊內(nèi)的所有像素的色度取均值，得到的顏色值即為提取出的顏色均值特征。該方法看此簡(jiǎn)單，但是能夠很好地滿(mǎn)足所需求的兩個(gè)特性：在圖像塊內(nèi)，由于一些物體的細(xì)微不同不能夠?qū)φw圖像顏色均值產(chǎn)生足夠的影響，而大面積的違法搭建往往和原來(lái)背景在整體顏色上存在一些不同。

另外提取出圖像塊的邊緣特征：通過(guò)Sobel算子提取出圖塊的邊緣圖像，并取一定閾值將其二值化，二值化后的圖像塊的白色像素個(gè)數(shù)即為提取出的特征。該特征反映的是該圖像塊的邊緣區(qū)域豐富程度。此方法可以有效補(bǔ)充圖像均值方法，使得提取出的區(qū)域包含物體邊緣，顯得更加豐富飽滿(mǎn)。

匹配過(guò)程如式11所示。對(duì)于第i個(gè)圖像塊是否匹配，用1表示匹配，即兩圖像塊近似；用0表示不匹配，即兩圖像塊存在較大差異。

(11)

其中，mean1,mean2分別表示兩個(gè)圖像塊的均值；N1，N2分別表示兩個(gè)圖像塊邊緣強(qiáng)于閾值的像素個(gè)數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)地考察了江蘇省南京市的某條高速公路，在兩天天氣晴朗的環(huán)境下使用無(wú)人機(jī)采集了圖像，并設(shè)置了一些搭建物來(lái)做實(shí)驗(yàn)，以驗(yàn)證檢測(cè)效果。

實(shí)驗(yàn)是在Windows10平臺(tái)上進(jìn)行，采用C++語(yǔ)言進(jìn)行程序的編寫(xiě)。將拍攝的圖像輸入系統(tǒng)，經(jīng)過(guò)算法流程，檢測(cè)得到的結(jié)果如圖6所示。其中(a)、(c)是第一次飛過(guò)拍攝下的圖像，(b)、(d)是第二次飛過(guò)拍攝下的圖像。其中道路兩側(cè)的監(jiān)控區(qū)域都能夠自動(dòng)地識(shí)別出來(lái)，第二天拍攝時(shí)的兩處搭建物也能通過(guò)算法正確地識(shí)別出來(lái)。

實(shí)驗(yàn)共檢測(cè)了64組圖像，對(duì)于8處的搭建物，都能夠正確地識(shí)別出來(lái)。但存在兩處誤檢測(cè)，主要是反光和陰影造成的。

圖6 實(shí)驗(yàn)檢測(cè)結(jié)果

4 結(jié)束語(yǔ)

針對(duì)道路圖像違法搭建的自動(dòng)檢測(cè)，設(shè)計(jì)了一種基于無(wú)人機(jī)采集與機(jī)器視覺(jué)相結(jié)合的方法，并設(shè)計(jì)了一種強(qiáng)魯棒性和高識(shí)別率的算法。算法采用了許多數(shù)字圖像處理中的核心技術(shù)，比如特征點(diǎn)匹配、邊緣檢測(cè)、形態(tài)學(xué)操作等。實(shí)驗(yàn)結(jié)果表明，該算法對(duì)于客觀拍攝條件的不穩(wěn)定性和景物的時(shí)延變化帶來(lái)的干擾具有很好的魯棒性，同時(shí)對(duì)于明顯變化的圖像景物區(qū)域的檢測(cè)準(zhǔn)確率高。當(dāng)然，由于無(wú)人機(jī)高空拍攝時(shí)空?qǐng)鼍皬?fù)雜，算法對(duì)于拍攝角度偏差過(guò)大或重疊度過(guò)小的兩張圖片處理效果不太理想，對(duì)于較強(qiáng)的干擾還不能處理得十分完美。這些問(wèn)題還需要進(jìn)一步的探索。