基于目標(biāo)檢測(cè)結(jié)果的輪廓及顏色識(shí)別研究

余化鵬， 李 舟， 楊新瑞， 劉 雷(成都大學(xué) 信息科學(xué)與工程學(xué)院， 四川 成都 610106)

0 引 言

隨著深度學(xué)習(xí)相關(guān)領(lǐng)域的發(fā)展，實(shí)時(shí)目標(biāo)檢測(cè)相關(guān)技術(shù)也迅速發(fā)展起來.在目標(biāo)檢測(cè)結(jié)果的基礎(chǔ)上，目標(biāo)的輪廓提取、顏色識(shí)別則是進(jìn)一步完成目標(biāo)屬性識(shí)別的重要環(huán)節(jié).對(duì)于復(fù)雜場(chǎng)景下的目標(biāo)輪廓提取，基于深度學(xué)習(xí)的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)通常能較好地標(biāo)出物體的位置矩形框，但目標(biāo)檢測(cè)系統(tǒng)本身就采用了深度學(xué)習(xí)方法，如輪廓提取再次使用深度學(xué)習(xí)方法，需要的計(jì)算資源過大，對(duì)于實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)來說，其代價(jià)難以承受.深度學(xué)習(xí)方法還可能導(dǎo)致識(shí)別結(jié)果有誤，學(xué)到錯(cuò)誤的特征.而且，深度學(xué)習(xí)的方法依賴大量有標(biāo)定的數(shù)據(jù)集，這部分工作通常只能由人力完成，輪廓識(shí)別的準(zhǔn)確度依賴于數(shù)據(jù)集標(biāo)定的準(zhǔn)確度，準(zhǔn)確的輪廓標(biāo)定需要消耗大量人力資源和成本.本研究通過手工標(biāo)定了700幅含有無人機(jī)輪廓的圖像，在Mask R-CNN[1]模型上訓(xùn)練出了無人機(jī)檢測(cè)和輪廓提取模型，檢測(cè)效果和精度合宜，但其輪廓提取需要耗費(fèi)大量計(jì)算資源，其效率無法滿足實(shí)時(shí)系統(tǒng)的要求.

對(duì)于復(fù)雜環(huán)境下的目標(biāo)輪廓提取，本研究嘗試直接通過Canny邊緣檢測(cè)算法[2]、Marr-Hildreth[3]邊緣檢測(cè)算法對(duì)圖像進(jìn)行檢測(cè)，雖能較好地提取圖像中的邊緣，但無法定位哪部分邊緣是屬于感興趣的目標(biāo)，難以使用底層數(shù)字圖像處理的方法.背景區(qū)域和目標(biāo)區(qū)域在數(shù)字圖像的層面并沒有本質(zhì)區(qū)別，無法直接用底層方法加以區(qū)分.

實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)能檢測(cè)出目標(biāo)所在位置并標(biāo)定矩形框，在此矩形框中的圖像主要部分即為物體的主體(即圖像的尺度近似等于目標(biāo)的尺度)，其圖像范圍已經(jīng)縮小，然而基于深度學(xué)習(xí)方法的輪廓提取并沒有很好地利用這個(gè)先驗(yàn)知識(shí).為此，本研究在結(jié)合了多種基于數(shù)字圖像處理的算法后，提出了一種基于目標(biāo)檢測(cè)結(jié)果的輪廓提取方法.在已有目標(biāo)輪廓的情況下，目標(biāo)的顏色也易于識(shí)別.本研究通過對(duì)輪廓內(nèi)包圍的像素點(diǎn)在HSI顏色空間下進(jìn)行統(tǒng)計(jì)，識(shí)別目標(biāo)主體顏色.本研究首先將檢測(cè)結(jié)果(與目標(biāo)尺度大致相當(dāng))的圖像提取出來，將其灰度化后用Canny邊緣提取算法進(jìn)行初步輪廓提取.同時(shí)，為減少噪聲所帶來的誤差、將目標(biāo)的主體提取出來，進(jìn)行多次形態(tài)學(xué)閉操作使邊緣主體部分?jǐn)U大，隨后在形態(tài)學(xué)閉操作后的圖像中尋找最大輪廓，將其繪制并傳入顏色識(shí)別模塊.

1 Canny邊緣提取原理

首先考慮如何將輸入的圖像轉(zhuǎn)換為灰度圖?目前，常見的三原色RGB圖像轉(zhuǎn)為灰度圖的算法有3種，本研究采用的是較廣泛使用的一種.任何顏色都由紅、綠、藍(lán)三原色組成，如某點(diǎn)的顏色為RGB(R，G，B)，其灰度圖像對(duì)應(yīng)的點(diǎn)的灰度值gray為，

gray=R×0.3+G×0.59+B×0.11

(1)

由式(1)計(jì)算出灰度值，產(chǎn)生灰度圖像后， 本研究通過Canny邊緣檢測(cè)算法來初步提取圖像的輪廓.

Canny邊緣檢測(cè)算法基于3個(gè)基本原則：同時(shí)考慮查準(zhǔn)率與召回率，盡可能找到所有真實(shí)的邊緣，同時(shí)應(yīng)該盡量降低偽響應(yīng)；邊緣點(diǎn)的定位誤差應(yīng)該低，真實(shí)邊緣中心與檢測(cè)器標(biāo)記為邊緣的點(diǎn)之間的距離應(yīng)該最??；僅檢測(cè)出單一邊緣點(diǎn)，對(duì)于一個(gè)真實(shí)邊緣點(diǎn)，檢測(cè)器應(yīng)僅檢測(cè)并返回一個(gè)點(diǎn)，而在只有一個(gè)單一邊緣點(diǎn)的位置，檢測(cè)器不應(yīng)返回多個(gè)邊緣點(diǎn).

Canny邊緣檢測(cè)算法在數(shù)學(xué)層面表達(dá)了此3個(gè)基本原則，具體如下：

1)令f(x,y)表示輸入圖像，G(x,y)表示高斯函數(shù)，

(2)

用G和f的卷積形成一幅平滑后的圖像，

(3)

上述過程采用高斯濾波器將輸入圖像平滑.隨后，計(jì)算出該點(diǎn)的梯度幅值和方向，

(4)

和

(5)

2)通過計(jì)算出的梯度方向矩陣α(x,y)對(duì)梯度幅值矩陣M(x,y)進(jìn)行非極大值抑制.首先將梯度方向離散化為4個(gè)方向，即上下、左右、正斜與反斜，以便對(duì)應(yīng)3×3鄰域.在梯度幅值矩陣M(x,y)中以點(diǎn)(i，j)為中心的3×3鄰域內(nèi)沿梯度方向α(i,j)進(jìn)行比對(duì)，若點(diǎn)(i,j)處的梯度幅值M(i,j)大于梯度方向α(i,j)上與其相鄰的2個(gè)點(diǎn)，則認(rèn)為點(diǎn)(i,j)是邊緣點(diǎn)，保持其梯度幅值不變，反之則認(rèn)為它是非邊緣點(diǎn)，將其梯度幅值設(shè)置為0.

3)用雙閾值處理和連接分析來檢測(cè)并連接邊緣.首先選取高閾值TH和低閾值TL，隨后遍歷整個(gè)圖像.若某點(diǎn)(i,j)的梯度幅值M(i,j)低于TL，則此點(diǎn)為非邊緣點(diǎn)；若某點(diǎn)(i,j)的梯度幅值M(i,j)高于TH，則此點(diǎn)為強(qiáng)邊緣點(diǎn)；若某點(diǎn)(i,j)的梯度幅值M(i,j)低于TH且高于TL，則此點(diǎn)為弱邊緣點(diǎn).對(duì)于弱邊緣點(diǎn)，對(duì)其8鄰域像素進(jìn)行判斷，若其鄰域內(nèi)存在邊緣點(diǎn)，則將該弱邊緣點(diǎn)視為邊緣點(diǎn)，反之則視為非邊緣點(diǎn).最后，輸出最終的邊緣圖像.

需注意的是，應(yīng)用Canny邊緣檢測(cè)算法時(shí)，如雙閾值設(shè)置過高，會(huì)導(dǎo)致本屬于目標(biāo)主體的輪廓未被檢測(cè)出；如雙閾值設(shè)置過低，會(huì)導(dǎo)致噪聲和背景產(chǎn)生的干擾輪廓過多，難以與屬于目標(biāo)主體的輪廓相區(qū)分.故本研究在應(yīng)用Canny邊緣檢測(cè)算法時(shí)高低閾值比選取為2∶1，充分考慮了上述兩方面問題，取得了較好的平衡.

2 形態(tài)學(xué)閉操作與尋找最大輪廓

在上述得到的圖像中，本研究已經(jīng)初步地通過Canny算法提取了圖像中的輪廓.因目標(biāo)尺度與圖像大小大致相當(dāng)，本研究設(shè)想提取其中的最大輪廓即為目標(biāo)的輪廓.但在大多數(shù)情況下(即有少量背景干擾)，上述操作提取到的輪廓實(shí)際上是由多個(gè)線段組成的不連通的輪廓，這些線段標(biāo)出的輪廓有些屬于目標(biāo)輪廓的一部分，另一些則屬于背景和噪聲.在數(shù)字圖像的層面上，無法較好地將背景、噪聲和目標(biāo)主體區(qū)分開來，如果直接在此圖像尋找最大輪廓，提取到的輪廓通常僅表示目標(biāo)主體的一部分，誤差較大.如何連接屬于目標(biāo)主體的多個(gè)輪廓，同時(shí)又排除背景與噪聲產(chǎn)生的輪廓，是本研究考慮的重點(diǎn).由目標(biāo)主體組成的輪廓線段位置相近，背景輪廓又通常位于圖像邊緣并且離目標(biāo)主體較遠(yuǎn)，這是一個(gè)很好的先驗(yàn)信息，因此本研究通過多次形態(tài)學(xué)閉操作[4-7]，將這些互不相連的屬于目標(biāo)主體的輪廓線段相連接，同時(shí)通過控制結(jié)構(gòu)元大小，如此的操作并不會(huì)將背景和噪聲產(chǎn)生的輪廓與目標(biāo)輪廓相連.

閉操作會(huì)平滑輪廓的一部分，彌合較窄的間斷和細(xì)長(zhǎng)的溝壑，消除小的孔洞，填補(bǔ)輪廓線中的斷裂[8].用結(jié)構(gòu)元B對(duì)集合A的閉操作，可表示為A°B，其定義如下，

(6)

(7)

(8)

通過多次形態(tài)學(xué)閉操作，將目標(biāo)中互不連接的主體輪廓線段相連，形成了一個(gè)由包圍面積較小的背景、噪聲輪廓和包圍面積較大的目標(biāo)主體輪廓組成的二值圖像.隨后通過調(diào)用OpenCV中的findContours函數(shù)實(shí)現(xiàn)尋找圖像中的最大輪廓，其輪廓搜索方法是由Suzuki等[9]提出的一種基于二值圖像外輪廓搜索的方法.此方法會(huì)對(duì)圖像中所有像素點(diǎn)進(jìn)行搜索，生成多個(gè)輪廓.本研究將提取的多個(gè)輪廓按輪廓包圍的面積進(jìn)行比較，取面積最大的輪廓即是目標(biāo)主體的輪廓.

由此，本研究應(yīng)用的取最大面積輪廓算法步驟如下：

輸入：多個(gè)輪廓λ1，λ2，…，λn.

輸出：最大面積輪廓λmax.

1)從輸入輪廓中讀取下一個(gè)輪廓λnow；

2)如最大面積輪廓標(biāo)號(hào)λmax為空，則λmax=λnow，否則將λmax的輪廓包圍面積與λnow的輪廓包圍面積進(jìn)行比較，如λnow的輪廓包圍面積更大，則λmax=λnow；

3)如λnow已是最后一個(gè)輪廓，結(jié)束流程，輸出λmax；否則跳至步驟1.

本研究提出的輪廓提取算法基于以下原則：算法時(shí)間復(fù)雜度應(yīng)相對(duì)較低，這是由實(shí)時(shí)系統(tǒng)的特性決定的；算法要良好地利用“目標(biāo)大致尺度已經(jīng)由實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)給定”這一先驗(yàn)知識(shí)；輪廓提取精度應(yīng)遠(yuǎn)高于直接應(yīng)用底層數(shù)字圖像處理的方法.

由此，本研究提出的基于目標(biāo)檢測(cè)結(jié)果的目標(biāo)輪廓提取算法步驟如下：

輸入：目標(biāo)檢測(cè)結(jié)果圖像(圖像大小與目標(biāo)尺度大致相當(dāng).

輸出：目標(biāo)輪廓.

1)將輸入圖像轉(zhuǎn)為灰度圖；

2)將此灰度圖應(yīng)用Canny邊緣提取算法；

3)對(duì)步驟2中輸出的圖像進(jìn)行3次形態(tài)學(xué)閉操作；

4)對(duì)步驟3中輸出的圖像應(yīng)用取最大面積輪廓算法搜索最大輪廓；

5)輸出此最大輪廓，即為本算法提取的目標(biāo)輪廓.

3 顏色識(shí)別

RGB系統(tǒng)通常用來描述顏色，其與人眼強(qiáng)烈感知紅、綠、藍(lán)三原色的事實(shí)能很好地匹配，但不能很好地適應(yīng)實(shí)際解釋的顏色.HSI顏色空間在彩色圖像中從攜帶的彩色信息(色度和飽和度)里消去強(qiáng)度分量的影響,這種顏色空間對(duì)人來說是自然且直觀的[10]，因此本研究采用HSI顏色空間來描述圖像.從RGB到HSI的彩色轉(zhuǎn)換公式為，

(9)

式中，

(10)

飽和度分量為，

S=1-(3/(R+G+B))[min(R,G,B)]

(11)

強(qiáng)度分量為，

I=1/3(R+G+B)

(12)

本研究通過下述過程完成顏色識(shí)別：首先，將僅含有目標(biāo)輪廓的圖像通過填充算法將目標(biāo)區(qū)域填充為白色，將背景區(qū)域填充為黑色，形成一個(gè)二值圖像(該二值圖像與原圖像的長(zhǎng)寬相同)，以便于下一步的顏色識(shí)別操作.通過實(shí)驗(yàn)發(fā)現(xiàn)，目標(biāo)主體顏色通常取決于中心部分顏色，因?yàn)檫吘壊糠滞ǔＥc背景有混淆.故本研究在顏色識(shí)別過程中將前述步驟得到的填充后圖像應(yīng)用了形態(tài)學(xué)腐蝕操作，進(jìn)一步縮小輪廓范圍，提高顏色識(shí)別準(zhǔn)確率.最后，對(duì)上述處理后的二值圖像進(jìn)行遍歷.如果顏色為白色的像素點(diǎn)，則對(duì)原圖中相應(yīng)的點(diǎn)通過上述HSI顏色空間的方法進(jìn)行顏色判定，并根據(jù)顏色范圍表計(jì)入黑、灰、白、紅、橙、黃、綠、青、藍(lán)、紫，進(jìn)行統(tǒng)計(jì).通過實(shí)踐發(fā)現(xiàn)，無人機(jī)圖像中由于背景等原因，盡管有些無人機(jī)并不是黑色或灰色的，但其黑色和灰色的統(tǒng)計(jì)量會(huì)顯著升高從而影響判定，因此本研究經(jīng)驗(yàn)性地將黑色和灰色的統(tǒng)計(jì)量權(quán)值降低為原來的2/3.通過驗(yàn)證發(fā)現(xiàn)，這樣做能顯著降低非黑色非灰色圖像誤判為黑色或灰色，同時(shí)不會(huì)使本是黑色或灰色的圖像誤判為其他顏色.通過統(tǒng)計(jì)10種顏色分類的值，其統(tǒng)計(jì)值最高的一個(gè)顏色，即為目標(biāo)主體的顏色.

綜上所述，本研究提出的顏色識(shí)別算法步驟如下：

輸入：目標(biāo)圖像，目標(biāo)圖像類別，目標(biāo)輪廓圖像.

輸出：目標(biāo)顏色.

1)將輪廓圖像填充；

2)對(duì)步驟1中輸出的圖像應(yīng)用形態(tài)學(xué)腐蝕操作；

3)對(duì)于步驟2中輸出圖像的每個(gè)像素點(diǎn)m：如果m為白色，則檢測(cè)目標(biāo)圖像中對(duì)應(yīng)點(diǎn)的HSI空間下的顏色，將其納入10種顏色的數(shù)量統(tǒng)計(jì)值；否則認(rèn)為該點(diǎn)是背景，對(duì)下一個(gè)點(diǎn)繼續(xù)檢測(cè)；

4)如目標(biāo)圖像類別是無人機(jī)圖像，則經(jīng)驗(yàn)性地將黑色和灰色統(tǒng)計(jì)量降權(quán)為原來的2/3；

5)分析10種類別顏色的統(tǒng)計(jì)值，輸出統(tǒng)計(jì)值最高的顏色.

4 結(jié)果、評(píng)價(jià)與對(duì)比

本研究選取了真實(shí)場(chǎng)景下的無人機(jī)、小汽車和人3類目標(biāo)進(jìn)行測(cè)試，建立了用于驗(yàn)證本研究算法的測(cè)試集，共有圖像405幅，其中有無人機(jī)目標(biāo)180幅、小汽車目標(biāo)152幅及人目標(biāo)101幅.本研究選取2個(gè)重要指標(biāo)進(jìn)行比較，即提取目標(biāo)輪廓所需時(shí)間和目標(biāo)輪廓交并比IoU(Intersection over Union)，并將目標(biāo)輪廓內(nèi)的像素點(diǎn)視為集合，計(jì)算手工標(biāo)定的真實(shí)輪廓與算法提取的輪廓之間的IoU.

本研究用C++在Visual Studio 2017平臺(tái)上實(shí)現(xiàn)了下述3種算法，并進(jìn)行了對(duì)比實(shí)驗(yàn)：用Canny算法提取輪廓；用Mask R-CNN[1]算法提取目標(biāo)的輪廓；用本研究提出的算法基于目標(biāo)檢測(cè)結(jié)果提取輪廓.

本研究在第1種算法和第3種算法下選取的Canny雙閾值均為40,80；在第2種算法下選取的最小置信度為0.9.實(shí)驗(yàn)中采用的部分圖像及其輪廓提取結(jié)果如圖1所示.圖1中，第1、2排為無人機(jī)圖像；第3排為人圖像；第4、5排為小汽車圖像.圖1中，提取到的輪廓已被疊加至原圖，矩形框是YOLO實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)標(biāo)定的目標(biāo)范圍矩形框，即本研究進(jìn)行輪廓提取的圖像區(qū)域.

圖1 本研究算法得出的部分結(jié)果

3種算法的對(duì)比如圖2所示.

圖2中，Canny算法得出的結(jié)果沒有矩形框標(biāo)定，是因?yàn)镃anny算法無法定位哪部分是待提取輪廓的目標(biāo).

本研究采用的計(jì)算機(jī)配置與環(huán)境是Windows 7操作系統(tǒng)、NVIDIA GeForce GTX 960圖形適配器、IntelXeon E3-1231 CPU及16 GiB內(nèi)存.上述3種算法的對(duì)比實(shí)驗(yàn)結(jié)果如表1所示.

圖2 3種算法對(duì)比

表1 實(shí)驗(yàn)結(jié)果

需要說明的是，本研究采用的實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)是通過YOLO[11]實(shí)現(xiàn)的，在平均速度指標(biāo)統(tǒng)計(jì)中，已經(jīng)包含了通過YOLO獲取目標(biāo)檢測(cè)結(jié)果的時(shí)間.

對(duì)于本研究提出的算法，無人機(jī)和小汽車這2類目標(biāo)的顏色都有主體顏色，識(shí)別其顏色有應(yīng)用價(jià)值；但人這一目標(biāo)有膚色、服裝顏色等不同顏色特征，通過本研究的算法識(shí)別的顏色沒有顯著的應(yīng)用價(jià)值，故沒有納入統(tǒng)計(jì)范圍.

由圖1、圖2和表1可見，在3組算法中，直接Canny算法提取輪廓的效率很高，但其輪廓平均交并比與顏色識(shí)別正確率很低，其原因是Canny找到的輪廓是整個(gè)圖像的輪廓，而不是待檢測(cè)目標(biāo)的輪廓.Mask R-CNN[1]算法提取輪廓的精度很高，輪廓平均交并比與顏色識(shí)別正確率都非常高，但其識(shí)別平均速度非常慢，難以應(yīng)用于實(shí)時(shí)系統(tǒng)上.本研究提出的算法輪廓平均交并比與顏色識(shí)別正確率略低于Mask R-CNN[1]算法，但運(yùn)行速度遠(yuǎn)快于Mask R-CNN算法.

5 結(jié) 論

本研究通過基于目標(biāo)檢測(cè)結(jié)果的圖像進(jìn)行了輪廓提取和顏色識(shí)別.對(duì)于輪廓提取，本研究采用的結(jié)合實(shí)時(shí)目標(biāo)檢測(cè)系統(tǒng)的數(shù)字圖像處理方法在速度上數(shù)百倍快于目前廣泛使用的深度學(xué)習(xí)方法,精度數(shù)倍高于直接應(yīng)用的底層數(shù)字圖像處理方法，能較好地滿足實(shí)時(shí)系統(tǒng)中輪廓提取對(duì)效率和精度的要求.

由于通過像素統(tǒng)計(jì)的方法得出的值是所有局部信息相加的結(jié)果，然而人的視覺系統(tǒng)是一個(gè)很復(fù)雜的系統(tǒng)，例如一部分人眼認(rèn)為是白色的無人機(jī)，放大后查看每個(gè)像素點(diǎn)，確實(shí)又有很大一部分是灰色的，這符合本研究的算法結(jié)果，但與人眼直覺有一定的差距，未來的工作需要更深入地研究人類視覺系統(tǒng)對(duì)整體信息的理解.