基于卷積神經(jīng)網(wǎng)絡(luò)的航拍視頻軌道異物檢測方法*

俞軍燕 黃皓冉 楊 毅 邢宗義

(1.廣州地鐵集團有限公司， 510335， 廣州； 2.南京理工大學(xué)自動化學(xué)院， 210094， 南京∥第一作者， 高級工程師)

隨著我國列車運營速度的不斷提高，對列車運行安全的要求也不斷提高。軌道異物檢測是保證軌道線路安全運營的一項重要措施，對其進(jìn)行研究具有重要意義[1-2]。由于異物侵限事件的發(fā)生具有突發(fā)性、無規(guī)律可循及不可預(yù)測等特點，而人工巡檢等傳統(tǒng)方法成本高且可靠性低，因此國內(nèi)外提出了眾多軌道異物侵限的檢測方法。根據(jù)原理的不同，軌道異物侵限檢測方法可分為接觸式和非接觸式兩種[3]。接觸式異物檢測方法主要使用雙電網(wǎng)傳感器技術(shù)和光纖光柵傳感器技術(shù)構(gòu)成的防護(hù)網(wǎng)式檢測系統(tǒng)。非接觸式異物檢測方法主要采用激光、紅外、微波或機器視覺等方式。機器視覺技術(shù)因設(shè)備成本低、維護(hù)方便及可視化效果好等優(yōu)點，在非接觸式異物侵限檢測系統(tǒng)中得到越來越多的應(yīng)用。

相比于傳統(tǒng)的定點架設(shè)相機的軌道異物檢測系統(tǒng)，無人機巡檢具有成本低、易攜帶、檢測范圍廣及維護(hù)簡單等特點?，F(xiàn)有的軌道異物檢測算法多對于定點架設(shè)相機拍攝的視頻圖像進(jìn)行研究，僅能處理靜態(tài)背景的視頻圖像。文獻(xiàn)[4]利用霍夫變換檢測感興趣的軌道區(qū)域，并利用輪廓提取方法對軌道區(qū)域進(jìn)行系統(tǒng)搜索；文獻(xiàn)[5]結(jié)合形態(tài)學(xué)處理和漸進(jìn)概率霍夫變換方法進(jìn)行軌道區(qū)域提取，并設(shè)計了1套結(jié)構(gòu)元素來增強提取效果；文獻(xiàn)[6]使用自適應(yīng)背景差分法提取入侵目標(biāo)，通過K-means算法對光流矢量的聚類進(jìn)行目標(biāo)識別；文獻(xiàn)[7]采用改進(jìn)的高斯混合模型，對軌道線路視頻進(jìn)行背景建模，并對背景像素與前景像素的貝葉斯分類進(jìn)行檢測；文獻(xiàn)[8]采用基于支持向量機與Kalman濾波的目標(biāo)分類及跟蹤算法對異物目標(biāo)進(jìn)行識別。上述算法均無法完全消除光照條件變化、相機抖動等干擾因素對檢測結(jié)果的影響。

近年來，CNN(卷積神經(jīng)網(wǎng)絡(luò))在圖像分類、模式識別等領(lǐng)域取得了出色的成績。由于其特征提取能力強與魯棒性好，研究人員開始嘗試使用其解決軌道異物檢測問題。文獻(xiàn)[9]采用CNN模型對異物目標(biāo)進(jìn)行快速特征提取，能夠較好地提取不同光照條件下物體的特征信息，從而消除光照條件變化、相機抖動等干擾因素對檢測結(jié)果的影響，證實了CNN方法的可行性。但由于該方法采用手工劃定檢測范圍，仍無法處理無人機拍攝的動態(tài)背景視頻圖像。

針對現(xiàn)有軌道異物檢測算法的不足，本文提出了一種基于CNN的航拍視頻軌道異物檢測方法。該方法首先根據(jù)軌道特有直線特征，使用邊緣檢測、直線檢測等算法提取待檢測的軌道區(qū)域；然后使用改進(jìn)的MobileNet CNN模型與視頻多幀關(guān)聯(lián)算法對提取的軌道區(qū)域進(jìn)行檢測，實現(xiàn)對航拍視頻圖像的軌道異物檢測。本方法總體流程如圖1所示。

1 軌道區(qū)域提取

由于航拍視頻圖像視場較大、信息復(fù)雜且軌道安全界限在視頻圖像中的位置不固定，因此難以直接使用CNN模型對原始圖像進(jìn)行異物檢測。本文針對這一問題，對原始圖像進(jìn)行處理，自動劃定軌道安全界限，篩選出有用的完整軌道區(qū)域。包括Canny邊緣檢測、概率hough變換、設(shè)置軌道區(qū)域界限及透視變換。

1.1 Canny邊緣檢測

Canny邊緣檢測算法是一種多級檢測算法，不易受噪聲干擾，對于弱邊緣檢測效果較好，因此，本文采用該算法進(jìn)行圖像邊緣檢測。該算法主要包括高斯平滑濾波、計算梯度幅值和方向、對梯度幅值進(jìn)行非極大值抑制、雙閾值算法檢測與連接邊緣等4個步驟。本文雙閾值算法高閾值設(shè)為120，低閾值設(shè)為70。Canny邊緣檢測結(jié)果如圖2所示。

1.2 概率hough變換

Hough變換是一種使用表決原理的直線檢測算法，其基本原理是通過點線的對偶性，將源圖像上的點影射到用于累加的參數(shù)空間，把原始圖像中給定直線的檢測問題轉(zhuǎn)化為尋找參數(shù)空間中的峰值問題。其變換公式如下：

ρ=xcosθ+ysinθ

(1)

式中：

(x,y)——圖像坐標(biāo)系中點的坐標(biāo)；

ρ、θ——參數(shù)空間中的對應(yīng)參數(shù)。

然而傳統(tǒng)Hough變換計算量較大，檢測速度較慢，因此，本文使用概率Hough變換進(jìn)行直線檢測。概率Hough變換是在Hough變換的基礎(chǔ)上，對邊緣圖像上的前景點進(jìn)行隨機采樣，在變換后形成的參數(shù)空間中進(jìn)行投票，當(dāng)累加值大于閾值時即認(rèn)為存在直線。該算法不像Hough變換對全部邊緣點進(jìn)行計算，而是僅抽取部分邊緣點進(jìn)行計算，因此減少了計算量，提升了算法速率。本文設(shè)定累加閾值為100。概率Hough變換結(jié)果如圖3所示。其中，圖3 a)為圖像中只包含單條軌道的檢測結(jié)果，圖3 b)為圖像中包含多條軌道的檢測結(jié)果。從圖3可見，由于軌道曲率變化、周圍碎石及光線變化等的干擾，檢測結(jié)果中軌道被分為了多條線段，且檢測結(jié)果中包含了較多的干擾線段，因此還需作進(jìn)一步處理。

1.3 設(shè)置軌道區(qū)域界限

為了提取完整的軌道區(qū)域，首先需將被分割的多條線段進(jìn)行合并。本文方法中兩條線段是否需要被合并，主要取決于3個條件：兩條線段中最靠近的兩個端點間的橫向距離小于閾值dx，縱向距離小于閾值dy，以及兩條線段的斜率之差小于閾值kt。僅當(dāng)兩條線段滿足上述3個條件時，兩條線段才會合并，合并后的線段為兩條線段中距離最遠(yuǎn)的兩個端點間的連線。

根據(jù)軌道必為連續(xù)的長直線，對合并后的線段進(jìn)行篩選，保留長度大于閾值L的線段。對所有保留的線段進(jìn)行配對，從左向右依次將線段與其右側(cè)斜率之差小于kt的最鄰近線段進(jìn)行匹配，提取兩條線段間距離在[t1,t2]內(nèi)的線段，根據(jù)軌道特有直線特征判斷所提取線段關(guān)系，確定相應(yīng)的軌道位置。

確定圖像中相應(yīng)軌道位置后，根據(jù)圖像平面的軌道區(qū)域?qū)挾?，將各軌道位置的左、右邊界各向外擴展1個軌道寬度，即可得到待檢測的軌道區(qū)域界限。

1.4 透視變換

無人機飛行過程中易受到環(huán)境因素干擾，無法確保拍攝的軌道區(qū)域為矩形區(qū)域。如圖3 a)所示的軌道區(qū)域即為梯形區(qū)域，而CNN訓(xùn)練與測試的輸入均為矩形圖像。因此，需使用透視變換將軌道區(qū)域變換為矩形區(qū)域。

經(jīng)上述步驟，即可得到有用且完整的軌道區(qū)域圖像。軌道區(qū)域提取示例如圖4所示。

2 基于改進(jìn)的MobileNet模型的軌道異物檢測

2.1 改進(jìn)的MobileNet模型

CNN是當(dāng)前圖像理解領(lǐng)域的研究熱點，近年來廣泛應(yīng)用于模式識別、圖像分類等領(lǐng)域。該模型具有結(jié)構(gòu)簡單、魯棒性強、圖像旋轉(zhuǎn)與平移時高度不變性等優(yōu)點。常用的網(wǎng)絡(luò)模型有AlexNet、VGGNet[10]、GoogLeNet、ResNet、MobileNet[11]等。其中，MobileNet是一種以VGGNet為基礎(chǔ)，使用深度可分離卷積替換標(biāo)準(zhǔn)卷積的輕量化網(wǎng)絡(luò)模型。其計算量與參數(shù)數(shù)量大幅度減少，適用于移動和嵌入式設(shè)備。

由于MobileNet理論模型與在軌道線路場景實際應(yīng)用之間具有一定差異，將該模型直接應(yīng)用于軌道異物檢測存在較多問題，且檢測效果不佳。首先，由于模型激活函數(shù)大量使用ReLU(修正線性單元)函數(shù)，對于軌道異物檢測這類背景相似度較高的場景，在訓(xùn)練過程中易使過多神經(jīng)元死亡，影響模型檢測效果且收斂速度較慢。其次，異物的大小形態(tài)各異，由于模型僅使用3×3小尺寸卷積核，前幾層網(wǎng)絡(luò)的局部感受野也有限，模型難以提取較好的特征，影響模型檢測效果。此外，本文中軌道異物檢測只關(guān)注軌道區(qū)域內(nèi)是否包含異物，屬于二分類問題，而MobileNet模型為1 000分類網(wǎng)絡(luò)模型，原分類網(wǎng)絡(luò)對這類相似度較高的二分類問題擬合效果不好，且自制數(shù)據(jù)集的圖片數(shù)量遠(yuǎn)少于原分類網(wǎng)絡(luò)所需的圖片數(shù)量，難以較好地訓(xùn)練原分類網(wǎng)絡(luò)。

本文以MobileNet網(wǎng)絡(luò)模型為基礎(chǔ)，設(shè)計了一種用于軌道異物檢測的改進(jìn)MobileNet網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖5所示。

具體改進(jìn)方法如下：針對MobileNet模型中過多神經(jīng)元死亡的問題，本文使用ELU(指數(shù)線性單元)函數(shù)替代ReLU函數(shù)，同時在步長為2的深度卷積層后加入dropout層穩(wěn)定模型進(jìn)行訓(xùn)練，加速模型收斂。ELU函數(shù)如下所示：

(2)

式中：

a——梯度系數(shù);

x——輸入變量。

相比于ReLU函數(shù)，ELU函數(shù)可以將激活單元的輸出均值向0逼近，減少偏移效應(yīng)進(jìn)而使梯度接近于自然梯度，從而修正數(shù)據(jù)分布，防止出現(xiàn)過多神經(jīng)元死亡，提升模型的收斂速度與訓(xùn)練效果。

針對MobileNet模型前幾層網(wǎng)絡(luò)的局部感受野有限的問題，本文使用擴張率為2、步長為1的空洞卷積替換第1層步長為2的標(biāo)準(zhǔn)卷積，并將第2層深度可分離卷積中的深度卷積的步長改為2，以適應(yīng)后幾層深度可分離卷積層輸入圖像的分辨率?？斩淳矸e相比于標(biāo)準(zhǔn)卷積，能夠在不降低分辨率的情況下擴大感受野，以捕獲更多的多尺度上下文信息，且不會增加參數(shù)數(shù)量與計算量。加入空洞卷積后可有效提升前幾層網(wǎng)絡(luò)的感受野范圍，提升模型特征的提取效果，提高模型的檢測效果。

針對MobileNet模型分類網(wǎng)絡(luò)訓(xùn)練效果差的問題，本文使用SVM分類器替換由全連接層組成的原分類網(wǎng)絡(luò)。SVM分類器是一種二分類模型，其學(xué)習(xí)策略為間隔最大化，可形式化為一個求解凸二次規(guī)劃的最優(yōu)化算法。該分類器對于小樣本訓(xùn)練集效果較好，且具有較好的魯棒性。因此，本文使用SVM分類器，以適應(yīng)自制數(shù)據(jù)集圖片數(shù)量及類別數(shù)量，防止模型過擬合，提升模型訓(xùn)練效果。

2.2 視頻多幀關(guān)聯(lián)

視頻多幀關(guān)聯(lián)是指根據(jù)視頻的連續(xù)性，剔除斷續(xù)出現(xiàn)的單幀檢測結(jié)果的虛假檢測目標(biāo)，從而有效降低視頻檢測的虛警率。本文利用視頻幀間相關(guān)性對單幀圖像軌道異物檢測結(jié)果做進(jìn)一步處理，具體為：任取連續(xù)的3幀圖像，若第k幀與第k+2幀圖像的檢測結(jié)果均為無異物，而第k+1幀圖像的檢測結(jié)果為有異物，則判定第k+1幀圖像的檢測結(jié)果有誤，需對k+1幀圖像的檢測結(jié)果進(jìn)行修正。同時，根據(jù)異物在視頻中位置的連續(xù)性，通過連續(xù)N幀檢測結(jié)果判斷軌道區(qū)域是否存在異物。當(dāng)連續(xù)N幀圖像均檢測到有異物時，判定軌道區(qū)域存在異物。

3 試驗結(jié)果與分析

3.1 數(shù)據(jù)集與模型訓(xùn)練

本文使用無人機在某段軌道線路采集共10段包含人、樹枝、木板、紙盒等異物的航拍視頻，相機的分辨率為1 280像素×720像素，無人機飛行高度為4～6 m。對其中4段視頻進(jìn)行單幀拆分，得到5 900張原始圖像。對原始圖像進(jìn)行軌道區(qū)域提取并對提取后的圖像進(jìn)行人工標(biāo)注，之后使用翻轉(zhuǎn)、平移、改變亮度與對比度等操作進(jìn)行擴充，最終建立訓(xùn)練驗證集的圖片數(shù)量為11 000張：訓(xùn)練集的圖片數(shù)量為8 800張，驗證集的圖片數(shù)量為2 200張。其余6段視頻用于測試。

試驗使用Tensorflow神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)框架，以Anaconda4.5.11的Spyder(Python3.7)作為仿真平臺，電腦配置的CPU(中央處理器)為I5-7600 3.5 GHz、16 GB內(nèi)存、GPU(圖形處理器)為NVIDIA GTX1050，使用Numpy、Tensorflow1.13.1、Keras 2.2.4等軟件，搭建改進(jìn)后的MobileNet網(wǎng)絡(luò)模型并使用自制樣本數(shù)據(jù)集對其進(jìn)行訓(xùn)練。訓(xùn)練參數(shù)設(shè)置為：dropout層系數(shù)為0.2；ELU函數(shù)系數(shù)為0.1；使用隨機梯度下降法，初始學(xué)習(xí)率為0.01，學(xué)習(xí)衰減率為0.000 1，動量參數(shù)為0.99。改進(jìn)后的MobileNet網(wǎng)絡(luò)模型訓(xùn)練損失函數(shù)曲線如圖6所示。

3.2 軌道區(qū)域提取效果評估

本文軌道區(qū)域提取方法輸入圖像為1 280像素×720像素的彩色圖像。試驗參數(shù)設(shè)置為：橫向距離閾值dx=10像素，縱向距離閾值dy=25像素；兩條線段的斜率之差閾值kt=0.1，線段長度閾值L=100像素；單條軌道場景線段間距離范圍t1=100像素，t2=180像素；多條軌道場景線段間距離范圍t1=40像素，t2=120像素。軌道區(qū)域提取結(jié)果如圖7所示。

從圖7中可見，對于包含單條軌道與多條軌道的航拍圖像，該算法均能將圖像中的所有軌道區(qū)域完整地提取出來。因此，可將提取的軌道區(qū)域圖像直接送入CNN進(jìn)行檢測。

3.3 軌道異物檢測效果評估

為驗證本方法的有效性，使用檢測率與虛警率作為精度評價標(biāo)準(zhǔn)，對視頻檢測結(jié)果進(jìn)行定量評價。檢測率RD與虛警率RF的計算公式分別為：

(3)

(4)

式中：

Ncorrect——檢測正確的異物數(shù)目；

Nwrong——檢測錯誤的異物數(shù)目；

Nall,v——視頻中的異物總數(shù)；

Nall,c——檢測到的異物總數(shù)。

3.3.1 MobileNet模型各改進(jìn)部分有效性分析

為了對本文提出的各改進(jìn)部分的作用進(jìn)行評價，本文以Mobile Net網(wǎng)絡(luò)模型為基礎(chǔ)對各改進(jìn)部分性能進(jìn)行有效性分析，檢測結(jié)果如表1所示。表1中，Mobile Net表示基礎(chǔ)網(wǎng)絡(luò)模型，E表示使用ELU函數(shù)替代ReLU函數(shù)，D表示使用空洞卷積，S表示使用SVM分類器替換全連接層。

表1 MobileNet模型各改進(jìn)部分檢測結(jié)果對比

從表1中可見，各改進(jìn)部分能夠有效地提升模型檢測效果，提高模型的檢測率，降低模型的虛警率。

3.3.2 軌道異物檢測結(jié)果

使用VGG16模型、Mobile Net模型及本文改進(jìn)的模型分別對6段測試視頻進(jìn)行檢測。其中，VGG16模型的分類網(wǎng)絡(luò)中全連接層的神經(jīng)元數(shù)由4 096改為512，以適應(yīng)數(shù)據(jù)集圖片數(shù)量。視頻多幀關(guān)聯(lián)參數(shù)N為6。軌道異物檢測結(jié)果如表2所示。表2中，VGG16S模型表示VGG16模型的分類網(wǎng)絡(luò)由全連接層替換為SVM分類器。本文方法檢測效果如圖8所示。其中，safe表示檢測結(jié)果為軌道區(qū)域無異物，danger表示檢測結(jié)果為軌道區(qū)域存在異物。

表2 軌道異物檢測結(jié)果

從表2中可見，本文模型的RD與RF均優(yōu)于VGG16模型和MobileNet模型，且模型參數(shù)數(shù)量也均低于VGG16模型和MobileNet模型。從圖8中可見，本文方法能夠?qū)π螒B(tài)、大小各異的多類型異物進(jìn)行有效檢測。

3.3.3 軌道異物誤檢結(jié)果分析

本文方法誤檢結(jié)果如圖9所示。從圖9 a)中可見，當(dāng)木板剛進(jìn)入視場時，由于其成像面積較小，且其特征與軌道枕木相似，導(dǎo)致檢測結(jié)果出現(xiàn)漏檢。從圖9 b)和圖9 c)中可見，由于圖9 b)中左上角部分軌道的干擾，軌道區(qū)域提取算法僅提取了部分軌道區(qū)域，導(dǎo)致檢測結(jié)果出現(xiàn)誤檢。

4 結(jié)語

本文提出了一種基于CNN的航拍視頻軌道異物檢測方法。首先根據(jù)軌道特有直線特征，通過Canny邊緣檢測、概率Hough變換、線段合并與篩選、透視變換等操作提取待檢測的軌道區(qū)域；對MobileNet模型進(jìn)行改進(jìn)，在此基礎(chǔ)上對單幀圖像的軌道區(qū)域進(jìn)行檢測分類；利用視頻多幀關(guān)聯(lián)對單幀圖像軌道區(qū)域的檢測結(jié)果進(jìn)行優(yōu)化，得到最終的視頻軌道異物檢測結(jié)果;并對自制航拍數(shù)據(jù)集進(jìn)行訓(xùn)練與測試。試驗結(jié)果表明，本文方法在該數(shù)據(jù)集上的RD為90.48%，RF為7.32%，能夠有效地對無人機拍攝的動態(tài)背景視頻圖像進(jìn)行軌道異物檢測。在下一步工作中，將對軌道區(qū)域的提取方法做進(jìn)一步優(yōu)化；提高網(wǎng)絡(luò)模型對小目標(biāo)軌道區(qū)域的檢測精度，并添加新的軌道場景類型，提高網(wǎng)絡(luò)模型的泛化性能。