基于深度學(xué)習(xí)的隧道病害圖像檢測

高新聞，王龍坤

(1.上海大學(xué) 機電工程與自動化學(xué)院， 上海 200444;2.上海大學(xué) 上海城建(集團)公司建筑產(chǎn)業(yè)化研究中心，上海 201400)

0 引言

地鐵是當(dāng)今城市人民的主要公共交通基礎(chǔ)設(shè)施，在世界范圍內(nèi)有廣泛的應(yīng)用，由于隧道在地下受到綜合壓力的作用會發(fā)生變形[1-2]，嚴(yán)重時盾構(gòu)隧道襯砌表面會出現(xiàn)滲漏、裂縫、腐蝕、缺損等病害[3-4]，隧道內(nèi)病害的出現(xiàn)對隧道的安全帶來了巨大的安全隱患，比如，裂縫的出現(xiàn)會引起隧道內(nèi)的襯砌表面出現(xiàn)滲水、漏水，滲水和漏水的出現(xiàn)會引起隧道內(nèi)的鋼制結(jié)構(gòu)出現(xiàn)電化學(xué)腐蝕，電化學(xué)腐蝕進一步導(dǎo)致滲漏水的發(fā)生，導(dǎo)致隧道內(nèi)的病害出現(xiàn)惡性循環(huán)，嚴(yán)重的影響了隧道的使用壽命和正常的運營。人工檢測的方法，具有較高的主觀性，并且隨著視覺的疲勞會引起誤檢、漏檢等，這種主觀性較強的檢測方法是很低效的，而且隧道中檢測人員的安全也是一個需要考慮的問題。傳統(tǒng)的基于視覺的方法來完成隧道病害的檢測[5-6]；因此，人們開發(fā)了基于圖像處理的半自動和全自動方法以促進隧道內(nèi)的健康檢測,機器人的應(yīng)用減少了人工的干預(yù)并且提高了檢測人員的安全性.此外隧道的照明條件較差，因此開發(fā)自動檢測的方法變得尤為重要。

1 檢測系統(tǒng)組成及檢測方法原理

地鐵隧道一般位于地下，其工作環(huán)境較差，而對于上?？琰S浦江的越江隧道，其工作環(huán)境惡劣，地下能夠行走的空間狹小，光線微弱，空氣尤為污濁。為此，本課題組設(shè)計了一種履帶式巡檢機器人進行地下隧道中結(jié)構(gòu)病害的檢測，該巡檢機器人由履帶式行走本體和激光掃描儀、拍攝隧道結(jié)構(gòu)病害的運動相機、避障的紅外傳感器等組成。由于該巡檢機器人工作環(huán)境中光照非常弱，導(dǎo)致拍攝的隧道視頻質(zhì)量具有較低的清晰度和較多的陰影，甚至拍攝的視頻還具有一定的虛影。同時，由于本巡檢車檢測的越江隧道的結(jié)構(gòu)襯砌由于工作年限比較長，在其表面很多地方都覆蓋了一層修補的混凝土或環(huán)氧樹脂，導(dǎo)致在該隧道中拍攝的視頻具有較多的相似性，這為后期的高精度隧道結(jié)構(gòu)病害自動檢測帶來了一定的困難。

本研究針對地下隧道的特殊環(huán)境設(shè)計了一種殘差融合模塊網(wǎng)絡(luò)(Resfmnet)；Resfmnet網(wǎng)絡(luò)主要包括7個部分：1)特征提取網(wǎng)絡(luò)resnet50用于提取隧道圖像的特征；2)PFnet網(wǎng)絡(luò)塊，此網(wǎng)絡(luò)塊的作用是進行不同層次間的特征融合；3)RFB-F網(wǎng)絡(luò)塊，RFB-F網(wǎng)絡(luò)塊主要是為了針對隧道圖像中具有模糊和陰影而設(shè)計的；4)TRI-T網(wǎng)絡(luò)塊用來檢測不同尺度的目標(biāo)；5)FPN模塊，利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預(yù)測的效果；6)分類模塊(C模塊)，用來確定病害的類別信息；7)回歸模塊(C模塊)，用來確定病害的位置信息。本研究設(shè)計的Resfmnet網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1所示。

2 相關(guān)研究

隨著人工智能的發(fā)展，特別是深度學(xué)習(xí)在計算機視覺上的應(yīng)用，為基于圖像的目標(biāo)檢測提供了新的機遇，如今深度學(xué)習(xí)技術(shù)已經(jīng)被應(yīng)用于工程設(shè)施的檢測和維護，而且被證明了是一種有效的方法[7-8],深度學(xué)習(xí)在圖像分類[9-10]、目標(biāo)檢測[11]、語義分割[7,12]等方面表出了較好的性能；近年來隨著深度學(xué)習(xí)的發(fā)展，計算機視覺中的像素級語義分割得到迅速的發(fā)展[13-17]。高[18]等人提出一種將DenseNet用于隧道裂縫的檢測，該算法對隧道裂縫的分類取得了較好地效果，但是其檢測方法偏向一種病害檢測；Long[22]等人首先提出了全卷積神經(jīng)網(wǎng)絡(luò)[FCN]進行語義分割，與普通的CNN相比，F(xiàn)CN可以接受任意大小的輸入，通過高效的推理和學(xué)習(xí)輸出相應(yīng)大小的圖像，F(xiàn)CN的應(yīng)用已經(jīng)解決了許多難題[4,19-20];Ren[21]等人提出了一種基于改進的深度全卷積神經(jīng)網(wǎng)絡(luò)，用于進行密集的像素級裂縫分割，提出的網(wǎng)絡(luò)由骨干網(wǎng)絡(luò)、擴張卷積、空間金字塔池化和跳接模塊組成，提高了網(wǎng)絡(luò)對裂縫的檢測能力。

使用深度學(xué)習(xí)對地鐵盾構(gòu)隧道襯砌表面的病害進行識別可以分為3個主要目標(biāo)：包括目標(biāo)分類、目標(biāo)檢測和語義分割:目標(biāo)分類是將圖像中的物體進行類別劃分，目標(biāo)檢測不僅要將圖像中的物體進行分類，而且還要確定物體的位置；由于要進行病害檢測的一張圖像上可能含有多種病害，而且需要對檢測的病害進行分類和定位，以便于后期評估和檢測人員的觀察，而語義分割側(cè)重于對每個像素進行分類。因此，本文將采用目標(biāo)檢測的方法，實現(xiàn)對隧道的病害檢測。

本文主要研究對越江隧道中的電纜通道襯砌表面的多病害進行檢測；越江隧道為了防止江水的灌入，在隧道的襯砌表面采取了防護措施，比如在隧道的表面覆蓋了一層混凝土，受到隧道襯砌表面混凝土的影響，采集的圖像中相似性特征較多；雖然開發(fā)的移動機器人能夠提供光源，但是光源還是不足以提供足夠的光照強度，拍攝的視頻序列圖像的清晰度相對較弱，并且部分圖像中還具有陰影，大大增加了對隧道病害檢測的難度；由于越江隧道的電纜通道中沒有軌道，我們需要自己鋪設(shè)移動機器人的行駛路線，以保證移動機器人按照合理的路線行駛，機器人在隧道中行駛會出現(xiàn)一定的擺動，導(dǎo)致采集的視頻具有一定量的虛影，也增加了對隧道病害的檢測難度。因此，本文提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)來進行隧道多病害的檢測與分類，以便于后期人員的維護，數(shù)據(jù)的采集是由自主開發(fā)的機器人獲得。

3 檢測方法

本文所提出的Resfmnet檢測算法結(jié)構(gòu)如圖1所示。該算法主要包括4個部分：1)特征提取網(wǎng)絡(luò)resnet50用于提取隧道圖像的特征；2)PFnet網(wǎng)絡(luò)塊，此網(wǎng)絡(luò)的作用是進行不同層次間的特征融合；3)RFB-F網(wǎng)絡(luò)塊，RFB-F網(wǎng)絡(luò)塊主要是為了針對隧道圖像具有模糊和陰影而設(shè)計的；4)TRI-T網(wǎng)絡(luò)塊用來檢測不同尺度的目標(biāo)。

圖1 Resfmnet檢測算法網(wǎng)絡(luò)結(jié)構(gòu)圖

3.1 數(shù)據(jù)集的采集和制作

本實驗用到的數(shù)據(jù)集采自于上海的一條越江地鐵隧道中的電纜通道，地鐵隧道是一種位于地下的管狀結(jié)構(gòu)，一般光照環(huán)境較差，為了捕獲越江隧道的襯砌表面的圖像數(shù)據(jù)，自行開發(fā)一種移動機器人，機器人具有3個Gopro像機、1個光源(LED燈)、1個激光雷達、監(jiān)視器、電池組成，使用的相機具有單線光敏傳感器，為單色互補金屬氧化物半導(dǎo)體(CMOS)，靜態(tài)有效像素1 200萬，視頻拍攝規(guī)格為4 K。

移動機器人在隧道內(nèi)以一定的速度行駛，設(shè)定拍攝視頻時的幀率為30幀/s；在提取視頻時以每60幀提取一張視頻序列圖像；總共提取出1 961張有病害的圖像；由于訓(xùn)練數(shù)據(jù)集有限，減少圖像數(shù)據(jù)過度擬合的一種常用方法是通過標(biāo)簽保留變換人為地擴大數(shù)據(jù)集。為了增加數(shù)據(jù)集的數(shù)量和考慮到光照強度的影響，因此，在本實驗中對現(xiàn)有的數(shù)據(jù)集實施了數(shù)據(jù)增強，數(shù)據(jù)增強后總共獲取7 964張病害圖像，最終將訓(xùn)練數(shù)據(jù)集的圖像數(shù)量與測試數(shù)據(jù)集的數(shù)量和驗證集數(shù)據(jù)集的數(shù)量之比按0.8∶0.1∶0.1進行隨機分配，訓(xùn)練集用于訓(xùn)練模型參數(shù)，驗證集用以驗證當(dāng)前模型泛化能力，而測試集用于評估最終模型的準(zhǔn)確性。

3.2 模型的骨干網(wǎng)絡(luò)

傳統(tǒng)的CNN網(wǎng)絡(luò)，如果只是簡單的增加網(wǎng)絡(luò)的深度，會導(dǎo)致梯度消失或梯度爆炸，對于梯度消失或爆炸的問題，我們一般采用正則化和batch normalization的方法，但是這種方法會引起梯度退化問題，即在訓(xùn)練集上準(zhǔn)確率會出現(xiàn)過飽和甚至下降的情況，為了解決梯度退化的問題，引入了殘差連接。Resnet網(wǎng)絡(luò)引入殘差塊來解決網(wǎng)絡(luò)的梯度退化問題，深度殘差網(wǎng)絡(luò)能通過連接前面網(wǎng)絡(luò)的特征，使得后面的網(wǎng)絡(luò)能夠?qū)W習(xí)到殘差特征。

本節(jié)針對地鐵盾構(gòu)隧道的病害(滲漏、裂縫、腐蝕、缺損)構(gòu)建網(wǎng)絡(luò)架構(gòu)；采用的深度學(xué)習(xí)架構(gòu)是keras，來完成這項任務(wù)；本文采用renet50作為基線網(wǎng)絡(luò)，如圖1所示。

3.3 子模塊網(wǎng)絡(luò)的設(shè)計

在本節(jié)中我們選擇了多尺度融合的思想，我們的思想是進行跨尺度的多級融合，利用低層次的特征可以檢測小目標(biāo)，但是低層次的語義信息較低，導(dǎo)致檢測的準(zhǔn)確性較低。而特征金字塔網(wǎng)絡(luò)[FPN]通過自頂向下的過程和橫向連接來解決低層次語義信息較低的問題，保持低層次特征有利于檢測小目標(biāo)而且能提高檢測精度。為了能較好地融合不同層次的語義信息，在將骨干網(wǎng)絡(luò)提取的特征C5、C4、C3導(dǎo)入FPN網(wǎng)絡(luò)之前先進行層級融合，受到單向信息流的限制，我們采用一個自底向上和跨尺度的連接來解決這個問題；在跨尺度融合之前先將不同尺度的特征圖調(diào)整為相同大小的分辨率，然后對其進行求和，其次求和后的特征進行1×1的卷積,最后進行3×3的卷積，融合的方式如式(1)～(6)所示。具體的網(wǎng)絡(luò)結(jié)構(gòu)參考圖2。

圖2 PFnet網(wǎng)絡(luò)的結(jié)構(gòu)圖

(1)

C41=Conv1×1(C4)

(2)

C31=Conv1×1(C3)

(3)

C5out=Conv3×3(C51+C41vp)

(4)

C4out=Conv3×3(C41+C31vp)

(5)

C3out=Conv3×3(C31+C51vp)

(6)

其中：C5、C4、C3代表上一級網(wǎng)絡(luò)的輸出即Resnet網(wǎng)絡(luò)的輸出，C51vp、C41vp、C31vp代表C51、C41、C31的上采樣，C5out、C4out、C3out是PFnet網(wǎng)絡(luò)的輸出，Conv1×1、Conv3×3分別代表1×1和3×3的卷積，F(xiàn)代表通道數(shù)。

在隧道中由于光照強度非常弱，需要為移動機器人提供光源，但是人為提供的光源強度還是相對來說較弱，甚至還由于遮擋物的干擾，造成拍攝的視頻中具有陰影。移動機器人在隧道中行駛會遇到障礙，受到顛簸的移動機器人拍攝的視頻具有一定的虛影，為了更好地檢測那些具有黑暗和低對比度的圖像，我們加入了RFB-F網(wǎng)絡(luò)和TRI-T網(wǎng)絡(luò)中，在網(wǎng)絡(luò)中加入了擴張卷積保持了網(wǎng)絡(luò)的分辨率和感受野，可以對病害的類別進行更準(zhǔn)確的預(yù)測。圖3是RFB-F網(wǎng)絡(luò)結(jié)構(gòu)圖，圖4是TRI-T網(wǎng)絡(luò)結(jié)構(gòu)圖，其中d代表擴張率。

圖3 RFB-F網(wǎng)絡(luò)結(jié)構(gòu)圖

圖4 TRI-T網(wǎng)絡(luò)結(jié)構(gòu)圖

RFB-F網(wǎng)絡(luò)有3部分組成：1)用不同尺度的卷積核用來提取不同尺度的特征；2)對不同尺度的特征圖進行擴張卷積；從而用不同尺度的感受野來描述提取的特征；3)跳接塊用來防止梯度消失，解決了網(wǎng)絡(luò)退化的問題。RFB-F網(wǎng)絡(luò)的公式如下：

Input1=Conv1×1(Input)

(7)

Output1=Conv1×1,d=1Conv1×1(Input1)

(8)

Output2=Conv1×1,d=1Conv3×1(Input1)

(9)

Output3=Conv1×1,d=3Conv1×3(Input1)

(10)

Output4=Conv1×1,d=3Conv3×3(Input1)

(11)

Output5=Conv1×1,d=5Conv5×5(Input1)

(12)

Output=Conv1×1(Input1+Outputi)

鼻竇及鼻腔炎性肌纖維母細(xì)胞瘤（IMT）是少見病，發(fā)病年齡40歲左右，臨床過程多為良性，CT表現(xiàn)特征為病變上頜竇多見，多均勻或不均勻軟組織密度影，呈膨脹性單側(cè)生長，具有侵襲性，有骨質(zhì)吸收破壞，可以骨質(zhì)增生與骨質(zhì)破壞并存，少有鼻中隔受侵、 淋巴結(jié)及遠(yuǎn)隔轉(zhuǎn)移。術(shù)后易復(fù)發(fā)。

(13)

其中:Input是上一級網(wǎng)絡(luò)的輸出即為{C5out、C4out、C3out}中的任意一個，Output是RFB-F網(wǎng)絡(luò)的輸出，Outputi(i=1,2,3,4,5)是RFB-F網(wǎng)絡(luò)的中間計算結(jié)果，Output是RFB-F網(wǎng)絡(luò)的輸出結(jié)果，F(xiàn)代表通道數(shù)，d代表擴張率。

TRI-T網(wǎng)絡(luò)有2部分組成：1)3×3的卷積和不同大小的空洞卷積；用于提高檢測尺度的敏感性；2)跳接塊用來防止梯度消失，解決了網(wǎng)絡(luò)退化的問題。TRI-T網(wǎng)絡(luò)的公式如下：

Input1=Conv1×1(Input)

(14)

Output1=Conv1×1Conv3×3,d=j(Input1)

(15)

Output=Conv1×1(Input1+Output1)

(16)

其中：Input是上一級網(wǎng)絡(luò)的輸出,Output是TRI-T網(wǎng)絡(luò)的中間計算結(jié)果Conv1×1代表1×1的卷積，Conv3×3,d=j代表了3×3的卷積，其中d代表擴張率,j={1,3,5}，F(xiàn)代表通道數(shù)。

3.4 模型的訓(xùn)練

本文所采用的實驗均在臺式計算機上實現(xiàn)，其詳細(xì)的參數(shù)為：1個Intel core i7-4790@3.60 Hz CPU 8核處理器，1個16 GB RAM，1個NVIDIA GTX1070 GPU和GPU內(nèi)存 8 G，64位系統(tǒng)類型?；谏疃葘W(xué)習(xí)的算法中使用GPU進行訓(xùn)練網(wǎng)絡(luò)，并且部署了CUDNN深度神經(jīng)網(wǎng)絡(luò)庫，在Resfmnet網(wǎng)絡(luò)中，將多尺度特征進行融合對目標(biāo)進行準(zhǔn)確的識別和定位,在本實驗中設(shè)置訓(xùn)練輪次Epoch=100。該算法的步驟為：

1)隨機初始化網(wǎng)絡(luò)的權(quán)重；

3)計算預(yù)測值與標(biāo)簽值之間的差別；

4)更新網(wǎng)絡(luò)的權(quán)重wt：

(17)

其中：α是學(xué)習(xí)率，L是損失函數(shù)，代表預(yù)測值與真實值之間的差別，wt表示t次迭代時的權(quán)重，為了解決類別的不平衡問題我們選擇了Focal loss損失函數(shù):

Lp=-αt(1-pt)γlog(pt)

(18)

其中：αt，γ是固定值，αt調(diào)節(jié)正負(fù)樣本的比例，pt是不同類別的概率。最終將隧道的數(shù)據(jù)集運行在此深度學(xué)習(xí)網(wǎng)絡(luò)上，經(jīng)過多個輪次的調(diào)參之后，以最大化損失函數(shù)向全局最優(yōu)的收斂，訓(xùn)練過程中的模型在每個 epoch 后保存，并監(jiān)控最小損失值。然后在測試集上驗證Resfmnet模型的準(zhǔn)確性，并將具有最高準(zhǔn)確性的模型保存為最終模型。

4 實驗分析

在隧道運營過程中，隧道土建結(jié)構(gòu)維護較為復(fù)雜，有著眾多干擾，如圖5所示，其主要有以下幾種病害：裂縫、滲漏水、缺損、腐蝕、起殼、樹脂修補和混凝土出現(xiàn)漏筋。在對本文做試驗的越江隧道實際檢查后發(fā)現(xiàn)，起殼、樹脂修補和漏筋出現(xiàn)較少，因此本文主要對腐蝕、裂縫、缺損和滲漏4種病害進行檢測，其中腐蝕病害的數(shù)量有499個，裂縫病害的數(shù)量有1 760個，缺損的數(shù)量有1 306個，滲漏的數(shù)量有13 726個。腐蝕占比為0.028 8，裂縫占比為0.101 8，缺損的占比為0.075 5，滲漏的占比為0.793 9；數(shù)據(jù)存在嚴(yán)重的不平衡現(xiàn)象。為了較好地評估網(wǎng)絡(luò)的檢測結(jié)果，根據(jù)目標(biāo)檢測的特性選取了一些評價指標(biāo)。

圖5 隧道襯砌表面及影響識別的干擾物

4.1 評價指標(biāo)

深度學(xué)習(xí)在評估模型的時候，經(jīng)常會使用一些特定的評價指標(biāo)，根據(jù)數(shù)據(jù)集的分布和側(cè)重的效果選擇不同的評價標(biāo)準(zhǔn)，一般的評價指標(biāo)有F1-score、AP和mAP。在多目標(biāo)檢測中一般選擇AP和mAP作為評價指標(biāo)。因此本文選擇AP和mAP作為評價指標(biāo)，用來綜合評價本文模型檢測結(jié)果的準(zhǔn)確性。

(19)

(20)

(21)

(22)

其中：TP表示實際上是正樣本，預(yù)測的結(jié)果也是正樣本，F(xiàn)P實際為正樣本，預(yù)測結(jié)果為負(fù)樣本，F(xiàn)N:實際為負(fù)樣本，預(yù)測結(jié)果為正樣本，q是隧道中病害的類別數(shù)量，P是精確率,R是召回率,AP是每個類別的平均精確率,mAP是檢測的所有類別的平均精確率。

4.2 結(jié)果對比

表1列出了Resfmnet與Retinanet對比的評估指標(biāo)對比結(jié)果。從表1可以看出Resfmnet的方法在各方面的指標(biāo)均優(yōu)于Retinanet的方法,Resfmnet的mAP比Retinanet高出0.064 6;說明了Resfmnet的方法更有利于提高隧道中病害的檢測能力，與傳統(tǒng)的網(wǎng)絡(luò)相比本文的算法采用了模塊化設(shè)計，而且每個模塊都是單獨的，可以根據(jù)實際需要進行更換或刪除相關(guān)模塊，從而大大方便了更換網(wǎng)絡(luò)的效率。

表1 算法指標(biāo)對比

表2 檢測算法對不同病害的誤檢率結(jié)果對比

表2顯示了Resfmnet檢測算法與Retinanet檢測算法對不同病害的誤檢率結(jié)果對比，通過對比可以發(fā)現(xiàn)Resfmnet檢測方法的平均誤檢率低于Retinanet方法，說明對于惡劣的隧道環(huán)境Resfmnet方法具有較好的表現(xiàn)性能。為了驗證本文提出的方法的準(zhǔn)確性，將Resfmnet與Retinanet的方法的檢測結(jié)果進行對比，比較結(jié)果如圖6所示，圖6(a)是漏水檢測原圖，圖6(d)是裂縫檢測原圖，從圖6(b)、(c)漏水檢測可以看出，Retinanet方法檢測的結(jié)果在同一個病害上出現(xiàn)了兩個錨框，而Resfmnet的方法只有一個錨框，說明了Resfmnet的方法能有效地提高檢測的準(zhǔn)確率，從而對同一病害進行有效的區(qū)分；從圖6(e)、(f)可以看出，Retinanet方法對病害的檢測結(jié)果出現(xiàn)了漏檢，而Resfmnet的方法能有效地將病害檢測出來，說明了我們的方法對清晰度較低的圖像或有陰影的圖像，甚至出現(xiàn)了模糊的圖像，仍然具有較好地檢測效果。

圖6 檢測算法對不同病害的檢測結(jié)果對比

5 結(jié)束語

本文提出了一種針對越江隧道襯砌病害快速識別的目標(biāo)檢測方法，針對網(wǎng)絡(luò)層次的加深出現(xiàn)飽和的問題，提出了PFnet網(wǎng)絡(luò)進行層級融合，為了解決在隧道中拍攝視頻時，移動機器人的光照強度不足，導(dǎo)致圖像出現(xiàn)黑暗、對比度和亮度的微弱變化，本文加入了RFB-F模塊和TRI-T模塊。通過對比Resfmnet與Retinanet的方法的檢測結(jié)果，驗證了Resfmnet的方法具有較高的準(zhǔn)確率。隨著深度學(xué)習(xí)技術(shù)特別是目標(biāo)檢測技術(shù)的快速發(fā)展，使得深度學(xué)習(xí)技術(shù)越來越多的應(yīng)用到建筑領(lǐng)域的維護方面，對于民用技術(shù)設(shè)施的檢測和維護提供了強有力的技術(shù)支持。在隧道檢測領(lǐng)域深度學(xué)習(xí)技術(shù)被證明是一項可靠、安全的技術(shù)。