基于深度學(xué)習(xí)技術(shù)的貨檢圖像智能識(shí)別與測(cè)試研究

柴雪松，張 慧，辛向黨，龔 喆，李健超，于國(guó)丞

(1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 鐵道建筑研究所，北京 100081；2.中國(guó)鐵路蘭州局集團(tuán)有限公司 貨運(yùn)處，甘肅 蘭州 730000；3.中國(guó)鐵路呼和浩特局集團(tuán)有限公司 烏海車務(wù)段，內(nèi)蒙古 烏海 016000)

0 引言

為了保障鐵路貨運(yùn)安全，貨運(yùn)計(jì)量安全檢測(cè)監(jiān)控系統(tǒng)、貨運(yùn)安全檢測(cè)監(jiān)控與管理系統(tǒng)等業(yè)務(wù)系統(tǒng)[1]先后研發(fā)，這些系統(tǒng)為鐵路貨運(yùn)安全提供了強(qiáng)有力的支撐。其中，鐵路貨運(yùn)安全檢測(cè)監(jiān)控與管理系統(tǒng)采用高清圖像技術(shù)[2]，實(shí)現(xiàn)了對(duì)貨物裝載狀態(tài)的高清圖像采集和存儲(chǔ)，使得貨檢作業(yè)人員在室內(nèi)就可以清晰查看鐵路貨物裝載狀態(tài)，并留存作業(yè)記錄，為貨檢工作閉環(huán)管理提供了有力的手段。在高清圖像檢測(cè)設(shè)備已大量安裝使用的情況下，如何快速識(shí)別圖片中裝載狀態(tài)的不良問題成為制約高清設(shè)備功能發(fā)揮的瓶頸。

由于既有系統(tǒng)不具備智能識(shí)別功能，裝載狀態(tài)不良的判別依賴于人工瀏覽海量圖像資料，瀏覽強(qiáng)度大、視覺易疲勞，作業(yè)質(zhì)量難以保證，容易形成安全隱患。因此，研制智能化的貨檢圖像識(shí)別系統(tǒng)成為趨勢(shì)[3-4]。近年來，人工智能特別是深度學(xué)習(xí)技術(shù)取得突破性發(fā)展[5-6]，在語(yǔ)音、圖像智能識(shí)別方面已具備工業(yè)應(yīng)用的水平。與傳統(tǒng)圖像處理方法對(duì)比，深度學(xué)習(xí)技術(shù)具有精度高、能夠解決復(fù)雜問題等優(yōu)點(diǎn)，而且隨著圖像樣本數(shù)量的增加，識(shí)別效果還會(huì)逐步提高。深度學(xué)習(xí)與傳統(tǒng)方法比較如圖1所示。

圖1?深度學(xué)習(xí)與傳統(tǒng)方法比較Fig.1 Comparison between in-depth learning and traditional method

高清視頻監(jiān)控系統(tǒng)的大規(guī)模建設(shè)，提供了海量高清圖像，為開展貨檢智能識(shí)別研究提供了必要的前提條件。深度學(xué)習(xí)技術(shù)發(fā)展基本成熟，為開展貨檢智能識(shí)別提供了可行性。開展貨檢智能識(shí)別技術(shù)研究，可以使海量高清圖像資料得到充分應(yīng)用，顯著提升貨檢自動(dòng)化水平，保障貨檢作業(yè)質(zhì)量，促進(jìn)鐵路貨運(yùn)安全。

1 貨車裝載問題采集與分析

貨檢作業(yè)目的之一就是發(fā)現(xiàn)裝載狀態(tài)不良的車輛，并及時(shí)進(jìn)行處理。開展智能識(shí)別工作的前提是掌握既有貨車裝載中存在的問題，根據(jù)采集獲取的問題圖片建立問題圖片庫(kù)，分析問題類型和特征。

1.1 樣本采集

對(duì)于建立樣本庫(kù)，通常有2種方式。方式1：扣取一定數(shù)量的車輛組織為試驗(yàn)專列，人工設(shè)置多種裝載不良工況，然后通過貨檢高清設(shè)備來獲取樣本圖片。方式2：直接收集實(shí)際檢測(cè)圖片，再分門別類的建立樣本庫(kù)。

對(duì)于方式1，由于實(shí)際運(yùn)用車輛的新舊程度差別很大、裝載不良的形態(tài)各異，而且試驗(yàn)列車能模擬的工況有限，因而這種方式獲取的圖像代表性不足，不能很好地反映實(shí)際情況。對(duì)于方式2，為了獲取廣泛的實(shí)際圖片，需要選取多個(gè)測(cè)點(diǎn)，而且涵蓋一定時(shí)間跨度，因而工作量較大，這樣建立的圖片庫(kù)能反映客觀實(shí)際工況，更具有應(yīng)用價(jià)值。因此，從2017年1月到2018年10月底，收集整理中國(guó)鐵路蘭州局集團(tuán)有限公司蘭州北、武威南、嘉峪關(guān)、迎水橋站4個(gè)車站，以及中國(guó)鐵路呼和浩特局集團(tuán)有限公司烏海站，在此期間實(shí)際過車時(shí)裝載狀態(tài)不良的圖片，從中抽取樣本圖片650張，以此建立問題圖片樣本庫(kù)。

1.2 樣本分析

1.2.1 不同車型的問題車輛占比分析

對(duì)問題車輛按不同車型(將集裝箱視為載體，對(duì)于裝載集裝箱的集裝箱專用平車、平集兩用車和敞車，統(tǒng)稱為集裝箱車)進(jìn)行分類統(tǒng)計(jì)，不同車型的問題車輛占比如表1所示。從表1中可以看出，集裝箱車、罐車和敞車病害數(shù)量占比較高，是裝載狀態(tài)不良的易發(fā)車輛，這三者合計(jì)占比高達(dá)90%以上。

表1?不同車型的問題車輛占比Tab.1 Proportion of improper vehicles in different types

1.2.2 不同車型的裝載不良形態(tài)

對(duì)不同車型的裝載狀態(tài)不良進(jìn)行分類統(tǒng)計(jì)，集裝箱車裝載不良分類如表2所示，罐車裝載不良分類如表3所示，敞車裝載不良分類如表4所示，棚車裝載不良分類如表5所示。

表2?集裝箱車裝載不良分類Tab.2 Types of improper loading in container cars

表3?罐車裝載不良分類Tab.3 Types of improper loading in container cars in tank cars

表4?敞車裝載不良分類Tab.4 Types of improper loading in open wagons

表5?棚車裝載不良分類Tab.5 Types of improper loading in box wagons

從表2至表5可以看出，對(duì)于不同車型，其裝載狀態(tài)不良的形態(tài)有所差異。這與車輛結(jié)構(gòu)特點(diǎn)，以及所裝貨物的種類都有關(guān)系。對(duì)于集裝箱而言，箱頂異物、箱門開啟、防塵蓋開啟是易發(fā)問題。對(duì)于敞車而言，車內(nèi)雜物是最多發(fā)生的裝載狀態(tài)不良，占比超過80%；繩網(wǎng)破損、腰繩斷等也是多發(fā)現(xiàn)象，占比接近15%。對(duì)于罐車而言，螺栓未入槽是最多發(fā)生的問題，車頂雜物和上蓋開啟也是多發(fā)現(xiàn)象。對(duì)于棚車而言，車頂雜物是最多發(fā)生的問題。

1.2.3 裝載不良類型統(tǒng)計(jì)

對(duì)所有裝載不良進(jìn)行統(tǒng)計(jì)，裝載不良分類如表6所示。由表6可知，裝載狀態(tài)不良的種類主要有11種。其中，頂部雜物、螺栓未入槽、車內(nèi)雜物、車門開啟、防塵蓋開是主要發(fā)生的裝載不良類型。

2 貨檢圖像識(shí)別模型研究

貨檢圖片種類復(fù)雜，貨檢智能識(shí)別工作也將是一個(gè)不斷完善的過程。為了使貨檢智能識(shí)別技術(shù)能在保證識(shí)別效果的前提下盡早發(fā)揮作用，以棚車、集裝箱車、敞車的裝載狀態(tài)不良為主要研究?jī)?nèi)容，對(duì)車頂、箱頂異物、棚車門開、集裝箱門開、集裝箱防塵蓋開的智能識(shí)別技術(shù)進(jìn)行研究。

2.1 技術(shù)難點(diǎn)

通過對(duì)問題圖片的分析，發(fā)現(xiàn)技術(shù)難點(diǎn)主要表現(xiàn)在以下方面：①類型眾多。異物種類多種多樣，圖像顏色、特征類型各有區(qū)別，因而需要訓(xùn)練識(shí)別的模型就很多，導(dǎo)致了識(shí)別難度和識(shí)別時(shí)間的增加。②類內(nèi)差異大、類間差異小。同一類問題差異性很大，如異物形狀不規(guī)則，很難搜集不同規(guī)則的形狀，導(dǎo)致后續(xù)檢測(cè)難度加大。背景和檢測(cè)物體差異性小，并且背景不是很干凈，經(jīng)常圖上背景由于車輛、裝載物及光照影響存在很大的干擾。③多尺度。例如，車內(nèi)的小塊異物和棚車車門打開，兩者尺度差距很大，模型需要周全考慮圖片中不同問題可能出現(xiàn)的各種尺度。

2.2 模型研究

目前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)主要分為以下2種思路。①以Faster-RCNN為代表的兩階段法[7]，即先通過淺層網(wǎng)絡(luò)生成候選目標(biāo)矩形區(qū)域，再通過使用分類模型如支持向量機(jī)(SVM)對(duì)候選區(qū)域進(jìn)行分類和深層網(wǎng)絡(luò)對(duì)候選區(qū)域精調(diào)。②以SSD/YOLO為代表的一階段法[8]，即直接計(jì)算圖片特征圖像，利用整張圖片回歸出目標(biāo)物體坐標(biāo)。前者的優(yōu)勢(shì)在于檢測(cè)結(jié)果更加精確，而后者的優(yōu)勢(shì)是檢測(cè)速度更快。研究提出的模型框架在SSD/YOLO為代表的一階段模型上進(jìn)行改進(jìn)獲得，降低了簡(jiǎn)單負(fù)樣本對(duì)模型的影響，從而在檢測(cè)速度快的基礎(chǔ)上，有效地提高精度。模型框架如圖2所示。

由圖2可以看出，檢測(cè)方法端到端地將特征提取、組合、目標(biāo)分類、目標(biāo)定位統(tǒng)一于一個(gè)神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)直接從圖像中提取候選框區(qū)域，然后進(jìn)行特征提取，再使用提取的特征建立分類子網(wǎng)絡(luò)和目標(biāo)框回歸子網(wǎng)絡(luò)，達(dá)到檢測(cè)裝載狀態(tài)不良圖片的目標(biāo)。

（1）特征提取網(wǎng)絡(luò)。模型首先使用殘差網(wǎng)絡(luò)(Resnet)進(jìn)行特征提取。殘差網(wǎng)絡(luò)是在標(biāo)準(zhǔn)卷積網(wǎng)絡(luò)的基礎(chǔ)上增加了恒等映射，減小了優(yōu)化的難度，提高了特征提取的效果。然后，使用特征金字塔網(wǎng)絡(luò)(Feature Pyramid Net)進(jìn)行特征的提取與組合。特征金字塔網(wǎng)絡(luò)在標(biāo)準(zhǔn)的卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了一路自上而下的支路和特征橫向連接，并將不同尺度的特征組合在一起。金字塔的每一層可以分別檢測(cè)不同尺度的物體。特征金字塔網(wǎng)絡(luò)能夠通過一個(gè)全連接網(wǎng)絡(luò)提高多尺度物體的預(yù)測(cè)性能。

表6?裝載不良分類Tab.6 Types of improper loading

圖2?模型框架Fig.2 Model structure

在特征提取網(wǎng)絡(luò)中，使用了P3—P75層特征，下標(biāo)i表示特征的層數(shù)，第i層的分辨率是原圖的2i分之一。這里，由于P1和P2層處在淺層，還不能學(xué)到高階抽象特征，因而忽略了P1和P2的信息。P3—P5是結(jié)合了殘差網(wǎng)絡(luò)中對(duì)應(yīng)的層和上一層Pi+1的信息，即把更抽象，語(yǔ)義更強(qiáng)的高層特征圖橫向連接至前一層特征圖，因而高層特征得到增強(qiáng)。P6是在P5的基礎(chǔ)上進(jìn)行卷積核為3×3，步長(zhǎng)為2的卷積操作得到，P7是在P6的基礎(chǔ)上再次進(jìn)行卷積核為3×3，步長(zhǎng)為2的卷積操作。

（2）分類子網(wǎng)絡(luò)。分類子網(wǎng)絡(luò)預(yù)測(cè)了每個(gè)區(qū)域每個(gè)類別的概率。該子網(wǎng)絡(luò)是在特征金字塔網(wǎng)絡(luò)的每一層上，增加了一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，并在最后增加softmax非線性激活函數(shù)，輸出每個(gè)區(qū)域每一類的概率。設(shè)候選區(qū)域的個(gè)數(shù)為A，類別數(shù)為K，全卷積神經(jīng)網(wǎng)絡(luò)將256個(gè)通道的輸入特征，首先使用4個(gè)卷積核為3×3的卷積層，每個(gè)卷積層都使用ReLU非線性激活函數(shù)，最后使用K×A個(gè)3×3濾波器，通過一個(gè)sigmoid函數(shù)，得到每個(gè)候選區(qū)域中，存在每個(gè)類別的物品的概率。

（3）目標(biāo)框回歸子網(wǎng)絡(luò)。與分類子網(wǎng)絡(luò)類似，目標(biāo)框回歸子網(wǎng)絡(luò)也使用了若干個(gè)全卷積網(wǎng)絡(luò)。即對(duì)特征金字塔得到的每一層的256個(gè)通道的特征，首先使用4個(gè)卷積核為3×3，激活函數(shù)為ReLU，濾波器個(gè)數(shù)為256的卷積層，然后通過卷積個(gè)數(shù)為3×3，激活函數(shù)為ReLU，濾波器個(gè)數(shù)為4×A的卷積層，對(duì)每個(gè)候選區(qū)域，輸出4個(gè)數(shù)值。該數(shù)值表示預(yù)測(cè)得到的目標(biāo)框相對(duì)標(biāo)準(zhǔn)框的偏移值。分類子網(wǎng)絡(luò)與目標(biāo)框回歸子網(wǎng)絡(luò)的參數(shù)不共享。

（4）損失函數(shù)。損失函數(shù)表示預(yù)測(cè)結(jié)果與實(shí)際數(shù)據(jù)的接近程度。分類情況下，典型的交叉熵?fù)p失函數(shù)計(jì)算公式為

式中：CE(p，y)表示預(yù)測(cè)結(jié)果與實(shí)際數(shù)據(jù)的接近程度，數(shù)值越小表示越接近；y表示實(shí)際數(shù)據(jù)的情況，當(dāng)實(shí)際數(shù)據(jù)中存在某一類別時(shí)，y= 1，反之，y= -1；p表示預(yù)測(cè)結(jié)果中是否有某一類的概率，p∈[0，1]。

針對(duì)某一類別t的概率可以表示為

式中：pt為存在類別t的概率。

于是，類別t的損失函數(shù)可以轉(zhuǎn)寫為

3 貨檢圖像試驗(yàn)測(cè)試分析

3.1 測(cè)試樣本

測(cè)試集用來測(cè)試模型檢測(cè)性能，同樣從中國(guó)鐵路蘭州局集團(tuán)有限公司和中國(guó)鐵路呼和浩特局集團(tuán)有限公司實(shí)際過車圖片中，隨機(jī)抽取450張圖片，建立測(cè)試集。其中，人工核查問題圖片共計(jì)352張。

3.2 評(píng)價(jià)指標(biāo)

對(duì)于識(shí)別模型，在理論分析中常用的評(píng)價(jià)指標(biāo)是錯(cuò)誤率和精度。但是，在工程應(yīng)用中，最關(guān)心的是識(shí)別結(jié)果中有多少圖片被漏掉，以及識(shí)別結(jié)果中確實(shí)存在問題的圖片比例。因此，檢出率R和查準(zhǔn)率P更為適用于此類需求的性能度量。根據(jù)真實(shí)情況和模型預(yù)測(cè)結(jié)果的組合，查準(zhǔn)率P和檢出率R分別可以表示為

式中：TP為檢測(cè)結(jié)果中的真正例；FP為檢測(cè)結(jié)果中的假正例；FN為檢測(cè)結(jié)果中的假反例。

3.3 測(cè)試數(shù)據(jù)分析

3.3.1 檢出率和查準(zhǔn)率

利用建立的智能識(shí)別模型，對(duì)測(cè)試樣本集開展測(cè)試。測(cè)試中，總共有7種工況，集裝箱防塵蓋開啟、集裝箱門開、棚車門開、敞車車頂異物、敞車車內(nèi)異物、集裝箱車頂異物和棚車車頂異物。不同工況的測(cè)試結(jié)果如表7所示。

表7?測(cè)試結(jié)果Tab.7 Inspection result

從表7中可看出，模型總體識(shí)別效果良好。合并統(tǒng)計(jì)測(cè)試結(jié)果，對(duì)于問題圖片352張(TP+FN)，測(cè)試漏判59張(FN)，漏判率16.5%，檢出率為83.5%。對(duì)于自動(dòng)識(shí)別結(jié)果圖片312張(TP+FP)，其中沒有問題的圖片誤判19張(FP)，查準(zhǔn)率為93.9%。進(jìn)一步分析檢測(cè)結(jié)果，敞車內(nèi)異物和集裝箱頂異物識(shí)別效果相對(duì)較差，主要是由于2種問題圖片中各種干擾因素較多。為了提高檢出率，還應(yīng)收集更多樣本圖片并進(jìn)一步訓(xùn)練模型。

3.3.2 檢測(cè)速度

針對(duì)測(cè)試集中450張圖片，系統(tǒng)總體檢測(cè)時(shí)間為6 min 46 s，平均每張圖片耗時(shí)為0.9 s。對(duì)于編組場(chǎng)貨檢作業(yè)，按每列車60輛計(jì)算，則貨檢智能識(shí)別系統(tǒng)需要的檢測(cè)時(shí)間T為

考慮高清設(shè)備安裝在進(jìn)站信號(hào)機(jī)之外，列車通過高清設(shè)備并進(jìn)站停車時(shí)需要5 min左右時(shí)間。因此，貨檢智能識(shí)別系統(tǒng)可以實(shí)現(xiàn)列車到達(dá)前，工作人員即可收到自動(dòng)識(shí)別結(jié)果，滿足指導(dǎo)貨檢作業(yè)的要求。

4 結(jié)束語(yǔ)

貨檢作業(yè)是保障鐵路貨運(yùn)安全的必要環(huán)節(jié)，不斷采用先進(jìn)的技術(shù)手段來提升貨檢作業(yè)質(zhì)量是國(guó)內(nèi)外鐵路的發(fā)展方向，也是我國(guó)鐵路進(jìn)步的必然要求。采用深度學(xué)習(xí)技術(shù)，通過不斷完善研究建立可靠的智能識(shí)別系統(tǒng)來實(shí)現(xiàn)對(duì)海量貨檢圖片的自動(dòng)識(shí)別，可以避免人工檢查可能存在的漏檢，同時(shí)極大地解放了貨檢一線人員的作業(yè)強(qiáng)度，可以使有限的人力集中在核實(shí)自動(dòng)識(shí)別結(jié)果以及處理所發(fā)現(xiàn)的問題上，在現(xiàn)場(chǎng)作業(yè)人員普遍不足的背景下，以人機(jī)結(jié)合的方式有效提升貨檢作業(yè)的效率和質(zhì)量，從而為保障鐵路貨運(yùn)安全提供堅(jiān)實(shí)的設(shè)備基礎(chǔ)。