基于集成策略的接觸網(wǎng)區(qū)域鳥窩智能識(shí)別方法

劉 鵬

0 引言

接觸網(wǎng)是沿鐵路線路架設(shè)的向電力機(jī)車供電的輸電線路，主要由基礎(chǔ)與支柱、支持裝置、接觸懸掛裝置、定位裝置等部分組成[1]。因?yàn)榻佑|網(wǎng)的結(jié)構(gòu)特點(diǎn)，每年3～5月，鳥類經(jīng)常在接觸網(wǎng)隔離開關(guān)底座、硬橫梁、鋼柱等處修筑鳥巢，而鳥類筑巢的樹枝、金屬線等材料極易造成線路短路、電氣控制部件損壞、跳閘、機(jī)械補(bǔ)償裝置失靈等安全隱患，嚴(yán)重影響了行車安全[2]。目前，對(duì)接觸網(wǎng)區(qū)域鳥窩的檢測(cè)、識(shí)別主要依靠人工分析視頻監(jiān)控圖像并判斷和標(biāo)記，這種由人工進(jìn)行的圖像甄別工作量大、效率低，而且可靠性和準(zhǔn)確率也很難保證。 為了解決這一問題，文獻(xiàn)[3～6]提出通過分析接觸網(wǎng)沿線的車載視頻，再根據(jù)一定的先驗(yàn)知識(shí)建立特征模型來(lái)完成接觸網(wǎng)區(qū)域巡檢中鳥窩的非接觸式識(shí)別檢測(cè)。近年來(lái)，基于深度卷積網(wǎng)絡(luò)的人工智能技術(shù)能夠在大量視頻圖像中快速確定含有特 定目標(biāo)的圖像，然后對(duì)該圖像中目標(biāo)區(qū)域進(jìn)行定位、識(shí)別。文獻(xiàn)[7]利用SSD網(wǎng)絡(luò)及遷移學(xué)習(xí)技術(shù)完成對(duì)鳥窩的識(shí)別。文獻(xiàn)[8]運(yùn)用Faster R-CNN模型對(duì)鳥窩進(jìn)行自動(dòng)識(shí)別。文獻(xiàn)[9]首先基于LSD直線段檢測(cè)算法獲取鳥巢可能出現(xiàn)的區(qū)域，然后運(yùn)用YOLO v3網(wǎng)絡(luò)對(duì)可能區(qū)域進(jìn)行鳥窩自動(dòng)識(shí)別。雖然上述方法針對(duì)接觸網(wǎng)區(qū)域中的鳥窩識(shí)別取得了一定的效果，但針對(duì)成像條件復(fù)雜情況下的接觸網(wǎng)區(qū)域鳥窩識(shí)別的效果有限，難以同時(shí)兼顧正常成像、成像質(zhì)量不佳、有霧天氣、圖像部分曝光、部分鳥窩被器件遮擋等不同成像狀態(tài)下的接觸網(wǎng)區(qū)域鳥窩智能識(shí)別任務(wù)。為了解決這一問題，本文提出一種基于YOLO-v5檢測(cè)模型與Inception v4識(shí)別模型多模型融合的接觸網(wǎng)區(qū)域鳥窩智能識(shí)別方法。

1 接觸網(wǎng)區(qū)域鳥窩樣本圖像集構(gòu)建

構(gòu)建接觸網(wǎng)區(qū)域鳥窩樣本圖像集是通過深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)鳥窩智能識(shí)別的基礎(chǔ)。由于接觸網(wǎng)線路巡檢圖像中存在正常成像、成像質(zhì)量不佳、有霧天氣、部分曝光、鳥窩被部分遮擋等多種不同成像情況，因此，在收集樣本構(gòu)建接觸網(wǎng)區(qū)域鳥窩樣本圖像集時(shí)必須考慮上述因素。選取接觸網(wǎng)懸掛狀態(tài)監(jiān)測(cè)系統(tǒng)不同場(chǎng)景下的鳥窩拍攝圖像構(gòu)建鳥窩樣本圖像集。樣本集包含10000幅接觸網(wǎng)巡檢圖像，其中，包含鳥窩的圖像7000幅，不包含鳥窩的圖像3000幅，鳥窩樣本圖像集的像素均為2448×2050，其成像狀況分布如表1所示。

表1 鳥窩樣本圖像統(tǒng)計(jì)

對(duì)樣本集中的圖像進(jìn)行標(biāo)注時(shí)，首先由專業(yè)巡檢人員對(duì)接觸網(wǎng)區(qū)域中是否存在鳥窩進(jìn)行判斷。若存在鳥窩，則利用標(biāo)注工具在鳥窩出現(xiàn)處繪制矩形標(biāo)記框，并標(biāo)記nest類型。部分樣本圖像標(biāo)注示例如圖1所示，包含了正常成像、有霧天氣、部分遮擋、部分曝光、成像不清晰等不同成像狀況。

圖1 典型樣本圖像及其標(biāo)注示例

2 接觸網(wǎng)區(qū)域鳥窩智能識(shí)別方法

2.1 識(shí)別流程

本文所述接觸網(wǎng)區(qū)域鳥窩智能檢測(cè)識(shí)別流程如圖2所示。首先將前端采集的接觸網(wǎng)圖像經(jīng)過預(yù)處理，縮放至長(zhǎng)寬均為640像素，再分別由YOLO- v5的深層、淺層模型進(jìn)行鳥窩初步檢測(cè)；然后將兩個(gè)模型檢測(cè)結(jié)果通過IOU指標(biāo)進(jìn)行融合；最后將融合結(jié)果經(jīng)Inception v4模型進(jìn)行精確識(shí)別，從而完成接觸網(wǎng)區(qū)域鳥窩的智能識(shí)別。

圖2 接觸網(wǎng)區(qū)域鳥窩智能識(shí)別流程

2.2 YOLO-v5深層模型與淺層模型

YOLO-v5[10]模型融合了CSP Darknet53[11]、PANET（路徑聚合網(wǎng)絡(luò)）[12]和SPP（空間金字塔池化）[13]等結(jié)構(gòu)，不僅在對(duì)象檢測(cè)方面表現(xiàn)出色，而且YOLO-v5s的模型推理速度更是達(dá)到了140 F/s。目前，該系列有4個(gè)模型（YOLO-v5s、YOLO-v5m、YOLO-v51、YOLO-v5x），YOLO-v5s模型網(wǎng)絡(luò)在YOLO-v5系列中深度最小、特征圖寬度最小。針對(duì)真實(shí)數(shù)據(jù)，考慮到鳥窩的多樣性，選擇了網(wǎng)絡(luò)最小、速度最快的YOLO-v5s模型作為鳥窩初步檢測(cè)的淺層模型，模型結(jié)構(gòu)如圖3所示，其中有4個(gè)由紅色框標(biāo)記的結(jié)構(gòu)區(qū)域，從左到右分別是Input、Backbone、Neck、Prediction區(qū)域。

圖3 YOLO-v5s模型架構(gòu)

模型輸入端包含Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算兩部分。前者通過隨機(jī)縮放、裁剪、排布對(duì)圖像進(jìn)行拼接，增加樣本庫(kù)中小目標(biāo)樣本，提升檢測(cè)性能，自適應(yīng)錨框計(jì)算。針對(duì)不同數(shù)據(jù)集，模型將設(shè)定一個(gè)初始長(zhǎng)寬的錨框，在網(wǎng)絡(luò)訓(xùn)練中，網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測(cè)框，進(jìn)而與真實(shí)框Groundtruth進(jìn)行比對(duì)，計(jì)算兩者差距，再反向更新，自適應(yīng)計(jì)算不同訓(xùn)練集中的最佳錨框值。Backbone包含F(xiàn)ocus結(jié)構(gòu)和CSP結(jié)構(gòu)，F(xiàn)ocus結(jié)構(gòu)提供切片操作，CSP結(jié)構(gòu)將梯度變化完整地集成到特征圖中，減少模型參數(shù)量和Flops數(shù)值，既保證推理速度、準(zhǔn)確率，又減小了模型尺寸。Neck用于生成特征金字塔，增強(qiáng)了模型對(duì)于不同縮放尺度對(duì)象的檢測(cè)。Prediction用于最終檢測(cè)，在特征圖上應(yīng)用錨定框，并生成帶有類概率、對(duì)象得分和包圍框的最終輸出向量。

深層模型選擇YOLO-v5l模型，其與YOLO- v5s最大的不同在于網(wǎng)絡(luò)結(jié)構(gòu)中CSP1和CSP2 block深度的不同。

2.3 檢測(cè)模型集成策略

為提升接觸網(wǎng)區(qū)域鳥窩的檢出率，使兩個(gè)檢測(cè)模型實(shí)現(xiàn)檢測(cè)結(jié)果互補(bǔ)，本文采用IOU將兩種模型檢測(cè)的結(jié)果進(jìn)行融合，IOU參數(shù)的計(jì)算式為

式中：Boxs表示淺層模型的檢測(cè)框，Boxl表示深層模型的檢測(cè)框。當(dāng)IOU大于設(shè)定閾值（本文取0.5）時(shí)，將融合兩檢測(cè)框后再輸出，否則將兩個(gè)獨(dú)立檢測(cè)框均作為輸出。

2.4 融合結(jié)果精確識(shí)別

為得到更準(zhǔn)確的識(shí)別結(jié)果，將融合后檢測(cè)框尺寸統(tǒng)一縮放為長(zhǎng)、寬均為128像素的圖像塊（超過128則進(jìn)行縮小，不足128則用灰度值為0的像素補(bǔ)齊），然后利用Inception v4模型[14]進(jìn)行精確識(shí)別。

Inception v4模型架構(gòu)如圖4所示。其中，Stem部分運(yùn)用多次卷積和2次池化來(lái)防止瓶頸問題，之后共使用3種14個(gè)Inception模塊，3種Inception模塊間的Reduction模塊起到池化作用，同時(shí)使用了Inception v4模塊的并行結(jié)構(gòu)來(lái)防止瓶頸問題的發(fā)生。

圖4 Inception v4模型架構(gòu)

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)設(shè)置

采用本文表1所示樣本圖像數(shù)據(jù)集進(jìn)行了相關(guān)實(shí)驗(yàn)，并將數(shù)據(jù)樣本圖像統(tǒng)一縮放到640×640。

3.2 模型訓(xùn)練

分別利用本文第1節(jié)構(gòu)建的樣本圖像數(shù)據(jù)集進(jìn)行YOLO-v5s和YOLO-v5l模型訓(xùn)練與測(cè)試。首先將數(shù)據(jù)樣本按8∶2的比例隨機(jī)分成訓(xùn)練集、測(cè)試集，并對(duì)訓(xùn)練集進(jìn)行水平鏡像。模型訓(xùn)練時(shí)優(yōu)化器選擇Adam，batch size設(shè)置為64，訓(xùn)練輪數(shù)epochs設(shè)置為200，學(xué)習(xí)率設(shè)置為0.001。兩個(gè)檢測(cè)網(wǎng)絡(luò)均載入COCO數(shù)據(jù)集的預(yù)訓(xùn)練權(quán)重，并保留在訓(xùn)練集上獲得的最優(yōu)模型。Inception v4模型[15]載入ImageNet數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重，然后進(jìn)行鳥窩、非鳥窩二分類訓(xùn)練，訓(xùn)練集、測(cè)試集樣本均來(lái)自檢測(cè)模型融合結(jié)果中的真實(shí)鳥窩、非鳥窩檢測(cè)框，并按照8∶2比例劃分訓(xùn)練集、測(cè)試集。對(duì)訓(xùn)練集圖像進(jìn)行水平鏡像，訓(xùn)練時(shí)batch size設(shè)為32，訓(xùn)練輪數(shù)epochs設(shè)置為100，學(xué)習(xí)率設(shè)為0.001。

3.3 實(shí)驗(yàn)結(jié)果及分析

該實(shí)驗(yàn)流程包括YOLO-v5s（淺層）網(wǎng)絡(luò)檢測(cè)、YOLO-v5l（深層）網(wǎng)絡(luò)檢測(cè)、深層與淺層網(wǎng)絡(luò)檢測(cè)結(jié)果融合、檢測(cè)結(jié)果融合后再通過Inception v4模型精確識(shí)別。實(shí)驗(yàn)測(cè)試結(jié)果如表2所示，其中，準(zhǔn)確率accuracy、召回率recall的定義分別為

表2 接觸網(wǎng)區(qū)域鳥窩智能識(shí)別性能對(duì)比

式中：TP為鳥窩圖像正確檢測(cè)的數(shù)量，TN為正常圖像中正確檢測(cè)的數(shù)量，F(xiàn)N為鳥窩圖像檢測(cè)錯(cuò)誤的數(shù)量，F(xiàn)P為正常圖像被檢測(cè)錯(cuò)誤的數(shù)量。

由表2可以發(fā)現(xiàn)，不同識(shí)別流程的召回率recall、準(zhǔn)確率accuracy差別較大。其中，深層網(wǎng)絡(luò)（YOLO-v5l）針對(duì)鳥窩識(shí)別的召回率為94.57%優(yōu)于淺層網(wǎng)絡(luò)（YOLO-v5s），但深層網(wǎng)絡(luò)（YOLO-v5l）的誤報(bào)FP較多，導(dǎo)致其準(zhǔn)確率低于淺層網(wǎng)絡(luò)（YOLO-v5s）。進(jìn)行模型融合（淺層&深層）后，召回率上升到98.71%，但隨之而來(lái)的誤報(bào)FP也大幅上升到364，導(dǎo)致該流程的準(zhǔn)確率accuracy下降到79.15%。模型融合+Inception v4則表現(xiàn)出了最佳檢測(cè)性能，針對(duì)鳥窩檢測(cè)的召回率recall為98.71%，準(zhǔn)確率為98.36%，均獲取了最佳性能。根據(jù)上述分析可知，將深層、淺層檢測(cè)模型的融合結(jié)果進(jìn)一步由Inception v4模型進(jìn)行精確識(shí)別，可以在保證較高召回率的情況下，大幅降低誤報(bào)（FP取值由364降低到23），從而大幅提升接觸網(wǎng)區(qū)域鳥窩智能識(shí)別方法的性能，能夠同時(shí)獲得最佳的召回率、準(zhǔn)確率。表2所示最優(yōu)檢測(cè)流程（將深層、淺層檢測(cè)模型檢測(cè)結(jié)果融合后再利用Inception v4進(jìn)行精確識(shí)別）的部分典型識(shí)別結(jié)果如圖5所示。

圖5 接觸網(wǎng)區(qū)域鳥窩智能識(shí)別結(jié)果的典型示例

4 結(jié)論

針對(duì)接觸網(wǎng)區(qū)域中鳥窩的智能識(shí)別問題，本文提出了將YOLO v5s淺層網(wǎng)絡(luò)與YOLO v5l深層網(wǎng)絡(luò)的檢測(cè)結(jié)果進(jìn)行融合來(lái)實(shí)現(xiàn)接觸網(wǎng)區(qū)域鳥窩初步檢測(cè)，再使用Inception v4模型對(duì)初步檢測(cè)結(jié)果進(jìn)行精確識(shí)別的方法。同時(shí)，為了滿足深度學(xué)習(xí)技術(shù)對(duì)樣本圖像數(shù)據(jù)量的要求，構(gòu)建了接觸網(wǎng)區(qū)域鳥窩樣本圖像數(shù)據(jù)集，并由專業(yè)巡檢人員對(duì)鳥窩進(jìn)行判讀、標(biāo)注。實(shí)驗(yàn)表明，所述方法能夠有效實(shí)現(xiàn)正常成像、有霧天氣、部分遮擋、部分曝光、成像不清晰等各種成像狀態(tài)下的接觸網(wǎng)區(qū)域鳥窩精確檢測(cè)、識(shí)別任務(wù)，對(duì)進(jìn)一步研發(fā)接觸網(wǎng)區(qū)域鳥窩智能識(shí)別系統(tǒng)具有重要意義。