基于深度學(xué)習(xí)的京張高速鐵路周界圖像智能識(shí)別系統(tǒng)構(gòu)建研究

傅薈瑾，史天運(yùn)，王 瑞，張萬鵬，徐成偉

（1.中國鐵道科學(xué)研究院 研究生部，北京 100081；2.中國鐵道科學(xué)研究院集團(tuán)有限公司 科技和信息化部，北京 100081；3.中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計(jì)算技術(shù)研究所，北京 100081；4.中國鐵道科學(xué)研究院集團(tuán)有限公司 北京經(jīng)緯信息技術(shù)有限公司，北京 100081)

0 引言

高速鐵路運(yùn)行速度快、發(fā)車頻次高、運(yùn)營場(chǎng)景復(fù)雜，雖然線路采用全封閉管理，但周界入侵的情況時(shí)有發(fā)生。周界入侵會(huì)對(duì)高速鐵路運(yùn)行安全構(gòu)成潛在威脅，嚴(yán)重?cái)_亂運(yùn)輸秩序，形成大面積晚點(diǎn)，甚至造成重大人員傷亡及經(jīng)濟(jì)損失，亟需對(duì)高速鐵路周界進(jìn)行安全防護(hù)。目前我國高速鐵路周界初步建立了人防、物防、技防“三位一體”的安全保障體系，人防是根據(jù)具體業(yè)務(wù)需求，安排值守人員進(jìn)行定時(shí)巡邏，物防主要采用護(hù)欄、刺絲滾籠等物理防護(hù)設(shè)施，技防主要采用視頻監(jiān)控的手段進(jìn)行周界防護(hù)[1-2]。目前技防手段單一，重點(diǎn)區(qū)域未實(shí)現(xiàn)全天候全覆蓋，技防手段的智能化水平有待進(jìn)一步提升，因此，亟需開展周界入侵監(jiān)測(cè)技防手段的深化研究。

京張高速鐵路(北京北—張家口)作為全球首條智能化高速鐵路，是2022年北京冬奧會(huì)和冬殘奧會(huì)的重要交通保障線路，保障京張高速鐵路的周界安全至關(guān)重要[3]。利用圖像識(shí)別、雷達(dá)檢測(cè)等技防手段對(duì)入侵京張高速鐵路重點(diǎn)區(qū)域的行為進(jìn)行有效識(shí)別，尤其對(duì)人員入侵、上線設(shè)障、軌面異物侵限等行為實(shí)施重點(diǎn)防范。隨著人工智能的發(fā)展，基于深度學(xué)習(xí)的目標(biāo)識(shí)別技術(shù)可進(jìn)一步提升高速鐵路周界安防能力，成為保障鐵路運(yùn)行安全的重要技術(shù)[4-5]。構(gòu)建基于深度學(xué)習(xí)的京張高速鐵路周界圖像智能識(shí)別系統(tǒng)，利用圖像智能識(shí)別、雷達(dá)目標(biāo)檢測(cè)和融合監(jiān)測(cè)等技術(shù)，實(shí)現(xiàn)對(duì)入侵人員和異物侵限的實(shí)時(shí)監(jiān)測(cè)。

1 高速鐵路周界入侵報(bào)警系統(tǒng)與異物侵限監(jiān)測(cè)系統(tǒng)研究及應(yīng)用現(xiàn)狀

目前，鐵路已應(yīng)用的周界入侵報(bào)警系統(tǒng)主要包括車站周界入侵報(bào)警系統(tǒng)、站臺(tái)端部入侵報(bào)警系統(tǒng)、動(dòng)車所周界入侵報(bào)警系統(tǒng)。已應(yīng)用的周界異物侵限監(jiān)測(cè)系統(tǒng)主要是自然災(zāi)害及異物侵限監(jiān)測(cè)系統(tǒng)。

車站周界入侵報(bào)警系統(tǒng)在站區(qū)實(shí)體圍墻上安裝振動(dòng)光纖和攝像機(jī)，利用二者進(jìn)行融合監(jiān)測(cè)，實(shí)現(xiàn)對(duì)翻越車站圍墻行為的識(shí)別與報(bào)警，該系統(tǒng)應(yīng)用于銀西客運(yùn)專線(銀川—西安北)西安北等13個(gè)車站。站臺(tái)端部入侵報(bào)警系統(tǒng)利用視頻分析和雷達(dá)檢測(cè)技術(shù)監(jiān)測(cè)站臺(tái)端部旅客越線行為，該系統(tǒng)已應(yīng)用于青島站、青島北站、銀西客運(yùn)專線各站[6-7]。針對(duì)動(dòng)車所周界入侵報(bào)警，西安動(dòng)車所周界試點(diǎn)工程中采用脈沖電子圍欄進(jìn)行周界防護(hù)，武漢動(dòng)車所基于脈沖電子圍欄和攝像機(jī)實(shí)現(xiàn)周界防護(hù)，青島動(dòng)車所利用振動(dòng)光纖和攝像機(jī)進(jìn)行周界防護(hù)。異物侵限監(jiān)測(cè)系統(tǒng)已在全路部署，通過監(jiān)測(cè)雙電網(wǎng)的實(shí)時(shí)狀態(tài)，實(shí)現(xiàn)上跨高速鐵路的道路橋梁的落物監(jiān)測(cè)，但其監(jiān)測(cè)場(chǎng)景單一，對(duì)于越過電網(wǎng)直接墜入高速鐵路凈空的目標(biāo)或沒有觸發(fā)報(bào)警閾值的小物體無法探測(cè)。

周界入侵報(bào)警系統(tǒng)由于識(shí)別準(zhǔn)確性和問題復(fù)雜性等因素，目前在高速鐵路沿線尚未有成熟的推廣應(yīng)用。為了推進(jìn)系統(tǒng)的發(fā)展，自2014年，多家科研院所、高校和公司不斷開展高速鐵路周界入侵報(bào)警系統(tǒng)的技術(shù)攻關(guān)，對(duì)振動(dòng)光纖、脈沖電子圍欄、光波對(duì)射探測(cè)技術(shù)、多維三鑒復(fù)合傳感探測(cè)技術(shù)、微波陣列技術(shù)、圖像智能識(shí)別等技術(shù)手段進(jìn)行了試驗(yàn)驗(yàn)證，研究其在高速鐵路周界安防中的適用性。

結(jié)合試驗(yàn)結(jié)果，技防手段特點(diǎn)對(duì)比如表1所示。振動(dòng)光纖無源、無雷擊風(fēng)險(xiǎn)和無電磁干擾，但人或車輛路過、樹木枝葉、飛鳥、小動(dòng)物等均可能引發(fā)誤報(bào)；脈沖電子圍欄可起到阻擋和威懾的作用，但當(dāng)入侵行為未造成合金線短路或斷路時(shí)會(huì)發(fā)生漏報(bào)，且其交流電作用可能致人受傷甚至死亡；多維三鑒可感知角速度、加速度、壓力等多種傳感信息，功耗低，但植被晃動(dòng)、重型車輛經(jīng)過等會(huì)引起誤報(bào)；微波陣列對(duì)已進(jìn)入周界內(nèi)的行為有較好的探測(cè)效果，布設(shè)靈活，可實(shí)現(xiàn)作業(yè)人員識(shí)別，但人員小跑快速通過或在周界內(nèi)靜止時(shí)會(huì)產(chǎn)生漏報(bào)，且會(huì)受植被干擾；光波對(duì)射對(duì)遮擋其光束的行為進(jìn)行識(shí)別，架設(shè)成本低，安裝維護(hù)便利，但容易受植被、漂浮物等遮擋干擾，一般用于站臺(tái)端部或作業(yè)門監(jiān)測(cè)；圖像智能識(shí)別技術(shù)可實(shí)現(xiàn)周界入侵行為的智能識(shí)別和自動(dòng)報(bào)警，在第一時(shí)間查看報(bào)警位置的視頻圖像，加快了報(bào)警響應(yīng)速度，但該技術(shù)在外界光影變化較大、天氣條件較差的情況下，容易產(chǎn)生誤報(bào)。綜合來看，圖像智能識(shí)別技術(shù)具有應(yīng)用靈活、適用范圍廣、可提供實(shí)時(shí)圖像等特點(diǎn)，結(jié)合圖像預(yù)處理方法，克服光影等干擾，可作為周界入侵監(jiān)測(cè)領(lǐng)域重點(diǎn)研究與應(yīng)用的技防手段。

表1 技防手段特點(diǎn)對(duì)比Tab.1 Comparison of characteristics of technical defenses

隨著計(jì)算機(jī)硬件的快速迭代和神經(jīng)網(wǎng)絡(luò)的發(fā)展，深度學(xué)習(xí)被證明能夠很好地應(yīng)用于圖像識(shí)別與雷達(dá)目標(biāo)檢測(cè)。深度學(xué)習(xí)以深度網(wǎng)絡(luò)模型為核心，對(duì)圖像序列的時(shí)空特征進(jìn)行學(xué)習(xí)，基于大量樣本訓(xùn)練網(wǎng)絡(luò)權(quán)重，利用學(xué)習(xí)到的模型進(jìn)行目標(biāo)識(shí)別[8]。相較于傳統(tǒng)方法，深度學(xué)習(xí)由機(jī)器自動(dòng)獲取目標(biāo)特征，不需要人工設(shè)置特征提取參數(shù)，特別適用于復(fù)雜多變的鐵路場(chǎng)景，具有很強(qiáng)的魯棒性及泛化能力。進(jìn)一步地，通過研究圖像預(yù)處理方法，克服圖像識(shí)別易受光影條件影響的缺點(diǎn)，研究三維激光雷達(dá)點(diǎn)云目標(biāo)檢測(cè)方法，獲取目標(biāo)形狀信息實(shí)現(xiàn)分類識(shí)別。深度學(xué)習(xí)可以進(jìn)一步提升周界入侵檢測(cè)的準(zhǔn)確率，已經(jīng)成為高速鐵路周界入侵監(jiān)測(cè)的主要發(fā)展方向。因此，利用深度學(xué)習(xí)實(shí)現(xiàn)周界人員入侵與異物侵限的識(shí)別，構(gòu)建京張高速鐵路周界圖像智能識(shí)別系統(tǒng)。

2 基于深度學(xué)習(xí)的京張高速鐵路周界圖像智能識(shí)別系統(tǒng)設(shè)計(jì)

2.1 建設(shè)目標(biāo)

立足于京張高速鐵路運(yùn)營與安全基礎(chǔ)保障這一總體需求，依托中國國家鐵路集團(tuán)有限公司(以下簡(jiǎn)稱“國鐵集團(tuán)”)主數(shù)據(jù)中心構(gòu)建京張高速鐵路周界圖像智能識(shí)別系統(tǒng)，利用高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)的實(shí)時(shí)視頻流和現(xiàn)場(chǎng)激光雷達(dá)設(shè)備，采用圖像智能識(shí)別技術(shù)和雷達(dá)目標(biāo)檢測(cè)技術(shù)，實(shí)現(xiàn)對(duì)周界重點(diǎn)區(qū)域人員入侵和異物侵限的實(shí)時(shí)監(jiān)測(cè)、智能識(shí)別、入侵報(bào)警，并對(duì)報(bào)警信息及其處理結(jié)果進(jìn)行收集、處理、匯總、統(tǒng)計(jì)分析和展示。同時(shí)，系統(tǒng)為京張安全大數(shù)據(jù)平臺(tái)推送周界安全分析數(shù)據(jù)。

2.2 系統(tǒng)結(jié)構(gòu)

京張高速鐵路周界圖像智能識(shí)別系統(tǒng)結(jié)構(gòu)如圖1所示。系統(tǒng)采用兩級(jí)架構(gòu)，圖像智能識(shí)別服務(wù)器、雷達(dá)目標(biāo)檢測(cè)服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、接口服務(wù)器、數(shù)據(jù)存儲(chǔ)設(shè)備等部署于國鐵集團(tuán)主數(shù)據(jù)中心，激光雷達(dá)前端處理單元和激光雷達(dá)現(xiàn)場(chǎng)監(jiān)測(cè)設(shè)備部署于沿線。

圖1 京張高速鐵路周界圖像智能識(shí)別系統(tǒng)結(jié)構(gòu)Fig.1 Overall structure of the proposed intelligent image recognition system

激光雷達(dá)現(xiàn)場(chǎng)監(jiān)測(cè)設(shè)備負(fù)責(zé)采集雷達(dá)點(diǎn)云數(shù)據(jù)，前端處理單元負(fù)責(zé)對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行初步處理，將其傳輸至主數(shù)據(jù)中心的接口服務(wù)器。圖像智能識(shí)別服務(wù)器和雷達(dá)目標(biāo)檢測(cè)服務(wù)器負(fù)責(zé)對(duì)接收到的視頻圖像和激光雷達(dá)點(diǎn)云數(shù)據(jù)中的周界入侵行為進(jìn)行識(shí)別，并將報(bào)警信息發(fā)送至應(yīng)用服務(wù)器。應(yīng)用服務(wù)器負(fù)責(zé)對(duì)報(bào)警信息進(jìn)行接收、顯示、統(tǒng)計(jì)、分析和查詢，并將相關(guān)信息推送至京張安全大數(shù)據(jù)平臺(tái)。數(shù)據(jù)庫服務(wù)器負(fù)責(zé)報(bào)警信息、系統(tǒng)管理等有關(guān)數(shù)據(jù)的集中存儲(chǔ)。接口服務(wù)器負(fù)責(zé)應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、圖像智能識(shí)別服務(wù)器、雷達(dá)目標(biāo)檢測(cè)服務(wù)器之間的數(shù)據(jù)交換，同時(shí)，負(fù)責(zé)與高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)、鐵路時(shí)間同步系統(tǒng)、京張安全大數(shù)據(jù)平臺(tái)、現(xiàn)場(chǎng)激光雷達(dá)前端處理單元等進(jìn)行數(shù)據(jù)交互。

2.3 邏輯架構(gòu)

2.3.1 架構(gòu)設(shè)計(jì)

京張高速鐵路周界圖像智能識(shí)別系統(tǒng)采用多層邏輯架構(gòu)設(shè)計(jì)，分為應(yīng)用層、智能識(shí)別層、基礎(chǔ)服務(wù)層、數(shù)據(jù)層、網(wǎng)絡(luò)層和感知層，系統(tǒng)邏輯架構(gòu)如圖2所示。

圖2 系統(tǒng)邏輯架構(gòu)Fig.2 Logical architecture of the system

感知層主要負(fù)責(zé)高速鐵路周界入侵?jǐn)?shù)據(jù)的采集，包括高速鐵路基礎(chǔ)設(shè)施視頻大數(shù)據(jù)應(yīng)用系統(tǒng)的攝像機(jī)和激光雷達(dá)現(xiàn)場(chǎng)監(jiān)測(cè)設(shè)備等。網(wǎng)絡(luò)層主要負(fù)責(zé)數(shù)據(jù)傳輸，包括鐵路數(shù)據(jù)通信網(wǎng)、鐵路內(nèi)部服務(wù)網(wǎng)等。數(shù)據(jù)層包括雷達(dá)監(jiān)測(cè)數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)等監(jiān)測(cè)數(shù)據(jù)，設(shè)備故障、設(shè)備狀態(tài)等設(shè)備數(shù)據(jù)，配置數(shù)據(jù)、設(shè)備ID等基礎(chǔ)數(shù)據(jù)，以及系統(tǒng)管理數(shù)據(jù)。基礎(chǔ)服務(wù)層為系統(tǒng)提供基礎(chǔ)性、公用性資源，包括數(shù)據(jù)訪問服務(wù)、數(shù)據(jù)傳輸服務(wù)等。智能識(shí)別層為系統(tǒng)提供基于深度學(xué)習(xí)的圖像智能識(shí)別和雷達(dá)目標(biāo)檢測(cè)服務(wù)，用于周界入侵的識(shí)別。應(yīng)用層實(shí)現(xiàn)監(jiān)測(cè)、報(bào)警、存儲(chǔ)、用戶管理和時(shí)間同步等功能。

2.3.2 應(yīng)用層功能設(shè)計(jì)

在應(yīng)用層，業(yè)務(wù)功能分為監(jiān)測(cè)、報(bào)警、存儲(chǔ)、用戶管理和時(shí)間同步等5大模塊，系統(tǒng)總體功能結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)總體功能結(jié)構(gòu)Fig.3 Overall function structure of the system

（1）監(jiān)測(cè)模塊。①采集與傳輸：系統(tǒng)接收并處理設(shè)備數(shù)據(jù)、設(shè)備ID、設(shè)備公里標(biāo)等關(guān)鍵信息。②布防撤防：根據(jù)監(jiān)測(cè)區(qū)域的空間布局進(jìn)行靈活的防區(qū)規(guī)劃，支持不同形態(tài)防區(qū)的可視化配置，支持一鍵式布防和撤防。③智能識(shí)別：基于深度學(xué)習(xí)對(duì)視頻圖像和雷達(dá)點(diǎn)云數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，當(dāng)監(jiān)測(cè)區(qū)域內(nèi)發(fā)生人員入侵或異物侵限事件時(shí)，系統(tǒng)自動(dòng)識(shí)別并產(chǎn)生報(bào)警信息。④實(shí)時(shí)監(jiān)測(cè)：對(duì)京張高速鐵路周界重點(diǎn)區(qū)域人員入侵與異物侵限情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)。

（2）報(bào)警模塊。①報(bào)警提示：監(jiān)測(cè)區(qū)域內(nèi)有報(bào)警時(shí)自動(dòng)觸發(fā)報(bào)警提示，提醒用戶對(duì)報(bào)警信息進(jìn)行處理。②報(bào)警定位：顯示報(bào)警信息時(shí)，通過設(shè)備公里標(biāo)、雷達(dá)點(diǎn)云數(shù)據(jù)等信息給出報(bào)警位置。③報(bào)警處理：對(duì)報(bào)警信息進(jìn)行確認(rèn)和處理，并對(duì)現(xiàn)場(chǎng)報(bào)警進(jìn)行解除。④報(bào)警查詢：查詢歷史報(bào)警信息及其處理結(jié)果。⑤統(tǒng)計(jì)分析：對(duì)報(bào)警信息及其處理結(jié)果等進(jìn)行統(tǒng)計(jì)分析，并通過圖表展示。

（3）存儲(chǔ)模塊。對(duì)報(bào)警信息及其處理結(jié)果、報(bào)警視頻等重要數(shù)據(jù)進(jìn)行存儲(chǔ)，其中視頻數(shù)據(jù)支持回放。

（4）用戶管理模塊。①用戶權(quán)限：對(duì)用戶賬號(hào)及權(quán)限進(jìn)行分配和管理。②訪問控制：實(shí)現(xiàn)用戶賬號(hào)驗(yàn)證和訪問控制。

（5）時(shí)間同步模塊。系統(tǒng)就近接入鐵路時(shí)間同步網(wǎng)，基于網(wǎng)絡(luò)時(shí)間協(xié)議獲取時(shí)間同步信號(hào)。

3 關(guān)鍵技術(shù)研究

為了實(shí)現(xiàn)系統(tǒng)的智能識(shí)別與實(shí)時(shí)監(jiān)測(cè)功能，提高周界入侵識(shí)別的效果，使系統(tǒng)適應(yīng)于白天和夜晚場(chǎng)景，綜合應(yīng)用圖像預(yù)處理、圖像智能識(shí)別、雷達(dá)目標(biāo)檢測(cè)等前沿技術(shù)實(shí)現(xiàn)京張高速鐵路周界全天候監(jiān)測(cè)。

3.1 圖像預(yù)處理技術(shù)

白天光線條件好，識(shí)別有較好的效果，但夜晚圖像可見度低，將其直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)識(shí)別效果有巨大影響，因此需要進(jìn)行圖像預(yù)處理，采用低照度圖像增強(qiáng)方法，增強(qiáng)暗光中的可見度，使圖像更加適合于識(shí)別算法分析。利用限制對(duì)比度的自適應(yīng)直方圖均衡化算法[9]，通過改變圖像的直方圖實(shí)現(xiàn)圖像中各像素灰度的改變，使灰度直方圖均勻分布，增加對(duì)比度限幅環(huán)節(jié)，防止圖像的噪聲被過度放大。

直方圖均衡化是常用的圖像增強(qiáng)方法，主要是通過改變圖像的直方圖進(jìn)行灰度變換，將圖像的分布直方圖從在某些區(qū)間較為集中變換為在全部區(qū)間內(nèi)均勻分布，以提高圖像對(duì)比度。其基本原理是對(duì)圖像中像素個(gè)數(shù)多的灰度值進(jìn)行展寬，對(duì)像素個(gè)數(shù)少的灰度值進(jìn)行歸并，增大對(duì)比度。該方法是對(duì)整幅圖像進(jìn)行均衡化，未考慮局部圖像中包含明顯較亮或者較暗的部分，該部分的對(duì)比度無法有效增強(qiáng)。為了改善該問題，提出自適應(yīng)直方圖均衡化方法，將圖像分成若干區(qū)域，對(duì)區(qū)域圖像進(jìn)行直方圖均衡化處理，提高圖像局部對(duì)比度，但該方法可能出現(xiàn)局部對(duì)比度增大過度導(dǎo)致圖像失真或噪聲被放大的問題。為此，對(duì)局部對(duì)比度進(jìn)行限制，提出限制對(duì)比度的自適應(yīng)直方圖均衡化算法。

限制對(duì)比度的自適應(yīng)直方圖均衡化算法實(shí)現(xiàn)過程如下。①將圖像分為若干個(gè)區(qū)域，在其上進(jìn)行直方圖均衡化處理。②對(duì)每個(gè)像素的鄰域進(jìn)行對(duì)比度限制，并得到相應(yīng)的變換函數(shù)。③根據(jù)變換函數(shù)與像素位置進(jìn)行雙線性插值處理，得到像素變換后的灰度值，以加速直方圖均值化。具體而言，限制對(duì)比度即對(duì)累積直方圖函數(shù)的斜率進(jìn)行限制，累積直方圖函數(shù)是灰度直方圖的積分，限制累積直方圖函數(shù)的斜率即對(duì)灰度直方圖的幅值進(jìn)行限制，因此，需要對(duì)每個(gè)區(qū)域中灰度直方圖進(jìn)行剪裁，使其幅值低于閾值，并為了保證直方圖總面積不變將剪裁值均勻分布到灰度區(qū)間上。將圖像分區(qū)域處理時(shí)，若每個(gè)區(qū)域僅通過該點(diǎn)的累積分布直方圖函數(shù)進(jìn)行變換，會(huì)導(dǎo)致圖像的塊狀效應(yīng)，為此，采用插值運(yùn)算，各個(gè)像素點(diǎn)的值由其相鄰的4個(gè)區(qū)域的累積直方圖進(jìn)行雙線插值得到。基于限制對(duì)比度的自適應(yīng)直方圖均衡化算法的識(shí)別效果如圖4所示。

圖4 基于限制對(duì)比度的自適應(yīng)直方圖均衡化算法的識(shí)別效果Fig.4 Recognition effect of contrast limited adaptive histogram equalization

3.2 基于YOLOv5的圖像智能識(shí)別技術(shù)

（1）網(wǎng)絡(luò)結(jié)構(gòu)。YOLO算法從YOLOv1發(fā)展到Y(jié)OLOv5，隨著算法不斷的創(chuàng)新和改進(jìn)，已被視為目標(biāo)識(shí)別的首選算法之一。YOLO算法將圖像識(shí)別作為一個(gè)回歸問題，可處理實(shí)時(shí)視頻流。算法的核心思想是將整個(gè)圖片作為網(wǎng)絡(luò)的輸入，通過整個(gè)圖像的特征進(jìn)行預(yù)測(cè)，直接輸出邊界框的位置和所屬的類別。研究采用YOLOv5算法，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。①輸入端：采用mosaic數(shù)據(jù)增強(qiáng)方法，適合于周界遠(yuǎn)距離小目標(biāo)識(shí)別，并增加了自適應(yīng)錨框計(jì)算功能。②骨干網(wǎng)絡(luò)：用于特征提取的網(wǎng)絡(luò)，YOLOv5基于CSPDarknet53結(jié)構(gòu)實(shí)現(xiàn)特征提取，增加Focus結(jié)構(gòu)實(shí)現(xiàn)切片操作，解決了梯度信息重復(fù)的問題，在減少計(jì)算量的同時(shí)保證了準(zhǔn)確率。③頸部網(wǎng)絡(luò)：對(duì)骨干網(wǎng)絡(luò)提取到的重要特征進(jìn)行組合或加工，并將圖像特征傳遞至預(yù)測(cè)網(wǎng)絡(luò)，YOLOv5使用特征金字塔網(wǎng)絡(luò)(FPN)和路徑聚合網(wǎng)絡(luò)(PAN)，增強(qiáng)了自底向上的路徑，改善了底層特征的傳播。④預(yù)測(cè)網(wǎng)絡(luò)：用于預(yù)測(cè)圖像特征、生成邊界框和預(yù)測(cè)類別的網(wǎng)絡(luò)，采用廣義交并比(GIoU)損失函數(shù)，并進(jìn)行非極大值抑制(NMS)處理。

圖5 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 YOLOv5 network structure

（2）網(wǎng)絡(luò)訓(xùn)練。首先建立高速鐵路周界入侵樣本庫，包括路基地段、低矮橋梁、橋頭、隧道口、救援疏散通道、作業(yè)門等典型場(chǎng)景，對(duì)人員攀爬、穿越、沿線路行走等入侵行為和石頭、彩鋼板等異物侵限情況進(jìn)行模擬，結(jié)合不同的距離、光照條件、氣候條件等因素，共采集、標(biāo)注5萬張圖像與5千份激光雷達(dá)點(diǎn)云數(shù)據(jù)，形成豐富的樣本庫，為網(wǎng)絡(luò)訓(xùn)練與測(cè)試提供充足的資源。高速鐵路周界入侵樣本庫部分?jǐn)?shù)據(jù)如圖6所示。

圖6 高速鐵路周界入侵樣本庫部分?jǐn)?shù)據(jù)Fig.6 Partial data of the sample database for high speed railway perimeter intrusion

其后進(jìn)行網(wǎng)絡(luò)訓(xùn)練，操作系統(tǒng)為L(zhǎng)inux Ubuntu 18.04.7 LTS，GPU為GeForce RTX 3080×2，深度學(xué)習(xí)框架為 Pytorch。將樣本庫的圖片按照9 : 1隨機(jī)比例進(jìn)行劃分，得到訓(xùn)練集和驗(yàn)證集。YOLOv5訓(xùn)練參數(shù)設(shè)計(jì)如表2所示，YOLOv5訓(xùn)練過程中平均精度均值曲線如圖7所示。

圖7 YOLOv5訓(xùn)練過程中平均精度均值曲線Fig.7 Mean average precision curve of YOLOv5 training process

表2 YOLOv5訓(xùn)練參數(shù)設(shè)計(jì)Tab.2 Training parameter design of YOLOv5

（3）識(shí)別效果。模型訓(xùn)練結(jié)束后，將訓(xùn)練好的YOLOv5模型應(yīng)用于京張高速鐵路周界圖像智能識(shí)別系統(tǒng)，并劃定檢測(cè)區(qū)域。在白天場(chǎng)景下，直接利用模型進(jìn)行高速鐵路周界入侵識(shí)別，在夜晚場(chǎng)景下，先進(jìn)行低照度圖像增強(qiáng)，再利用模型進(jìn)行識(shí)別，在不同場(chǎng)景下進(jìn)行人工模擬入侵試驗(yàn)，白天和夜晚場(chǎng)景分別進(jìn)行500次試驗(yàn)，各場(chǎng)景下模擬實(shí)驗(yàn)結(jié)果如表3所示。

表3 各場(chǎng)景下模擬實(shí)驗(yàn)結(jié)果Tab.3 Experimental results under each scene

基于YOLOv5的高速鐵路周界圖像智能識(shí)別效果如圖8所示，在晚上誤報(bào)率為10%，漏報(bào)率為8.6%，在白天誤報(bào)率為4.5%，漏報(bào)率為3%。

圖8 基于YOLOv5的高速鐵路周界圖像智能識(shí)別效果Fig.8 Intelligent image recognition results of high speed railway perimeter based on YOLOv5

3.3 基于PointNet++的雷達(dá)目標(biāo)檢測(cè)技術(shù)

（1）網(wǎng)絡(luò)結(jié)構(gòu)。PointNet是一種直接在原始雷達(dá)點(diǎn)云數(shù)據(jù)上進(jìn)行深度學(xué)習(xí)的方法，采用多層感知器和最大池化層進(jìn)行深度學(xué)習(xí)處理[10]，PointNet++是PointNet的改進(jìn)，彌補(bǔ)了其缺乏分層特征學(xué)習(xí)、無法捕捉局部結(jié)構(gòu)的不足。PointNet++采用分層結(jié)構(gòu)，主要分為采樣層、分組層和特征提取層。采樣層主要解決原始點(diǎn)云數(shù)量較多，需提取其中特征點(diǎn)的問題，利用迭代最遠(yuǎn)點(diǎn)采樣選取特征點(diǎn)。分組層利用球查詢法在特征點(diǎn)一定區(qū)域內(nèi)選取點(diǎn)集進(jìn)行分組。將每組點(diǎn)輸入特征提取層，利用PointNet得到新的特征點(diǎn)，接著進(jìn)入下一個(gè)分層結(jié)構(gòu)，以此類推，不斷提取特征點(diǎn)，最后得到一組全局特征，從而進(jìn)行識(shí)別。

（2）網(wǎng)絡(luò)訓(xùn)練。利用公共數(shù)據(jù)集Modelnet40和自建的高速鐵路周界入侵樣本庫對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，操作系統(tǒng)為L(zhǎng)inux Ubuntu18.04.7 LTS，GPU為GeForce RTX 3080，深度學(xué)習(xí)框架為 Tensorflow。將點(diǎn)云數(shù)據(jù)按照9 : 1隨機(jī)比例進(jìn)行劃分，得到訓(xùn)練集和驗(yàn)證集。PointNet++網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)計(jì)如表4所示，PointNet++訓(xùn)練過程準(zhǔn)確度曲線如圖9所示。

表4 PointNet++網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)計(jì)Tab.4 Training parameter design of PointNet++

圖9 PointNet++訓(xùn)練過程準(zhǔn)確度曲線Fig.9 Accuracy curve of PointNet++ training process

（3）識(shí)別效果。模型訓(xùn)練結(jié)束后，將訓(xùn)練好的模型應(yīng)用于京張高速鐵路周界圖像智能識(shí)別系統(tǒng)，并劃定檢測(cè)區(qū)域。激光雷達(dá)識(shí)別不受光線條件的影響，可實(shí)現(xiàn)全天候監(jiān)測(cè)，進(jìn)行600次人工模擬入侵試驗(yàn)，檢測(cè)對(duì)象尺寸影響檢測(cè)結(jié)果，各尺寸目標(biāo)的檢測(cè)結(jié)果如表5所示，基于PointNet++高速鐵路周界雷達(dá)目標(biāo)檢測(cè)效果如圖10所示，彌補(bǔ)了圖像智能識(shí)別在夜晚、惡劣天氣下探測(cè)距離急劇縮減的缺點(diǎn)，可與圖像智能識(shí)別有效互補(bǔ)。

圖10 基于PointNet++高速鐵路周界雷達(dá)目標(biāo)檢測(cè)效果Fig.10 Radar target detection results of high speed railway perimeter based on PointNet++

表5 各尺寸目標(biāo)的檢測(cè)結(jié)果Tab.5 Detection results of targets in various sizes

為進(jìn)一步提高周界入侵識(shí)別效果，在京張高速鐵路設(shè)置激光雷達(dá)采集裝置的重點(diǎn)區(qū)域，通過圖像智能識(shí)別、雷達(dá)目標(biāo)檢測(cè)技術(shù)以及基于二者的融合方法，實(shí)現(xiàn)對(duì)周界入侵人員的監(jiān)測(cè)。當(dāng)2種技術(shù)均監(jiān)測(cè)到入侵行為時(shí)，系統(tǒng)產(chǎn)生報(bào)警，如果只有其中一種技術(shù)監(jiān)測(cè)到入侵行為，則通過視頻進(jìn)行復(fù)核以有效降低誤報(bào)率，同時(shí)，雷達(dá)目標(biāo)檢測(cè)技術(shù)可以有效兼顧周界異物侵限的監(jiān)測(cè)。

4 結(jié)束語

通過深入分析高速鐵路周界入侵報(bào)警系統(tǒng)研究與應(yīng)用現(xiàn)狀，提出京張高速鐵路周界圖像智能識(shí)別系統(tǒng)的建設(shè)目標(biāo)，構(gòu)建基于深度學(xué)習(xí)的京張高速鐵路周界圖像智能識(shí)別系統(tǒng)，設(shè)計(jì)了系統(tǒng)的總體結(jié)構(gòu)、邏輯架構(gòu)和系統(tǒng)功能。利用限制對(duì)比度的自適應(yīng)直方圖均衡化和YOLOv5、PointNet++等深度學(xué)習(xí)算法，實(shí)現(xiàn)了低照度圖像增強(qiáng)、圖像智能識(shí)別和雷達(dá)目標(biāo)檢測(cè)，在試驗(yàn)場(chǎng)景下進(jìn)行模擬入侵試驗(yàn)，試驗(yàn)表明系統(tǒng)在白天達(dá)到95%以上的識(shí)別準(zhǔn)確率，在夜晚達(dá)到90%以上的識(shí)別準(zhǔn)確率，并提出了2種技術(shù)的融合監(jiān)測(cè)策略，實(shí)現(xiàn)了對(duì)周界人員入侵和異物侵限的全天候?qū)崟r(shí)監(jiān)測(cè)、智能識(shí)別和入侵報(bào)警。系統(tǒng)顯著提高了京張高速鐵路運(yùn)輸中應(yīng)對(duì)突發(fā)入侵情況的能力，保障鐵路運(yùn)輸安全和旅客的生命、財(cái)產(chǎn)安全，間接社會(huì)效益和經(jīng)濟(jì)效益顯著。