弓網(wǎng)視頻監(jiān)控技術(shù)研究

薛憲堂，張翼，王燕國，周威，劉國躍，杜馨瑜，王凡

（1.中國鐵道科學(xué)研究院集團(tuán)有限公司 基礎(chǔ)設(shè)施檢測(cè)研究所，北京 100081；2.北京鐵科英邁技術(shù)有限公司 產(chǎn)品研發(fā)部，北京 100081）

近年來，我國電氣化鐵路運(yùn)營里程不斷增加，為確保鐵路安全穩(wěn)定運(yùn)營，中國國家鐵路集團(tuán)有限公司、鐵路局集團(tuán)公司和站段各類接觸網(wǎng)檢測(cè)車的檢測(cè)任務(wù)越來越繁重，弓網(wǎng)視頻監(jiān)控系統(tǒng)作為接觸網(wǎng)檢測(cè)車的眼睛，需要在正面陽光、夜間、雨雪和出入隧道等多種場(chǎng)景下保持實(shí)時(shí)穩(wěn)定清晰的視頻采集和存儲(chǔ)。為達(dá)到上述目的，需要從多方面進(jìn)行弓網(wǎng)視頻監(jiān)控技術(shù)研究，主要研究?jī)?nèi)容包括車頂視覺光場(chǎng)方案、多線程并發(fā)處理技術(shù)和動(dòng)態(tài)自動(dòng)調(diào)整策略等。

1 研究現(xiàn)狀

1.1 國外

國外一些相關(guān)機(jī)構(gòu)對(duì)接觸網(wǎng)檢測(cè)系統(tǒng)進(jìn)行了弓網(wǎng)視頻監(jiān)控技術(shù)研究。

（1）法國的IRIS320綜合檢測(cè)列車最高運(yùn)行速度320 km/h，系統(tǒng)圖像分辨率為640×480，幀率為100fps，其側(cè)重弓網(wǎng)接觸狀態(tài)監(jiān)控，優(yōu)點(diǎn)為成像視野范圍較大，可以監(jiān)控支柱等接觸網(wǎng)設(shè)備和周邊環(huán)境，但由于車頂空間限制，導(dǎo)致監(jiān)控設(shè)備距離受電弓較遠(yuǎn)，弓網(wǎng)接觸區(qū)域圖像不清晰［1］。

（2）日本的East-I綜合檢測(cè)列車最高運(yùn)行速度275 km/h，其弓網(wǎng)視頻監(jiān)控功能和環(huán)境視頻監(jiān)測(cè)功能為一套設(shè)備，安裝在兩車頭位置，其優(yōu)點(diǎn)是監(jiān)控的視野范圍更大，可以監(jiān)控接觸線、支柱、附件懸掛等設(shè)備，但弓網(wǎng)接觸區(qū)域成像不清晰［2］。

（3）德國DB檢測(cè)系統(tǒng)的弓網(wǎng)視頻監(jiān)控系統(tǒng)分辨率為640×480、幀率為100 fps，可以采集、存儲(chǔ)、回放視頻文件，輔助分析弓網(wǎng)缺陷，經(jīng)過長(zhǎng)時(shí)間的檢測(cè)運(yùn)用也發(fā)現(xiàn)了一些不足：其車頂相機(jī)距離受電弓14 m左右，光路較長(zhǎng)，能量損失較多，導(dǎo)致圖像夜間質(zhì)量較差；其采集-存儲(chǔ)設(shè)計(jì)架構(gòu)為單線程串行采集和存儲(chǔ)，導(dǎo)致圖像有丟幀的情況；系統(tǒng)圖像明暗自動(dòng)調(diào)整采用硬件外接控制板的方式實(shí)現(xiàn)，控制邏輯較簡(jiǎn)單，自動(dòng)調(diào)整過于敏感，圖像明暗交替頻繁，而且其數(shù)據(jù)格式保密，不能進(jìn)行數(shù)據(jù)管理和綜合分析［3］。

1.2 國內(nèi)

國內(nèi)相關(guān)單位對(duì)車頂弓網(wǎng)視頻監(jiān)控技術(shù)有過大量研究。

（1）某鐵路局集團(tuán)公司安裝的車頂部弓網(wǎng)視頻監(jiān)控設(shè)備采用玻璃鋼外罩，攝像頭鏡頭采用鋼化玻璃，防護(hù)等級(jí)IP67，外形結(jié)構(gòu)整體開模加工，成流線型，無尖角。設(shè)備制作精密，體積較小，但其幀率僅為8 fps，適用于低速環(huán)境，一旦提高幀率，相關(guān)散熱、光源和軟件圖像處理流程都會(huì)暴露出問題。技術(shù)方案中的車頂光場(chǎng)布局過于緊湊，離受電弓較近，導(dǎo)致仰角過大，監(jiān)視效果不佳；明暗調(diào)整策略為參照全圖像素平均灰度值進(jìn)行調(diào)整，光線不足的場(chǎng)景會(huì)導(dǎo)致過曝。

（2）某電力機(jī)車有限責(zé)任公司研制的城際動(dòng)車組弓網(wǎng)視頻監(jiān)控設(shè)備，關(guān)鍵組件有受電弓攝像機(jī)集成攝像頭（云臺(tái)一體機(jī)）、補(bǔ)光燈和加熱玻璃等，攝像頭具有云臺(tái)控制、電動(dòng)變焦、補(bǔ)光和強(qiáng)光抑制功能，滿足全天24 h觀測(cè)需求，在白天和夜間均可正常工作；補(bǔ)光燈采用高功率頻閃燈，兼顧功耗、亮度與壽命，補(bǔ)光燈根據(jù)升降弓信號(hào)自動(dòng)開啟和關(guān)閉，降弓10 min后補(bǔ)光燈自動(dòng)關(guān)閉，同時(shí)監(jiān)控屏設(shè)置攝像頭和補(bǔ)光燈開啟關(guān)閉按鍵，可以手動(dòng)操作；加熱玻璃通過感應(yīng)溫度變化控制加熱開啟和關(guān)閉，具有除霧功能，保證視野清晰，設(shè)備功能豐富。攝像機(jī)為云臺(tái)一體機(jī)可以方便調(diào)節(jié)，但是該設(shè)備整體高度較高，多場(chǎng)景應(yīng)用受限，且安裝位置離受電弓較近，視角較大，成像區(qū)域不理想，而且其幀率不足100 fps，不符合高速弓網(wǎng)視頻監(jiān)控設(shè)備參數(shù)要求［4］。

2 關(guān)鍵技術(shù)研究

2.1 車頂視覺光場(chǎng)方案

設(shè)備在車頂安裝位置的限制、期望達(dá)到的光場(chǎng)效果和成像區(qū)域的要求是車頂視覺光場(chǎng)設(shè)計(jì)需要考慮的主要因素。由于車頂設(shè)備較多且均有一定的電氣安全距離，所以安裝位置有一定限制；補(bǔ)光位置過遠(yuǎn)會(huì)導(dǎo)致亮度不夠，補(bǔ)光位置過近會(huì)導(dǎo)致補(bǔ)光能量過于集中造成補(bǔ)光不均衡；成像區(qū)域要求能夠覆蓋整個(gè)受電弓降弓和升弓的最高位置。綜合考慮車頂安裝位置限制、光場(chǎng)效果和成像區(qū)域覆蓋等情況，將成像設(shè)備和補(bǔ)光燈安裝在受電弓開口側(cè)水平距離6～8 m位置，補(bǔ)光燈和相機(jī)同斷面安裝，設(shè)置雙補(bǔ)光燈交叉補(bǔ)光，減少受電弓上零件陰影，提高圖像清晰度［5-6］。車頂視覺光場(chǎng)方案見圖1。

圖1 車頂視覺光場(chǎng)方案

2.2 多線程并發(fā)處理技術(shù)

數(shù)據(jù)采集、處理和存儲(chǔ)具有一定的相關(guān)性，常采用單線程構(gòu)架進(jìn)行開發(fā)。單線程具有程序執(zhí)行時(shí)，程序執(zhí)行順序不變的特點(diǎn)，即前面的邏輯必須處理結(jié)束，后面的部分才會(huì)執(zhí)行。單線程處理的優(yōu)點(diǎn)是程序邏輯簡(jiǎn)單清楚，但由于需要在上一個(gè)任務(wù)完成后才能開始新任務(wù)，所以在多核處理機(jī)上其效率通常比多線程低。在單線程中如果中間某一部分邏輯所用的時(shí)間比預(yù)計(jì)時(shí)間長(zhǎng)，程序會(huì)出現(xiàn)不響應(yīng)的狀態(tài)甚至程序崩潰［7］。

傳統(tǒng)單線程構(gòu)架采集、處理和存儲(chǔ)的方法在分辨率為1 024×1 024、幀率100 fps數(shù)據(jù)量下會(huì)有丟幀現(xiàn)象，造成圖像數(shù)據(jù)缺失，不能最大限度發(fā)揮弓網(wǎng)視頻監(jiān)控系統(tǒng)的作用和價(jià)值。為達(dá)到視頻的高速采集、處理和存儲(chǔ)目的，采用多線程并行處理、線程同步等技術(shù)［8］。圖像采集后將數(shù)據(jù)同時(shí)分發(fā)給顯示、處理和存儲(chǔ)線程，使采集、顯示、處理和存儲(chǔ)能同步進(jìn)行，相比采集-顯示-處理-存儲(chǔ)單線程架構(gòu)，系統(tǒng)能力得到提升，在圖像幀率100 fps的數(shù)據(jù)量下實(shí)時(shí)采集、處理和存儲(chǔ)不丟幀、檢測(cè)數(shù)據(jù)完整、弓網(wǎng)視頻監(jiān)控軟件運(yùn)行流暢。多線程交互過程見圖2。

圖2 多線程交互過程

多線程并發(fā)處理技術(shù)可以實(shí)現(xiàn)不同的功能模塊同時(shí)進(jìn)行工作，從而提高數(shù)據(jù)處理量和處理速度。多線程并發(fā)處理技術(shù)中圖像數(shù)據(jù)接收線程負(fù)責(zé)采集圖像數(shù)據(jù)，對(duì)數(shù)據(jù)采集進(jìn)行了多線程包裝，從驅(qū)動(dòng)中采集的數(shù)據(jù)轉(zhuǎn)存到智能內(nèi)存中并同步實(shí)時(shí)地將載有圖像數(shù)據(jù)的智能內(nèi)存分發(fā)給顯示線程、數(shù)據(jù)處理線程和存儲(chǔ)線程，以實(shí)現(xiàn)數(shù)據(jù)顯示、處理和存儲(chǔ)同步進(jìn)行。

2.3 動(dòng)態(tài)自動(dòng)調(diào)整策略

視頻圖像畫質(zhì)清晰與否是衡量視頻實(shí)用性的重要參數(shù)。市面上的相機(jī)有些沒有自動(dòng)曝光功能，這種情況下，檢測(cè)車在夜間以及行駛至隧道等環(huán)境時(shí)會(huì)影響視頻清晰度，看不清弓網(wǎng)工況，靠人工調(diào)整不但耗費(fèi)人力而且難以時(shí)刻保證圖像質(zhì)量；帶有自動(dòng)曝光功能的相機(jī)，由于采取使用整幅圖像像素平均灰度值調(diào)整曝光的方法，在夜間弓網(wǎng)視頻會(huì)出現(xiàn)大部分背景為黑色而受電弓以及有光線照射的接觸網(wǎng)零部件所占圖像區(qū)域較小情況，這種情況下有光照部分的受電弓和接觸網(wǎng)設(shè)備會(huì)出現(xiàn)過度曝光情況，看不清弓網(wǎng)工況。相機(jī)自動(dòng)曝光效果見圖3。

圖3 相機(jī)自動(dòng)曝光效果

為解決上述問題，將自動(dòng)調(diào)整的區(qū)域設(shè)定為受電弓區(qū)域，通過基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位算法實(shí)時(shí)在圖像中選取受電弓區(qū)域［9］。深度神經(jīng)網(wǎng)絡(luò)可通過大量的受電弓樣本訓(xùn)練，利用深層神經(jīng)網(wǎng)絡(luò)的擬合能力對(duì)受電弓模式特征進(jìn)行建模，從圖像中自動(dòng)定位受電弓區(qū)域［10］。利用該區(qū)域內(nèi)的圖像像素計(jì)算平均灰度值，據(jù)此調(diào)整曝光和增益，根據(jù)實(shí)際圖像分析，該方法在夜間的圖像質(zhì)量?jī)?yōu)于相機(jī)自動(dòng)曝光的圖像。軟件自動(dòng)曝光效果見圖4，其中紅色限定框?yàn)橛?jì)算灰度值的區(qū)域（該限定框僅供計(jì)算灰度值，不顯示和存儲(chǔ)）。

圖4 軟件自動(dòng)曝光效果

優(yōu)化后圖像細(xì)節(jié)對(duì)比見圖5，上部分是相機(jī)自動(dòng)調(diào)整效果，下部分是軟件中設(shè)置受電弓區(qū)域?yàn)樽詣?dòng)調(diào)整區(qū)域后的效果。圖5中可以明顯看出下部分紅框區(qū)域比上部分對(duì)應(yīng)位置更清晰。

圖5 優(yōu)化前后圖像細(xì)節(jié)對(duì)比

該功能中計(jì)算灰度值較耗時(shí)，根據(jù)實(shí)際效果計(jì)算灰度值的像素點(diǎn)采用10選1抽樣計(jì)算灰度值，計(jì)算灰度值調(diào)整的頻率為隔幀計(jì)算。這種抽樣計(jì)算平均灰度值的方法既提高了計(jì)算速度，也不影響調(diào)整效果。

根據(jù)當(dāng)前灰度值找到合適的調(diào)整值，采用二分法快速定位合適曝光和增益值的方法。在此基礎(chǔ)上增加小幅控制邏輯用來防止某些情況下圖像的平均灰度值在控制邊界擺動(dòng)時(shí)出現(xiàn)閃屏的現(xiàn)象。二分法調(diào)整邏輯見圖6。

圖6 二分法調(diào)整邏輯

3 試驗(yàn)驗(yàn)證

基于弓網(wǎng)視頻監(jiān)控技術(shù)的硬件設(shè)備和軟件已經(jīng)在高速綜合檢測(cè)列車上安裝部署，并進(jìn)行了1個(gè)月的驗(yàn)證試驗(yàn)，試驗(yàn)線路場(chǎng)景包括：夜間、直面陽光、隧道、雨雪等場(chǎng)景。夜間效果提升對(duì)比見圖7，存儲(chǔ)圖像信息見圖8。

圖7 夜間效果提升前后對(duì)比

圖8 存儲(chǔ)圖像信息

試驗(yàn)結(jié)果表明：通過對(duì)車頂視覺光場(chǎng)方案和動(dòng)態(tài)自動(dòng)調(diào)整策略的優(yōu)化，夜間圖像質(zhì)量得到明顯提升，受電弓的細(xì)節(jié)更清晰；通過多線程并發(fā)處理技術(shù)的改進(jìn)，弓網(wǎng)視頻監(jiān)控系統(tǒng)運(yùn)行流暢穩(wěn)定，圖像數(shù)據(jù)不丟真。弓網(wǎng)視頻監(jiān)控系統(tǒng)滿足弓網(wǎng)1C技術(shù)條件，可以快速采集、處理、展示和存儲(chǔ)視頻圖像，并能夠適應(yīng)直面陽光、夜間、雨雪和出入隧道等多種場(chǎng)景。

4 結(jié)束語

通過對(duì)國內(nèi)外弓網(wǎng)視頻監(jiān)控技術(shù)的發(fā)展現(xiàn)狀分析并結(jié)合現(xiàn)場(chǎng)實(shí)際運(yùn)用環(huán)境的特點(diǎn)，提出解決實(shí)際問題的弓網(wǎng)視頻監(jiān)控技術(shù)，包括：車頂視覺光場(chǎng)方案、多線程并發(fā)處理技術(shù)和動(dòng)態(tài)自動(dòng)調(diào)整策略。在線路試驗(yàn)分析基礎(chǔ)上對(duì)系統(tǒng)不斷完善，在多種場(chǎng)景的線路試驗(yàn)過程中，持續(xù)對(duì)弓網(wǎng)視頻監(jiān)控系統(tǒng)的圖像質(zhì)量和性能進(jìn)行跟蹤測(cè)試，驗(yàn)證確認(rèn)了弓網(wǎng)視頻監(jiān)控技術(shù)的正確性。