面向運營商智慧巡檢的四足機(jī)器人視覺檢測系統(tǒng)研究

趙東明 田雷 石理 李承鵬

（中國移動通信集團(tuán)天津有限公司人工智能實驗室 天津市 300000）

1 引言

運營商巡檢任務(wù)，主要有設(shè)備的外觀、溫度、噪音狀況巡視，其中包括變壓器、網(wǎng)絡(luò)交換設(shè)備、母線、隔離開關(guān)、路由網(wǎng)關(guān)等，巡檢任務(wù)量大，并且要在雷雨等特殊天氣和用電高峰期時增加特殊巡檢，但目前主要方式為人工巡檢，巡檢效果因人而異，與巡檢人員對設(shè)備的了解、人員的責(zé)任心等有很大關(guān)系，還存在一定危險性[1]。因此，急需打造基于智能機(jī)器人的視覺檢測系統(tǒng)，采用AI技術(shù)對通信設(shè)備關(guān)鍵零部件圖像進(jìn)行實時分析，判別設(shè)備零部件的狀態(tài)故障與關(guān)鍵參數(shù)變化，并結(jié)合5G的高帶寬低時延高并發(fā)特性，以5G網(wǎng)絡(luò)進(jìn)行“云-端”高分辨率圖像傳輸和智能控制，持續(xù)提高協(xié)同運營水平，保證制造企業(yè)安全運轉(zhuǎn)[2-3]。

2 功能介紹

天津移動AI實驗室主持研發(fā)了面向智慧巡檢的機(jī)房巡檢四足機(jī)器人“赤驥”?！俺囿K”取名來自“穆王八駿”，傳說為周穆王八駿之首，代表了四足機(jī)器人如駿馬一般快如閃電。為了解決人工巡檢強度大、質(zhì)量不均衡、輪式機(jī)器人無法適應(yīng)狹窄空間和復(fù)雜地形等問題，打造了以四足機(jī)器人為平臺的檢測系統(tǒng)，以5G網(wǎng)絡(luò)實現(xiàn)4K級高清圖像的實時傳送，在移動云高性能GPU集群完成處理和分析，并指揮機(jī)器人實時響應(yīng)后臺指令，從而完成圖像自動存儲對比分析、紅外精確測溫、巡檢及告警發(fā)布等作業(yè)，探索智慧工業(yè)、指揮園區(qū)、智慧安防場景下的四足機(jī)器人巡檢。如圖1所示。

圖1：四足機(jī)器人巡檢

2.1 構(gòu)建基于四足機(jī)器人的視覺安全巡檢系統(tǒng)，驅(qū)動智慧化變革

機(jī)房巡檢四足機(jī)器人在機(jī)房環(huán)境中巡檢，需要滿足運動、障礙規(guī)避的能力和導(dǎo)航精度，攜帶有相應(yīng)的攝像頭和傳感器，具有配電設(shè)備檢測功能。機(jī)器人完成圖像采集后，高清視頻通過5G-CPE經(jīng)高速網(wǎng)絡(luò)傳遞到云端GPU集群，進(jìn)行目標(biāo)檢測和異常識別，檢測場景包括：工程人員合規(guī)性檢查、電子屏及儀表讀數(shù)檢測、熱成像測溫檢測、異常侵入檢測等情況，自動觸發(fā)告警，提醒運維人員進(jìn)行檢查。

2.2 打造多模數(shù)據(jù)融合的四足機(jī)器人檢測平臺，支撐巡檢新方法、新流程

機(jī)房巡檢四足機(jī)器人主要由運動底盤、控制管理系統(tǒng)、監(jiān)控管理系統(tǒng)、網(wǎng)絡(luò)模塊組成。運動底盤是巡檢系統(tǒng)的四足平臺，上面搭載著多種傳感器，比如激光雷達(dá)、姿態(tài)傳感器、超聲波傳感器等用于定位和導(dǎo)航，另外上層搭載眾多智能設(shè)備如可見光攝像機(jī)、熱成像測溫攝像機(jī)、拾音器裝置等，將視覺數(shù)據(jù)采集完畢后，配合GPU集群部署的計算機(jī)視覺深度學(xué)習(xí)框架，完成配電站的巡檢任務(wù)。

2.3 構(gòu)建四足機(jī)器人控制管理系統(tǒng)和軟件環(huán)境，實現(xiàn)“5G+AI”技術(shù)融合賦能

控制管理系統(tǒng)，通過網(wǎng)絡(luò)系統(tǒng)連接四足機(jī)器人軟件環(huán)境，進(jìn)行巡檢任務(wù)中的環(huán)境地圖建立、巡檢路徑點部署、設(shè)備狀態(tài)信息記錄和巡檢任務(wù)啟動等管理過程。按照預(yù)設(shè)的巡檢路線到達(dá)位置后，以多種視覺傳感器采集視頻，以目標(biāo)檢測、圖像分割和異常分類等方法，自動檢測電氣化設(shè)備是否安裝正確，是否存在異常連接、關(guān)鍵原件缺失、設(shè)備安裝錯誤等問題，檢測結(jié)果可以在控制管理系統(tǒng)的手機(jī)APP中查詢。監(jiān)控管理系統(tǒng)用于巡檢任務(wù)下達(dá)，并遠(yuǎn)程觀測巡檢任務(wù)的執(zhí)行情況，必要時可以通過遠(yuǎn)程點檢方式，由人工和智能方式協(xié)同檢測。

網(wǎng)絡(luò)模塊包括機(jī)載路由器、局域網(wǎng)交換機(jī)和無線CPE（5G模組），車載網(wǎng)絡(luò)路由器和局域網(wǎng)交換機(jī)通過有線以太網(wǎng)連接，多種高清視覺設(shè)備為了傳輸穩(wěn)定也采用有線連接，四足機(jī)器人系統(tǒng)局域網(wǎng)交換機(jī)通過無線CPE，以5G高速網(wǎng)絡(luò)實現(xiàn)和GPU集群進(jìn)行數(shù)據(jù)交互，以即時控制。如圖2所示。

圖2：四足機(jī)器人的即時控制

3 應(yīng)用情況

機(jī)房巡檢四足機(jī)器人“赤驥”，除了應(yīng)用在運營商機(jī)房，也可應(yīng)用于工廠、園區(qū)、變電站、城市地下管廊、電力隧道管井及其他重要場所，通過上述區(qū)域的例行檢查和定點巡查，獲取環(huán)境信息以及傳感設(shè)備的識別信息。一臺機(jī)器人可覆蓋2萬5千平米的巡檢區(qū)域，巡檢時段可達(dá)2小時/日，異常識別精準(zhǔn)度90%，相比人工巡檢效率提升2倍。目前，四足機(jī)器人是機(jī)器人巡檢領(lǐng)域的發(fā)展新趨勢，也存在續(xù)航能力不足、自動回充能力不足、負(fù)載設(shè)備重量限制等問題，天津移動將不斷解決問題，加強四足機(jī)器人的實際應(yīng)用效果。

系統(tǒng)目前已在天津移動公司內(nèi)全面推廣，在智慧工業(yè)行業(yè)拓展、5G基站施工巡檢、統(tǒng)一資源池機(jī)房巡檢、通信機(jī)房巡檢，在天津移動移通大廈、曹莊樞紐等重要機(jī)房場景內(nèi)累計試運行5個月，單次巡檢面積2000平方米，累計巡檢面積達(dá)30萬平方米，巡檢次數(shù)25輪次。本成果適用于智慧工業(yè)、智能制造企業(yè)的巡檢管理，可以顯著加強工業(yè)互聯(lián)網(wǎng)發(fā)展背景下創(chuàng)新管理的主動性，精確性和互動性，提升了客戶滿意度，探索了面向工業(yè)應(yīng)用的人工智能賦能新模式，形成強大的精細(xì)化管理能力。

4 推廣價值

四足機(jī)器人“赤驥”填補了中國移動在機(jī)器人控制和計算機(jī)視覺技術(shù)領(lǐng)域的空白，相關(guān)人工智能技術(shù)（計算機(jī)視覺，級聯(lián)神經(jīng)網(wǎng)絡(luò)、目標(biāo)檢測）在集團(tuán)內(nèi)處于領(lǐng)先地位，具有非常好的產(chǎn)品可持續(xù)性、推廣性和示范效應(yīng)。

4.1 構(gòu)建行業(yè)標(biāo)準(zhǔn)，降本增效成果顯著

利用現(xiàn)有通信機(jī)房、電氣機(jī)房采集的80萬張設(shè)備檢測圖像庫，對深度學(xué)習(xí)模型的準(zhǔn)確率和誤識別率進(jìn)行測試，平均正樣本率98.8%，負(fù)樣本率97.9% 。顯著高于外部開源視覺框架系統(tǒng)在天津移動設(shè)備圖像庫的表現(xiàn)。通過機(jī)器人的攝像頭采集，到識別出溫度異常、設(shè)備缺陷或者異常人員，全流程僅3-5秒，處理效率高。單個圖像視界內(nèi)支持同時100個小目標(biāo)的識別和比對，多任務(wù)多目標(biāo)處理能力強，準(zhǔn)確度不下降。對于單次比對，基于級聯(lián)神經(jīng)網(wǎng)絡(luò)實現(xiàn)微小目標(biāo)識別和分類，無延遲，無漏檢。

4.2 填補技術(shù)空白，獲得認(rèn)證及資質(zhì)

此系統(tǒng)在數(shù)據(jù)、模型、技術(shù)方法三個方面均填補了集團(tuán)空白，具有非常好的技術(shù)可持續(xù)性。已獲得國家AI行業(yè)聯(lián)盟、天津市科委和集團(tuán)公司的技術(shù)、研究、應(yīng)用、自主性認(rèn)證，核心價值非常高。入圍中國移動自主開發(fā)大賽決賽獲得總決賽銅獎和最佳商用推廣獎，已通過中國移動全網(wǎng)測評中心的檢查，自主研發(fā)能力獲得集團(tuán)認(rèn)證。同時，也在天津市科技成果轉(zhuǎn)化中心獲得科技成果鑒定，水平為“國際先進(jìn)”。

5 結(jié)束語

機(jī)房巡檢四足機(jī)器人“赤驥”，實現(xiàn)了中國移動機(jī)房環(huán)境巡檢效率提升。替代機(jī)房巡檢作業(yè)人員的日常例行巡檢任務(wù)，包括設(shè)備檢測、溫度檢測、煙霧檢測、儀表讀數(shù)檢測，濕度檢測、螺栓脫落檢測、異常電壓檢測、網(wǎng)絡(luò)設(shè)備光口電口檢測等。替代機(jī)房巡檢作業(yè)人員對工程作業(yè)的生產(chǎn)合規(guī)性檢測任務(wù)，包括身份合規(guī)性審查安全帽檢測、安全帶檢測等，以人工智能技術(shù)代替人力，尤其是以計算機(jī)視覺實現(xiàn)高清攝像，后端打造多個目標(biāo)檢測、物體識別模型，實現(xiàn)運營商機(jī)房設(shè)備的看護(hù)。替代機(jī)房巡檢作業(yè)人員的周期抽檢任務(wù)，機(jī)房巡檢人員無需每個作業(yè)周期都到現(xiàn)場進(jìn)行檢測，僅需要查閱機(jī)器人巡檢后的計算機(jī)視覺檢測結(jié)果，并適當(dāng)使用遠(yuǎn)程點檢功能進(jìn)行設(shè)備抽檢即可，可靠度高，實現(xiàn)了降本增效。