面向智能維護的通信機房機柜圖像語義分割技術(shù)

趙 迪，劉桂雄

(華南理工大學機械與汽車工程學院，廣東 廣州 510640)

0 引 言

電子設(shè)備、自動化裝備智能維護是信息技術(shù)、人工智能技術(shù)與高端制造業(yè)的交叉應用領(lǐng)域，是實現(xiàn)設(shè)備無人化、智能化監(jiān)管的發(fā)展趨勢[1]。通信機房作為大規(guī)模通信網(wǎng)絡(luò)的中繼站，其電子設(shè)備安全性、可靠性十分重要，實現(xiàn)通信機房機柜的智能監(jiān)管、維護、檢修是保障通信系統(tǒng)安全運作的核心[2]。

視覺檢測是實現(xiàn)設(shè)備智能維護的關(guān)鍵技術(shù)，設(shè)備圖像識別、故障位置檢測、檢修操作點確定均可由視覺方法實現(xiàn)[3]。文獻[4]通過視覺檢測方法進行輸電線路環(huán)境狀態(tài)檢測，設(shè)計研制一種輸電線智能維護機器人，實現(xiàn)輸電系統(tǒng)中斷股補修維護。文獻[5]通過分析機械手系統(tǒng)位姿偏差導致維修抓取過程誤差，提出全局相機測量維修工具位姿方法、引入視覺伺服控制策略，完成機械手系統(tǒng)較高精度定位與維修工作。近年出現(xiàn)的CNN端到端語義分割方法可以在像素尺度上識別多個對象，輸出無分辨率損失的多值圖，融入機器視覺中將可以在精密測量分析場合下形成泛用性強的人工智能方法[6-7]。語義分割方法可分為CNN端到端語義分割方法、編-解碼器架構(gòu)語義分割方法、并聯(lián)多孔卷積架構(gòu)語義分割方法，其中CNN端到端語義分割方法結(jié)合具體領(lǐng)域評價規(guī)則，可形成專用領(lǐng)域的智能機器視覺系統(tǒng)[8]。華南理工大學[9]在機箱裝配質(zhì)量檢測中引入CNN端到端語義分割方法方法，實現(xiàn)機箱上COM、USB等多類零部件的像素級檢測，結(jié)合機箱裝配質(zhì)量評判規(guī)則，為機箱誤裝配、漏裝配的檢修、維護提供技術(shù)支撐。文獻[10]針對傳統(tǒng)橋梁裂縫圖像檢測算法難以準確提取裂縫的問題,提出一種基于語義分割的橋梁裂縫檢測算法，實現(xiàn)裂縫位置高精度提取、橋梁狀態(tài)準確監(jiān)測。通信機房機柜的圖像檢測與維護的基礎(chǔ)是大量重復的圖像背景中目標板卡識別、操作點檢測，語義分割技術(shù)的像素分割準確率是關(guān)鍵[11]。

本文將從深度學習語義分割技術(shù)入手，分析機房機柜圖像檢測與維護關(guān)注的關(guān)鍵特征，提出基于Mask R-CNN的機房機柜圖像語義分割技術(shù)。通過設(shè)置機房機柜語義分割對比試驗，驗證本文所提出方法的語義分割效果。

1 面向智能維護機房機柜圖像關(guān)鍵特征分析

機房設(shè)備包括電子設(shè)備、數(shù)據(jù)通信設(shè)備、信息技術(shù)設(shè)備及防護結(jié)構(gòu)。設(shè)備通過內(nèi)部的支撐、支架、螺絲、卡子、扳手等固定電源、主機板、各種擴展板卡，形成一個整體，并提供便于使用的面板開關(guān)。

圖1為SCU主控板卡、擴展板卡模型。作為板卡維護過程中的重點拆卸部件，松不脫螺釘、鎖緊扳手在成像視野中的位置、開合狀態(tài)是圖像關(guān)鍵特征。同一機房設(shè)備不同類型板卡之間只存在結(jié)構(gòu)參數(shù)差異，松不脫螺釘、鎖緊扳手與板卡的相對位置固定，有效縮小上述關(guān)鍵特征在設(shè)備圖像中的搜索范圍。

圖1 SCU主控板卡、擴展板卡模型

板卡在機箱中連接緊密，對特定故障板卡進行拆卸維護時，應對目標板卡進行精確定位，避免對其他板卡結(jié)構(gòu)產(chǎn)生影響。因此，目標板卡在設(shè)備圖像中的邊界是圖像中另一關(guān)鍵特征。

基于上述分析，結(jié)合視覺成像、語義分割方法識別機房設(shè)備圖像關(guān)鍵特征是核心問題。1）在機房設(shè)備圖像中分割目標板卡范圍、確定操作邊界；2）根據(jù)螺釘、緊固扳手與板卡相對位置縮小特征搜索范圍；3）結(jié)合圖像分割識別結(jié)果得到維護操作點精確位置。

2 基于Mask R-CNN機房機柜圖像語義分割技術(shù)

在執(zhí)行機房機柜維護任務時，首先要確定維護對象。傳統(tǒng)方案多采用經(jīng)典圖像處理算法，如通過CCD采集圖像，基于OpenCV實現(xiàn)圖像二值化、特征提取，根據(jù)目標面積、數(shù)量、位置、長度等特征信息完成目標識別。經(jīng)典圖像處理方法對光源、背景等環(huán)境因素要求高，難以適應照度多變、背景雜亂的通信機房設(shè)備識別?；谏窠?jīng)網(wǎng)絡(luò)強大的圖像表征能力、面對圖像背景噪聲的魯棒性，本文提出采用深度學習語義分割方法實現(xiàn)機房設(shè)備圖像識別與分割。表1為常用神經(jīng)網(wǎng)絡(luò)識別性能對比表，表中數(shù)據(jù)為相應網(wǎng)絡(luò)模型在大型數(shù)據(jù)集上訓練得到的識別結(jié)果，分析表中數(shù)據(jù)可知Mask R-CNN[12]具有優(yōu)異的識別、分割性能。

表1 常用目標識別神經(jīng)網(wǎng)絡(luò)性能對比表

因此，本文采用Mask R-CNN語義分割模型對維護對象進行目標識別、語義分割，實現(xiàn)目標板卡、操作點的精準定位。圖2為基于Mask R-CNN的機房設(shè)備圖像語義分割技術(shù)流程，其詳細步驟包括：

圖2 機房設(shè)備圖像語義分割技術(shù)流程

1）通過相機獲取設(shè)備圖像信息。

2）繪制圖像目標矩形、多邊形標注框，將圖中目標點坐標信息保存為JSON文件。

3）將圖片輸入骨干網(wǎng)絡(luò) (backbone network)中提取特征，得到特征圖(feature maps)，以特征圖中像素點為中心，設(shè)定若干個感興趣區(qū)域(region of interest,ROI)。

4）候選區(qū)域生成網(wǎng)絡(luò) (region proposal network，RPN)利用滑動窗口在特征圖上為每個像素點生成若干預設(shè)尺寸的錨點框(anchor)，通過anchor、ground truth 間 的 IOU(intersection over union)數(shù) 值 判 斷anchor為目標或為背景，并為目標anchor進行坐標修正，具體為在x、y方向上平移修正量tx、ty，在長、寬方向乘以放大倍數(shù)th、tw，以去掉判斷為背景區(qū)域的ROI。

5）對RPN網(wǎng)絡(luò)篩選剩下的ROI執(zhí)行ROI Align操作，通過雙線性插值法實現(xiàn)feature maps像素與原圖像素對齊。

6）分類器(Classifier)則分為目標分類、邊界框(bounding box，BB)回歸、掩膜 (Mask)生成，目標分類、BB回歸之前需經(jīng)全連接層實現(xiàn)特征全連接計算；Mask生成分支則經(jīng)圖像維度擴展，經(jīng)全卷積網(wǎng)絡(luò) (fully connection network，F(xiàn)CN)后完成目標像素級語義分割。

訓練RPN網(wǎng)絡(luò)的損失函數(shù)為

訓練Classifier網(wǎng)絡(luò)的損失函數(shù)為

式（6）分3個部分，Lc為 分類損失，Lb為邊界框修正損失，Lm為Mask損失，其中第3部分損失函數(shù)二分類均值交叉熵損失Lm=Sigmoid(Cls_k)，僅在其對應的第K類ROI計算時有定義，其他K-1個Mask對整個損失函數(shù)不做貢獻；第一、第二部分字母含義與RPN網(wǎng)絡(luò)中相同，即：

由上得出Mask R-CNN的損失函數(shù)Lfinal為：

當損失函數(shù)Lfinal經(jīng)過N次迭代訓練并收斂時，神經(jīng)網(wǎng)絡(luò)訓練完成。此時，將測試圖像輸入神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)自動識別出圖像中維護目標，完成語義分割。

3 實驗與結(jié)果分析

實驗采用Intel公司RealSense系列D435i深度相機 (分辨率 1 920×1 080、RGB 傳感器 FOV 69.4°×42.5°×77°(±3°)、幀率 30 f/s)，在日光燈光照條件下，分別于距機柜2.2 m、0.5 m處對機柜設(shè)備進行圖像采集。為了驗證模擬智能維護效果，利用視頻圖像進行測試，并分析視頻每幀圖像的檢測效果。

圖3為模擬不同視野維護實驗結(jié)果，在距離較遠、視野較大情況下，體積較大的機柜、服務器識別置信度較高，體積較小的面板識別置信度則相較稍低；當距離不斷減小時，服務器的識別置信稍有降低、扳手面板的識別置信稍有提高，總體識別置信度均保持在0.99以上。

圖3 機柜服務器不同視野識別效果

圖4為模擬維護過程受玻璃、人體等遮擋試驗結(jié)果。目標機柜、機箱、面板識別受玻璃遮擋影響不大，在有人體遮擋的情況下機柜識別受影響較小，服務器、面板的識別幾乎不受影響，置信度保持在0.98以上。

圖4 機柜服務器受玻璃、人體遮擋識別效果

可以看出，采用語義分割網(wǎng)絡(luò)可以實現(xiàn)在背景、光源復雜環(huán)境下機柜設(shè)備準確識別、分割。

利用邊緣檢測網(wǎng)絡(luò)HED[12]與語義分割網(wǎng)絡(luò)DeepLab[13]、Mask R-CNN[14]進行對比實驗，圖5 為HED、DeepLab、Mask R-CNN 在模擬維護檢測中的實驗效果。HED能夠識別出機柜設(shè)備邊界及機箱，但檢測精度較低且沒有機柜標簽、尺寸信息，無法為后續(xù)維護操作提供精確位置信息；DeepLab能夠?qū)崿F(xiàn)像素級分割，分割效果較好但存在分割邊界信息缺失問題；Mask R-CNN識別分割效果能夠達到檢測要求，并且能夠提取機柜、機箱及扳手等精確位置信息。

圖5 HED、DeepLab、Mask R-CNN在模擬維護檢測中的實驗效果

表2為語義分割網(wǎng)絡(luò)DeepLab與Mask R-CNN的模擬維護檢測性能對比表。DeepLab平均精確度 (mean average precision,mAP)、平均交并比 (mean intersection over union,mIOU)均達到較好水平[6]，雖然時間性能滿足實時檢測要求，但準確性略有不足；Mask R-CNN在滿足實時檢測要求時，識別準確性、分割效果均比DeepLab佳。

表2 語義分割網(wǎng)絡(luò)DeepLab與Mask R-CNN的模擬維護檢測性能對比表

4 結(jié)束語

1）從面向智能維護的機房設(shè)備圖像關(guān)鍵特征分析入手，指出作為板卡維護過程中的重點拆卸部件，松不脫螺釘、鎖緊扳手在機器人成像視野中的位置、開合狀態(tài)、目標板卡在設(shè)備圖像中邊界是圖像關(guān)鍵特征。

2）通過對比神經(jīng)網(wǎng)絡(luò)性能，提出基于Mask RCNN的機房設(shè)備圖像語義分割技術(shù)，基于神經(jīng)網(wǎng)絡(luò)強大的圖像表征能力、面對圖像背景噪聲的魯棒性，彌補經(jīng)典機器視覺方法對光源、背景、環(huán)境要求高的弱點，實現(xiàn)對機房設(shè)備圖像的語義分割，為指導機房機柜設(shè)備智能維護提供技術(shù)支撐。

3）構(gòu)建機柜機箱服務器檢測試驗裝置，進行不同視野、不同遮擋條件試驗，以及不同檢測算法間對比實驗，結(jié)果表明基于Mask R-CNN的語義分割技術(shù)在不同成像條件下分割效果魯棒性佳、在分割準確性上具有較大優(yōu)勢。

機房設(shè)備圖像語義分割技術(shù)是通信機房維護技術(shù)的核心，下一步將結(jié)合控制結(jié)構(gòu)及算法、路徑規(guī)劃算法實現(xiàn)通信機房設(shè)備智能維護。