劉丙杰,楊繼鋒,史文森
(海軍潛艇學(xué)院, 山東青島 266199)
復(fù)雜裝備一般具有流程繁多、狀態(tài)變化頻繁、數(shù)據(jù)非線性變化等特點。在復(fù)雜裝備運(yùn)行期間,往往需要對裝備狀態(tài)實時判讀,用于實時監(jiān)測評估裝備狀態(tài)。但是,由于復(fù)雜裝備狀態(tài)變化頻繁,不同流程下裝備狀態(tài)變化規(guī)律不同,特別是部分狀態(tài)一閃而過,人工監(jiān)測和評估難度很大且容易出錯,這給復(fù)雜裝備狀態(tài)辨識帶來很大困難。
復(fù)雜裝備狀態(tài)辨識方法一般包括基于數(shù)據(jù)驅(qū)動的方法[1-2],基于解析模型的方法[3],基于計算機(jī)仿真的方法[4]等。但是,基于圖像識別的裝備狀態(tài)辨識文獻(xiàn)較少。
文中采用圖像識別的方法通過采集裝備圖像,進(jìn)行圖像分割、圖像識別,識別裝備狀態(tài),通過與期望裝備狀態(tài)向量進(jìn)行比較實現(xiàn)裝備狀態(tài)辨識。
裝備狀態(tài)識別可描述為:
(1)
(2)
式中:X為輸入裝備圖像;h(·)為圖像識別函數(shù),文中h(·)為深度卷積神經(jīng)網(wǎng)絡(luò);θ為h(·)的內(nèi)部參數(shù)。
裝備圖像識別技術(shù)體系如圖1所示。
圖1 裝備圖像識別技術(shù)體系
首先對裝備進(jìn)行邊界判定,確定識別區(qū)域,快速校對。然后根據(jù)裝備部件邊界對識別區(qū)域進(jìn)行劃分,在此基礎(chǔ)上進(jìn)行圖像分割。接著識別各區(qū)域圖像狀態(tài),并與裝備狀態(tài)進(jìn)行對比,最后判定裝備狀態(tài)。
為了使得圖像采集設(shè)備與裝備能夠快速匹配,提高校對效率,每臺裝備上安裝了邊界識別標(biāo)簽,攝像頭通過識別標(biāo)簽位置實現(xiàn)裝備與攝像頭的快速校對。
典型復(fù)雜裝備由眾多部件組成,需識別的部件包括指示燈、儀表、開關(guān)、數(shù)碼表等,同一個裝備可能由幾十甚至成百個部件組成,部件形狀有圓形、方形、矩形等,每一種部件有多種狀態(tài),所有部件的狀態(tài)組合就形成了裝備狀態(tài)。為了識別裝備狀態(tài),就需要對裝備進(jìn)行圖像分割。
復(fù)雜裝備具有結(jié)構(gòu)龐大、信息流程復(fù)雜、顯示信息多等特點。但是復(fù)雜系統(tǒng)的顯示信息一般都有規(guī)則形狀,而且顯示部件之間都有較明顯的分割線。根據(jù)研究對象圖像特點,文中采用基于邊緣檢測的圖像分割方法實現(xiàn)復(fù)雜裝備的圖像分割[5]。
對于劃分的區(qū)域圖像,分別采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行狀態(tài)識別。
1)部件類型識別
文中所述的復(fù)雜裝備顯示部件類型包括:指示燈、儀表、數(shù)字面板、開關(guān)、綜合顯示器等。采用K-均值算法對分割出的對象進(jìn)行分類,其基本思想是:根據(jù)圖像分割狀態(tài),對每個分割圖像與已知圖像進(jìn)行對比識別,確定各分割圖像類型,算法步驟如下:
Step1:根據(jù)第i個分割圖像與已知圖像的距離,確定圖像相似度;
Step2:根據(jù)圖像相似度,確定分割圖像類型。
2)指示燈狀態(tài)識別
裝備指示燈狀態(tài)分為亮、滅兩種狀態(tài)。HSI空間常用于彩色匹配實驗,比較適合于飽和度和亮度描述。
假設(shè)待識別信號燈共有m種不同的顏色狀態(tài),HSI 空間指示燈識別算法步驟為:
Step1:選擇照度不同的n個時刻,每時刻拍攝該指示燈不同顏色狀態(tài)的圖像各1張,采集到m×n張圖像,計算出每張圖像中信號燈區(qū)域的R、G、B各分量均值,歸一化后的R、G、B各分量均值記為:Rij,Gij,Bij。
Step2:分別對n種顏色狀態(tài)求出某段時間內(nèi)的R、G、B分量均值[6]:
(3)
式中:Ri、Gi、Bi分別表示指示燈在第i種顏色狀態(tài)下,某段時間內(nèi)紅、綠、藍(lán)三色各分量的均值,然后按如下公式轉(zhuǎn)換為HSI值,記為Ai=(Hi,Si,Ii)。
I=(R+G+B)/3
(4)
S=I-[3/(R+G+B)][min(R,G,B)]
(5)
(6)
(7)
Step3:求出待識別圖像信號燈區(qū)域的R、G、B各分量均值,歸一化后轉(zhuǎn)化為HSI 顏色,記為B=(H,S,I)。
Step4:將每個Ai與B相匹配,求出m個相似距離值,則:
A={Ai|min(|Ai-B|)}
(8)
3)儀表狀態(tài)識別
裝備常用儀表如圖2所示。
圖2 裝備儀表圖示
儀表狀態(tài)識別分為如下3個步驟:
①量程識別
根據(jù)裝備儀表特征,儀表量程一般有兩種表示方式:左起始,中間起始。
首先采用數(shù)字識別方法對面板內(nèi)數(shù)字進(jìn)行識別,識別最大值、中間值、零值位置為:Pmax(x,y),Pmid(x,y),Pzero(x,y),根據(jù)此3點擬合量程曲線為:
y=a0+a1x+a2x2+a3x3
(9)
②指針位置識別
采用圖像識別的方法識別指針為一同色線段,線段識別為:
y=b0+b1x
(10)
③儀表狀態(tài)識別
根據(jù)儀表量程曲線與指針直線的交點,可得出儀表位置以及儀表讀數(shù),從而判斷儀表狀態(tài)為:
(11)
式中:s為識別狀態(tài),0表示非期望狀態(tài),1表示期望狀態(tài)。r為識別讀數(shù);datamin,datamax分別為標(biāo)準(zhǔn)數(shù)據(jù)的最小值和最大值。
復(fù)雜裝備期望狀態(tài)描述為:
K={N,b1,b2,…,bn,s1,s2,…,sm}
(12)
式中:N為裝備運(yùn)行流程號或序號;bi為期望指示燈狀態(tài);si為期望儀表狀態(tài)。
復(fù)雜裝備識別狀態(tài)描述為:
(13)
式中:N為裝備運(yùn)行流程號或序號;b′i為識別指示燈狀態(tài);s′i為識別儀表狀態(tài)。
裝備狀態(tài)為:
E=||K-K′||
(14)
正常狀態(tài)下:E=0;故障狀態(tài)下:E≠0。
以某裝備為例,裝備面板如圖3所示。
圖3 某裝備面板
采用海康威視攝像頭,有效像素:300萬,水平清晰度:700 TVL;網(wǎng)絡(luò)接口:TCP/IP(RJ-45)。計算機(jī)基本配置為:CPU I5-3470,3.2 GHz;內(nèi)存:8 GB;顯存:1 GB。
Step1:邊界識別。在裝備識別區(qū)域的邊界設(shè)置了4個識別標(biāo)志,攝像頭可迅速識別邊界標(biāo)志。
Step2:圖像分割。分別采用邊緣檢測方法[6]、GrubCut方法[7]對裝備進(jìn)行分割,效果如圖4所示。
從圖4中可以看出,兩種方法分割正確率均為100%。邊緣檢測方法不僅檢測出了元器件邊緣,而且檢測出了較小的螺絲邊緣,而這些細(xì)小圖像在裝備識別中是冗余的;GrubCut法雖然整體分割正確率較高,但是對細(xì)小圖像分割的正確率不高。兩種圖像分割方法所需時間均在10 ms以內(nèi)。將部分矩形識別為不變量,分割后將此區(qū)域刪除。
圖4 某裝備圖像分割結(jié)果
Step3:元件狀態(tài)識別。分別利用SURF[7]、FAST[7]方法對指示燈和指示儀表進(jìn)行狀態(tài)識別。裝備分別在開機(jī)、接通電源兩種狀態(tài)下進(jìn)行狀態(tài)識別,運(yùn)行100次。兩種方法識別正確率對比見表1。
表1 圖像識別正確率對比 %
從上表可以看出,兩種方法識別正確率均較高,但是SURF在開關(guān)狀態(tài)、儀表識別的正確率方面高于FAST方法。根據(jù)上述識別結(jié)果,結(jié)合式(8)、式(11)給出如下裝備識別結(jié)果:
期望狀態(tài)為:
Step4:裝備狀態(tài)辨識。
由上述識別狀態(tài)可得:
E1=|K1-K′1|=0,E2=|K2-K′2|=0
即:兩種狀態(tài)監(jiān)測結(jié)果均為正常,與實際狀態(tài)一致。
裝備狀態(tài)識別對于實時監(jiān)控裝備狀態(tài)、及時干預(yù)、減少安全風(fēng)險具有重要作用。裝備狀態(tài)識別采用了圖像分割、圖像狀態(tài)識別、裝備狀態(tài)辨識等多種技術(shù)。文中提出的裝備狀態(tài)識別技術(shù)框架可采用的方法具有一定的通用性,但是采用的具體技術(shù)與使用環(huán)境有密切關(guān)系。由于文中研究對象光線較好、干擾較少,裝備狀態(tài)識別難度較小。在研究中,采用了OpenCV系統(tǒng)中的SURF、FAST、GrubCut等函數(shù),并進(jìn)行了對比研究,對于不同的應(yīng)用環(huán)境和識別對象,可采用不同的圖像識別方法。