基于卷積神經(jīng)網(wǎng)絡(luò)的吊鉤視覺(jué)識(shí)別系統(tǒng)開(kāi)發(fā)和應(yīng)用

劉 洋，陳冬玲，

(1.寶鋼集團(tuán) 廣東韶關(guān)鋼鐵有限公司, 廣東 韶關(guān) 512123； 2.柳州職業(yè)技術(shù)學(xué)院, 廣西 柳州 545006)

干熄焦技術(shù)具有節(jié)能、環(huán)保和改善焦炭質(zhì)量的顯著優(yōu)勢(shì)，截至2019年底，我國(guó)共有干熄焦裝置325套[1]. 提升機(jī)是干熄焦裝置的主要設(shè)備之一，運(yùn)行于提升井架和干熄爐頂軌道上，將裝滿紅焦的焦罐提升并橫移至干熄爐爐頂，與裝入裝置配合，將紅焦裝入干熄爐內(nèi)，裝焦完畢后又將空罐送回到焦罐臺(tái)車上。干熄焦吊鉤能否準(zhǔn)確鉤住焦罐關(guān)系安全生產(chǎn)，目前生產(chǎn)現(xiàn)場(chǎng)判斷可靠性的方法是操作人員通過(guò)視頻觀察確定吊鉤是否準(zhǔn)確鉤住焦罐的釣耳，然后再發(fā)出命令允許焦罐提升。正常生產(chǎn)9～10 min提升一罐紅焦，由于頻繁的觀察判斷，操作人員眼睛容易疲勞，特別是中夜班，容易誤判和誤操作，發(fā)生吊鉤偏斜使得焦罐傾斜紅焦傾翻等事故，造成焦罐墜落、紅焦傾倒流出，引起焦罐損壞、鐵軌變形、線路燒損等[2]，直接損失達(dá)數(shù)百萬(wàn)元。

針對(duì)吊鉤是否準(zhǔn)確鉤住焦罐釣耳的問(wèn)題，寶鋼集團(tuán)新疆八一鋼鐵有限公司申請(qǐng)了實(shí)用新型專利《一種干熄焦焦罐及吊鉤定位識(shí)別聯(lián)鎖控制裝置》，利用RFID檢測(cè)焦罐與吊具間距離，以此判斷吊鉤是否鉤住焦罐吊耳「3]. 機(jī)器視覺(jué)是用機(jī)器代替人眼來(lái)做測(cè)量和判斷，具有處理速度快、檢測(cè)精度高、非接觸測(cè)量等特點(diǎn)[4]. 利用機(jī)器視覺(jué)替代人工識(shí)別吊鉤與焦罐吊耳是否鉤住，能降低勞動(dòng)強(qiáng)度，提高判斷的準(zhǔn)確性，對(duì)保障干熄焦安全生產(chǎn)具有重要意義。

1 吊鉤視覺(jué)識(shí)別系統(tǒng)

系統(tǒng)在焦罐上升過(guò)程中對(duì)吊鉤與焦罐的連接狀態(tài)進(jìn)行識(shí)別，鉤好后發(fā)出連接成功“1”信號(hào)，否則發(fā)出報(bào)警信號(hào)。識(shí)別信號(hào)傳送到提升機(jī)PLC控制器，與人工確認(rèn)進(jìn)行聯(lián)鎖，控制焦罐的提升運(yùn)行。

1.1 吊鉤視覺(jué)識(shí)別系統(tǒng)構(gòu)成

該系統(tǒng)將網(wǎng)絡(luò)攝像頭裝在焦罐起吊位置的兩側(cè)，硬件系統(tǒng)由光學(xué)系統(tǒng)(光源、紅外攝像頭)、圖像采集卡、圖像處理系統(tǒng)、I/O模塊、顯示器組成(圖1). 圖像采集卡和I/O模塊安裝在工控機(jī)內(nèi)，通過(guò)光纖將攝像頭信號(hào)傳輸?shù)綀D像采集卡，經(jīng)過(guò)圖像處理系統(tǒng)識(shí)別吊鉤與焦罐吊耳鉤住，將識(shí)別信號(hào)輸出到I/O模塊，模塊與原有的提升機(jī)PLC系統(tǒng)采用接線方式連接。

圖1 吊鉤視覺(jué)檢測(cè)識(shí)別系統(tǒng)硬件構(gòu)成圖

1.2 吊鉤視覺(jué)識(shí)別系統(tǒng)工作流程

吊鉤視覺(jué)識(shí)別系統(tǒng)是一個(gè)利用機(jī)器視覺(jué)技術(shù)對(duì)提升焦罐吊鉤連接狀態(tài)進(jìn)行檢測(cè)識(shí)別的系統(tǒng)，通過(guò)監(jiān)控?cái)z像頭采集視頻數(shù)據(jù)，以圖像作為訓(xùn)練樣本，經(jīng)過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)生成特征圖像和小樣本，再采用擴(kuò)充技術(shù)生成大量訓(xùn)練樣本，經(jīng)過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的分析和學(xué)習(xí)，生成檢測(cè)模型并將其加載到加速硬件上，識(shí)別過(guò)程中攝像頭實(shí)時(shí)傳輸?shù)蹉^的圖像到視覺(jué)系統(tǒng)，根據(jù)模型分析圖像識(shí)別出掛鉤的當(dāng)前狀態(tài)，并達(dá)到毫秒級(jí)的識(shí)別速度，實(shí)現(xiàn)實(shí)時(shí)識(shí)別。

機(jī)器視覺(jué)的識(shí)別位置是在提升井的待機(jī)位，當(dāng)焦罐到達(dá)待機(jī)位后，系統(tǒng)識(shí)別吊鉤與焦罐吊耳是否鉤住，分別采集東、西鉤的視頻圖像，系統(tǒng)對(duì)圖像進(jìn)行降噪、特征識(shí)別等識(shí)別運(yùn)算后，輸出東、西鉤是否都掛好的信號(hào)給I/O模塊，PLC循環(huán)掃描I/O模塊的輸出信號(hào)，如果輸出的信號(hào)為“ture”，等待3 s后PLC再次查詢確認(rèn)，PLC發(fā)出允許提升信號(hào)，否則報(bào)警呼叫人工處理。系統(tǒng)的工作流程見(jiàn)圖2.

圖2 吊鉤視覺(jué)識(shí)別系統(tǒng)工作流程圖

2 基于CNN算法的吊鉤視覺(jué)識(shí)別系統(tǒng)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，用于提取圖像的特征、圖像去噪、增強(qiáng)、邊緣檢測(cè)等圖像識(shí)別領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、激勵(lì)層、池化層、全連接層(圖3). 輸入層用于數(shù)據(jù)輸入，卷積層使用卷積核進(jìn)行特征提取和特征映射，激勵(lì)層進(jìn)行非線性映射，池化層對(duì)特征圖進(jìn)行稀疏處理，全連接層對(duì)特征進(jìn)行擬合。通過(guò)多層的卷積、池化、全連接等，降低圖片維度，最后轉(zhuǎn)化成了一個(gè)一維向量[5]. 這個(gè)向量就包含了圖片的特征。Faster R-CNN模型的運(yùn)行速度快，在檢測(cè)速度方面尤為明顯，該系統(tǒng)采用Faster R-CNN模型。

圖3 卷積神經(jīng)網(wǎng)絡(luò)工作流程圖

卷積運(yùn)算用卷積核自上而下、自左向右在圖像上滑動(dòng)，提取圖片每個(gè)小部分里具有的特征，將卷積核矩陣的各個(gè)元素與它在圖像上覆蓋的對(duì)應(yīng)位置的元素相乘，然后求和，得到輸出特征圖。最終把一張圖片轉(zhuǎn)化為特征向量(圖4).

圖4 卷積原理示意圖

2.1 算法設(shè)計(jì)

采用CNN的VGG16算法，VGG-16包含13個(gè)卷積層+3個(gè)全連接層，VGG16的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖5. 通過(guò)反復(fù)堆疊3×3的卷積核和2×2的最大池化層來(lái)構(gòu)建深層的卷積神經(jīng)網(wǎng)絡(luò)，13個(gè)卷積層分別在第2、4、7、10和13層被池化層分割，可將特征圖長(zhǎng)寬減少1/2.

圖5 VGG16的網(wǎng)絡(luò)結(jié)構(gòu)圖

第一步：約定輸入圖像的尺寸750×600和識(shí)別的范圍x(57～365)，y(235～569).

第二步：輸入圖像，將圖像進(jìn)行灰度處理。

第三步：建立VGG16特征變量。

第四步：加載VGG16模型。

第五步：卷積，采用3×3小卷積核并設(shè)置卷積步長(zhǎng)為1，輸出64張?zhí)卣鲌D。

第六步：池化，進(jìn)行最大池化操作，采用通過(guò)2×2濾波器并設(shè)置步長(zhǎng)為2，得到新的64張?zhí)卣鲌D。

第七步：池化輸出特征圖進(jìn)行ReLU激活。

第八步：重復(fù)第五、六、七步，共進(jìn)行5次卷積、池化、激活，得到512張?zhí)卣鲌D。

第九步：全連接，將第五次池化輸出，輸入至全連接層進(jìn)行分類判定和類別概率計(jì)算、位置確定。

2.2 faster-rcnn VGG16模型訓(xùn)練

步驟1：用VGG-16模型初始化，獨(dú)立訓(xùn)練一個(gè)RPN網(wǎng)絡(luò)。

步驟2：仍然用VGG-16模型初始化，但是使用上一步RPN網(wǎng)絡(luò)產(chǎn)生的proposal作為輸入，訓(xùn)練一個(gè)Fast-RCNN網(wǎng)絡(luò)，至此，兩個(gè)網(wǎng)絡(luò)每一層的參數(shù)完全不共享。

步驟3：使用步驟2的Fast-RCNN網(wǎng)絡(luò)參數(shù)初始化一個(gè)新的RPN網(wǎng)絡(luò)，但是把RPN、Fast-RCNN共享卷積層的learning rate設(shè)置為0，也就是不更新，僅僅更新RPN特有的網(wǎng)絡(luò)層，重新訓(xùn)練，此時(shí)，兩個(gè)網(wǎng)絡(luò)已經(jīng)共享了所有公共的卷積層。

步驟4：仍然固定共享的網(wǎng)絡(luò)層，把Fast-RCNN特有的網(wǎng)絡(luò)層也加入進(jìn)來(lái)，形成一個(gè)unified network，繼續(xù)訓(xùn)練，fine tune Fast-RCNN特有的網(wǎng)絡(luò)層，此時(shí)，該網(wǎng)絡(luò)已經(jīng)實(shí)現(xiàn)設(shè)想的目標(biāo)，即網(wǎng)絡(luò)內(nèi)部預(yù)測(cè)proposal并實(shí)現(xiàn)檢測(cè)的功能。

3 吊鉤視覺(jué)識(shí)別系統(tǒng)測(cè)試效果

吊鉤視覺(jué)識(shí)別系統(tǒng)在韶鋼的3#CDQ進(jìn)行測(cè)試。提升機(jī)將焦罐提升到待機(jī)位，視覺(jué)系統(tǒng)識(shí)別東、西兩邊吊鉤是否鉤住焦罐吊耳，如果檢測(cè)判斷連接牢固(圖6)，則發(fā)出“吊鉤鉤好”信號(hào)，輸出到工控機(jī)的I/O模塊，控制焦罐的提升。經(jīng)過(guò)3個(gè)月的識(shí)別準(zhǔn)確率和誤判率的測(cè)試，經(jīng)統(tǒng)計(jì)，誤判率為0，準(zhǔn)確率為99.9%，調(diào)取WINCC曲線截圖。曲線運(yùn)行表明：視覺(jué)識(shí)別結(jié)果與人工識(shí)別結(jié)果一致(圖7).

圖6 吊鉤與焦罐吊耳連接識(shí)別結(jié)果圖

圖7 視覺(jué)系統(tǒng)識(shí)別結(jié)果與人工識(shí)別結(jié)果對(duì)比圖

4 結(jié) 論

韶鋼1#CDQ、2#CDQ和3#CDQ通過(guò)使用3套智能視覺(jué)檢測(cè)識(shí)別系統(tǒng)，將吊鉤與焦罐吊耳連接的圖像輸送給視覺(jué)分析系統(tǒng)，后者將識(shí)別信號(hào)傳送到提升機(jī)PLC控制器，將識(shí)別信號(hào)與人工確認(rèn)融合，控制焦罐的提升。投入連續(xù)運(yùn)行數(shù)月以來(lái)，通過(guò)調(diào)取相關(guān)數(shù)據(jù)，驗(yàn)證了智能視覺(jué)檢測(cè)識(shí)別系統(tǒng)能杜絕人工誤判和誤操作的問(wèn)題，提高了焦罐提升的安全性，可保證干熄焦的安全生產(chǎn)。