基于融合策略的冷床鋼板自動下料跟蹤*

吳昆鵬,石 杰,楊朝霖,鄧能輝

(北京科技大學 a.國家板帶生產(chǎn)先進裝備工程技術(shù)研究中心;b.設計研究院有限公司,北京 100083)

0 引言

中厚板熱處理線[1]冷床區(qū)鋼板狀態(tài)的跟蹤一直是企業(yè)智能生產(chǎn)集控面臨的難題,生產(chǎn)自動化二級系統(tǒng)一般是根據(jù)金屬探測儀反饋及輥道速度共同推理下一時刻鋼板位置進行信息跟蹤[2-3]。冷床區(qū)域范圍較大,設備龐雜,與正常輥道跟蹤有很大差異,金屬探測儀無法進行分布式安裝,致使常規(guī)跟蹤方法在跟蹤過程中存在檢測盲區(qū),無法及時反饋鋼板的行進位置,只能依賴理論的計算得到虛擬的鋼板坯影,存在很大的不確定性。并且冷床區(qū)域時常會有行車進行鋼板下料的情況,這種情況在理論計算中無法捕捉到,容易造成二級跟蹤的癱瘓,只能依賴人工進行手動剔除,大大降低了冷床區(qū)的生產(chǎn)節(jié)奏,限制了生產(chǎn)線的集控化管理,所以在冷床鋼板跟蹤上目前還沒有成熟有效的解決方案。

伴隨著智能制造“十四五”規(guī)劃的步伐,鋼鐵企業(yè)中正在將大量重復、規(guī)則化的工藝流程進行精簡、智控,實現(xiàn)自動化智能化生產(chǎn)[4-5],而其中被廣泛利用的支撐技術(shù)以視覺識別為最?；跈C器視覺的智能檢測設備具有檢測實時性高、檢測全面、全天候、成本低等技術(shù)優(yōu)勢,并且安裝方便、維護簡單,逐漸成為了智能化生產(chǎn)過程中不可或缺的重要設備。如表面缺陷檢測系統(tǒng)[6-7]、噴碼字符識別系統(tǒng)[8-9]等,都是此方面較有代表性的應用案例。

為了進一步促進冷床區(qū)域生產(chǎn)流程的智能化,改善人工操作難度,降低人工成本,增加生產(chǎn)線的集控能力。本文針對中厚板熱處理線冷床區(qū)鋼板跟蹤策略進行探索,提出了基于融合策略的冷床鋼板自動下料跟蹤解決方案,一方面利用實例分割算法得到冷床區(qū)鋼板位置分布狀態(tài),另一方面結(jié)合邏輯跟蹤模型輸出結(jié)果進行數(shù)據(jù)關聯(lián)匹配實現(xiàn)異常情況報警。

1 視覺檢測模型

1.1 工藝及檢測流程

以國內(nèi)某鋼廠熱處理生產(chǎn)線為例,如圖1所示,冷床區(qū)域范圍為30×18 m,兩側(cè)分別各有一組輥道,分別為1#加熱爐出爐輥道和2#回火爐出爐輥道,其中2#回火爐輥道鋼板直接經(jīng)輥道進入到標識入庫流程,1#加熱爐輥道的鋼板進入冷床區(qū),一部分鋼板由行車吊走另進行回火,另一部分鋼板需要通過2#出爐輥道下料標識入庫。

圖1 冷床區(qū)工藝流程

圖像采集設備選用紅外視頻監(jiān)控相機,能夠同時兼顧白天、夜間的冷床狀態(tài),無需任何外部輔助光源。相機安裝在行車運行橫梁上方2 m位置,相機視野可覆蓋整個冷床區(qū)域。相機采集到的圖像通過以太網(wǎng)傳輸至圖形工作站進行識別檢測,處理得到的冷床區(qū)鋼板狀態(tài)信息(位置坐標、長寬)和異常信息(行車下料、冷床卡鋼)發(fā)送給自動化二級系統(tǒng)畫面進行顯示。

受相機自身畸變以及其安裝高度、位置、角度的影響,拍攝得到的冷床區(qū)域并非規(guī)則矩形,而是不規(guī)則的四邊形,增加了后續(xù)模型檢測的難度。如圖2所示,在預處理過程利用透視變換矩陣將畸變圖像進行矯正,得到標準的冷床區(qū)監(jiān)控畫面,該畫面圖像作為分割網(wǎng)絡模型的輸入,經(jīng)過模型的識別可以得到冷床區(qū)鋼板的分割對象圖,通過坐標映射可以計算出鋼板在冷床區(qū)的位置坐標以及長寬尺寸。

圖2 冷床區(qū)鋼板狀態(tài)檢測流程

1.2 樣本數(shù)據(jù)集構(gòu)建

鋼板對象提取的分割網(wǎng)絡模型需要大量的實際樣本數(shù)據(jù)進行參數(shù)學習,為了更加全面的訓練和評估模型的性能。在充分考慮了實際的現(xiàn)場情況下,如圖3所示,分別采集了白天場景、夜間場景、燈光干擾、緊密連接、行車干擾、冷床卡鋼共6個場景下的數(shù)據(jù)。

(a) 白天場景 (b) 夜間場景 (c) 燈光干擾

(d) 緊密連接 (e) 行車干擾 (f) 冷床卡鋼圖3 典型樣本圖像

整個數(shù)據(jù)集中各場景下收集的樣本圖像數(shù)量如表1所示,數(shù)據(jù)集分為訓練集和測試集,訓練集主要用來訓練實例分割網(wǎng)絡模型,得到最優(yōu)的模型參數(shù),測試集用于評估分割模型的性能指標及泛化能力。樣本圖像采用逐像素的實例標定方式,利用LabelMe軟件標定得到,標注的數(shù)據(jù)點為鋼板對象的外輪廓。

表1 各場景樣本圖像數(shù)量統(tǒng)計

1.3 分割網(wǎng)絡設計

為了分析出冷床區(qū)域各鋼板的狀態(tài),不僅需要提取出隸屬鋼板的像素,還需要進行實例對象識別,因此其本質(zhì)為實例分割[10]問題?，F(xiàn)階段較為代表性的實例分割方法有Mask R-CNN[11]、YOLACT[12-13]、SOLO[14]等,其中SOLO方法屬于單階段檢測方法,可以進行端到端的訓練,在檢測速率上有較大優(yōu)勢,是其中較少的可以應用在實際應用下的基線算法;此外由于其不依賴目標檢測框,在檢測效果上也不弱于其他二階段的檢測方法。

SOLO網(wǎng)絡模型是利用實例對象對應的位置和尺寸來區(qū)分不同的語義對象,如圖4所示,實例分割被分為語義標簽預測和實例掩碼生成兩個任務,輸入圖像經(jīng)過特征提取網(wǎng)絡和FPN(feature pyramid networks)[15],得到P2～P6共5個中間特征用于后續(xù)檢測;每個特征上等分為S×S個方格,經(jīng)過多次卷積后,得到語義分支輸出為S×S×C,其中C為語義類別數(shù)量;每個特征通過長采樣和卷積操作,輸出實例掩碼分支大小為H×W×S2;語義輸出中的每個方格對應實例掩碼中的1個通道,兩分支結(jié)合后得到實例對象分割結(jié)果。

圖4 SOLO網(wǎng)絡模型原理

SOLO模型的目標損失函數(shù)定義為:

Loss=Lossc+γLossm

(1)

式中:γ為損失權(quán)重值,本文中設置為3,Lossc為分類常用的Focal loss損失函數(shù),Lossm為實例mask分支用到的損失函數(shù),如式(2)～式(3)所示。

(2)

(3)

SOLO模型作為單階段實例分割網(wǎng)絡,檢測速度相較于二階段實例分割模型有很大提高,其中基于ResNet50的SOLO模型在GeForce RTX 2060 GPU上能達到8～10 fps的檢測速率,然而這遠不能滿足實時檢測的需求。本文中替換了更加輕量的骨架結(jié)構(gòu)ResNet18[16],以提升模型的檢測速率,如表2所示,替換骨架后的SOLO模型檢測速率超過25 fps,能夠應對實時條件下的檢測任務。

表2 不同特征提取骨架性能對比

SOLO模型中通過FPN后輸出P2、P3、P4、P5、P6共5個不同感受野的特征用來檢測不同尺寸的目標對象,其中較大的特征圖用于檢測較小的目標,較小的特征圖用于檢測較大的目標。以輸入圖像尺寸為W×H計算,FPN輸出的特征尺寸及感受野大小如表3所示。原始的SOLO模型被設計應用于常規(guī)物體對象分割上,涵蓋了不同范圍尺寸的目標檢測,雖然具備有魯棒、寬泛的分割能力,但目標針對性不強,容易造成資源的浪費和準確率不足等問題。本文中模型檢測的目標長寬尺寸局限在固定有限范圍內(nèi),通過對實際的鋼板尺寸范圍進行統(tǒng)計,最終確定鋼板的寬度尺寸在圖像中的像素范圍在54～72像素,長度尺寸像素范圍為160～320像素。為了簡化模型的復雜度,提升模型的處理速率,并更加有效的利用相關特征,對特征選取原則進行探索。

表3 FPN各層特征信息

在基于ResNet18骨架的SOLO模型中單獨保留P2～P6特征層進行目標實例分割,得到數(shù)據(jù)指標如表4所示,通過分析發(fā)現(xiàn),在單獨選擇P3或P4特征層進行檢測時,所得到的性能指標要比使用P2～P6全部特征更好,證明在固定的檢測目標尺寸下,選擇合適的特征層能帶來更好的表現(xiàn)。因此在后續(xù)實驗過程僅利用P3、P4特征層進行檢測,以獲得最佳結(jié)果。

表4 不同特征層對應的模型檢測指標

通過采用輕量級網(wǎng)絡結(jié)構(gòu),并選擇合適的特征層進行實例的檢測,能夠充分地降低模型的復雜度,加快模型的檢測速率,但同時也造成了準確率指標的損失。為此本文在SOLO原有語義分支模塊基礎上添加了對象計數(shù)模塊,如圖5所示,計數(shù)模塊通過將中間特征進行卷積、通道注意力(channel attention)和求和池化(sum pooling)分別得到橫向和縱向的鋼板統(tǒng)計計數(shù),并將計數(shù)向量重組為S×S的權(quán)重向量指導語義分支,進而增強語義分支的識別能力。

圖5 對象計數(shù)模塊結(jié)構(gòu)

2 多模型匹配跟蹤策略

2.1 邏輯跟蹤模型

常規(guī)的自動化二級跟蹤策略雖然存在較大的誤差,但由于策略中利用了輥道行進速度這一控制源,仍然具備一定的信息度,這對于冷床卡鋼等異常情況的分析也是必不可少的。

卡爾曼濾波算法可以基于之前的運動狀態(tài)x來預測當前時刻的狀態(tài)x′:

x′=F*x

(4)

(1)鋼板進入冷床過程中,邏輯跟蹤模型:

(5)

(2)鋼板在冷床區(qū)運行時,邏輯跟蹤模型:

(6)

(3)鋼板離開冷床過程中,邏輯跟蹤模型:

(7)

2.2 數(shù)據(jù)關聯(lián)與匹配跟蹤

冷床區(qū)鋼板跟蹤策略集合了邏輯跟蹤模型數(shù)據(jù)和視覺檢測模型數(shù)據(jù),通過兩模型數(shù)據(jù)的匹配程度判定鋼板運行流程。

正常情況下以視覺檢測跟蹤為主,實時監(jiān)控冷床區(qū)域鋼板的狀態(tài)、數(shù)量、位置等信息。對于特殊的處理狀態(tài)下,通過邏輯跟蹤模型和視覺跟蹤模型結(jié)合判斷鋼板狀態(tài)。具體步驟如下:

步驟1:利用視覺檢測模型識別得到T0時刻冷床區(qū)鋼板狀態(tài)信息,并利用此信息初始化邏輯跟蹤模型的狀態(tài);

步驟2:邏輯跟蹤模型依賴T-1時刻冷床區(qū)鋼板狀態(tài)并結(jié)合冷床速度通過卡爾曼濾波預測出T時刻冷床區(qū)鋼板狀態(tài)信息S1;

步驟3:視覺檢測模型利用改進SOLO模型從圖像中分析出T時刻冷床區(qū)鋼板狀態(tài)信息S2;

步驟4:T時刻下,如圖6所示,計算冷床區(qū)鋼板狀態(tài)信息S1與冷床區(qū)鋼板狀態(tài)信息S2的匹配情況,分析異常跟蹤狀態(tài),然后將冷床區(qū)鋼板狀態(tài)信息S2進行保存并更新到邏輯跟蹤模型用于下一循環(huán)中步驟2的計算;

圖6 多模型匹配狀態(tài)跟蹤

步驟5:進入下一時刻,重復步驟2～步驟4,實時跟蹤冷床區(qū)鋼板狀態(tài)。

3 結(jié)果分析

本文提出的方法應用在國內(nèi)某鋼鐵企業(yè)熱處理線,用于冷床區(qū)的鋼板跟蹤及自動下料,下面分別以改進SOLO模型分割效果和位置跟蹤效果兩方面進行分析。

3.1 實例分割效果分析

模型在GeForce RTX 3080Ti GPU上進行訓練,應用Pytorch深度學習框架,共計訓練500輪,采用隨機梯度下降(SGD)進行訓練,初始學習率為0.01,在第100輪、第200輪、第400輪時將學習率下降10%,設置特征層P2～P6上的S分別為{40,32,24,16,12},語義類別數(shù)量C為2,圖像寬度W和圖像高度H歸一化為512。

在GeForce RTX 2060 GPU上進行測試,對測試集進行評估,鋼板識別的效果如圖7所示,模型不僅能夠輸出鋼板的前景,同時也能夠區(qū)分出不同的鋼板對象。

(a) 行車干擾 (b) 雙排布料 (c) 白天場景 (d) 夜晚場景圖7 實例分割模型輸出效果圖

如表5所示,對比了不同方法的實例分割指標,表中“-A”表示使用P2～P6全部特征進行檢測,“-B”表示僅使用P3和P4這兩個特征,“-CM”表示添加了計數(shù)模塊。

表5 不同實例分割方法輸出指標分析

mAP(mean average precision)是目標檢測常用的評價指標,mIoU(mean intersection over union)是像素分割常用的評價指標,fps為處理速度評價指標。通過選取輕量級特征骨架在檢測速率上帶來18.2 fps的提升,設置合理的特征作為后續(xù)處理層取得了2.19的mAP提升和0.72的mIoU提升,增加CM結(jié)構(gòu)后獲得2.43的mAP提升和3.07的mIoU提升。

針對6種不同場景下的評價指標進行了統(tǒng)計分析,詳細的數(shù)據(jù)如圖8所示,模型在白天場景、夜間場景、燈光干擾等場景下具備較高的準確率,而在緊密連接、行車干擾、冷床卡鋼等情況下準確率略低,分析主要原因在于鋼板緊密排列的情況下,給單位對象的區(qū)分增加了難度,同時外界的干擾也會對物體的分割有一定程度的影響。

(a) mAP (b) mIoU圖8 不同場景下模型指標對比

3.2 位置跟蹤效果分析

本文多模型跟蹤策略應用于實際生產(chǎn)現(xiàn)場,有效的解決了冷床區(qū)鋼板行車下料無法跟蹤的問題。應用后生產(chǎn)線已采用集控自動冷床下料,完全取代了人工吊銷方式,現(xiàn)場統(tǒng)計1個月內(nèi)的鋼板跟蹤情況,實現(xiàn)自動吊銷鋼板的準確率為99.2%,卡鋼報警3次,報警準確率為100%。

圖9中實線框表示邏輯跟蹤模型輸出的冷床鋼板狀態(tài)S1,虛線框表示視覺檢測模型識別的冷床鋼板狀態(tài)S2,關聯(lián)匹配情況與冷床區(qū)鋼板跟蹤的關系為:

(a) 輥道上料 (b) 輥道下料

(c) 行車下料 (d) 冷床卡鋼圖9 多模型匹配跟蹤結(jié)果

(1)S1中鋼板數(shù)量小于S2中鋼板數(shù)量,S2中鋼板無法在S1中匹配到,未匹配的鋼板為剛剛進入冷床區(qū)域的鋼板,進行信息添加,如圖9a所示。

(2)S1中鋼板數(shù)量大于S2中鋼板數(shù)量,S1中鋼板無法在S2中匹配到,未匹配的鋼板為行車吊走的鋼板,進行信息吊銷,如圖9c所示。

(3)S1中鋼板數(shù)量等于S2中鋼板數(shù)量,S1和S2中鋼板完全匹配,為正常的鋼板跟蹤狀態(tài),進行及時的信息更新,如圖9b所示。

(4)S1中鋼板數(shù)量等于S2中鋼板數(shù)量,S1或S2中存在鋼板未匹配,判定為出現(xiàn)冷床卡鋼,并進行報警,如圖9d所示。

4 結(jié)論

(1)針對現(xiàn)階段冷床區(qū)跟蹤手段匱乏的情況,提出基于融合策略的冷床鋼板自動下料跟蹤方案,實現(xiàn)了冷床區(qū)的智能集中控制。

(2)改進的SOLO實例分割方法利用新增的目標計數(shù)模塊改善了單個類別對象實例分割過程中數(shù)量錯誤、分割粘連無法區(qū)分的問題,提升了目標實例檢測的準確率。

(3)通過邏輯跟蹤模型和視覺檢測模型的數(shù)據(jù)關聯(lián)進行匹配跟蹤,可以對行車下料、冷床卡鋼等特殊情況進行及時跟蹤與報警,降低了人工成本,提升了熱處理線生產(chǎn)節(jié)奏。