智能化焊縫缺陷檢測(cè)系統(tǒng)的研究

□ 韓少恒

上海電氣集團(tuán)股份有限公司 中央研究院 上海 200070

1 研究背景

隨著信息化和智能化技術(shù)的發(fā)展,焊縫缺陷檢測(cè)技術(shù)將會(huì)趨向自動(dòng)化、精益化、快速化[1]。通過(guò)數(shù)字化手段,將大量物理膠片電子化存檔,為焊縫缺陷檢測(cè)系統(tǒng)的實(shí)現(xiàn)提供了數(shù)據(jù)基礎(chǔ)。由于視覺(jué)信息具有方便直觀、信息量大、易于處理的特點(diǎn),因此在管道焊縫缺陷檢測(cè)等方面具有廣闊的應(yīng)用空間。

當(dāng)前,計(jì)算資源算力提高,使復(fù)雜、大規(guī)模、多層級(jí)的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練成為可能[2]。通過(guò)輸入大量已標(biāo)注好的缺陷圖像,針對(duì)已設(shè)計(jì)好的焊縫缺陷檢測(cè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,可以得到有很高檢測(cè)準(zhǔn)確率的焊縫缺陷檢測(cè)模型。相對(duì)于人通過(guò)肉眼的識(shí)別,深度學(xué)習(xí)模型具有更快的識(shí)別速度,并且可以檢測(cè)出更微小的缺陷。

在焊縫缺陷檢測(cè)系統(tǒng)中,規(guī)范、統(tǒng)一、高質(zhì)量的數(shù)據(jù)有助于提高檢測(cè)模型的性能,便于后期模型訓(xùn)練的升級(jí)迭代和數(shù)據(jù)分析,提高數(shù)據(jù)利用率,對(duì)提高焊縫缺陷檢測(cè)系統(tǒng)的性能有著重要作用[3]。壓力容器生產(chǎn)企業(yè)普遍采用射線透照的方式來(lái)檢測(cè)焊縫區(qū)域的焊接質(zhì)量,由此積攢了大量物理膠片檔案,這為深度學(xué)習(xí)模型提供了豐富的訓(xùn)練樣本。這些歷史膠片樣本數(shù)據(jù)如果可以被充分用于模型訓(xùn)練,將提高模型的魯棒性和泛化能力。同類(lèi)型缺陷膠片樣本的增加,也可以有效提高該類(lèi)缺陷檢測(cè)的準(zhǔn)確率。除此之外,膠片數(shù)字化后,不再受時(shí)空限制,可以通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程評(píng)片[4]。系統(tǒng)通過(guò)集成多種圖像預(yù)處理,如去模糊、去相似、圖像旋轉(zhuǎn)、亮度調(diào)整、對(duì)比度調(diào)整、飽和度調(diào)整、一鍵正負(fù)片等操作,可以增強(qiáng)圖像的顯示效果,使評(píng)片員更容易發(fā)現(xiàn)缺陷,評(píng)片的準(zhǔn)確率也更高,由此提高評(píng)片員的評(píng)片效率。

智能化焊縫缺陷檢測(cè)系統(tǒng)以膠片圖像和數(shù)據(jù)為基礎(chǔ),結(jié)合深度學(xué)習(xí)視覺(jué)檢測(cè)技術(shù)及膠片數(shù)據(jù)規(guī)范化管理技術(shù),同時(shí)采用焊材參數(shù)和焊機(jī)運(yùn)行數(shù)據(jù),實(shí)現(xiàn)焊縫缺陷檢測(cè)、焊縫缺陷溯源、故障分析、知識(shí)積累等一體化檢測(cè)功能。通過(guò)對(duì)焊縫缺陷進(jìn)行全生命周期管理,將焊縫缺陷自動(dòng)化檢測(cè)與人工復(fù)核相結(jié)合,最終實(shí)現(xiàn)焊縫缺陷檢測(cè)的自動(dòng)化、智能化、快速化,形成企業(yè)信息閉環(huán),有效降低企業(yè)生產(chǎn)運(yùn)行成本,提高焊機(jī)設(shè)備的使用效率。

2 系統(tǒng)技術(shù)方案

2.1 技術(shù)路線

基于需求,采用層級(jí)組織方案進(jìn)行智能化焊縫缺陷檢測(cè)系統(tǒng)總體架構(gòu)的搭建,其技術(shù)路線如圖1所示。整個(gè)系統(tǒng)設(shè)計(jì)為三個(gè)層級(jí):應(yīng)用層、技術(shù)支撐層、基礎(chǔ)支撐層。應(yīng)用層直接面向用戶,采用算法調(diào)用接口,為用戶提供服務(wù)。技術(shù)支撐層為具體實(shí)現(xiàn)系統(tǒng)功能而提供支撐?；A(chǔ)支撐層包括計(jì)算環(huán)境支撐和數(shù)據(jù)支撐,計(jì)算環(huán)境支撐提供系統(tǒng)所需的計(jì)算資源,數(shù)據(jù)支撐提供數(shù)據(jù)存儲(chǔ),使用MySQL數(shù)據(jù)庫(kù)存儲(chǔ)原始圖像數(shù)據(jù)、標(biāo)注數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等。

▲圖1 智能化焊縫缺陷檢測(cè)系統(tǒng)技術(shù)路線

2.2 膠片管理

膠片管理通過(guò)調(diào)用光學(xué)字符識(shí)別模型接口來(lái)識(shí)別膠片上的字符串信息,根據(jù)字符串信息,經(jīng)過(guò)字符串匹配,進(jìn)行分類(lèi)歸檔,實(shí)現(xiàn)包括圖像預(yù)處理、自動(dòng)識(shí)別圖像標(biāo)志、提取關(guān)鍵信息、根據(jù)字符串關(guān)聯(lián)匹配項(xiàng)目、膠片增刪改查管理等功能。

2.3 缺陷檢測(cè)

缺陷檢測(cè)時(shí),通過(guò)輸入大量已標(biāo)注圖像對(duì)缺陷檢測(cè)模型進(jìn)行訓(xùn)練,產(chǎn)生缺陷識(shí)別準(zhǔn)確率高的算法模型,并封裝成接口,供系統(tǒng)調(diào)用。缺陷檢測(cè)實(shí)現(xiàn)過(guò)程主要包含以下步驟:

(1) 圖像采集,使用相應(yīng)設(shè)備采集圖像;

(2) 圖像處理,對(duì)采集到的圖像進(jìn)行圖像歸一化、尺寸調(diào)整等操作;

(3) 焊縫檢測(cè),使用目標(biāo)檢測(cè)算法從圖像中檢測(cè)出焊縫,并截取為小圖,作為下一步的輸入;

(4) 缺陷檢測(cè),使用焊縫缺陷檢測(cè)算法,從焊縫小圖中檢測(cè)出不同種類(lèi)的缺陷及其位置;

(5) 分類(lèi)規(guī)則,根據(jù)第(3)、第(4)步的結(jié)果,利用規(guī)則判斷焊縫的缺陷級(jí)數(shù);

(6) 算法模型調(diào)用,通過(guò)接口方式調(diào)用缺陷檢測(cè)模型,返回缺陷及位置信息。

2.4 系統(tǒng)結(jié)構(gòu)

智能化焊縫缺陷檢測(cè)系統(tǒng)主要包括智能評(píng)片模塊、數(shù)據(jù)管理模塊、人工智能標(biāo)注模塊,如圖2所示。

▲圖2 智能化焊縫缺陷檢測(cè)系統(tǒng)模塊

智能評(píng)片模塊通過(guò)實(shí)時(shí)調(diào)用焊縫缺陷檢測(cè)算法,對(duì)每一張新錄入的圖像進(jìn)行缺陷檢測(cè)。對(duì)實(shí)時(shí)檢測(cè)中出現(xiàn)焊縫缺陷的圖像,根據(jù)缺陷程度進(jìn)行報(bào)警提示,包括返工建議等。在這一模塊中,對(duì)于存在缺陷的圖像,由采集員將圖像加載進(jìn)來(lái),評(píng)片員可以使用拉框、標(biāo)簽等工具對(duì)缺陷圖像的缺陷位置進(jìn)行人工標(biāo)注,以及對(duì)已有的標(biāo)注進(jìn)行編輯與修改。

數(shù)據(jù)管理模塊通過(guò)光學(xué)字符識(shí)別技術(shù),借助機(jī)器視覺(jué)分擔(dān)甚至代替人工對(duì)圖像中的焊縫編號(hào)等字符進(jìn)行識(shí)別,提取出關(guān)鍵信息,關(guān)聯(lián)相關(guān)項(xiàng)目,對(duì)膠片進(jìn)行電子化歸檔與管理,實(shí)現(xiàn)用戶對(duì)膠片的查詢、傳輸及遠(yuǎn)程評(píng)片[5-7]。

對(duì)于已標(biāo)注好的圖像,經(jīng)過(guò)項(xiàng)目經(jīng)理、專(zhuān)家等審核后進(jìn)入缺陷片庫(kù)。該類(lèi)型圖像用于相關(guān)圖像識(shí)別模型訓(xùn)練,并產(chǎn)生智能標(biāo)注模型,用于后續(xù)人工智能輔助標(biāo)注。

3 系統(tǒng)功能

3.1 智能評(píng)片

通過(guò)智能評(píng)片模塊對(duì)膠片進(jìn)行數(shù)字化管理,結(jié)合人工智能視覺(jué)檢測(cè)技術(shù),實(shí)現(xiàn)對(duì)焊縫缺陷膠片實(shí)時(shí)監(jiān)測(cè)與異常報(bào)警。同時(shí)提供樣本管理、圖像樣本標(biāo)注、人工復(fù)核、焊縫知識(shí)圖譜管理、缺陷自動(dòng)分級(jí)、檢測(cè)報(bào)告匯總導(dǎo)出等,輔助檢測(cè)人員實(shí)現(xiàn)焊縫缺陷檢測(cè),形成焊縫缺陷一站式質(zhì)檢系統(tǒng),并充分利用深度學(xué)習(xí)技術(shù)和積累的焊接機(jī)理知識(shí),提高現(xiàn)有檢測(cè)效率和檢測(cè)準(zhǔn)確率,為焊接設(shè)備運(yùn)維及焊接品質(zhì)在線檢測(cè)的產(chǎn)品化研發(fā)奠定基礎(chǔ)。

3.2 數(shù)據(jù)管理

數(shù)據(jù)管理模塊通過(guò)掃描儀將膠片轉(zhuǎn)換為數(shù)字化圖像,并通過(guò)光學(xué)字符識(shí)別技術(shù),借助機(jī)器視覺(jué)分擔(dān)甚至代替人工對(duì)圖像中的焊縫編號(hào)等字符進(jìn)行識(shí)別,提取出關(guān)鍵信息,關(guān)聯(lián)相關(guān)項(xiàng)目,對(duì)膠片進(jìn)行電子化歸檔與管理,實(shí)現(xiàn)用戶對(duì)膠片的查詢、傳輸及在線評(píng)片。同時(shí)提供圖像預(yù)處理模塊對(duì)圖像進(jìn)行去模糊、去相似、畫(huà)質(zhì)增強(qiáng)等處理。其中,在線評(píng)片提供了拉框、標(biāo)注、圖像旋轉(zhuǎn)、亮度調(diào)整、對(duì)比度調(diào)整、飽和度調(diào)整、一鍵正負(fù)片等功能組件,方便評(píng)片員調(diào)整圖像,更好地閱片[8]。

對(duì)于已標(biāo)注好的圖像,經(jīng)過(guò)項(xiàng)目經(jīng)理、專(zhuān)家等審核后錄入缺陷片庫(kù)。該類(lèi)型缺陷圖像可作為焊縫缺陷檢測(cè)模型的訓(xùn)練樣本,模型經(jīng)過(guò)訓(xùn)練后產(chǎn)生的智能標(biāo)注模型,可用于后續(xù)人工智能輔助標(biāo)注。對(duì)于缺陷片庫(kù)中的缺陷圖像,評(píng)片員可以提出問(wèn)題,由項(xiàng)目經(jīng)理、專(zhuān)家或其他人員進(jìn)行答疑,形成問(wèn)題記錄,便于相關(guān)人員學(xué)習(xí)借鑒。項(xiàng)目經(jīng)理可以通過(guò)項(xiàng)目概覽,查看項(xiàng)目整體情況,包括圖像數(shù)量、圖像長(zhǎng)寬比、屬性標(biāo)簽數(shù)量分布等,并生成統(tǒng)計(jì)報(bào)告,便于存檔打印。

3.3 人工智能標(biāo)注

用戶在人工智能標(biāo)注模塊中選擇要訓(xùn)練的底片樣本,進(jìn)行參數(shù)配置后,保存至智能標(biāo)注模型庫(kù)中。對(duì)后續(xù)新掃描的同類(lèi)底片進(jìn)行評(píng)片操作時(shí),可以選擇使用已訓(xùn)練好的人工智能標(biāo)注模型輔助評(píng)片,進(jìn)行批量操作。隨著樣本數(shù)量的增加,可以持續(xù)對(duì)模型進(jìn)行升級(jí)迭代,能夠提高后續(xù)升級(jí)迭代的效率,提高靈活性,并且降低迭代成本。

4 系統(tǒng)實(shí)現(xiàn)

智能化焊縫缺陷檢測(cè)系統(tǒng)采用瀏覽器/服務(wù)器架構(gòu)進(jìn)行設(shè)計(jì),軟件框架的技術(shù)方案選擇Spring Boot框架加Vue框架的前端組件構(gòu)成方式,對(duì)于界面布局、顏色、風(fēng)格,參照通用界面方案,數(shù)據(jù)存儲(chǔ)采用MySQL數(shù)據(jù)庫(kù)[9]。通過(guò)智能評(píng)片、數(shù)據(jù)管理、人工智能標(biāo)注等模塊,實(shí)現(xiàn)自動(dòng)化實(shí)時(shí)焊縫缺陷檢測(cè)。在系統(tǒng)中,部分缺陷檢測(cè)詳情頁(yè)面如圖3所示,批次信息詳情頁(yè)面如圖4所示。

▲圖3 缺陷檢測(cè)詳情頁(yè)面▲圖4 批次信息詳情頁(yè)面

5 結(jié)束語(yǔ)

針對(duì)焊縫缺陷檢測(cè)場(chǎng)景,構(gòu)建了一套智能化焊縫缺陷檢測(cè)系統(tǒng)[10]。在智能化焊縫缺陷檢測(cè)系統(tǒng)中,對(duì)膠片進(jìn)行電子化歸檔與管理,實(shí)現(xiàn)用戶對(duì)膠片的查詢、傳輸及在線評(píng)片,避免傳統(tǒng)物理存儲(chǔ)的底片氧化、粘連等問(wèn)題。實(shí)現(xiàn)底片數(shù)字化后,節(jié)省了檔案室等物理空間。結(jié)合成熟的深度學(xué)習(xí)技術(shù)和評(píng)片經(jīng)驗(yàn),將已入庫(kù)膠片樣本用于模型訓(xùn)練,從而實(shí)現(xiàn)人工智能評(píng)片,顯著提升評(píng)片效率,減輕工人負(fù)擔(dān),降低企業(yè)成本。充分利用深度學(xué)習(xí)技術(shù)和積累的焊接知識(shí),提高現(xiàn)有檢測(cè)效率和檢測(cè)準(zhǔn)確率,為焊接設(shè)備運(yùn)維及焊接品質(zhì)在線檢測(cè)產(chǎn)品化研發(fā)奠定基礎(chǔ)。