康碩,柯臻錚,王璇,朱偉東
1.浙江大學(xué) 機械工程學(xué)院,杭州 310027 2.浙江大學(xué) 先進技術(shù)研究院,杭州 310027
纖維自動鋪放(Automatic Fiber Placement,AFP)在航空航天數(shù)字化裝配領(lǐng)域有廣泛應(yīng)用,其中表面缺陷在線檢測能幫助提升鋪放質(zhì)量,檢測效果間接影響鋪放件的成品質(zhì)量。通常每根絲束寬6.35 mm,出絲口可根據(jù)需求調(diào)整出絲根數(shù),由于鋪放工藝的影響,在鋪放過程中可能會出現(xiàn)多種缺陷,根據(jù)缺陷的形成原因和特點可將其分為間隙(Gap)、重疊(Overlap)、缺絲(Miss)、架橋(Bridge)、氣泡(Bubble)、脫粘(Loose)、撅起(Wandering)、絲束褶皺(Wrinkle)、絲束扭轉(zhuǎn)(Twist)和異物(Foreign)10種。表面缺陷檢測手段最初為人工檢測,即在鋪放過程中由技術(shù)人員實時監(jiān)督,后來為提升鋪放效率各鋪放研究團隊相繼研發(fā)了在線檢測系統(tǒng)。比較成熟的在線檢測系統(tǒng)可分為激光儀器檢測、紅外熱成像儀檢測、可見光視覺檢測和多源傳感器檢測。激光檢測系統(tǒng)為最常見且有效的檢測系統(tǒng),檢測精度、效率和穩(wěn)定性相對較高,但成熟的激光檢測系統(tǒng)非常復(fù)雜,后期維護困難。紅外檢測是一種低成本的檢測手段,利用鋪絲過程中對預(yù)浸料絲束的加熱作為熱激勵源,間隙、重疊和異物等區(qū)域由于熱傳遞速率不同出現(xiàn)溫差,在熱像圖中十分明顯。紅外檢測能很好地對某些缺陷區(qū)域進行定位回歸,但對某些不易產(chǎn)生溫度差的缺陷檢測效果并不好,如很多情況下薄膜異物在熱傳遞過程中熱損失很小,所以薄膜異物區(qū)域與周圍的溫度差不明顯,在熱像圖中很難區(qū)分,但薄膜異物由于反射可見光,在可見光圖像中非常明顯。
波音公司2009年首先提出在AFP系統(tǒng)中應(yīng)用紅外熱感應(yīng)相機進行缺陷檢測的概念并申請了專利,但其方法不包含整體數(shù)據(jù)分析細節(jié)。隨后Denkena等開發(fā)了用于AFP工作過程路徑中的熱成像監(jiān)控系統(tǒng),以便在每幀上利用計算機視覺技術(shù)檢測異物、間隙等缺陷,而后將紅外相機應(yīng)用到纖維自動鋪放的在線檢測過程中,利用圖像處理知識對熱成像進行分析,并結(jié)合熱像儀采集到的溫度場信息對絲束缺陷進行檢測,這一系統(tǒng)能有效檢測出間隙、重疊、絲束扭轉(zhuǎn)、架橋和異物等缺陷。Gregory和Juarez利用新絲束鋪放在底板上時不同厚度材料熱傳導(dǎo)速度不同的原理,先通過熱成像儀獲取絲束表面信息,然后利用信息重建和視頻分析計算機視覺等多種技術(shù)同時對缺陷進行評估和定位,證明了紅外熱像儀在自動鋪絲過程中對間隙、重疊、異物、絲束扭轉(zhuǎn)和缺絲5種缺陷檢測的可行性。黃松嶺等將有源紅外熱像檢測法成功應(yīng)用于復(fù)合材料分層和膠接缺陷檢測。文立偉等利用機器視覺與UMAC (Universal Motion and Automation Controller)構(gòu)建缺陷檢測閉環(huán)控制系統(tǒng),發(fā)現(xiàn)采用單CCD(Charge Coupled Device)相機視覺系統(tǒng)能對間隙和重疊達到很好的檢測效果。Zambal等通過端到端的深度學(xué)習(xí)模型,利用半監(jiān)督學(xué)習(xí)方法擴充數(shù)據(jù)集進行訓(xùn)練實現(xiàn)了對間隙和重疊缺陷的區(qū)域分割,對于尺寸為200像素×800像素的圖像檢測時間為15.10 ms,證明了深度學(xué)習(xí)在AFP缺陷檢測中的可行性。路浩和陳原使用基于錨框的YOLOv2算法對預(yù)浸料絲束的間隙、異物和重疊3種缺陷進行識別,檢出率達94%。Chen等提出了一種基于紅外視覺的智能檢測系統(tǒng),能實現(xiàn)復(fù)合材料缺陷識別和測量,并通過實驗驗證了系統(tǒng)的可行性。Sacco等提出了基于深度學(xué)習(xí)的缺陷輪廓分割算法,利用單可見光圖像實現(xiàn)了對間隙、重疊、缺絲、絲束扭轉(zhuǎn)和絲束褶皺5種缺陷的檢測,其中對絲束扭轉(zhuǎn)和間隙的檢出率能達75%以上。蔡志強等提出了一種灰度和差影分割相結(jié)合的缺陷檢測算法,對氣泡和異物兩種缺陷具有良好的檢測效果。
在計算機視覺領(lǐng)域,基于深度學(xué)習(xí)的視覺算法因其精度高、效率高的優(yōu)勢正逐步被應(yīng)用于工業(yè)生產(chǎn)中,其中目標(biāo)檢測算法可分為基于錨框算法和無錨框算法兩種。基于錨框算法的基本思想是先預(yù)設(shè)幾個錨框,網(wǎng)絡(luò)預(yù)測的值是錨框的偏移量,只有錨框和目標(biāo)框接近時才認為目標(biāo)的回歸過程是線性的,才能通過神經(jīng)網(wǎng)絡(luò)較好地回歸。由此也可看出這種方法適合目標(biāo)長寬比分布比較均勻的數(shù)據(jù)檢測。無錨框檢測網(wǎng)絡(luò)的思想是拋棄錨框的設(shè)定,網(wǎng)絡(luò)一個分支預(yù)測目標(biāo)的熱量圖,根據(jù)熱量圖可判斷目標(biāo)區(qū)域是否含有目標(biāo)并確定目標(biāo)的大致區(qū)域,其他分支則分別預(yù)測偏移量和長、寬。該網(wǎng)絡(luò)沒有對錨框的依賴,對目標(biāo)框分布方差較大的數(shù)據(jù)集具有更好的普適性,避免了人為設(shè)置錨框不合適導(dǎo)致的檢測效果變差。
由于絲束具有明顯的方向性,絲束的很多缺陷如缺絲、間隙等都是狹長缺陷,而氣泡、異物等缺陷是均勻缺陷,所以絲束缺陷屬于不均勻缺陷。本文針對缺陷尺寸分布不均勻的特點提出使用無錨框的檢測網(wǎng)絡(luò),依據(jù)不同光譜易于檢測的缺陷種類不同的特點,提出紅外與可見光圖像特征融合檢測的手段,以無錨框深度學(xué)習(xí)框架為基礎(chǔ),以期提升檢測效果,使算法滿足實時檢測的速度和精度需求。
紅外熱圖像能表現(xiàn)目標(biāo)的溫度差細節(jié),因此在紅外圖像中目標(biāo)的輪廓是否明顯主要取決于是否存在較大的溫差。即使在目標(biāo)輪廓明顯的圖像中,紅外熱像圖也無法呈現(xiàn)目標(biāo)區(qū)域豐富的紋理特征,針對不同缺陷的特點,紅外與可見光的檢測效果不同,具體見圖1中異物和架橋缺等陷的對比。
圖1 紅外與可見光下鋪絲缺陷對比Fig.1 Comparison of fiber placement defects under infrared and visible light
因此提出紅外與可見光圖像融合檢測手段,希望能將兩種光譜下的信息融合,從而達到更高的準(zhǔn)確率。在實施項目前于FLIR行人與車輛開源數(shù)據(jù)集上進行初步實驗測試,重新配準(zhǔn)并標(biāo)注了FLIR紅外和可見光行人與車輛檢測數(shù)據(jù)集中的500張圖像,基于CSP(Cross Stage Partial)-CenterNet網(wǎng)絡(luò)分別使用紅外圖像、可見光圖像、紅外+可見光圖像進行訓(xùn)練,其測試全類平均正確率(mean Average Precision,mAP)分別為65.5%、65.0%、68.0%。由于該數(shù)據(jù)集密集小目標(biāo)較多,因此檢測mAP較低,但也可由檢測結(jié)果得出結(jié)論,即紅外與可見光圖像融合檢測確實能提高檢測效果。
使用的網(wǎng)絡(luò)主干為CSP-DarkNet網(wǎng)絡(luò),該網(wǎng)絡(luò)在YOLOv4中被提出,將CSP模塊整合到DarkNet網(wǎng)絡(luò)中后,不僅能使主干網(wǎng)絡(luò)整體參數(shù)量大幅降低、提高檢測速度,且檢測效果也得到了改善,該網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
目前可見光與紅外圖像聯(lián)合檢測網(wǎng)絡(luò)主要有輸入前融合和輸入后融合兩種。輸入前融合是指在圖像輸入特征提取網(wǎng)絡(luò)前進行通道拼接,先將兩張圖像拼接為2通道或6通道的圖像,而后再輸入特征提取網(wǎng)絡(luò)。由于輸入的通道數(shù)不等于3,因此不能直接使用由ImageNet三通道圖像預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò),通常需要改變第1層卷積數(shù)量,這也將導(dǎo)致訓(xùn)練結(jié)果變差。這種網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)學(xué)表達式為
out=(,)
(1)
式中:out為特征提取網(wǎng)絡(luò)第個輸出層;為特征提取網(wǎng)絡(luò);為FPN(Feature Pyramid Networks)結(jié)構(gòu)中使用的特征提取網(wǎng)絡(luò)特征層編號,由上至下分別為=1,2,3;為輸入可見光圖像;為輸入紅外圖像。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。
圖2 CSP-DarkNet主干結(jié)構(gòu)Fig.2 Backbone structure of CSP-DarkNet
圖3 紅外與可見光圖像聯(lián)合檢測網(wǎng)絡(luò)Fig.3 Detection network with fusion of infrared and visible images
輸入后融合指保持輸入圖像為3通道,分別輸入兩個特征提取網(wǎng)絡(luò),將特征提取網(wǎng)絡(luò)中間層信息融合。由于輸入后融合能保證輸入通道數(shù)量為3,因此可直接使用預(yù)訓(xùn)練網(wǎng)絡(luò),從而保證了網(wǎng)絡(luò)的準(zhǔn)確性??上葘⒓t外和可見光圖像分別送入主干,然后將中間某層進行疊加,這將實現(xiàn)兩種圖像的中間層信息交流,其數(shù)學(xué)表達式為
(2)
在圖4的融合策略中,紅外圖像的特征提取網(wǎng)絡(luò)主干輸出out后的所有特征提取層都沒有利用到,因此之后的紅外特征信息提取工作由可見光圖像的特征提取網(wǎng)絡(luò)完成,這將導(dǎo)致兩種圖像的特征信息過度耦合,在后續(xù)的分類檢測中效果變差。為使兩個特征提取網(wǎng)絡(luò)解耦合的同時還能進行信息交流,使用解耦合的融合網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先將多尺度的特征層進行通道拼接,而不是進行相加操作,然后將拼接的新特征層輸入FPN,網(wǎng)絡(luò)架構(gòu)如圖5所示,數(shù)學(xué)表達式為
圖4 中間層融合檢測網(wǎng)絡(luò)Fig.4 Detection network with fusion of middle layer
(3)
圖5 解耦合的特征融合檢測網(wǎng)絡(luò)Fig.5 Decoupled detection network with feature fusion
由于在不同尺度的特征圖上檢測網(wǎng)絡(luò)每個網(wǎng)格對應(yīng)的感受野不同,所以其對應(yīng)的易檢目標(biāo)尺寸不同,為更好地檢測小目標(biāo),提出FPN檢測網(wǎng)絡(luò),其原理為先將深層網(wǎng)絡(luò)的小尺寸特征圖進行反卷積或上采樣,擴大為大尺度的特征圖,然后與淺層對應(yīng)尺度特征圖相加,生成的新特征圖既保留了深層網(wǎng)絡(luò)的抽象語義特征,從而有利于目標(biāo)的分類;且保留了淺層網(wǎng)絡(luò)的細節(jié)語義信息,從而有利于目標(biāo)回歸,其原理見圖6。
由圖6可看出由淺層的out到out之間需經(jīng)過多層卷積,從而使out學(xué)習(xí)更深層次的語義信息便于分類,但這也使out丟失了淺層的細節(jié)語
圖6 FPN原理Fig.6 Theory of FPN
義信息,而out的每個特征網(wǎng)格的感受野非常大,主要用來預(yù)測大目標(biāo),細節(jié)語義信息對于目標(biāo)回歸至關(guān)重要,因此out丟失淺層網(wǎng)絡(luò)的回歸信息會造成回歸結(jié)果變差。針對這個缺陷改進FPN結(jié)構(gòu),使深層特征圖能利用到淺層網(wǎng)絡(luò)的語義信息,其數(shù)學(xué)表達式可表示為
(4)
式中:out′為與第個特征提取網(wǎng)絡(luò)輸出層對應(yīng)尺度的反卷積層;out為輸出中間層;′為transition操作,先進行通道拼接,然后通過1×1的卷積進行通道融合和降維;Dec為反卷積或上采樣操作;Mp為最大池化或下采樣操作,網(wǎng)絡(luò)架構(gòu)原理如圖7所示。
分別使用原FPN結(jié)構(gòu)和改進FPN結(jié)構(gòu)以相同的CSP-DarkNet作為特征提取主干,YOLOv3作為檢測框架,在Pascal VOC開源目標(biāo)檢測數(shù)據(jù)集上進行測試。經(jīng)過測試使用原FPN結(jié)構(gòu)的網(wǎng)絡(luò)在VOC數(shù)據(jù)集上的mAP達82.72%,使用改進FPN結(jié)構(gòu)后mAP達84.83%,提高了2.11%,每類目標(biāo)的詳細平均正確率(Average Precision, AP)如圖8所示,可見改進FPN結(jié)構(gòu)能提升目標(biāo)檢測的水平。
圖7 改進FPN結(jié)構(gòu)Fig.7 Structure of improved FPN
圖8 原FPN結(jié)構(gòu)和改進FPN結(jié)構(gòu)在Pascal VOC數(shù)據(jù)集上的測試結(jié)果Fig.8 Test results on Pascal VOC dataset between original FPN structure and improved FPN structure
搭建紅外與可見光聯(lián)合檢測實驗臺(如圖9所示)用于采集深度學(xué)習(xí)訓(xùn)練所需的缺陷數(shù)據(jù)。實驗臺由加熱燈、可調(diào)節(jié)相機支架、熱紅外相機和可見光灰度相機構(gòu)成。
采用的紅外相機為Xenics Gobi+640,鏡頭焦距為10 mm,由于紅外相機鏡頭在小焦距下畸變十分嚴(yán)重,需對紅外相機進行標(biāo)定,方便后續(xù)畸變矯正,采用的標(biāo)定方法為張氏標(biāo)定法。
紅外相機接收的是波長為8~14 μm的光線,因此無法清晰獲取普通標(biāo)定板的黑白方格,所以角點提取是紅外相機標(biāo)定的一大難點。對標(biāo)定板進行特殊處理,以玻璃為底板、氧化鋁陶瓷為基
圖9 數(shù)據(jù)采集實驗臺Fig.9 Data acquisition experimental platform
板,對黑方格添加黑色橡膠涂層用于吸熱。在獲取標(biāo)定圖像時,先用紅外加熱燈對標(biāo)定板進行均勻加熱,然后在紅外相機下拍照,最后可根據(jù)圖像
標(biāo)定求解相機內(nèi)參,矯正畸變,標(biāo)定圖像和矯正效果如圖10所示。
圖像矯正后,由于兩個相機的位置和視角不同,成像存在差異,借助標(biāo)定時的標(biāo)定圖像進行配準(zhǔn),利用兩個相機成像圖中位置對應(yīng)的4個點求出圖像變換的仿射矩陣,當(dāng)相機相對位置不發(fā)生改變時,后續(xù)所有成像都可通過該仿射矩陣進行配準(zhǔn),配準(zhǔn)效果如圖11所示。
圖10 紅外相機畸變矯正Fig.10 Distortion correction of infrared camera
圖11 紅外圖像與可見光圖像配準(zhǔn)Fig.11 Registration between infrared images and visible images
在自動鋪絲在線檢測領(lǐng)域,間隙和重疊兩種缺陷是研究的重點,前人的研究已達到較好的檢測效果,因此主要針對其他研究較少的6種缺陷進行檢測,分別為架橋、氣泡、異物、缺絲、絲束扭轉(zhuǎn)、絲束褶皺。由于撅起、架橋和脫粘的本質(zhì)都是絲束脫離下層,所以將3種缺陷歸為架橋缺陷檢測。使用的數(shù)據(jù)集分布如表1所示。
首先,分別使用改進FPN結(jié)構(gòu)和原FPN結(jié)構(gòu)以紅外與可見光融合網(wǎng)絡(luò)框架測試YOLOv3(anchor-based網(wǎng)絡(luò)),從而證實改進FPN結(jié)構(gòu)的有效性。然后,在CSP-CenterNet(anchor-free網(wǎng)絡(luò))上分別測試了單可見光檢測、單紅外檢測和紅外與可見光聯(lián)合檢測效果,進而證明紅外與可見光聯(lián)合檢測的有效性。最后,在CSP-CenterNet上使用改進FPN結(jié)構(gòu)測試紅外與可見光聯(lián)合檢測效果,得出最終測試效果。
表1 數(shù)據(jù)分布Table 1 Data distribution
在CSP-CenterNet網(wǎng)絡(luò)中,使用單可見光測試的最好結(jié)果為78.12% mAP,單紅外測試最好結(jié)果為82.45% mAP,未應(yīng)用改進FPN結(jié)構(gòu)時可見光與紅外聯(lián)合檢測測試結(jié)果為84.42% mAP,應(yīng)用改進FPN結(jié)構(gòu)后測試結(jié)果為85.44% mAP。由此可見紅外與可見光聯(lián)合檢測比單一的任一種光源檢測效果都好,比單可見光提升6.30% mAP,比單紅外光提升1.97% mAP,且在此基礎(chǔ)上應(yīng)用改進FPN結(jié)構(gòu)后,能再提高1.02% mAP。圖12中pFPN指本文提出的FPN結(jié)構(gòu),可看出增加FPN后,除絲束扭轉(zhuǎn)缺陷的準(zhǔn)確率()-召回率()曲線效果略差,其他5種缺陷的效果均優(yōu)于不使用改進FPN結(jié)構(gòu)的網(wǎng)絡(luò)。從缺絲和絲束扭轉(zhuǎn)缺陷的-曲線對比可看出無錨框網(wǎng)絡(luò)效果均明顯優(yōu)于基于錨框的網(wǎng)絡(luò),同時從表2的不同缺陷召回率和準(zhǔn)確率對比數(shù)據(jù)中可看出,基于錨框網(wǎng)絡(luò)檢測缺絲和絲束扭轉(zhuǎn)兩種狹長形缺陷的召回率和準(zhǔn)確率比無錨框網(wǎng)絡(luò)低,使用無錨框網(wǎng)絡(luò)檢測的結(jié)果中,缺絲缺陷檢測的準(zhǔn)確率和召回率分別比使用錨框的網(wǎng)絡(luò)提高了33%和21%,絲束扭轉(zhuǎn)缺陷分別提高了5%和6%,而對于其他長寬比較均勻的4種缺陷,兩種網(wǎng)絡(luò)測試結(jié)果的召回率和準(zhǔn)確率平均提升比例3%,甚至錨框網(wǎng)絡(luò)中異物缺陷的召回率和準(zhǔn)確率略高于無錨框網(wǎng)絡(luò)。這是因為缺絲和絲束扭轉(zhuǎn)的長寬比較大,屬于狹長形缺陷,基于錨框網(wǎng)絡(luò)難以通過錨框線性回歸缺陷位置,這也印證了本文的觀點,即針對狹長形缺陷,無錨框的網(wǎng)絡(luò)結(jié)構(gòu)將更有優(yōu)勢。
圖12 6種缺陷在不同網(wǎng)絡(luò)中的P-R測試曲線Fig.12 P-R test curves of 6 kinds of defects in different networks
根據(jù)圖12的-曲線可求出每種缺陷的檢測準(zhǔn)確率和召回率,最終得出平均準(zhǔn)確率,YOLOv3的準(zhǔn)確率為76.5%,CSP-CenterNet的準(zhǔn)確率為79.5%,應(yīng)用改進FPN結(jié)構(gòu)后CSP-CenterNet的準(zhǔn)確率為82.5%;同樣可計算召回率,分別為84.0%、88.2%和88.0%,從而可得出結(jié)論,即使用CSP-CenterNet檢測的準(zhǔn)確率和召回率均有明顯提升,使用改進FPN結(jié)構(gòu)后CSP-CenterNet能在保證召回率不下降的前提下將準(zhǔn)確率提升3.0%,見表2。
表2 6種缺陷在不同網(wǎng)絡(luò)中的準(zhǔn)確率(P)和召回率(R)測試結(jié)果Table 2 Precision (P) and recall (R) test results of 6 kinds of defects in different networks
圖13展示了檢測網(wǎng)絡(luò)的檢測效果對比,以第1行的檢測圖像為例,在紅外圖像中左上角的薄膜異物由于在熱傳遞過程中熱量損失小,薄膜與周圍區(qū)域幾乎沒有溫度差,導(dǎo)致其細節(jié)不明顯,單紅外光檢測未將其檢測出,但薄膜下覆蓋的絲束扭轉(zhuǎn)缺陷被紅外圖像成功檢測出;在可見光圖像中薄膜異物十分明顯,但薄膜反射光源導(dǎo)致薄膜下覆蓋的扭轉(zhuǎn)缺陷無法被檢測出,在融合檢測圖像中雖然異物的回歸框不是很好,但成功將兩種缺陷都檢測出來,圖13中使用白色橢圓將檢測存在差異的缺陷圈出。紅外與可見光聯(lián)合檢測的結(jié)果能融合兩種單光譜檢測結(jié)果,從而達到更高的精度。本算法在大型龍門鋪絲機上進行在線檢測測試,如圖14所示。本算法的檢測速度在RTX2080顯卡上能達到60 FPS,每張圖像的視野可達15 cm×15 cm,因此可滿足纖維鋪放速度0.9 m/s的實時檢測。
圖13 缺陷檢測結(jié)果(聯(lián)合檢測的圖像進行通道疊加處理顯示)Fig.13 Result of defects test (images of fusion detection being displayed by concatenating channels)
圖14 大型龍門鋪絲機絲束缺陷在線檢測Fig.14 Online detection of defects on large gantry fiber placement equipment
提出了一種基于深度學(xué)習(xí)的可見光與紅外聯(lián)合檢測手段用于碳纖維復(fù)合材料在線缺陷檢測,以無錨框檢測網(wǎng)絡(luò)為基礎(chǔ),創(chuàng)新性地改進了檢測的深度學(xué)習(xí)融合框架,采用中間層融合策略實現(xiàn)了紅外與可見光圖像信息交流,以CSP-DarkNet為特征提取主干,增加改進FPN結(jié)構(gòu)進行多尺度預(yù)測。實驗結(jié)果顯示本算法的缺陷檢測性能可達85.44% mAP,其中召回率可達88.0%,能滿足生產(chǎn)中對缺陷檢測精度的需求。
實驗中,檢測系統(tǒng)能及時發(fā)現(xiàn)鋪放缺陷。然而本文只對算法進行了準(zhǔn)確度上的優(yōu)化,能滿足的最大鋪放速度為0.9 m/s,當(dāng)超過這個速度時會出現(xiàn)丟幀和漏檢,因此后續(xù)需在保證準(zhǔn)確度的同時進行速度優(yōu)化,以滿足更高速的鋪放需求。