基于改進YOLOv5s的大米外觀品質(zhì)無損檢測模型

顧海洋, 蔣雪松, 沈 飛, 郁鑫智, 周宏平

(南京林業(yè)大學(xué)機械電子工程學(xué)院1,南京 210000)

(南京財經(jīng)大學(xué)食品科學(xué)與工程學(xué)院2,南京 210000)

水稻經(jīng)過礱谷加工、碾米和拋光過程,會產(chǎn)生不同程度的破損,影響了大米的產(chǎn)量和外觀品質(zhì)。另外,大米在加工和儲存過程中很可能出現(xiàn)破損和發(fā)霉的現(xiàn)象,而表型缺陷是種子品質(zhì)評價的重要指標(biāo)。在大米貿(mào)易流通中,外觀品質(zhì)是影響大米價格的重要因素之一,因此提高大米分選質(zhì)量具有重要意義[1]。

隨著深度學(xué)習(xí)在目標(biāo)檢測中的不斷發(fā)展,研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到農(nóng)產(chǎn)品檢測當(dāng)中,取得了較好的效果,可以為大米品質(zhì)檢測提供參考。

基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)識別技術(shù),大致可以分為2類,一類是一階段目標(biāo)檢測算法(one-stage),包括YOLO[2]、SSD[3]、EfficientNet、Retina Net[4]等;另一類是二階段(two-stage)目標(biāo)檢測算法,包括R-CNN[5]、Fast R-CNN[6]、PVANet、SPPNet[7]和Mask R-CNN等。

目標(biāo)檢測網(wǎng)絡(luò)在農(nóng)作物品質(zhì)檢測中應(yīng)用也越來越廣泛[8-11]。王巧華等[12]提出了基于YOLOv5s[13]網(wǎng)絡(luò)的改進識別網(wǎng)絡(luò),用來檢測棉花種子破損,檢測準(zhǔn)確率為95.4%。范曉飛等[14]利用以MobileNetV1為骨架的YOLOv5s網(wǎng)絡(luò)對玉米種子進行識別,其對玉米種子檢測精度為93%。顧偉等[15]利用Resnet50網(wǎng)絡(luò)代替SSD算法中的VGG網(wǎng)絡(luò),該網(wǎng)絡(luò)對群體脫絨棉籽中的破損棉籽的檢測精度達到96.1%。

YOLOv5s模型是在YOLO4基礎(chǔ)上改進而來,具有檢測速度快、精度高和泛化能力強等優(yōu)點。為進一步提高大米目標(biāo)的識別精度,本研究對YOLOv5s網(wǎng)絡(luò)進行改進,添加小目標(biāo)檢測層以提高小目標(biāo)識別率,為使模型輕量化,用Ghost模塊代替YOLOv5s的骨干網(wǎng)絡(luò),再添加CBAM注意力機制加強對大米目標(biāo)重要特征提取。利用改進后的YOLOv5s網(wǎng)絡(luò)對大米進行識別,以提高大米識別率。

1 基于CG-YOLOv5的大米檢測模型

1.1 YOLOv5s檢測模型

YOLOv5算法是在2020年提出的,有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x共4個模型。YOLOv5s網(wǎng)絡(luò)輸入圖片大小為640(像素)×640(像素),經(jīng)過一系列卷積相關(guān)操作得到32倍下采樣的20×20特征圖、16倍下采樣的40×40特征圖、8倍下采樣的80×80特征圖。20×20、40×40、80×80的特征圖對應(yīng)檢測大、中、小目標(biāo)。

1.2 模型的改進

1.2.1 小目標(biāo)檢測層的添加

YOLOv5s原始模型只有3個檢測層,負責(zé)檢測小目標(biāo)的是80×80的特征圖,該層特征圖包含的語義信息相對較小,易出現(xiàn)小目標(biāo)漏檢現(xiàn)象。為加強對小目標(biāo)的識別率和準(zhǔn)確率,增加一個小目標(biāo)檢測層[16],即160×160的特征圖。同時采用多尺度特征圖相融合的方式,將淺層特征圖與深層特征圖融合,來保留更多小目標(biāo)語義信息。圖1是添加檢測層的網(wǎng)絡(luò)結(jié)構(gòu)圖。修改的小目標(biāo)檢測層有2個方面。

圖1 添加檢測層的網(wǎng)絡(luò)結(jié)構(gòu)圖

原80×80的特征圖經(jīng)過上采樣與骨干網(wǎng)絡(luò)中的第一個CSP1_1的特征圖相融合,再通過CSP2_1模塊和卷積操作得到160×160的特征圖,即小目標(biāo)檢測層尺度。

160×160的特征圖經(jīng)過卷積模塊與原80×80的特征圖相融合,再經(jīng)過CSP2_1模塊和卷積操作得到新的80×80的特征圖。

1.2.2 Ghost模塊

使用Ghost模塊替換YOLOv5s骨干網(wǎng)絡(luò)中的CSP1_模塊,Ghost模塊卷機原理如圖2所示。第1個普通卷積用來降低通道數(shù)量,減少網(wǎng)絡(luò)參數(shù)量,第2個卷積是采用深度可分離卷積中的深度卷積,后將2個卷積進行拼接操作。當(dāng)輸入向量為H(行數(shù))×W(列數(shù))×N(通道數(shù))時,輸出向量為H×W×M(M為偶數(shù))時,輸入向量經(jīng)過M/2個1×1×N的卷積核將其壓縮為H×W×M/2的向量。后經(jīng)過深度卷積,深度卷積對輸入向量的每1個通道進行1個不同的k×k×1的卷積運算,經(jīng)過M/2個深度卷積得到M/2個H×W的向量。

圖2 Ghost模塊卷積原理圖

Ghost模塊可以有效減少參數(shù)量。例如,對于1個N通道的輸入向量,先經(jīng)過M/2個1×1×N的普通卷積核,后經(jīng)過M/2個3×3×M/2的普通卷積核,這個過程所需要的計算量為:

(1)

如果經(jīng)過1個Ghost模塊完成相同的工作,需要的參數(shù)量為:

(2)

在Ghost模塊運行時,因為輸入通道和輸出通道數(shù)相同,即N=M,所以2種情況下的比值為:

(3)

由此可知,當(dāng)輸入向量通道數(shù)很大時,2種方法的卷積方式參數(shù)量的比值為0.18。

1.2.3 CBAM特征增強模塊

CBAM注意力機制是一種結(jié)合空間和通道的注意力機制的模塊[17],包含通道注意力機制和空間注意力機制。CBAM注意力機制結(jié)構(gòu)如圖3所示,特征圖先經(jīng)過通道注意力機制模塊,后傳入空間注意力機制模塊,完成特征的提取。

圖3 CBAM注意力機制結(jié)構(gòu)

輸入特征圖,先經(jīng)過通道注意力機制,分別進行自適應(yīng)平均池化和自適應(yīng)最大池化,得到2個1×1通道權(quán)重矩陣,在經(jīng)過類似瓶頸層的結(jié)構(gòu)減少參數(shù)量,2個特征在向量相加后經(jīng)過sigmoid激活函數(shù),生成單通道特征圖。單通道特征圖與輸入特征進行乘法運算,生成中間特征圖。經(jīng)過空間注意力機制,通過最大池化和平均池化操作得到2個二維向量拼接,經(jīng)過一個卷積層和sigmoid激活函數(shù)后與中間特征圖相乘得到輸出特征圖。

1.3 CG-YOLOv5的大米檢測模型

為提高大米識別的精度,提出了CG-YOLOv5大米檢測模型,網(wǎng)絡(luò)結(jié)構(gòu)圖如表1所示。對模型的改進為:添加一個小目標(biāo)檢測層來提升大米檢測精度;在特征提取中,將CBAM注意力機制和CSP1_模塊進行融合,組成新的模塊CBAMC3,從而加強對大米的特征提取;將YOLOv5s骨干網(wǎng)絡(luò)中的CSP1_模塊替換成Ghost模塊,能有效減少參數(shù)量,提高檢測速度。

表1 網(wǎng)絡(luò)結(jié)構(gòu)表

2 數(shù)據(jù)集的制作和模型訓(xùn)練

2.1 數(shù)據(jù)集的獲取

為了識別大米,需要采集相關(guān)圖像建立圖像數(shù)據(jù)集。以江蘇興華大米為研究對象,圖像采集裝置為USB工業(yè)高清相機,型號為MS500D,采集圖片的格式為jpg。

實驗在傳送帶上實時采集樣本圖片。將大米分為3類,分別為正常米、堊白米和碎米。各類大米圖像如圖4所示。訓(xùn)練模型采用VOC數(shù)據(jù)格式,用Labelimg進行文件標(biāo)注,將外觀良好的大米標(biāo)注為Normal,將白色不透明和有缺陷的大米標(biāo)注為Chalky,將斷裂的大米標(biāo)注為Broken。

圖4 大米分類圖片

實驗共采集大米圖片2 000張,通過豐富數(shù)據(jù)集的數(shù)量,可以有效解決因數(shù)據(jù)集不足導(dǎo)致網(wǎng)絡(luò)擬合較差的問題,從而提高網(wǎng)絡(luò)的泛化能力。數(shù)據(jù)集進行網(wǎng)絡(luò)訓(xùn)練時,將訓(xùn)練和驗證、測試集的比例設(shè)為8∶1∶1。經(jīng)統(tǒng)計,訓(xùn)練集中正常米10 702粒,堊白米9 312粒,碎米7 283粒。測試集中用于評估模型性能的正常米447粒,堊白米663粒,碎米334粒。

2.2 實驗環(huán)境和參數(shù)設(shè)置

實驗均由單計算機完成,計算機配置GPU型號為GeForce GTX 1650 Ti,16G運行內(nèi)存,操作系統(tǒng)為64位Windows10,深度學(xué)習(xí)框架為Pytorch 1.10.1、Torchvision 0.11.2,Python3.8編程語言。

訓(xùn)練過程中的批量尺寸設(shè)置為8,圖片輸入尺寸為640×640,總訓(xùn)練輪數(shù)設(shè)置為200,多線程設(shè)置為3,學(xué)習(xí)速率值為0.001,動量參數(shù)值為0.9,權(quán)重衰減系數(shù)值為0.000 5,置信度閾值為0.6。

2.3 評價指標(biāo)

對大米分類識別檢測任務(wù)采用準(zhǔn)確率P(Precision)、召回率R(Recall)、F1值(F1 score)、平均精度和平均精度均值作為模型的評價指標(biāo)。準(zhǔn)確率P、召回率R、F1值、平均精度和平均精度均值計算如式(4)～式(8)所示。

(4)

(5)

(6)

(7)

(8)

式中:TP為被正確劃分到正樣本的數(shù)量;FP 為被錯誤劃分到正樣本的數(shù)量;FN為被錯誤劃分到負樣本的數(shù)量;N為類別總數(shù)。

AP衡量模型在每個類別上的識別精度,mAP衡量模型在所有類別上的平均識別精度[19]。實驗中用IOU閾值為0.5時的AP和mAP來衡量模型效果[20]。檢測時間以網(wǎng)絡(luò)檢測單張圖片所消耗的平均時間為標(biāo)準(zhǔn)。

3 實驗結(jié)果

3.1 CG-YOLOv5網(wǎng)絡(luò)的檢測結(jié)果

由于改進網(wǎng)絡(luò)CG-YOLOv5是基于YOLOv5s網(wǎng)絡(luò),同時添加小目標(biāo)檢測層和CBAM注意力機制和Ghost模塊進行改進的,為證明其有效性,對改進前后目標(biāo)檢測網(wǎng)絡(luò)進行實驗對比分析。分別在光照較暗、光照較強、密集情況等室內(nèi)環(huán)境下,利用YOLOv5s和CG-YOLOv5對大米圖像進行識別,結(jié)果如圖5所示。在光照較暗和光照較強情況下,YOLOv5s和CG-YOLOv5網(wǎng)絡(luò)能對大米實現(xiàn)正確的識別,但當(dāng)大米密集情況下,YOLOv5s網(wǎng)絡(luò)誤將2粒米識別成1粒,而CG-YOLOv5能準(zhǔn)確地識別出來。檢測大米目標(biāo)的各類型準(zhǔn)確率、召回率、F1值、平均精度、平均精度均值如表2所示。

表2 改進模型前后對比實驗結(jié)果

圖5 改進模型前后識別效果圖

由表2可知,在檢測時間相同的情況下研究提出的CG-YOLOv5目標(biāo)檢測網(wǎng)絡(luò)在碎米的AP上比改進前的YOLOv5s網(wǎng)絡(luò)高3.7%,在準(zhǔn)確率上提高9.7%,這說明小目標(biāo)檢測層對碎米檢測有很好的效果。CG-YOLOv5相較于YOLOv5s網(wǎng)絡(luò)在平均F1精度提升2.6個百分點,mAP提升4.3個百分點,所有性能提升比較明顯。CG-YOLOv5在3類大米的檢測中對碎米的檢測效果較差,原因是碎米面積小,在圖片中所占像素點較少,因此算法對碎米檢測效果不佳。CG-YOLOv5在3類大米的檢測中對正常米的檢測效果最好,原因是正常米特征單一且在圖片所占像素點較多,因此網(wǎng)絡(luò)對正常米有很好的檢測效果。

3.2 不同注意力機制的性能對比

在基于CG-YOLOv5網(wǎng)絡(luò)的基礎(chǔ)上,采用了不同注意力機制進行實驗。將訓(xùn)練完成后的模型對大米圖像測試集進行驗證,結(jié)果如表3所示。

表3 不同注意力機制的檢測結(jié)果

從表3可以看出,有CBAM注意力機制的模型平均F1值和mAP都是最高的,性能要優(yōu)于CA、SE、SAM注意力機制的模型,相較于CA注意力機制模型平均F1值和mAP分別提升3%,所以本文選擇添加CBAM注意力機制。在平均F1值和mAP上,CBAM注意力機制比SAM分別提高2.8%和2%,這得益于通道注意力模塊。

3.3 特征可視化

為了直觀CBAM注意力機制的效果,本研究對27層結(jié)構(gòu)(如表1所示)的特征圖進行可視化,如圖6所示,使用CBAM注意力機制后獲取的特征圖中大米目標(biāo)輪廓信息更明顯,說明CBAM增強了對大米目標(biāo)信息的提取,忽略其他無關(guān)特征。

圖6 測試圖像和加入CBAM機制前后特征圖可視化

3.4 模型檢測效果對比實驗

利用相同數(shù)據(jù)集對另外8種目標(biāo)檢測網(wǎng)絡(luò)進行訓(xùn)練,得到最優(yōu)權(quán)重文件后,在測試集上進行測試,9種網(wǎng)絡(luò)的AP、mAP、平均檢測時間如表4所示。在檢測精度上,該方法的mAP為96.5%,均高于其他8種目標(biāo)檢測網(wǎng)絡(luò),比Faster R-CNN的mAP高40.9個百分點,比SSD高2.8個百分點;特別是對正常米的識別精度明顯優(yōu)于其他網(wǎng)絡(luò),并且,其他的8種目標(biāo)檢測網(wǎng)絡(luò)對正常米的檢測精度要高于碎米的平均精度。在檢測時間上,該方法的平均檢測時間為41 ms,均快于其他目標(biāo)檢測網(wǎng)絡(luò),比YOLOv3[21]快119 ms,比YOLOv4-tiny[22]快35 ms。綜合比較各個類別的AP、mAP和平均檢測時間,本研究改進的網(wǎng)絡(luò)具有更好的性能,能夠?qū)崟r檢測大米,滿足大米品質(zhì)檢測時的實時性要求。

表4 檢測網(wǎng)絡(luò)性能指標(biāo)對比

3.5 消融實驗

為探究不同模塊對網(wǎng)絡(luò)性能的影響,做了消融實驗,性能指標(biāo)如表5所示。模型的復(fù)雜度可以用參數(shù)量來衡量,參數(shù)量越小,說明模型復(fù)雜度越低。采用Ghost模塊的網(wǎng)絡(luò),在網(wǎng)絡(luò)參數(shù)量上明顯低于未使用Ghost模塊的網(wǎng)絡(luò),說明Ghost模塊具有輕量化的作用,可有效地提高模型的檢測速度。加入CBAM注意力機制的網(wǎng)絡(luò)在檢測mAP上比YOLOv5s網(wǎng)絡(luò)高2.9%,說明CBAM注意力機制能增強網(wǎng)絡(luò)對大米的特征提取。將檢測層增加為4個檢測層,雖然降低了檢測效率,但有效地提高了檢測精度,mAP值提高了3%。引入Ghost模塊的網(wǎng)絡(luò)有效地減少了模型的參數(shù)量和檢測時間,mAP提升了1.8%,充分說明了Ghost模塊不僅能減少參數(shù)量,而且能提升模型的性能。實驗結(jié)果表明,本文所提出的改進對網(wǎng)絡(luò)性能均有促進作用,CG-YOLOv5與YOLOv5s網(wǎng)絡(luò)相比mAP提高了4.3%,正常米、堊白米、碎米的AP分別提高了7.0%、2.2%、3.7%。

表5 消融實驗結(jié)果

4 結(jié)論

研究提出了一種基于改進YOLOv5s網(wǎng)絡(luò)的大米外觀品質(zhì)識別模型(CG-YOLOv5),用于檢測大米的外觀品質(zhì)識別。在YOLOv5s目標(biāo)檢測網(wǎng)絡(luò)的基礎(chǔ)上,添加了小目標(biāo)檢測層和使用Ghost輕量化模塊、融合CBAM注意力機制,提高了網(wǎng)絡(luò)結(jié)構(gòu)識別精度。

在相同數(shù)據(jù)集上實驗結(jié)果表明,改進后的YOLOv5s模型的平均F1值為92.6%,mAP為96.5%,比YOLOv5s網(wǎng)絡(luò)分別提升了2.6%和4.3%。通過實驗研究不同注意力機制對網(wǎng)絡(luò)性能的影響,表明CBAM注意力機制對網(wǎng)絡(luò)性能更有促進作用。為證明CBAM注意力機制的有效性,進行了特征圖可視化,說明CBAM增強了對大米目標(biāo)信息的提取。然后與主流的8種網(wǎng)絡(luò)進行實驗對比,本研究改進的網(wǎng)絡(luò)平均檢測精度最高,效果最好,可以用于大米品質(zhì)檢測中。