基于深度學(xué)習(xí)的粘連米粒實(shí)例分割算法研究

尚玉婷， 王 粵， 劉 彬

(浙江工商大學(xué)信息與電子工程學(xué)院，杭州 310018)

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展，人們的生活水平不斷提高，對(duì)優(yōu)質(zhì)大米的需求也與日俱增。碎米率、黃米率、堊白粒率、堊白度是評(píng)測(cè)大米外觀品質(zhì)的重要指標(biāo)。在抽樣檢測(cè)臺(tái)上由于米?？赡芟嗷ビ|碰、粘連，采集的圖像若不進(jìn)行分割預(yù)處理會(huì)造成后續(xù)大米外觀品質(zhì)評(píng)測(cè)的失誤?，F(xiàn)有的粘連米粒分割方法主要是基于形態(tài)腐蝕和膨脹的邊緣檢測(cè)算法、基于分水嶺變換的區(qū)域分割算法、基于輪廓分析的算法和基于凹點(diǎn)匹配的算法。張芹等[1]針對(duì)分水嶺算法容易產(chǎn)生過(guò)分割的問(wèn)題，運(yùn)用改進(jìn)多尺度梯度圖像解決了由結(jié)構(gòu)元素的尺寸增大而引起的梯度圖像邊界增大的問(wèn)題，從而使米粒邊界更加清晰，更易于分割，但相比分水嶺算法增加了計(jì)算復(fù)雜性。王粵等[2]基于粘連米粒內(nèi)輪廓和外輪廓線上各像素點(diǎn)的曲率方向特征提出一種新的獲取粘連點(diǎn)的方法，并根據(jù)粘連點(diǎn)的曲率伸展方向和粘連點(diǎn)之間的距離對(duì)粘連點(diǎn)進(jìn)行配對(duì)，實(shí)現(xiàn)粘連米粒的分割，盡可能多地保留了米粒邊緣信息，分割準(zhǔn)確率較高。孫志恒[3]基于全局凹點(diǎn)匹配方式的不足提出了一種基于局部凹點(diǎn)匹配的分割算法，并使用基于距離變換函數(shù)的分割算法解決孤立凹點(diǎn)無(wú)法匹配的問(wèn)題，該算法準(zhǔn)確率高，但耗時(shí)較久。

近年來(lái)，基于深度學(xué)習(xí)的實(shí)例分割成為計(jì)算機(jī)視覺(jué)領(lǐng)域的一大研究熱點(diǎn)。Ren等[4]以Faster R-CNN檢測(cè)算法為原型，提出了Mask R-CNN[5]實(shí)例分割算法，該算法在Faster R-CNN的基礎(chǔ)上增加了一個(gè)與分類和邊界框回歸分支并行的新分支用于分割任務(wù)，先通過(guò)目標(biāo)檢測(cè)的方法找出每個(gè)實(shí)例所在的區(qū)域，然后在檢測(cè)框內(nèi)進(jìn)行語(yǔ)義分割，輸出實(shí)例掩膜。隨后的Mask Scoring R-CNN[6]、SOLOv2[7]、YOLACT[8]、BlendMask[9]方法在實(shí)例分割和檢測(cè)精度方面均取得了較好的效果，但大量的計(jì)算限制了其在移動(dòng)終端或嵌入式設(shè)備上的部署。為了減少內(nèi)存訪問(wèn)成本，提高GPU計(jì)算效率，Lee等[10]提出了用于目標(biāo)檢測(cè)的主干網(wǎng)絡(luò)VoVNet，使用OSA(One-Shot Aggregation)模塊解決密集連接帶來(lái)的特征冗余問(wèn)題。Lee等[11]在VoVNet的基礎(chǔ)上引入了ResNet的殘差連接和SENet的eSE模塊，提出了VoVNetV2網(wǎng)絡(luò)，緩解了堆疊OSA模塊造成梯度反向傳播困難的問(wèn)題，進(jìn)一步增強(qiáng)特征，提升模型性能。本實(shí)驗(yàn)提出了輕量級(jí)的粘連米粒實(shí)例分割網(wǎng)絡(luò)RiceInstNet，主干網(wǎng)絡(luò)由兩個(gè)改進(jìn)的VoVNetV2網(wǎng)絡(luò)并行組成，在大規(guī)模減少網(wǎng)絡(luò)參數(shù)的同時(shí)加強(qiáng)對(duì)粘連米粒圖像的特征提取，另外在掩膜分支上增加了學(xué)習(xí)物體邊界的子網(wǎng)絡(luò)，利用邊界特征豐富掩膜特征并促進(jìn)掩膜預(yù)測(cè)得更加精細(xì)。與Mask R-CNN相比，RiceInstNet網(wǎng)絡(luò)模型小，參數(shù)少，更適合集成到移動(dòng)終端、嵌入式設(shè)備等。

1 粘連米粒分割網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建

Mask R-CNN算法通常以深度殘差網(wǎng)絡(luò)ResNet作為主干網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取[12]，隨著網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)提取特征的能力也越來(lái)越高，但由于深層網(wǎng)絡(luò)需要大量的計(jì)算來(lái)學(xué)習(xí)參數(shù)，對(duì)硬件的要求較高?？紤]到農(nóng)作物外觀質(zhì)量檢測(cè)通常需要在現(xiàn)場(chǎng)實(shí)地進(jìn)行，而移動(dòng)設(shè)備因?yàn)橛布Y源和算力有限，難以運(yùn)行復(fù)雜的深度學(xué)習(xí)模型。因此本實(shí)驗(yàn)對(duì)現(xiàn)有的Mask R-CNN網(wǎng)絡(luò)進(jìn)行調(diào)整優(yōu)化，構(gòu)建了一個(gè)輕量級(jí)的粘連米粒實(shí)例分割網(wǎng)絡(luò)RiceInstNet。主要對(duì)Mask R-CNN進(jìn)行3點(diǎn)改進(jìn)：采用2個(gè)改進(jìn)的VoVNetV2并行作為Mask R-CNN的主干網(wǎng)絡(luò)，在大規(guī)模減少網(wǎng)絡(luò)參數(shù)的同時(shí)加強(qiáng)對(duì)粘連米粒圖像的特征提取；在掩膜分支上增加了學(xué)習(xí)物體邊界的子網(wǎng)絡(luò)，利用邊界特征豐富掩膜特征并促進(jìn)掩膜預(yù)測(cè)得更加精細(xì)；對(duì)損失函數(shù)進(jìn)行了優(yōu)化。RiceInstNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 RiceInstNet網(wǎng)絡(luò)結(jié)構(gòu)

1.1 主干特征提取網(wǎng)絡(luò)

為增強(qiáng)對(duì)粘連米粒圖像的特征提取，采用2個(gè)調(diào)整后的VoVNetV2網(wǎng)絡(luò)并行提取圖像特征得到不同尺度的特征圖，將每個(gè)VoVNetV2分支提取出來(lái)的具有相同尺度的特征圖逐元素相加，對(duì)相加后的結(jié)果采用ReLU非線性激活函數(shù)減少參數(shù)之間的相互依賴，隨后由特征金字塔網(wǎng)絡(luò)FPN[13]對(duì)不同尺度的特征圖進(jìn)行特征融合。

表1 VoVNetV2網(wǎng)絡(luò)結(jié)構(gòu)

圖2 OSA模塊

1.2 邊界子網(wǎng)絡(luò)

(1)

式中：Fb表示輸出邊界特征，f表示1×1卷積和ReLU激活函數(shù)。將最終的邊界特征與掩膜特征融合，可以利用邊界信息豐富掩膜特征，促進(jìn)掩膜預(yù)測(cè)更加精確。融合機(jī)制與式(1)相同。預(yù)測(cè)器由1個(gè)2×2反卷積和1個(gè)1×1卷積構(gòu)成，會(huì)為每個(gè)目標(biāo)生成1個(gè)掩膜和1個(gè)邊界，得到最終輸出。

1.3 損失函數(shù)的優(yōu)化

由于邊界和掩膜由2個(gè)融合塊交叉連接，聯(lián)合訓(xùn)練可以增強(qiáng)邊界和掩膜預(yù)測(cè)的特征表示。本實(shí)驗(yàn)在Mask R-CNN的基礎(chǔ)上添加了邊界損失Lb。由于邊界分類的訓(xùn)練像素比掩膜分類的訓(xùn)練像素少，而Dice loss不僅可以衡量預(yù)測(cè)值和真實(shí)值之間的重疊程度，而且對(duì)前景/背景像素的數(shù)量不敏感，能夠緩解類別不平衡問(wèn)題[15]。在本實(shí)驗(yàn)中，粘連大米像素點(diǎn)作為前景像素相對(duì)較多，僅選擇binary cross-entropy loss作為損失函數(shù)無(wú)法進(jìn)行準(zhǔn)確的分割，因此結(jié)合Dice loss和binary cross-entropy loss來(lái)優(yōu)化邊界學(xué)習(xí)任務(wù)，并使用拉普拉斯算子捕捉二進(jìn)制掩膜真實(shí)值中的邊界，轉(zhuǎn)換為二進(jìn)制圖作為邊界的真實(shí)值。邊界損失Lb的計(jì)算如式(2)所示：

Lb(pb,yb)=LDice(pb,yb)+λLBCE(pb,yb)

(2)

LDice(pb,yb)=

(3)

L=Lcls+Lbox+Lmask+Lb

(4)

其中，Dice loss的計(jì)算如式(3)所示，H和W分別是預(yù)測(cè)邊界圖的高度和寬度，pb∈RH×W表示特定類別的預(yù)測(cè)邊界，yb∈RH×W表示相應(yīng)的邊界真實(shí)值。λ是一個(gè)調(diào)整Dice loss權(quán)重的超參數(shù)(在所有的實(shí)驗(yàn)中都設(shè)置了λ=1)。由此，每個(gè)樣本的損失公式如式(4)所示，其中分類損失Lcls、回歸損失Lbox和掩膜損失Lmask繼承自Mask R-CNN，掩膜損失Lmask是針對(duì)每個(gè)實(shí)例特定類別像素級(jí)的二進(jìn)制交叉熵?fù)p失。

2 粘連米粒分割實(shí)驗(yàn)

2.1 數(shù)據(jù)集采集

針對(duì)市面上現(xiàn)有的常見米粒，選取了長(zhǎng)粒米和圓粒米對(duì)算法有效性進(jìn)行驗(yàn)證。使用HV1351UC大恒相機(jī)，12 mm真彩色高清攝像頭，配合環(huán)形光源，共采集了1 120張圖像，其中長(zhǎng)粒米和圓粒米的比例約為1∶1，采集樣本的圖像分辨率為512×512，每幅圖像中的米粒粘連程度各不相同，含有米粒數(shù)在20～70顆不等，采集樣本如圖3所示。

圖3 米粒采集樣本

2.2 數(shù)據(jù)集制作

為了增加樣本的數(shù)量和多樣性，防止過(guò)擬合，在保持粘連米粒圖像仍具有其要表達(dá)的含義的情況下，對(duì)每幅粘連米粒圖像進(jìn)行了水平/垂直翻轉(zhuǎn)、不同角度旋轉(zhuǎn)、模糊、噪聲和亮度操作，使數(shù)據(jù)集的體積增加到5 000幅樣本，將樣本按4∶1的比例隨機(jī)劃分出訓(xùn)練集和測(cè)試集，得到4 000幅訓(xùn)練集，1 000幅測(cè)試集。使用Labelme軟件對(duì)增強(qiáng)后的粘連米粒圖像進(jìn)行標(biāo)注，在每幅圖像中將每顆米標(biāo)注為一個(gè)獨(dú)立的連通域，賦予標(biāo)簽rice，圖4為標(biāo)注后的米粒圖像。每標(biāo)注完一幅圖像可以得到一個(gè)對(duì)應(yīng)的json文件。將Labelme標(biāo)注的json數(shù)據(jù)轉(zhuǎn)換成COCO數(shù)據(jù)集的格式即可開始訓(xùn)練。

圖4 粘連米粒標(biāo)注圖像

2.3 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)環(huán)境為Ubuntu18.04， 2顆8核Inter E5-2620V42.0Ghz處理器，1塊NVIDIA TITAN GPU，CUDA版本為10.1，CUDNN版本為7.6。RiceInstNet模型基于Pytorch框架實(shí)現(xiàn)，采用學(xué)習(xí)速率為0.002 5的隨機(jī)梯度下降(SGD)作為優(yōu)化器，權(quán)重衰減率設(shè)置為0.000 1，動(dòng)量因子為0.9，訓(xùn)練35個(gè)epoch，每個(gè)epoch迭代500次，訓(xùn)練過(guò)程共計(jì)17 500次。

3 結(jié)果與分析

3.1 不同主干網(wǎng)絡(luò)對(duì)分割結(jié)果的影響

本實(shí)驗(yàn)在Mask R-CNN中使用不同的主干網(wǎng)絡(luò)對(duì)粘連米粒圖像進(jìn)行了分割實(shí)驗(yàn)，以平均精度AP、召回率Recall、模型大小、參數(shù)量作為衡量分割模型性能的評(píng)價(jià)指標(biāo)，基于不同主干網(wǎng)絡(luò)的Mask R-CNN模型性能如表2所示。使用改進(jìn)后的單分支VoVNetV2作為主干網(wǎng)絡(luò)的Mask R-CNN模型相比使用原有的VoVNetV2-19作為主干網(wǎng)絡(luò)的Mask R-CNN模型，其平均精度(AP)和召回率由原來(lái)的89.9%、93.4%降低到84.3%、88.6%，分別降低了5.6%、4.8%，而使用改進(jìn)的雙分支VoVNetV2作為主干網(wǎng)絡(luò)的Mask R-CNN模型相比使用原有的VoVNetV2-19作為主干網(wǎng)絡(luò)的Mask R-CNN模型，其平均精度和召回率只降低了0.4%、0.8%，同時(shí)模型參數(shù)量不到原來(lái)的三分之一。說(shuō)明原有的19層卷積網(wǎng)絡(luò)對(duì)本實(shí)驗(yàn)研究的粘連米粒分割任務(wù)有較大冗余，降低其卷積層數(shù)量和通道數(shù)量并采用雙分支主干網(wǎng)絡(luò)并行提取圖像特征能夠在基本不影響模型性能的情況下大幅降低模型參數(shù)量。相比經(jīng)典的基于ResNet-50的Mask R-CNN模型，基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型平均精度和召回率分別提高了2.3%、2.9%，同時(shí)由表2可以看出，基于ResNet-50的Mask R-CNN 模型參數(shù)量是基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型的11.7倍；此外MobileNetV2、MobileNetV3作為輕量級(jí)主干網(wǎng)絡(luò)的典型代表，基于二者的Mask R-CNN模型參數(shù)量分別是基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型的6.2倍和3.5倍，且分割精度和召回率均低于后者。由此可以看出本實(shí)驗(yàn)提出的改進(jìn)的雙分支VoVNetV2主干網(wǎng)絡(luò)不僅能夠提升粘連米粒實(shí)例分割模型的性能，而且整個(gè)網(wǎng)絡(luò)參數(shù)量較低，具備應(yīng)用到移動(dòng)嵌入式大米外觀品質(zhì)檢測(cè)設(shè)備上的能力。

表2 基于不同主干網(wǎng)絡(luò)的Mask R-CNN模型 對(duì)圓粒米/長(zhǎng)粒米的分割結(jié)果比較

基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型對(duì)粘連米粒圖像分割的可視化結(jié)果如圖5a、圖5b所示，對(duì)于圓粒米、長(zhǎng)粒米，分割模型基本可以將米粒輪廓之間的粘連區(qū)域分割開，實(shí)現(xiàn)粘連米粒實(shí)例級(jí)別的分割，且分割前后米粒個(gè)數(shù)相同，不存在漏分割、誤分割的情況。此外，采用100幅含有圓粒米和長(zhǎng)粒米的混合米粒圖像作為測(cè)試集，使用基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型進(jìn)行分割，結(jié)果如表3所示，發(fā)現(xiàn)模型在混合米粒上也有較高的分割精度和召回率，分割可視化效果和圓粒米/長(zhǎng)粒米的效果相似，如圖5c所示。

圖5 基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN 模型對(duì)不同類型的米粒分割可視化結(jié)果

表3 基于改進(jìn)的雙分支VoVNetV2的Mask R-CNN模型對(duì)不同類型的米粒分割結(jié)果比較

3.2 邊界子網(wǎng)絡(luò)對(duì)分割結(jié)果的影響

本實(shí)驗(yàn)提出的RiceInstNet模型在改進(jìn)的雙分支VoVNetV2基礎(chǔ)上添加了邊界子網(wǎng)絡(luò)模塊，實(shí)驗(yàn)結(jié)果如表4所示，可視化效果如圖6所示。由表4可知，RiceInstNet模型相比基于ResNet-50的Mask R-CNN模型，平均精度和召回率分別從87.2%、89.7%提升至90.4%、93.7%。相比基于改進(jìn)的雙分支VoVNetV2但沒(méi)有添加邊界子網(wǎng)絡(luò)的Mask R-CNN模型，精度和召回率分別提升了0.9%、1.1%，模型參數(shù)量稍有增長(zhǎng)。由可視化分割結(jié)果圖6可以看出，基于ResNet-50的Mask R-CNN模型分割結(jié)果存在較多明顯的誤差，粘連部分分割粗糙、呈鋸齒狀，基于VoVNetV2-19的Mask R-CNN模型出現(xiàn)欠分割、過(guò)分割的現(xiàn)象，基于改進(jìn)的雙分支VoVNetV2但沒(méi)有添加邊界子網(wǎng)絡(luò)的Mask R-CNN模型則存在米粒粘連區(qū)域部分未預(yù)測(cè)現(xiàn)象，而本實(shí)驗(yàn)提出的RiceInstNet模型在米粒粘連區(qū)域分割更加精細(xì)，預(yù)測(cè)出來(lái)的掩膜也較為完整，在大米邊緣處更加平滑。

表4 添加邊界子網(wǎng)絡(luò)的模型與其他模型 對(duì)圓粒米/長(zhǎng)粒米的分割結(jié)果比較

圖6 不同分割模型的可視化結(jié)果

3.3 損失函數(shù)對(duì)分割結(jié)果的影響

本實(shí)驗(yàn)對(duì)損失函數(shù)進(jìn)行了優(yōu)化，為驗(yàn)證損失函數(shù)的有效性，做了3組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。結(jié)合Dice loss和binary cross-entropy loss來(lái)約束邊界損失，比單獨(dú)使用兩者中的任何一個(gè)精度均有提升，且IoU閾值越高，本實(shí)驗(yàn)損失函數(shù)與其他兩種方法之間的差距越大。例如當(dāng)IoU=0.5時(shí)，本實(shí)驗(yàn)損失函數(shù)比其他2種損失函數(shù)高1.1%，而IoU=0.9的時(shí)候，差距擴(kuò)大到4.1%，這表明損失函數(shù)可以達(dá)到預(yù)期效果。

表5 損失函數(shù)在不同IoU閾值下的精度比較/%

4 結(jié)論

本實(shí)驗(yàn)提出了一種輕量級(jí)的實(shí)例分割網(wǎng)絡(luò)RiceInstNet，它將粘連在一起的米粒分割成單顆米粒，為后續(xù)的大米外觀質(zhì)量檢測(cè)提供高精度的圖像預(yù)處理技術(shù)。相比基于經(jīng)典的ResNet-50的Mask R-CNN模型，RiceInstNet在不損失準(zhǔn)確度的情況下，大大減少了網(wǎng)絡(luò)模型的參數(shù)量。相比基于輕量級(jí)的MobileNetV2、MobileNetV3的Mask R-CNN模型，本實(shí)驗(yàn)?zāi)Ｐ头指罹雀?，且分割出的米粒粘連區(qū)域更加精細(xì)、米粒輪廓更加平滑。今后可在此分割的基礎(chǔ)上，添加碎米率、黃米粒率、堊白粒率、堊白度等檢測(cè)模塊，從而構(gòu)建一個(gè)完整的大米外觀質(zhì)量檢測(cè)系統(tǒng)。