基于改進(jìn)FCN的藥瓶圓底檢測(cè)算法研究

王晨燁　陳樂(lè)庚

摘要：為提高藥瓶圓底的檢測(cè)精度，文中提出一種基于改進(jìn)FCN的語(yǔ)義分割算法。該方法根據(jù)微量藥品數(shù)據(jù)集中藥瓶圓底的特征，將FCN的主干網(wǎng)絡(luò)由VGG-16替換為ResNet-50，并引入可變形卷積模塊，完成了對(duì)藥瓶圓底的分割。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后算法的藥瓶圓底的分割精度有所提升，與其他主流算法相比較，也有著更高的檢測(cè)精度，泛化能力更強(qiáng)，更能適應(yīng)各種場(chǎng)景。實(shí)驗(yàn)數(shù)據(jù)和預(yù)測(cè)圖證實(shí)該方法可以有效提升藥瓶圓底檢測(cè)的準(zhǔn)確性與泛化性。

關(guān)鍵詞：藥瓶圓底; FCN; 語(yǔ)義分割; ResNet-50;可變形卷積

中圖分類號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）34-0023-03

1 概述

藥品是一種非常特殊的物質(zhì)，種類很多，狀態(tài)和用量要求也各不相同，若使用不恰當(dāng)則會(huì)危及人的生命安全[1]。一些粉末狀藥品的質(zhì)量極小，在毫克量級(jí)甚至微克量級(jí)，傳統(tǒng)的稱重方法是使用電子秤得到重量，但這種方法不便捷，浪費(fèi)人力，且成本較高。

近年來(lái)，基于深度學(xué)習(xí)的語(yǔ)義分割方法在圖像處理領(lǐng)域中取得了巨大的成功，深度學(xué)習(xí)方法利用網(wǎng)絡(luò)模型自動(dòng)學(xué)習(xí)目標(biāo)特征，具有較高的泛化能力和更強(qiáng)的魯棒性，可以有效提高目標(biāo)檢測(cè)的準(zhǔn)確率和效率。所以本文將使用深度學(xué)習(xí)方法進(jìn)行藥瓶圓底的檢測(cè)，盡可能減小檢測(cè)誤差，為后續(xù)的微量藥品質(zhì)量計(jì)算做準(zhǔn)備。

與傳統(tǒng)CNN相比，Jonathan Long等人[2]提出的FCN網(wǎng)絡(luò)有兩大明顯的優(yōu)勢(shì)：一是不需要所有的圖像具有相同的尺寸；二是可以避免重復(fù)存儲(chǔ)和計(jì)算卷積，省時(shí)省力。因此，本文考慮在FCN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，將主干網(wǎng)部分換成ResNet-50[3-5]，利用其跳躍連接進(jìn)行特征補(bǔ)償；引入DCNv2模塊[6]，使網(wǎng)絡(luò)可以更好地滿足藥瓶圓底分割的需要，提升檢測(cè)精度。

2 藥品圖像識(shí)別的基本原理

2.1 可變形卷積

在傳統(tǒng)CNN中，卷積核的感受野均為固定的形狀（正方形）?？勺冃尉矸e（Deformable Convolution Network，DCN） [7-8]是一種新型卷積，將其引入網(wǎng)絡(luò)，可以改變感受野的形狀，增強(qiáng)網(wǎng)絡(luò)模型適應(yīng)物體幾何變化的能力。

可變形卷積DCNv1通過(guò)在每一個(gè)神經(jīng)元上疊加一個(gè)任意方向的偏移量Δp，如公式（1） 所示，令感受野進(jìn)行自由變形，能夠較好地適應(yīng)任意形狀的目標(biāo)檢測(cè)，更加精準(zhǔn)地提取目標(biāo)的特征，如圖1所示。

DCNv1的卷積過(guò)程圖如圖2所示，經(jīng)過(guò)卷積后的offsetfield的尺寸與原圖尺寸大小相同，但通道數(shù)增加至2N個(gè)，這使得在任意位置進(jìn)行卷積時(shí)，都能夠疊加一個(gè)offset。

可變形卷積DCNv2在DCNv1的基礎(chǔ)上增加了卷積數(shù)和權(quán)重系數(shù)，使網(wǎng)絡(luò)可以精準(zhǔn)地辨別感興趣的區(qū)域，如公式（2） 所示。

2.2 算法

FCN網(wǎng)絡(luò)為編碼器-解碼器結(jié)構(gòu)[9]，將FCN的原有編碼器VGG-16替換為ResNet-50，利用其跳躍連接將前層圖像的特征信息直接映射到后層，如圖3所示，有效彌補(bǔ)了因網(wǎng)絡(luò)層數(shù)加深造成特征信息損失的現(xiàn)象，更加精準(zhǔn)地學(xué)習(xí)圖像中的目標(biāo)特征，提升檢測(cè)精度。

如圖4所示，將微量藥品數(shù)據(jù)集和標(biāo)簽集以Pascal數(shù)據(jù)集格式輸入網(wǎng)絡(luò)，并在Conv3_x、Conv4_x、Conv5_x三個(gè)階段中引入DCNv2模塊，增強(qiáng)網(wǎng)絡(luò)適應(yīng)藥瓶圓底檢測(cè)的能力。在解碼器部分，網(wǎng)絡(luò)通過(guò)使用兩個(gè)3*3大小的卷積核進(jìn)行解碼，并將得到的特征圖上采樣至Conv5_x輸出特征圖的尺寸后與之進(jìn)行特征融合，再上采樣至源圖像大小，完成對(duì)藥瓶圓底的分割。

2.3 實(shí)驗(yàn)與分析

2.3.1 實(shí)驗(yàn)軟硬件配置

本文實(shí)驗(yàn)在PyTorch框架上進(jìn)行，實(shí)驗(yàn)的硬件配置為Intel（R）Core（TM）i7-10875H CPU， NVIDIA GeForce RTX 2060 Ti GPU；軟件環(huán)境為Ubuntu操作系統(tǒng)，Cuda10.1，Cudnn7.6.3，Pytorch1.6.0，Python3.8。

根據(jù)實(shí)驗(yàn)配置，設(shè)置batch_size=4。經(jīng)過(guò)多次調(diào)試和檢測(cè)，設(shè)置learning_rate=0.005，共迭代訓(xùn)練20000次。

數(shù)據(jù)采集設(shè)備為vivo iQOO Neo5。采集的微量藥品為桂林暉昂生化藥業(yè)有限責(zé)任公司生產(chǎn)的昂達(dá)吩奇光敏抗菌粉劑。

2.3.2 圖像預(yù)處理

本文以昂達(dá)吩奇光敏抗菌粉劑為例，使用手機(jī)采集了一個(gè)微量藥品數(shù)據(jù)集，采集條件為紅光條件下，共有1308張圖片。首先將微量藥品數(shù)據(jù)集中圖片進(jìn)行灰度化處理，并將圖片裁剪至[500，500，3]尺寸；其次，利用高斯濾波疊加雙邊濾波對(duì)數(shù)據(jù)集進(jìn)行去噪聲處理，保護(hù)藥瓶圓底的邊緣信息；然后，使用標(biāo)注軟件Labelme將圖像中藥瓶底部標(biāo)記為glass，得到微量藥品的標(biāo)簽集；最后，將微量藥品數(shù)據(jù)集制作成Pascal數(shù)據(jù)集格式，按照6：2：2的比例隨機(jī)分為782張訓(xùn)練集、263張驗(yàn)證集和263張測(cè)試集，并將訓(xùn)練集投入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.3.3 藥瓶圓底檢測(cè)結(jié)果分析

在同數(shù)據(jù)集、同環(huán)境、網(wǎng)絡(luò)參數(shù)一致的情況下，將本文算法與deeplabv3、deeplabv3plus、FCN_Unet、pspnet、FCN等經(jīng)典語(yǔ)義分割算法進(jìn)行檢測(cè)效果對(duì)比，以基于深度學(xué)習(xí)的語(yǔ)義分割方法的評(píng)價(jià)指標(biāo)作為本文藥瓶圓底檢測(cè)的評(píng)價(jià)標(biāo)準(zhǔn)。通過(guò)訓(xùn)練集數(shù)量為782的微量藥品圖片訓(xùn)練20000次后，對(duì)驗(yàn)證集中的263張微量藥品圖片進(jìn)行藥瓶圓底檢測(cè)，得到幾種藥瓶圓底檢測(cè)算法的檢測(cè)精度，如表1所示，其中，batch_size=4。

由表1知，本文改進(jìn)后的算法有效提高了藥瓶圓底檢測(cè)的平均交并比和準(zhǔn)確率，但由于引入了DCNv2模塊，也相應(yīng)地增加了一些計(jì)算量，使得檢測(cè)的實(shí)時(shí)性不具備優(yōu)勢(shì)。

藥瓶圓底的檢測(cè)效果圖如圖5所示。

由圖5可知，分別在有藥品瓶、空瓶、有光線干擾的有藥品瓶的三種情況下進(jìn)行藥瓶圓底的檢測(cè)，由此可以看出，本文算法的檢測(cè)效果最好，魯棒性較強(qiáng)，可以較好地適應(yīng)各種情景，能夠較精準(zhǔn)地檢測(cè)出完整的藥瓶圓底。實(shí)驗(yàn)結(jié)果表明，本文算法能夠更精準(zhǔn)地完成對(duì)瓶底邊線的檢測(cè)，證明所提方法有效可行。

3 結(jié)束語(yǔ)

本文在FCN的基礎(chǔ)上通過(guò)ResNet-50的跳躍連接補(bǔ)償特征信息，并引入DCNv2模塊，提升網(wǎng)絡(luò)學(xué)習(xí)藥瓶圓底特征的能力，提高了藥瓶圓底檢測(cè)的精度。在微量藥品數(shù)據(jù)集下的實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法具有更好的分割優(yōu)越性，但由于引入DCNv2模塊增加了計(jì)算量，使得檢測(cè)的實(shí)時(shí)性不具備優(yōu)勢(shì)。本文的藥瓶圓底檢測(cè)實(shí)驗(yàn)中，另一個(gè)不足之處在于，由于缺少專業(yè)的設(shè)備，這使得微量藥品數(shù)據(jù)集在采集時(shí)，由于光照條件、設(shè)備成像等細(xì)微差異，會(huì)影響到藥瓶圓底的檢測(cè)的精準(zhǔn)度，從而影響到后續(xù)微量藥品質(zhì)量的計(jì)算。就目前的檢測(cè)結(jié)果而言，所提出的方法能夠?qū)崿F(xiàn)像素級(jí)別的藥瓶圓底語(yǔ)義分割，且泛化性較好，魯棒性較強(qiáng)。綜上，可以看出DCNv2在計(jì)算機(jī)視覺(jué)領(lǐng)域中具有巨大的作用，DCNv2有望在未來(lái)替代傳統(tǒng)卷積方式，全面提升圖像檢測(cè)的性能。

參考文獻(xiàn)：

[1] 黃柳.混淆藥品劑量引發(fā)的用藥不良事件思考[J].中國(guó)醫(yī)院院長(zhǎng)，2021，17（1）：19-21.

[2] Long J，Shelhamer E，Darrell T.Fully convolutional networks for semantic segmentation[C]// Boston，MA，USA：2015 IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2015：3431-3440.

[3] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[J].CoRR，2015，abs/1512.03385.

[4] 肖建峰.基于FCN+ResNet的地表建筑物識(shí)別[J].現(xiàn)代計(jì)算機(jī)，2021，27（31）：66-71.

[5] 肖晨晨，陳樂(lè)庚，王書強(qiáng).融合殘差和對(duì)抗網(wǎng)絡(luò)的跨模態(tài)PET圖像合成方法[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（1）：218-223.

[6] 周昆陽(yáng)，鄭澤斌，向陽(yáng)，等.基于改進(jìn)YOLOv4的交通信號(hào)燈倒計(jì)時(shí)數(shù)字檢測(cè)與識(shí)別[J].電腦知識(shí)與技術(shù)，2022，18（4）：7-9，21.

[7] Dai J F，Qi H Z，Xiong Y W，et al.Deformable convolutional networks[C]// Venice，Italy：2017 IEEE International Conference on Computer Vision.IEEE，2017：764-773.

[8] Zhu X Z，Hu H，Lin S，et al.Deformable ConvNets V2：more deformable，better results[C]// Long Beach，CA，USA：2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.IEEE，2019：9300-9308.

[9] 蒙雙，陳樂(lè)庚，肖晨晨.基于改進(jìn)OctConv的車道線檢測(cè)算法研究[J].計(jì)算機(jī)仿真，2021，38（5）：142-145，218.

【通聯(lián)編輯：唐一東】