基于機(jī)器視覺及深度學(xué)習(xí)的靜脈藥物調(diào)配機(jī)器人藥瓶識別

滕臻，崔國華，高鵬，陳奇

(1.河北工程大學(xué)機(jī)械與裝備工程學(xué)院，河北邯鄲 056038；2.上海工程技術(shù)大學(xué)智能機(jī)器人研發(fā)中心，上海 201620；3.深圳市博為醫(yī)療機(jī)器人有限公司，廣東深圳 518000；4.廣東省人民醫(yī)院，廣東廣州 510080)

0 前言

靜脈藥物調(diào)配機(jī)器人主要為了解決人工配置過程中存在的環(huán)境不達(dá)標(biāo)、有毒藥物揮發(fā)危害配藥人員健康、勞動強(qiáng)度大、效率低等問題。同時達(dá)到比現(xiàn)存類似機(jī)器人體積小、效率高、配置過程更加穩(wěn)定的目的，代替配藥人員自動完成靜脈輸液藥物的配置。靜脈藥物調(diào)配機(jī)器人代替了人工配藥，將藥師和醫(yī)護(hù)人員從繁忙的手動配藥中解放出來。主要功能為開啟安瓿瓶和西林瓶，并利用注射器抽取、混合瓶內(nèi)藥物，然后將混合藥液注入輸液袋中，從而可以直接拿給病人滴注使用。靜脈配藥機(jī)器人主要用來配置化療藥物等有毒藥物，必須要保證配藥的成功率及安全性。

靜脈藥物調(diào)配機(jī)器人主要由機(jī)械臂模塊、安瓿模塊、注射模塊、溶媒模塊、振動模塊、計量模塊、藥品臺模塊及外圍模塊組成的。五自由度的機(jī)械臂起到運(yùn)輸藥瓶的作用，視覺識別完成后，機(jī)械臂從藥品臺夾取藥物運(yùn)輸?shù)礁鱾€模塊。藥瓶分為安瓿瓶和西林瓶兩類，兩種藥物配藥流程不同。靜脈藥物調(diào)配機(jī)器人的操作流程是：藥師掃描處方二維碼，配藥機(jī)器人上位機(jī)獲得配藥信息；藥師按照上位機(jī)的提示將藥物按順序放入藥品臺，然后點(diǎn)擊“配藥”按鈕，藥品臺開始移動到視覺識別位置；視覺識別完成后，靜脈配藥機(jī)器人開始根據(jù)不同的藥物進(jìn)行相對應(yīng)配藥流程。在PIVAS(靜脈藥物配置中心)，藥師每天會使用配藥機(jī)器人配置大量的藥物，醫(yī)護(hù)人員在使用配藥機(jī)器人時，可能會放錯或漏放藥物。安瓿瓶藥物與西林瓶藥物的配藥流程不同。若放錯藥物，可能會導(dǎo)致配藥失敗?；熕幬锶绻谂渌巶}中破裂灑到內(nèi)部模塊上，由于配藥倉空間狹小，醫(yī)護(hù)人員在清理時會非常不方便和危險。

視覺識別的應(yīng)用能夠有效提高配藥的成功率。在配藥機(jī)器人上，傳統(tǒng)的視覺識別是基于樸素貝葉斯分類，首先對采集的圖片進(jìn)行分割、灰度化處理、膨脹腐蝕、邊緣提取等一系列操作，然后通過貝葉斯分類算法識別藥瓶種類。這種藥瓶識別方式有很大的缺陷：受環(huán)境干擾性大，必須在穩(wěn)定背景光源下識別成功率才能達(dá)到標(biāo)準(zhǔn)。隨著深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展，目標(biāo)檢測領(lǐng)域得到了新的關(guān)注，并且在不斷發(fā)展。本文作者以識別藥瓶為研究對象，提出了一種基于YOLOv5s的靜脈藥物調(diào)配機(jī)器人識別藥物的算法，實(shí)現(xiàn)了對藥瓶的高效識別。該方法有效提高了配藥機(jī)器人的配藥成功率。

1 YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv5網(wǎng)絡(luò)是YOLO體系結(jié)構(gòu)系列的最新產(chǎn)品。YOLOv5網(wǎng)絡(luò)包含4種不同的體系結(jié)構(gòu),分別是YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。YOLOv5通過depth multiple和width multiple兩個參數(shù)來改變網(wǎng)絡(luò)的深度和寬度。其中，YOLOv5s是這4個網(wǎng)絡(luò)模型中深度和寬度最小的網(wǎng)絡(luò)，因此YOLOv5s具有很強(qiáng)的靈活性，并且YOLOv5s網(wǎng)絡(luò)具有模型尺寸小和檢測速度快等優(yōu)點(diǎn)，同時降低了識別模型的部署成本。本文作者選擇 YOLOv5s 作為藥瓶檢測和分類的模型，在自己制作的藥瓶數(shù)據(jù)集上對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用訓(xùn)練完成的YOLOv5s實(shí)現(xiàn)藥瓶的自動分類。

YOLOv5的整體布局與YOLOv4相似，同樣將網(wǎng)絡(luò)結(jié)構(gòu)劃分成輸入端、Backbone、Neck、Prediction 4個部分。如圖1所示,輸入端：YOLOv5采用Mosaic數(shù)據(jù)增強(qiáng)方式，并加入了自適應(yīng)圖片縮放與自適應(yīng)錨框計算。Backbone：采用Focus結(jié)構(gòu)，CSP結(jié)構(gòu)。Focus是主干網(wǎng)的第一層模塊，其目的是減少模型的計算量，加快訓(xùn)練速度。其原理是使用切片操作將輸入的3通道608×608×3的圖像分割成4個切片，每個切片的大小為304×304×3，再利用concat模塊將4個部分進(jìn)行深度連接，輸出特征圖大小為304×304×12；然后通過由32個卷積核組成的卷積層，生成大小為304×304×32的輸出特征圖；最后，通過BN層與Hardswish激活函數(shù)將結(jié)果輸出到下一層。YOLOv5中設(shè)計了兩種不同的CSP結(jié)構(gòu)，分別是CSP1-X結(jié)構(gòu)和CSP2-X結(jié)構(gòu)。主干網(wǎng)絡(luò)中采用CSP1-X結(jié)構(gòu)，它的目的是更好地提取圖像的深層特征。主干網(wǎng)的最后一層是SPP模塊，該模塊通過將任意大小的特征圖轉(zhuǎn)換為固定大小的特征向量來提高網(wǎng)絡(luò)的接收場。Neck:YOLOv5采用FPN和PAN結(jié)構(gòu)。頸部網(wǎng)絡(luò)中采用的是CSP2-X結(jié)構(gòu)。頸部網(wǎng)絡(luò)是組合與混合圖像特征的特征聚合層，主要用于生成特征金字塔網(wǎng)絡(luò)(FPN)，然后將輸出的特征映射傳送到檢測網(wǎng)絡(luò)。YOLOv5采用了一種新的FPN結(jié)構(gòu)，增強(qiáng)了自底向上的路徑，提高了底層特征的傳輸，增強(qiáng)了對不同尺度目標(biāo)的檢測。Prediction：采用GlOU-Loss作為損失函數(shù)，檢測網(wǎng)絡(luò)主要用于模型的最終檢測部分。

圖1 YOLOv5s結(jié)構(gòu)

2 YOLOv5s網(wǎng)絡(luò)模型訓(xùn)練

此次實(shí)驗(yàn)自制一個數(shù)據(jù)集，首先手動拍照采集1 200張圖片，并用labelImg軟件進(jìn)行標(biāo)定。從1 200幅圖像中隨機(jī)抽取1 000幅圖像作為訓(xùn)練集，100幅圖像作為測試集，其余100幅做驗(yàn)證集。其次，為了提高藥瓶目標(biāo)識別模型的訓(xùn)練效率，對訓(xùn)練集的1 000幅圖像進(jìn)行了壓縮，將其長度和寬度壓縮到原來的1/4。

由于數(shù)據(jù)集較小，為了提高藥瓶目標(biāo)檢測模型的泛化能力，利用MATLAB軟件的圖像處理功能，分別對訓(xùn)練集的1 000幅圖像采用了幾種圖像增強(qiáng)方法。圖像增強(qiáng)方法包括圖像亮度增強(qiáng)和降低、垂直鏡像、水平鏡像、多角度旋轉(zhuǎn)(90°、180°、270°)等。考慮到相機(jī)在圖像采集過程中產(chǎn)生的噪聲以及采集到的圖片由于采集時相機(jī)的抖動而產(chǎn)生的模糊，在圖像中加入方差為0.01的高斯噪聲，進(jìn)行運(yùn)動模糊處理。

此次實(shí)驗(yàn)具體實(shí)驗(yàn)配置如表1所示。

表1 目標(biāo)檢測實(shí)驗(yàn)環(huán)境配置

此次研究采用端到端的隨機(jī)梯度下降法(SGD)訓(xùn)練YOLOv5s網(wǎng)絡(luò)。將模型訓(xùn)練的BatchSize設(shè)置為16，每次由BN層進(jìn)行正則化以更新模型的權(quán)重。動量因子設(shè)定為0.9，衰減系數(shù)設(shè)定為0.000 5，權(quán)值的初始學(xué)習(xí)率設(shè)定為0.01。將訓(xùn)練次數(shù)設(shè)為300次，訓(xùn)練后保存識別模型的權(quán)值文件，利用測試集對模型的性能進(jìn)行評價。

圖2為tensorboard可視化顯示訓(xùn)練和測試結(jié)果。其平均精度均值(mAP)、召回率(recall)、查準(zhǔn)率(precision)和損失函數(shù)(giou_loss)如圖2所示。YOLOv5s剛開始的損失函數(shù)值較小，在訓(xùn)練100輪左右趨于穩(wěn)定，損失曲線如圖2(d)所示，損失值在網(wǎng)絡(luò)訓(xùn)練的前50個階段迅速下降，并且基本上在訓(xùn)練100個階段后趨于穩(wěn)定。召回率的曲線表明模型訓(xùn)練良好，沒有過度擬合。本文作者以經(jīng)過300次訓(xùn)練后的模型輸出作為靜脈配藥機(jī)器人的藥瓶目標(biāo)識別模型。

圖2 模型訓(xùn)練階段驗(yàn)證損失

3 測試結(jié)果與分析

實(shí)驗(yàn)的硬件環(huán)境如圖3所示，以具有獨(dú)立層流的配藥機(jī)器人內(nèi)部作為測試場景。工業(yè)相機(jī)與背景光源之間距離約600 mm，藥瓶放置于背景光源之前。通過工業(yè)攝像頭，可以一次進(jìn)行12只藥瓶的識別和測量。外部光源采用機(jī)器人內(nèi)部的照明光源，從左上方照射。背景光源和外部光源均20級可調(diào)。

圖3 不同類型藥瓶識別實(shí)驗(yàn)環(huán)境

對比實(shí)驗(yàn)分別采用背景光源和外部光源情況下，采用基于貝葉斯方法的藥瓶分類以及基于YOLOv5s分類方法進(jìn)行實(shí)驗(yàn)。采用外部光源情況下，如圖4所示，由于光線照射角度不一致、物品之間的遮擋等因素，產(chǎn)生很多明暗不同的情況，且對于透明的安瓿瓶，其視覺效果接近人的視覺，不容易從背景中分離出來。而采用背景平行光源的情況下，如圖5所示，藥瓶輪廓呈明顯的黑色，藥瓶較容易辨識。

分別在外部光源和平行光源條件下改變曝光度，在每個不同曝光度下進(jìn)行20次對比實(shí)驗(yàn)，每次放置12個藥瓶到藥品臺。準(zhǔn)確率等于所有識別成功的瓶數(shù)除以總瓶數(shù)。結(jié)果繪制如下：圖6為采用外部光源情況下的實(shí)驗(yàn)結(jié)果；圖7為采用背景平行光源的情況下的實(shí)驗(yàn)結(jié)果。

圖4 采用外部光源的實(shí)驗(yàn)效果

圖5 采用背景平行光源的實(shí)驗(yàn)效果

圖6 外部光源不同曝光度對識別準(zhǔn)確率的影響 圖7 背景光源不同曝光度對識別準(zhǔn)確率的影響

通過對比可得：

(1)在采用外部光源的情況下，基于樸素貝葉斯方法的藥瓶分類效果明顯差于基于深度學(xué)習(xí)方法的效果,尤其在透明安瓿瓶的識別上，識別率更低。

(2)在采用背景平行光源的情況下，貝葉斯方法在曝光度40～80之間時，可實(shí)現(xiàn)與深度學(xué)習(xí)方法相同的識別率。在曝光度過低或過高的情況下，基于貝葉斯分類器的算法不能完整提取出藥瓶輪廓，貝葉斯方法識別率下降更迅速。

(3)外部光源和背景光源曝光度在過低、過高區(qū)域時，兩種方法均會出現(xiàn)識別率下降的情況。在有背景光源條件下，高曝光度會導(dǎo)致兩種方法識別率快速下降，過高的曝光度會造成貝葉斯方法完全識別不出藥瓶。

(4)采用深度學(xué)習(xí)方法的藥瓶識別對于光源的敏感度相對較低，尤其在50～100曝光度范圍，兩種光源情況下識別率基本一致。

基于上述實(shí)驗(yàn)效果，可以得出在針對藥瓶類型的識別中，YOLOv5s比傳統(tǒng)的藥瓶識別技術(shù)識別正確率更高、抗干擾性更強(qiáng)、魯棒性更好?；谪惾~斯分類器的識別方法必須在光源合適的時候才能保證識別的正確率。YOLOv5s的應(yīng)用場景更廣，可以在不具備較高光源條件的情況下使用。

4 結(jié)論

針對不同工作環(huán)境下的靜脈藥物調(diào)配機(jī)器人對藥瓶類型的識別，分別提出了采用基于機(jī)器視覺和貝葉斯方法的識別方法,以及基于深度學(xué)習(xí)YOLOv5s框架的識別方法。并深入研究了兩種方法在外部光源、背景光源不同情況下的識別效果。

通過對比可以得到結(jié)論，基于YOLOv5s網(wǎng)絡(luò)的藥瓶分類檢測模型在不同光照、角度等條件下，檢測準(zhǔn)確度高、實(shí)時性強(qiáng)、魯棒性高?？梢允褂迷诟嗟娜蝿?wù)場景下，如不具備背景光源條件的臺式配藥機(jī)器人、不具備布置背景光源的工序上。但在對于藥瓶尺寸的精準(zhǔn)測量上，基于機(jī)器視覺的方法配合背景光源仍是重要的非接觸式測量方法之一。藥瓶的識別、尺寸的測量作為機(jī)器人配藥的中間環(huán)節(jié)之一，應(yīng)根據(jù)不同機(jī)器人的使用場景、方式、目的進(jìn)行靈活選擇。