基于加權(quán)K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法

劉軍，辛秋生，李文燦，盧志敏，黃艷輝，楊鳳

基于加權(quán)K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法

劉軍1，辛秋生2*，李文燦3，盧志敏3，黃艷輝2，楊鳳1

1 衢州學院機械工程學院，浙江衢州九華北大道78號 324000；2 東華理工大學機械與電子工程學院，江西南昌廣蘭大道418號 330013；3 龍巖煙草工業(yè)有限責任公司，福建龍巖乘風路1299號 364000

【目的】針對卷煙廠物料輸送巷道因人員闖入或穿梭車運載散落物料（統(tǒng)一稱為“異物”）導致的安全隱患及其檢測存在的實時性和準確性問題。【方法】提出一種改進的YOLOv4的物料輸送巷道異物視覺檢測方法。采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡，一方面解決CSPDarknet53參數(shù)過多而導致實時性差的問題，另一方面增強小物體特征提取能力；利用加權(quán)K-means對錨框進行聚類，解決初始錨框?qū)ο锏喇愇锊贿m應問題?！窘Y(jié)果】通過卷煙廠物料輸送巷道狀態(tài)數(shù)據(jù)集訓練與現(xiàn)場應用，該方法對異物的平均檢測精度達98.48%，誤檢率為0.62%，檢測速度為58 FPS?！窘Y(jié)論】該方法達到較好的檢測效果且具有較好的泛化能力。

穿梭車；YOLOv4；視覺檢測；SE注意力機制；加權(quán)K-means；錨框

物料輸送穿梭車的安全運行是保證卷煙廠生產(chǎn)的重要環(huán)節(jié)，穿梭車運行的物料輸送巷道的轉(zhuǎn)彎、銜接等形成不可避免的防護缺口，運行中的穿梭車裝載的物料亦難免出現(xiàn)散落狀況，導致穿梭車運行故障甚至存在安全隱患，因此對物料輸送巷道的實時安全檢測具有重要意義。

目前卷煙廠物料輸送巷道普遍采用人工巡檢[1]和激光檢測方法。人工巡檢是通過現(xiàn)場人工巡查或人眼觀察輸送巷道監(jiān)控視頻，以確保穿梭車安全運行，人工方法雖能較準確排除安全隱患，但實時性無法保障。激光檢測法則通過定點安裝的單點激光發(fā)射-穿梭車上的某點反射-激光接收的方式反饋輸送巷道是否通暢，該方法雖然可實現(xiàn)實時檢測，但除了激光發(fā)射-反射路徑之外皆為盲區(qū)，產(chǎn)生嚴重的漏檢現(xiàn)象，無法保證穿梭車的安全運行。

隨著人工智能深度學習的發(fā)展，機器視覺檢測及其應用取得了跨越性的提升，利用基于深度學習方法對軌道/巷道安全運行檢測的研究獲得了較多關(guān)注與深入開展。張雪艷[2]提出單定點多邊框檢測器SSD（single shot Multibox Detector）用于運輸軌道異物檢測，旨在解決軌道異物目標檢測特征提取難度高、算法性能易受周圍環(huán)境影響的問題，但該算法的實時性和預測框的準確度不高。王偉[3]利用改進的運動目標自適應ViBe算法進行軌道異物入侵檢測方法，以抑制ViBe算法的Ghost區(qū)域，減少因環(huán)境變化產(chǎn)生誤檢或漏檢情況，但該算法對小目標檢測的適應性較差。劉力[4]提出一種歐式距離度量代替隨機選擇的K-means軌道障礙物檢測方法，用以解決侵限異物檢測方法檢測類別單一性和實時性差的問題，但該方法的檢測精度與對小目標物體檢測未達到良好效果。

針對卷煙廠物料輸送穿梭車的安全運行和現(xiàn)有方法存在的原理和適用性問題，本文提出一種基于加權(quán)K-means（Weighted K-means，WK-means）與GhostNet融合YOLOv4的物料輸送巷道異物檢測方法。首先利用WK-means對錨框進行聚類，解決初始錨框?qū)ο锏喇愇锊贿m應問題，再采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡，在解決CSPDarknet53參數(shù)過多而導致實時性差的問題的同時增強小物體特征提取能力，進而實現(xiàn)物料輸送巷道異物的在線、準確檢測。

1 改進的YOLOv4模型目標檢測模型

1.1 YOLOv4模型

1.2 GhostNet-SE網(wǎng)絡模型

針對YOLOv4模型中CSPDarknet53參數(shù)過多而導致實時性差的問題，同時為增強小物體特征提取能力，采用融合SE注意力機制的GhostNet作為YOLOv4模型特征提取網(wǎng)絡，以Ghost模塊為核心，結(jié)合傳統(tǒng)卷積和線性變換[6]。Ghost模塊是基于傳統(tǒng)卷積生成特征圖再利用特征圖進行線性變換得到相似特征圖，從而產(chǎn)生高維卷積效果的方式，減少了模型參數(shù)和計算量。

為豐富特征圖的特征信息，將SE（Squeeze-and- Excitation）注意力模塊[7]與GhostNet融合進行特征提取，旨在確保異物特征提取魯棒性的同時增加異物特征的權(quán)重[8]。

SE注意力機制如圖1所示。SE注意力機制首先將物料輸送巷道圖像經(jīng)過GhostNet獲取特征層X（圖像通道數(shù)、圖像高度和圖像寬度分別為c、h和w）進行傳統(tǒng)卷積獲得特征層Y（圖像通道數(shù)、圖像高度和圖像寬度分別為1、h和w），再將特征層Y通過SE注意力模塊，包括Squeeze和Excitation兩項操作，即（1）對特征層Y進行全局平均池化，把×w的特征層轉(zhuǎn)化為1×1的特征層；（2）將1×1的特征層經(jīng)過兩個全連接層，獲得不同通道的比重。最后利用sigmoid對比重信息進行歸一化處理獲得通道權(quán)重，將通道權(quán)重分別與Y對應的1個通道特征圖數(shù)據(jù)相乘，得到新的1××w的特征層。

圖1 SE注意力機制

圖2 YOLOv4-GhostNet-SE網(wǎng)絡結(jié)構(gòu)

利用SE注意力模塊改進GhostNet網(wǎng)絡中19×19、38×38和76×76三種大小不同的特征圖與特征提取網(wǎng)絡上采樣輸出的特征圖進行融合拼接，得到最終檢測模型的特征層。改進后的網(wǎng)絡結(jié)構(gòu)如圖2所示。

2 Wk-means優(yōu)化錨框算法

YOLOv4目標檢測訓練時采用預先設定先驗錨框參數(shù)的方式，該方法對COCO、VOC等數(shù)據(jù)集[9]有較好的適應性，而本文數(shù)據(jù)集檢測目標主要是穿梭車、人及凳子，與COCO、VOC等開放環(huán)境的數(shù)據(jù)集的多種檢測目標存在較大差異，且不同的檢測目標適合的先驗框大小也各異，導致YOLOv4的錨框機制并不適用于卷煙廠物料輸送巷道運行狀態(tài)數(shù)據(jù)集。

因此采用加權(quán)K-means（WK-means）聚類算法對錨框進行加權(quán)聚類處理，每個特征維度賦予初始權(quán)重值，等到目標函數(shù)收斂，非目標檢測區(qū)域所對應的權(quán)重趨于0，從而盡可能降低非目標區(qū)域?qū)ο锏喇愇锬繕说挠绊懀岣弋愇锏臋z測精度。

ModBus總線是在硬件基礎上的一種通信協(xié)議，該協(xié)議應用廣泛，被很多廠家支持。各個不同的廠家可以通過該協(xié)議進行相互的數(shù)據(jù)傳輸。ModBus協(xié)議是通過不同的命令確定需要進行的操作功能。

WK-means聚類算法的目標函數(shù)為：

并且所有的權(quán)重應服從：

其中A表示簇分配矩陣：

C表示簇中心矩陣：

W為權(quán)重矩陣：

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集

在龍巖煙草工業(yè)有限責任公司卷煙廠輔料庫搭建視覺系統(tǒng)采集物料輸送巷道運行狀態(tài)圖像數(shù)據(jù)集。該數(shù)據(jù)集的巷道異物主要包括闖入的人員和穿梭車運載散落輔料，數(shù)據(jù)集樣例如圖3所示。

圖3 卷煙廠物料輸送巷道狀態(tài)視覺數(shù)據(jù)集樣例

Fig.3 Samples of visual data set of material conveying roadway in cigarette factory

數(shù)據(jù)集由分辨率為390×882，格式為bmp的共4686張圖像構(gòu)成。數(shù)據(jù)預處理使用LableImg對數(shù)據(jù)集上面的穿梭車、人及散落物料進行標記，標簽文件為xml格式。

3.2 實驗環(huán)境

實驗環(huán)境如表1所示。

表1 實驗環(huán)境

Tab.1 Experimental environment

3.3 模型訓練

將數(shù)據(jù)集按9∶1的比例隨機劃分為訓練集和驗證集。訓練階段的參數(shù)設置為：采用Adam自適應梯度下降算法，權(quán)重衰減設置為0；Focal Loss平衡正負樣本，正負樣本平衡參數(shù)設置為0.25，難易分類樣本平衡參數(shù)設置為2；學習率等間隔調(diào)整策略的最大學習率設置為0.001，最小學習率為0.00001。

然后對物料輸送巷道運行狀態(tài)數(shù)據(jù)集進行訓練，實驗中共訓練100個Epoch，同時保留每個Epoch對應的權(quán)值文件，訓練獲得損失曲線如圖4所示，可知，模型的總損失在前5個Epoch的下降速度較快，當Epoch至20之后train loss和val loss基本保持穩(wěn)定，表明該算法的學習率衰減明顯，且較快地達到了最優(yōu)值。

3.4 實驗評估指標

模型使用檢測速度(Frames Per Second, FPS)、平均檢測精度(Mean Average Precision, MAP)、精確率(Precision)、召回率(Recall)和誤檢率(Noise factor)作為評估指標，計算式分別為：

3.5 實驗結(jié)果分析

網(wǎng)絡模型尺寸越大，對處理器性能要求越嚴格[10]。主干特征提取網(wǎng)絡模型參數(shù)量跟模型尺寸成正比，各常用的輕量級特征提取網(wǎng)絡主要有Densenet[11]、Vgg[12]、Mobilenet[13]、Resnet[14]及GhostNet。其網(wǎng)絡參數(shù)量如表2所示。利用本文數(shù)據(jù)集對多種輕量級特征提取網(wǎng)絡進行訓練，其中GhostNet的參數(shù)量最少，也即GhostNet的特征提取網(wǎng)絡速度最快。

表2 各輕量級特征提取網(wǎng)絡參數(shù)量

Tab.2 Parameter quantity of the lightweight feature extraction networks

為驗證GhostNet-SE特征提取網(wǎng)絡的優(yōu)越性，在相同訓練集和驗證集上，對表2中算法與改進模型進行消融實驗。利用常用的輕量級特征提取網(wǎng)絡代替YOLOv4的CSPDarkNet 53網(wǎng)絡，并驗證檢測性能，結(jié)果如表3所示。由性能對比結(jié)果可知GhostNet在檢測速度（FPS）和精度（MAP）上都具有優(yōu)越性。

表3 輕量級特征提取網(wǎng)絡與本文方法的檢測性能對比

Tab.3 Comparison of detection performance between the lightweight feature extraction networks and the proposed method

利用WK-means聚類算法對錨框進行優(yōu)化，并和K-means錨框優(yōu)化算法針對該模型進行對比實驗，實驗結(jié)果如表4所示。WK-means聚類算法比K-means檢測性能的檢測速度提高了3 FPS，平均檢測精度提高了1.1%，召回率提高了0.18%，精確率提高了1%，誤檢率下降了0.08%。

表4 WK-means對算法的影響

Tab.4 Influence of WK-means on the algorithm

綜上可知，本文提出的YOLOv4-GhostNet-SE- WK-means模型對卷煙廠物料輸送巷道異物具有較好的檢測效果，檢測效果圖如圖5所示。該算法的檢測速度達到58 FPS，平均檢測精度為98.48%，誤檢率為0.62%。

為了進一步研究驗證該模型的泛化能力，利用VOC2007數(shù)據(jù)集和COCO數(shù)據(jù)集上對本文模型進行訓練，檢測結(jié)果如表5所示。

表5 本文模型在VOC2007和COCO數(shù)據(jù)集的檢測結(jié)果

由表5可知，該模型對于VOC2007和COCO2017數(shù)據(jù)集的檢測精度均達到90%以上，檢測速度分別為48 FPS和52 FPS，誤檢率分別為3.15%和2.93%，表明該模型在VOC2007和COCO數(shù)據(jù)集上也具備良好的檢測性能，具有較好的泛化能力。

4 結(jié)論

本文采用機器視覺實現(xiàn)卷煙廠物料輸送巷道異物檢測，同時解決異物識別存在的實時性和準確性問題，得出結(jié)論如下：

（1）提出了一種GhostNet改進YOLOv4的卷煙廠物料輸送巷道異物檢測模型。

（2）采用SE注意力機制融合GhostNet特征提取網(wǎng)絡，加強特征提取網(wǎng)絡的提取能力，豐富特征圖信息，提高模型的檢測速度和精度。

（3）利用WK-means聚類算法對錨框進行優(yōu)化，去除不適合卷煙廠巷道異物檢測的錨框，提高目標的檢測速度，降低模型的誤檢率。

實驗表明，該模型比YOLOv4模型平均精度提升了4.61%，檢測速度提高了26.59 FPS，且具有良好的泛化能力。與常用的輕量級特征提取網(wǎng)絡相比，表現(xiàn)出了較強的優(yōu)越性，實現(xiàn)了卷煙廠物料輸送巷道異物的準確檢測，為物料輸送穿梭車的安全運行提供了可靠保證。

[1] 鐘亮，黎利華. 多層穿梭車技術(shù)在煙草物流中的應用研究[J]. 物流技術(shù)與應用，2018, 23(10): 175-177.

ZHONG Liang, LI LIhua. Research on application of multi-layer shuttle vehicle technology in tobacco logistics[J]. Logistics & Material Handling, 2018, 23(10): 175-177.

[2] 張雪艷. SSD算法及其在鐵路場景異常目標檢測中的應用研究[D].北方工業(yè)大學，2019.

ZHANG Xueyan. Research on SSD algorithm and its application in abnormal object detection in railway scene[D]. North China University of Technology, 2019.

[3] 王偉. 運輸軌道周界異物入侵檢測方法研究[D]. 蘭州交通大學，2020.

WANG Wei. Research on foreign body Intrusion Detection in Rail transportation perimeter[D]. Lanzhou Jiaotong University, 2020.

[4] 劉力，茍軍年. 基于YOLO v4的鐵道侵限障礙物檢測方法研 究[J]. 鐵道科學與工程學報，2022, 19(2):9.

LIU Li, GOU Junnian. Research on railway intrusion obstacle detection method based on YOLO v4[J]. Journal of Railway Science and Engineering, 2022, 19(2):9.

[5] LIU Jinhui. Multi-target detection method based on YOLOv4 convolutional neural network[J]. Journal of Physics: Conference Series, 2021, 1883(1).

[6] HAN Kai, WANG Yunhe, TIAN Qi, et al. GhostNet: More features from cheap operations[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Seattle, USA: IEEE Computer Society, 2020: 1580-1589.

[7] HU J, SHEN L, SUN G. Squeeze-and-excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 7132-7141.

[8] HUANG J Z, NG M K, RONG H, et al. Automated variable weighting in k-means type clustering[J]. IEEE Transactions on Pattern Analysis and Machine Intelli gence, 2005, 27(5): 657-668.

[9] 藍新斌，李富盛，余濤. 基于改進長短時記憶網(wǎng)絡的短期負荷預測方法[J]. 新型工業(yè)化，2019, 9(11): 6-9.

LAN Xinbin, LI Fusheng, YU Tao. Short term load forecasting method based on improved short term memory network[J]. Modern Computer, 2019, 9(11): 6-9.

[10] 付思琴，邱濤，王權(quán)順，等. 基于改進YOLOv4的焊接件表面缺陷檢測算法[J/OL]. 包裝工程，2022.

FU Siqin, QIU Tao, WANG Quanshun, et al. Welding surface defect detection algorithm based on improved YOLOv4 [J/OL]. Packaging Engineering, 2022.

[11] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. IEEE Computer Society, 2013.

[12] Sengupta A, Ye YT, Wang R, et al. Going deeper in spiking neural networks: VGG and residual architectures[J]. Front Neurosci, 2019, 13: 95.

[13] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. 2017.

[14] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE Computer Society, 2016: 770-778.

Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet

LIU Jun1, XIN Qiusheng2*, LI Wencan3, LU Zhimin3, HUANG Yanhui2, YANG Feng1

1 College of Mechanical Engineering, Quzhou University, Quzhou 324000, China;2 School of Mechanical and Electronic Engineering, East China University of Technology, Nanchang 330013, China;3 Longyan Tobacco Industry Co., Ltd., Longyan 364000, China

[Objective] There are inevitable hidden dangers in material conveying roadway in cigarette factory caused by intrusion of outsiders and the material falling into the roadway from the shuttle car. We call the intrusion of outsiders and falling material "foreign objects" in this article. Besides, it is difficult to detect the foreign objects in real-time and accurately. [Methods] This article proposed an improved YOLOv4 visual detection method for foreign objects in material conveying roadway. An combined GhostNet-SE model, which fuses GhostNet model SE attention mechanism, was used as the feature extraction network of YOLOv4 model. On the one hand, it solved the problem of poor real-time performance caused by too many parameters of CSPDarknet53. On the other hand, it enhanced the feature extraction ability of small objects. Then, the weighted K-means method was used to cluster the anchor frame to solve the problem that the initial anchor frame does not adapt to the foreign objects in the roadway. [Results] Finally, by training of the image data set of material conveying roadway and field application in cigarette factory, the average detection accuracy of the method in this article was 98.48%, the false detection rate was 0.62%, and the detection speed was 58FPS. [Conclusion] The results show that the proposed method achieves good detection results, and it has a good generalization ability.

shuttle car; YOLOv4; visual detection; SE attention mechanism; weighted K-means; anchor box

Corresponding author. Email：1318992050@qq.com

國家自然科學基金“復合式連鑄鑄坯表面在線測溫方法”（No. 61963002）；遼寧省教育廳基本科研項目“基于深度學習的輕量化裂縫檢測方法研究”（No. LJKMZ20220478）

劉軍（1981—），博士，副教授，碩士生導師，主要研究復雜過程參數(shù)檢測、系統(tǒng)建模、人工智能等，Tel：18070024180，Email：1528673750@qq.com

辛秋生（1995—），碩士，主要研究人工智能，Tel：15970512292，Email：1318992050@qq.com

2022-08-18；

2023-03-09

劉軍，辛秋生，李文燦，等. 基于加權(quán)K-means與GhostNet融合改進YOLOv4的卷煙廠物料輸送巷道異物視覺檢測方法[J]. 中國煙草學報，2023，29（5）. LIU Jun, XIN Qiusheng, LI Wencan, et al. Improved YOLOv4 visual detection method of foreign bodies in material delivery roadway of cigarette factory based on the fusion of weighted K-means and GhostNet[J]. Acta Tabacaria Sinica, 2023, 29(5). doi:10.16472/j.chinatobacco.2022.T0225