基于YOLOv5s 的電梯鋼絲繩表面損傷檢測算法研究

蔡林峰， 湯 斌， 楊濘琿， 徐藝菲， 雷斯越， 賀渝龍， 張金富， 龍鄒榮

（重慶理工大學(xué)重慶市光纖傳感與光電檢測重點實驗室， 重慶 400054）

0 引 言

鋼絲繩作為電梯承重的核心裝置，在電梯工作期間，鋼絲繩主要承受拉、接觸、彎曲3 種應(yīng)力，如長期不保養(yǎng)則可能會出現(xiàn)斷絲、斷股等情況。 一旦例行安檢時未發(fā)現(xiàn)上述問題，將增加安全事故的風(fēng)險，甚至?xí)＜俺丝偷纳踩?因此，鋼絲繩損傷的表面在線檢測有重要意義。

目前，電梯鋼絲繩檢測中最常用的方法是目測法和電磁檢測法。 目測法通過肉眼觀看運行中的鋼絲繩狀態(tài)，這種方法直接有效，但最大的缺點是耗時比較長，且檢測人員在電梯井昏暗環(huán)境下，工作效率較低再加上可能出現(xiàn)的疲勞情況，極難對鋼絲繩質(zhì)量進行全面的檢測。 此外，由于是人工檢測，連續(xù)檢測的間隔時間較長，在間隔時間內(nèi)出現(xiàn)故障的概率較高。

電磁法是一種非接觸式的檢測測量法，通過檢測鋼絲繩的漏電磁，判斷是否有損傷，其缺點在于抗干擾能力太弱。 例如，檢測人員在進行電磁檢測時，其輸出信號極其容易被環(huán)境因素影響，進而會嚴重損失檢測結(jié)果的精確性。 如果檢測人員忽略了外界的環(huán)境因素，信息就易出現(xiàn)失真，不準確的信息會導(dǎo)致誤判，非常不利于電梯的安全，且利用電磁檢測技術(shù)檢測時，需要較多大質(zhì)量的設(shè)備，不易攜帶。 此外，電磁檢測技術(shù)無法對電梯鋼絲繩微小的損傷作出檢測，這些微小損傷會給電梯安全帶來潛在的隱患。

隨著人工智能算法的出現(xiàn)和快速發(fā)展，為鋼絲繩表面損傷檢測提供了高效、精準的解決方案。 通過攝像頭采集鋼絲繩運行中的圖片，再結(jié)合人工智能算法同步檢測，可以實現(xiàn)鋼絲繩表面損傷的在線實時檢測。 目前，深度學(xué)習(xí)算法廣泛運用于工業(yè)檢測中，但在鋼絲繩表面損傷檢測領(lǐng)域還鮮有人研究。張永軍等［1］基于卷積神經(jīng)網(wǎng)絡(luò)對工業(yè)產(chǎn)品進行表面缺陷檢測；魏若峰［2］對鋁型材表面損傷識別技術(shù)進行研究；陳亮［3］等利用深度學(xué)習(xí)算法對尿素泵的表面損傷進行檢測；沈濤［4］基于深度學(xué)習(xí)對小目標(biāo)表面瑕疵檢測系統(tǒng)進行研究。

基于此，本文提出使用目標(biāo)檢測人工智能算法——YOLO 進行鋼絲繩表面損傷在線檢測研究。YOLO 算法于2016 年由Redmon［5］等人提出，該算法使用一個模型同時實現(xiàn)了目標(biāo)檢測的分類和定位，已被廣泛應(yīng)用于各種目標(biāo)檢測領(lǐng)域。 經(jīng)過多年來Redmon 等人的不斷研究，提升了算法效率和精度，相繼得到v1、v2、v3、v4 總共4 個版本。 YOLOv5是由Ultralytics 公司于2020 年5 月在YOLOv4 框架的基礎(chǔ)上提出的。 YOLOv5 借鑒了CutMix［6］方法，采用Mosaic 數(shù)據(jù)增強的方式，有效解決了小對象檢測問題。 YOLOv5 圖像推理速度快，最快可達到0.007 s，即每一秒可以處理140 幀，同時其體積與YOLOv4 相比更為小巧，YOLOv5s 模型的權(quán)重數(shù)據(jù)文件大小為27 MB，僅為YOLOv4 的1／9［7－8］。 本文實驗選擇YOLOv5s 作為鋼絲繩表面損傷檢測的網(wǎng)絡(luò)模型，使用該網(wǎng)絡(luò)對線下收集鋼絲繩表面損傷訓(xùn)練集進行訓(xùn)練，最后利用訓(xùn)練好的網(wǎng)絡(luò)模型對鋼絲繩表面損傷測試集進行檢測。

1 YOLOv5s 網(wǎng)絡(luò)模型

由圖1 可知，YOLOv5s 模型主要分為輸入端（Input）、骨干網(wǎng)絡(luò)（Backbone）、頸部（Neck）、輸出端（Output）4 個部分。 其中：

圖1 YOLOv5s 網(wǎng)絡(luò)模型Fig. 1 YOLOv5s network model

（1）輸入端包括圖片尺寸處理、Mosaic 數(shù)據(jù)增強、自適應(yīng)錨框計算3 個部分。 Mosaic 數(shù)據(jù)增強方式對小對象的檢測尤為理想，符合本文對鋼絲繩表面損傷的檢測需求。

（2）骨干網(wǎng)絡(luò)包含F(xiàn)ocus 結(jié)構(gòu)和CSP 結(jié)構(gòu)。YOLOv3［9－12］和v4 的版本沒有Focus 結(jié)構(gòu)，其中的關(guān)鍵步驟是切片操作，包含基本的4 次切片操作和進一步的1 次32 個卷積核的卷積操作。 例如：把416×416×3 的原始圖像放入到Focus 結(jié)構(gòu)中。 首先通過切片操作，變成416×416×12 的特征圖，再進行卷積核的操作，最后變成416 ×416 ×32 的特征圖。與YOLOv4 不同的是，YOLOv5 在主干網(wǎng)絡(luò)中采用了CSP1＿X 和CSP2＿X 這2 種CSP 結(jié)構(gòu)。 其中CSP1＿X 應(yīng)用于骨干網(wǎng)絡(luò)，CSP2＿X 應(yīng)用于頸部。

（3） 頸部采用了PANet ＋SPP 模塊的結(jié)構(gòu)。PANet（PathAggregation，路徑聚合網(wǎng)絡(luò)）［13］是自頂向下的，首先獲得位于高層的特征信息，然后將其與處在不同層的CSP 模塊的輸出特征進行聚合，再通過自底向上的特征金字塔結(jié)構(gòu)，從下到上聚合淺層特征，可以達到將處于不同層的圖像特征進行充分融合的效果。 空間金字塔池化（Space Pyramid Pooling，SPP）模塊首先采用4 種不同大小的核進行最大池化操作，然后進行張量拼接。

（4）輸出端：YOLOv5 使用GIOU＿Loss［14］作為損失函數(shù)，改進了YOLOv3 中IOU＿Loss 邊界框不重合的情況。

2 實驗結(jié)果與分析

2.1 系統(tǒng)整體設(shè)計方案

如圖2 所示，實驗設(shè)計了一種基于YOLOv5s 網(wǎng)絡(luò)模型的鋼絲繩表面損傷在線檢測系統(tǒng)。 首先在實驗室工作機位上利用YOLOv5s 訓(xùn)練鋼絲繩表面損傷檢測模型，然后將訓(xùn)練好的模型部署到PC 端，接收攝像頭實時采集的鋼絲繩圖片，利用無線傳輸?shù)姆绞綄D片輸入到PC 端。 PC 端利用訓(xùn)練好的表面損傷檢測模型，檢測圖片中的鋼絲繩表面是否存在損傷。

圖2 系統(tǒng)整體框架Fig. 2 System Framework

2.2 實驗數(shù)據(jù)集及實驗環(huán)境

實驗在線下收集了600 張鋼絲繩表面損傷的圖像，制作了500 張訓(xùn)練集和100 張測試集，使用LabelImg 軟件對訓(xùn)練集中的鋼絲繩表面損傷進行了標(biāo)注，圖3 所示為手動標(biāo)注結(jié)果。 標(biāo)注時需要注意：

圖3 標(biāo)注結(jié)果圖Fig. 3 Annotation result graph

1）標(biāo)注區(qū)域不能過大，如果標(biāo)注時包括了一些非缺陷區(qū)域，會大大降低訓(xùn)練結(jié)果的準確性；

2）訓(xùn)練樣本的數(shù)量不能過少，訓(xùn)練樣本越多，最后訓(xùn)練得到的網(wǎng)絡(luò)模型精度會越高，最后測試的結(jié)果也會越準確，反之，如果訓(xùn)練的樣本數(shù)量太少，導(dǎo)致過擬合，會直接影響訓(xùn)練效果。

實驗運行環(huán)境：操作系統(tǒng)為Windows10，GPU 為NVIDIA GeForce RTX 3070，具體運行環(huán)境配置見表1。

表1 實驗運行環(huán)境配置Tab. 1 Experimental operating environment configuration

在模型訓(xùn)練階段，迭代批量設(shè)置為8，總的迭代次數(shù)為300 次，初始學(xué)習(xí)率為0.01，衰減系數(shù)設(shè)置為0.005。

2.3 測試結(jié)果分析

模型訓(xùn)練完成之后，在模型中輸入測試數(shù)據(jù)集，實驗結(jié)果如圖4～圖6 所示。 圖中數(shù)值表示置信度。

圖4 單個損傷測試樣本Fig. 4 Individual defect test sample

圖5 多個損傷測試樣本Fig. 5 Multiple defect test samples

圖6 現(xiàn)場測試樣本Fig. 6 Field test samples

本文采用GIOU損失和Average Precision（AP）作為評估模型的評價指標(biāo)。 YOLOv5 使用GIOULoss作為Bounding Box 的損失，Box 為GIOU 損失函數(shù)均值，方框越小說明檢測效果越好。 具體計算如式（1）：

其中，C為兩個框的最小外接矩形， 為Groundtruth；B為邊界框；B∪Bgt表示兩個邊界框的并集。 圖7 是YOLOv5 訓(xùn)練中GIOU隨訓(xùn)練次數(shù)的損失結(jié)果。

圖7 GIOU 損失結(jié)果圖Fig. 7 Loss curve of GIOU

本文采取IOU閾值為0.5 作為繪制precisionrecall（PR） curves 的基準，P － R曲線如圖8 所示。PR曲線與坐標(biāo)圍成的面積表示AP值大小，AP值越大表示模型精度越高，性能越好，計算公式如式（2）：

圖8 P－R 曲線Fig. 8 P－R curves

其中，TP表示將正確類預(yù)測為正確類別數(shù)，F(xiàn)P表示將負類別預(yù)測為正確類別數(shù)。 本文選取0.5 作為特定的IOU閾值，當(dāng)預(yù)測邊框的IOU≥0.5，則認為可以正確檢測到損傷。 在該標(biāo)準下可以獲得Precision、Recall的值。 其中，Precision表示在識別出來的圖片中，正樣本所占的比率，Recall表示正樣本被預(yù)測為正類圖片占所有測試集圖片的比率。 總體而言，本文采用Precision（P）、Recall（R） 來評估所提出的方法。 各項評價指標(biāo)的計算公式如式（3）、式（4）：

從圖8 的PR曲線可以看出，所用YOLOv5s 網(wǎng)絡(luò)模型結(jié)果比較理想。 訓(xùn)練完成之后，對訓(xùn)練好的模型進行測試，平均檢測速度達到了6.7 FPS，其測試精度達到了95.3%。

3 結(jié)束語

綜上所述，為了實現(xiàn)鋼絲繩表面損傷檢測的準確性、實時性，并且在復(fù)雜的檢測工作中把人工解放出來，提出了一種基于YOLOv5s 網(wǎng)絡(luò)的鋼絲繩表面損傷檢測算法。 實驗結(jié)果表明，利用YOLOv5s 網(wǎng)絡(luò)對鋼絲繩表面損傷進行檢測的方法準確率高、計算速度快，能為電梯事故的預(yù)警和報警提供有效的參考依據(jù)，有較強的實際意義。 但是受到時間以及環(huán)境的限制，該算法仍然存在一定的局限性，目前僅僅只是在實驗的環(huán)節(jié)通過了驗證，后期會將完善后的算法部署到云服務(wù)器端，并且在檢測鋼絲繩表面損傷的區(qū)域安裝攝像頭，對鋼絲繩表面損傷的信息進行實時采集，然后將信息傳至云端進行損傷分類，損傷程度評估處理，把處理結(jié)果返回到檢測中心進行實時查看，不斷驗證完善，最后推廣使用。