基于圖像的井下人員安全防護檢測系統設計

朱桂瑩? 許菁茹? 孔佳怡? 李梓銳

摘? 要：設計了基于圖像的井下人員安全防護檢測系統，基于礦井內攝像頭采集到的圖像，通過多種圖像增強算法進行預處理，并利用輕量級神經網絡YOLOv5檢測采集到的圖像中作業(yè)人員是否佩戴口罩和安全帽等裝備，最后把結果展示在監(jiān)管系統上。通過實時展現檢測結果并對違規(guī)現象進行報警，該系統可以實現礦井下對人員裝備佩戴情況的半自動監(jiān)管，從而提高井下作業(yè)的安全性的同時降低成本。

關鍵詞：YOLOv5；Retinex；圖像增強；礦井；安全防護；圖像識別

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）24-0121-05

Design of Safety Protection Detection System for Underground Personnel Based on Images

HUANG Haocheng， ZHU Guiying， XU Jingru， KONG Jiayi， LI Zirui

（China University of Mining and Technology-Beijing， Beijing? 100083， China）

Abstract： This paper designs a safety protection detection system for underground personnel based on images. Based on the images captured by cameras in the mines， it preprocesses by various image enhancement algorithms， and uses the lightweight neural network YOLOv5 to detect whether the operators wear masks and safety hats in the captured images， finally displays the results on the regulatory system. By displaying detection results in real-time and alarm to the violations， the system can achieve semi-automatic supervision of personnel equipment wearing situation under the mine， so as to enhance the safety of underground operations while reducing cost.

Keywords： YOLOv5; Retinex; image enhancement; mine; safety protection; image identification

0? 引? 言

我國是一個煤炭儲量豐富的國家，其中的90%左右都是在井下開采中獲得。井下地形環(huán)境復雜，通風條件較差，常見的危險有生產性粉塵和大量碎石。前者長期吸入會使井下人員患上呼吸系統疾??；后者會帶來高空物體墜落傷害。因此，為了保障井下人員的安全，必須對佩戴安全帽和防塵口罩等防護用品進行檢測與監(jiān)督，以避免潛在的安全隱患。目前井下對于佩戴防護用具的監(jiān)控一般是基于紅外傳感的監(jiān)控系統，存在著需要人工判識、不能實現監(jiān)控無死角以及會被其他熱源干擾等不足[1]。為了提高礦井管理質量，可以利用計算機圖像處理技術進行自動化檢測管理[2]。相比于霧霾環(huán)境，目前國內外在其他惡劣環(huán)境下的圖像清晰化算法研究成果較少，而對于粉塵環(huán)境圖像，對其清晰化處理以提高識別效果是井下識別需要解決的問題[3]。目前在圖像處理方面常用的方法是圖像增強，可以通過灰度變換增強、直方圖均衡化和Retinex理論等方法來實現。針對粉塵環(huán)境圖像處理與實時監(jiān)測結果展示的需求，對采集的粉塵環(huán)境下的圖像進行處理并識別，選擇輕量級神經網絡YOLOv5實時監(jiān)測井下人員的違規(guī)佩戴行為，將作為本系統的設計思路。

1? 系統總體設計方案

井下人員安全防護檢測系統以光學圖像技術為基礎，通過圖像增強技術，使監(jiān)管人員能直接通過井下圖像對作業(yè)人員實時監(jiān)測，并借助深度神經網絡進行輔助識別。其框架如圖1所示。圖像采集系統主要由嵌入式系統組成，負責采集圖像源并將其傳給圖像處理系統；圖像處理系統由圖像識別和圖像預處理兩個模塊組成，二者根據監(jiān)管系統中監(jiān)測員給出的方法和參數，處理和識別圖像源中的人員佩戴裝備信息，若識別到違規(guī)佩戴現象則向監(jiān)管系統發(fā)出報警信號。

由此可見，圖像處理系統是整個系統的核心組件，實現圖像識別模塊和圖像預處理模塊是實現系統的關鍵。

2? 圖像預處理

2.1? 礦井下圖像特點

礦井下環(huán)境錯綜復雜[4]，光照條件因位置不同而不同。直接由光學鏡頭采集的圖片往往存在以下問題：

1）照明不均。礦井下主要采用的是礦燈照明。這種照明會使得照明區(qū)域較為明亮而周圍未照明區(qū)域亮度極低。由于相機動態(tài)范圍有限，極易導致圖像產生過曝現象或陰影細節(jié)丟失，從而損失大量有效信息。

2）粉塵影響。礦井作業(yè)環(huán)境相對含有較多的粉塵顆粒物，這些顆粒物會將對物體反射光產生反射和折射作用，進而導致采集圖像中物體的模糊現象。

3）光暈現象。過強的光線會導致產生光暈現象，進而丟失光暈部分的細節(jié)。

4）色域較窄。井下環(huán)境總體而言較為黑暗，難以區(qū)分顏色之間的差別。

2.2? 需求分析

礦井下圖像處理存在諸多困難，針對該問題，設計的系統應滿足如下需求：

1）存在多樣的預處理方式。不同的預處理方式有處理速度快慢、效果好壞、適用范圍等區(qū)別，需要用戶針對對應的場景在可視化界面方便地切換。

2）方法參數設置。圖像增強算法需要針對具體場景調整參數以獲得最好的觀感，這要求提供的可視化界面能夠較為方便地調整方法參數。

2.3? 系統設計

基于上述分析，預處理系統設計如圖2所示。在數據流傳入圖像處理系統后，圖像預處理模塊首先根據監(jiān)測員提供的參數開始處理信息。模塊首先調用Request類創(chuàng)建實例，通過傳入數據流文件位置，方法和參數從基類Preprocess里選擇子類進行應答，將處理好的圖像傳向圖像識別模塊。

模塊設計上采用了樹狀繼承的類關系，結構簡潔的同時兼顧了模塊可持續(xù)開發(fā)的特點。用戶可在模塊下繼承其他類進一步完善或自定義需要的方法和類，有利于貼合實際場景。

現今模塊支持的預處理方法主要有：直方圖均衡化，自適應直方圖均衡化，灰度變換增強和基于Retinex理論的單尺度和多尺度算法。

2.3.1? 直方圖均衡化

直方圖均衡化是一種用于圖像處理的技術，旨在通過拉伸圖像的灰度級分布以提高對比度和可視性。直方圖均衡化是一個經典的圖像增強算法，無須傳入任何參數，運算速度快且算法簡單，在該系統中主要用于需要較高幀率的實時監(jiān)測時使用。但增強圖像的灰度級會減少，因為相似概率的灰度級在均衡化后可能會被合并為同一級別。此外，當輸入圖像的直方圖存在密集部分時，增強后的圖像對比度可能會過度增強。

2.3.2? 自適應直方圖均衡化

自適應直方圖均衡化算法與普通直方圖均衡算法的不同之處在于，它通過計算圖像局部直方圖并重新分布亮度來改變對比度[5]，由于礦井下光照條件較差，該方法適用于改善局部對比度和提高圖像細節(jié)。自適應直方圖均衡化算法存在過度放大相同區(qū)域噪音的問題。

該方法的參數是領域大小，小領域可增強對比度，大領域則降低對比度。

2.3.3? 線性縮放灰度變換增強

灰度變換增強是指通過對圖像的像素值進行轉換，以改善礦井內圖像光照條件差的情況，可以用于提高圖像的對比度、亮度、色彩飽和度等方面。本方法將單通道圖像中每個像素的灰度級從一個范圍映射到另一個范圍，這種映射可以是線性或非線性的。本系統使用的方法是最簡單的灰度變換，是一種線性縮放，將原始圖像中的像素值按比例縮放到一定的范圍內，該范圍可以由監(jiān)測者調節(jié)，以便達到更高的識別率。

2.3.4? 單尺度Retinex

SSR（Single Scale Retinex）算法是一種基于光學理論Retinex的圖像增強算法。理論推測，觀測者接收到的圖像可以分解為入射光和物體反射率。三者有以下關系：

由上式可知，若能得到物體反射率，即可準確復原物體本身的反射情況，即還原物體本身的顏色。Retinex理論提出者認為，可以用觀測者接收到的圖像和一個高斯核的卷積來近似估計[6]。因此，可通過輸入圖像和卷積核大小，即可得到物體本身的圖像。該算法適合去除圖像中的霧氣或塵土，在提取特征方面也有獨特優(yōu)勢。

2.3.5? 多尺度Retinex

由于不同圖像的特征尺度各不相同，以及同一圖像內局部與局部之間的特征差異，不同的特征尺度可以得到不同的照度估計。因此，MSR（Multi Scales Retinex）算法將使用不同特征尺度得到的圖像進行加權平均后輸出，即可得到一張更加符合實際物體本身的圖像[7]。該算法對去霧場景有較好的增強效果。

3? 基于YOLOv5的圖像識別

3.1? YOLOv5卷積神經網絡訓練模型

YOLO是目前流行的目標檢測模型之一，該模型采用預定義預測區(qū)域的方法來完成目標檢測。YOLO網絡將輸入的圖片劃分成大小為32×32的網格，安全帽和口罩的中心位置落入某個網格中，則由該網格負責檢測目標。相比其他算法，YOLO的多尺度預測算法能夠更有效地檢測目標。

本文是基于YOLOv5卷積神經網絡的框架模型，對礦井畫面中的安全帽及口罩進行分析檢測。從YOLOv5的性能和精度兩個方面考慮，相對于YOLOv4做了以下四個方面的優(yōu)化：1）在輸入端采用Mosaic的數據增強方式，對4張圖片進行隨機縮放、剪裁、排布的操作，增強數據集的多樣性，提高識別小目標的能力。2）在基準網絡中采用CSPnet結構和Focus結構相結合的機制，增強CNN的學習能力。3）在Neck網絡中采用FPN結構以及PAN結構，可以進一步提升特征的多樣性及魯棒性，在目標檢測過程中起到輔助作用。4）在輸出層采用CIOU_Loss做邊框的損失函數，進一步提升算法的檢測精度[8]。

YOLOv5卷積神經網絡結構如圖3所示。

3.2? 實驗流程及結果分析

3.2.1? 訓練環(huán)境及數據集

本次實驗是基于PyTorch 1.8.0框架，環(huán)境為Python

3.8，CUDA版本為11.8，GPU為GeForce RTX 3050 Ti，操作系統環(huán)境為Windows 10。

本文收集了5 188張安全帽佩戴圖像和6 480張口罩佩戴圖像作為深度學習的數據集。收集的數據集中包含了多角度、多環(huán)境、多對象，具有不同遮擋程度的圖像。并使用LabelImg對圖像進行數據標注，如圖4所示。將整個數據集按訓練集、驗證集、測試集按照0.7：0.2：0.1的比例進行隨機劃分，數據集劃分如表1所示。

由于直接進入礦井下拍攝施工人員佩戴安全帽及口罩的圖片存在極大困難，導致我們不易獲取礦井下的數據集。真實礦井下環(huán)境惡劣、光線昏暗，并存在大量粉塵漂浮，所以本文對數據集進行人工加噪處理來初步還原礦井下惡劣環(huán)境，進而評估YOLOv5訓練模型的可行性。

高斯噪聲可以表示礦井下粉塵漂浮導致圖片清晰度較低的現象，在訓練期間將高斯噪聲添加到原始數據集中可以驅使模型學習對輸入數據集中的輕微改變具有魯棒性的特征，因此當測試圖像與訓練數據有所不同時，YOLOv5模型也能正確識別出待檢測目標。所以本文選用高斯噪聲對數據集進行人工加噪處理，下面分別對高斯噪聲的兩個重要參數進行分析。

從高斯噪聲的強度考慮，強度越大，加噪過后的數據集分辨率越低。本文分別對數據集加入10%、20%、30%、40%的高斯噪聲后發(fā)現加入10%高斯噪聲的圖片相對于原始圖片變化微弱，且30%、40%高斯噪聲的圖片失真較為嚴重，均無法準確模擬井下真實環(huán)境，而20%的高斯噪聲模擬井下真實環(huán)境的效果最優(yōu)。

從高斯噪聲的方差角度考慮，方差值越大，高斯噪聲的取值越分散。選取方差值為0.001和0.01的高斯噪聲，對比結果后可知方差為0.01的高斯噪聲信號波動程度較低，數據集的加噪結果變化較小，因此選用方差為0.01的高斯噪聲。

綜上本文選取方差為0.01的20%高斯噪聲對安全帽數據集和口罩數據集進行人工加噪處理，如圖5所示。

3.2.3? 模型訓練及測試

本文選用YOLOv5中的YOLOv5s作為基礎模型，YOLOv5s檢測結果準確率高、體積小，且保持了YOLO系列算法檢測速度快的特性，十分適用于礦井下安全帽和口罩的檢測。本文通過設置批次大小、迭代次數等配置參數，使得YOLOv5s網絡對模型進行有效訓練。部分重要參數設定如表2所示。

3.2.4? 實驗結果

通過上述實驗過程，YOLOv5算法對原始數據集以及加噪數據集進行訓練后，得到了較好的圖片檢測結果，具體識別圖像如圖6所示。

根據圖6可見本實驗中對于簡單環(huán)境下的多目標圖像具有優(yōu)秀的識別效果，識別精度處于較高水平。根據圖7可見本實驗中對于加噪的多目標圖像具有較好的識別效果，但識別精度稍低。

3.2.5? 實驗分析

精確YOLOv5目標檢測模型評估主要依賴于兩個性能指標：平均準確率AP和平均精度均值mAP。AP是評估某一個類別檢測效果好壞的標準，其根據不同的置信度和IoU閾值，可以得到相應的準確率和召回率，進而通過計算P-R曲線下的面積得出AP值，AP值越接近于1，分類器性能越好。mAP指標用于評價多標簽圖像分類任務，mAP值越高，表示該目標檢測模型在所用數據集上的檢測效果越好。該指標的計算使用精確度和召回率的概念[9]。用公式表示如下：

由表3可以得出，YOLOv5在加入20%高斯噪聲后的安全帽檢測任務中精確度、召回率、mAP@50依次下降1%、0.2%、0.1%；口罩檢測任務中精確度、召回率、mAP@50依次下降1%、0.2%、0.2%?？梢奩OLOv5在加噪處理后的檢測任務中雖然精度、召回率和mAP@50都有所下降，但該模型仍具有良好的識別精度。本文所研究的安全帽和口罩佩戴檢測方法，能夠較好地滿足礦井下的檢測需求，在多目標以及存在干擾項的復雜環(huán)境下，均能夠進行有效識別[10]。

4? 結? 論

針對礦井下人員監(jiān)管問題，本文設計了一套基于圖像的井下人員安全防護檢測系統。該系統包含預處理模塊和識別模塊，能夠提高圖片清晰度并較為準確地識別出人員佩戴裝備信息，通過與監(jiān)控系統結合，可以實現有效的安全監(jiān)管，并降低監(jiān)管成本。盡管該系統提供了多種圖像預處理方式，但仍需要監(jiān)管人員具備一定經驗調整方法參數以獲得更好的效果。由于更加合適的圖像去霧算法不斷涌現，未來還有較大改進空間，例如增加適應性更強的預處理算法，以更好地服務于礦工的安全和生產。

參考文獻：

[1] 游青山，冉霞.基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統 [J].自動化與信息工程，2021，42（4）：20-24.

[2] 楊鵬飛，宋春林.基于智能圖像處理的礦井監(jiān)測系統 [J].信息技術與信息化，2017（10）：38-43.

[3] 劉翰林.基于改進室內圖像復原算法的智能降塵系統 [D].阜新：遼寧工程技術大學，2022.

[4] 劉曉陽，喬通，喬智.基于雙邊濾波和Retinex算法的礦井圖像增強方法 [J].工礦自動化，2017，43（2）：49-54.

[5] 呂侃徽，張大興.基于自適應直方圖均衡化耦合拉普拉斯變換的紅外圖像增強算法 [J].光學技術，2021，47（6）：747-753.

[6] LAND E H.The Retinex Theory of Color Vision [J].Scientific American，1977，237：108-128.

[7] 吳海麗.基于多尺度Retinex的受云霧影響可見光圖像增強研究 [J].激光雜志，2023，44（4）：185-189.

[8] 李自強，任磊，劉莉，等.基于YOLOv5算法的施工現場不安全狀態(tài)智能檢測 [J].土木建筑工程信息技術，2023，15（3）：20-26.

[9] 張又元，楊桂芹，刁廣超，等.改進YOLOv5適應安全帽佩戴與口罩佩戴檢測應用的算法 [J/OL].Journal of Measurement Science and Instrumentation：1-13（2023-03-02）.http：//kns.cnki.net/kcms/detail/14.1357.TH.20230301.1358.002.html.

[10] 石永恒，楊超宇.基于深度學習的礦井下作業(yè)人員安全帽佩戴檢測 [J].綏化學院學報，2021，41（9）：148-152.

作者簡介：黃浩誠（2002—），男，漢族，江西贛州人，本科在讀，研究方向：信息工程；朱桂瑩（2002—），女，漢族，黑龍江哈爾濱人，本科在讀，研究方向：信息工程；許菁茹（2003—）女，漢族，湖北武漢人，本科在讀，研究方向：信息工程；孔佳怡（2002—），女，漢族，河南南陽人，本科在讀，研究方向：信息工程；李梓銳（2002—），男，漢族，安徽淮北人，本科在讀，研究方向：信息工程。