智能視頻監(jiān)控系統(tǒng)中改進YOLO算法的實現(xiàn)

劉 君，謝穎華

(東華大學 信息科學與技術學院，上海 201620)

0 引言

智能視頻是一項安全監(jiān)控的手段，是當今社會研究的熱點[1]。傳統(tǒng)的視頻監(jiān)控僅提供視頻捕獲、存儲和回放功能，智能視頻監(jiān)控系統(tǒng)可以起到報警預警、實時監(jiān)控的作用。智能視頻監(jiān)控的最顯著特點為在視頻分析中應用了計算機視覺算法[2]。

新一代的數(shù)字化車間智能視頻監(jiān)控系統(tǒng)，不同于傳統(tǒng)監(jiān)控硬件架構，硬件上采取了最新研發(fā)的邊緣計算攝像機和深度學習計算服務器，不僅嵌入了常規(guī)單個攝像頭智能監(jiān)控功能，還能實現(xiàn)多個攝像頭之間的聯(lián)動以達到覆蓋范圍更廣泛的效果[3]。通過不斷優(yōu)化的深度學習算法，系統(tǒng)串聯(lián)起多個攝像頭，記錄整個車間人員的行為軌跡[4]。

本文設計的智能視頻監(jiān)控系統(tǒng)可以實現(xiàn)車間內(nèi)工作人員安全帽的佩戴檢查、外來人員的定位跟蹤等智能視頻監(jiān)控功能，可以在很大程度上節(jié)約人工檢查的人力和時間成本，有效降低事故發(fā)生的風險，節(jié)約生產(chǎn)成本。

1 系統(tǒng)總體架構及工作原理

1.1 總體架構

智能視頻監(jiān)控系統(tǒng)主要功能為：遠程監(jiān)控、自動報警、智能監(jiān)控[4]。系統(tǒng)可以自動實現(xiàn)監(jiān)控功能；出現(xiàn)異常情況時，自動報警，工作人員可以通過手機端或PC端隨時接收報警信息。

智能視頻監(jiān)控系統(tǒng)總體架構由數(shù)據(jù)采集端、數(shù)據(jù)處理單元、報警輸出端三層構成。

數(shù)據(jù)采集端可以支持不同視頻流輸入，包括監(jiān)控專網(wǎng)下的?？低暻驒C、槍機、半球機以及門禁系統(tǒng)中的抓拍機等，可以連接多個攝像頭，實時監(jiān)控車間場景；數(shù)據(jù)處理單元由GPU、服務器、智能監(jiān)控軟件HES構成。GPU可以實現(xiàn)視頻監(jiān)控的智能化，分析多幀視頻的監(jiān)控情況，進行異常畫面的捕捉和分析，并進行推送；服務器將做分布式處理，其硬盤為磁盤陣列，以便后續(xù)擴展；智能視頻監(jiān)控軟件采用B/S架構，可利用網(wǎng)頁和客戶端軟件發(fā)布監(jiān)控信息，充分利用QT對實時監(jiān)控的優(yōu)化嵌入；報警輸出端可以及時將報警信息推送給客戶端[4]。

1.2 系統(tǒng)工作原理

智能視頻監(jiān)控技術的核心在于對視頻中運動目標進行自動檢測、提取特征、識別和行為分析[5]。智能視頻監(jiān)控系統(tǒng)可以實現(xiàn)多攝像頭聯(lián)動工作，四種攝像頭分別為全局攝像頭、人臉攝像頭、行為攝像頭、跟蹤攝像頭。

該系統(tǒng)包括5個模塊，分別為圖像獲取模塊、圖像預處理模塊、數(shù)據(jù)壓縮編碼處理模塊、圖像分析模塊以及圖像理解模塊[6]。圖像采集模塊主要用于獲得四種攝像頭拍攝的圖像；圖像預處理模塊可以減少光照等因素的影響，提高圖片質(zhì)量；數(shù)據(jù)壓縮編碼處理模塊用來融合多源圖像信息；圖像分析模塊主要對圖像中的目標進行檢測跟蹤；圖像理解模塊主要是研究圖像中不同對象的性質(zhì)以及它們之間的關系[7]。圖1所示為系統(tǒng)工作原理圖。

圖1 系統(tǒng)工作原理圖

2 YOLO算法及其改進

2.1 YOLO算法

YOLO(You Only Look Once)實時目標檢測算法由Joseph Redmon等于2016年5月提出[7]。該算法可同時預測目標物體的位置和類別,采用端到端的檢測方法，檢測速度快。本文中智能視頻監(jiān)控系統(tǒng)采用了YOLO算法進行工作人員以及安全帽的檢測。

YOLO是一種基于深度學習卷積神經(jīng)網(wǎng)絡的目標檢測模型。卷積神經(jīng)網(wǎng)絡主要利用卷積層對輸入的圖片進行卷積運算，進而降低圖片數(shù)據(jù)的維度，進行特征提取[8]。圖2所示為深度卷積神經(jīng)網(wǎng)絡的構成。

圖2 深度卷積神經(jīng)網(wǎng)絡的構成

YOLO檢測具體實現(xiàn)過程如下：將圖片分為S×S個網(wǎng)格，當目標物體中心落在某一個格子時，該格子就負責預測目標物體。如圖3所示。

圖3 網(wǎng)格圖

每個格子會預測B個邊界框(bounding box)以及邊界框的置信度(confidence score)。其中包括邊界框的中心坐標(x，y),邊界框的長寬w、h，以及邊界框的準確度。置信度表示格子內(nèi)是否有檢測物體，定義置信度為：

(1)

每個格子在輸出邊界框的同時還要輸出各個網(wǎng)格存在物體所屬分類的概率，記為：

Pr(Classi|Object)

(2)

按照以下公式可以計算整張圖片中，各個格子物體類別的概率：

(3)

設定合適的概率閾值，高于概率閾值的就是識別出來的目標分類，利用非極大值抑制的方法，去掉概率較低的邊界框，輸出概率最高的邊界框作為最后的預測結果。

所以每個網(wǎng)格輸出B×(4+1)+C個預測值，卷積神經(jīng)網(wǎng)絡輸出一個維度為S×S×(B×5+C)的固定張量。S為劃分網(wǎng)格數(shù)量，B為每個網(wǎng)格預測的邊界框數(shù)，C為每個網(wǎng)格預測的物體類別個數(shù)。

YOLO的網(wǎng)絡結構包括24個卷積層、4個池化層，以及2個全連接層，如圖4所示。其中卷積層提取圖像特征，全連接層預測目標物體位置以及物體類別概率，池化層負責壓縮圖片像素，利用Softmax回歸分析輸出目標類別概率。

圖4 YOLO網(wǎng)絡結構圖

YOLO的損失函數(shù)計算公式為：

(4)

因為一個單元格只負責預測一個物體，當多個物體的中心落在同一個格子中時，該格子很難區(qū)分物體類別，因此對于距離較近的物體識別效果不佳[9]；在圖像預處理階段，訓練集圖片經(jīng)過卷積層后由高分辨率壓縮為低分辨率，用于分類特征提取，在壓縮過程中，圖片中小物體的特征將很難保存。應用在車間中時，安全帽相對來說是較小的目標，當工作人員較近，或安全帽重疊時，識別效果較差。

2.2 改進后的網(wǎng)絡結構

為了能夠準確快速檢測車間工作人員以及其佩帶的工作帽子，需要提高YOLO算法檢測小物體的能力。本文將目標檢測方法RPN融入到YOLO算法中，并借鑒R-FCN方法設計了一種新型卷積神經(jīng)網(wǎng)絡結構，該網(wǎng)絡結構中采用先池化再卷積的特征提取模式減少信息的丟失，將原先的兩個全連接層變?yōu)橐粋€，進而形成了一種具有較好的小目標檢測能力的改進的YOLO算法[10]。

最鄰近的目標檢測算法RPN(Region Proposal Networks)的顯著特點為利用滑動窗口提取特征[8]。神經(jīng)網(wǎng)絡對輸入的圖片進行卷積和池化操作，在最后的卷積層中，利用滑動窗口提取圖片特征，輸出圖片的特征向量，利用softmax輸出物體分類和邊框回歸。該算法對于單一目標檢測速度快，準確率較高。

全卷積神經(jīng)網(wǎng)絡R-FCN由卷積層和池化層組成，沒有全連接層，具有良好的全局檢測效果，可以保留更多的圖像信息，因此本文中改進的網(wǎng)絡結構借鑒R-FCN結構移除一個全連接層，只保留一個全連接層，以減少特征信息的丟失[9]。

改進后的網(wǎng)絡結構包含18個卷積層、6個池化層、1個全連接層與1個softmax輸出層。其中卷積層用來提取圖像特征，池化層用來壓縮圖片像素。如圖5所示為改進后的網(wǎng)絡結構。

圖5 改進后的網(wǎng)絡結構

輸入圖片后先采用2*2最大池化層縮小圖片尺寸，再進入卷積層，這樣可以盡量保留圖片的特征；圖片經(jīng)過多層卷積與池化后，輸出的網(wǎng)格由7*7變?yōu)?4*14，檢測范圍變廣。圖6為不同網(wǎng)格尺寸目標檢測效果對比，7*7網(wǎng)格只能檢測到一個工作人員和一個安全帽，而改進后14*14的網(wǎng)格可以檢測到兩個工作人員和一個安全帽。因此這種擴大了輸出圖片網(wǎng)格尺寸的結構具有更好的檢測小目標的能力。

圖6 網(wǎng)格對比圖

2.3 改進后的算法流程

將輸入的圖片集用圖片打標工具labelImg打標，將圖片中的人和安全帽標注出來，獲得目標物體的真實坐標，制作數(shù)據(jù)集的標簽，生成xml文件；之后進行圖片預處理，運用基于RPN的滑動窗口算法獲得每張圖片的若干個目標邊界框的矩陣向量;矩陣向量進入之后的神經(jīng)網(wǎng)絡進行卷積池化操作；之后輸入全連接層，最后利用softmax分類函數(shù)，輸出目標物體的類別。具體流程如圖7所示。

圖7 改進后的算法流程

3 實驗分析

基于卷積神經(jīng)網(wǎng)絡的目標檢測方法需要從大量的樣本中學習待檢測物體的特征。本文采用的數(shù)據(jù)集為車間中四種攝像頭采集到的圖像數(shù)據(jù)集，四個攝像頭各取1萬張圖片，每個圖片的大小為500×500，使用圖片打標工具labelImg對數(shù)據(jù)集進行打標。數(shù)據(jù)集的40%作為訓練集，10%用于驗證，50%作為測試集。

訓練過程采用小批量梯度下降法和沖量，這樣可以使訓練過程更快收斂[11]。運用反向傳播法使參數(shù)不斷更新，直至損失函數(shù)收斂。網(wǎng)絡訓練參數(shù)設置:學習批次64，學習率0.001，沖量常數(shù)0.9，權值衰減系數(shù)0.000 5。

本文實驗環(huán)境為：設備型號:DELL PowerEdge-R740；CPU:Intel(R) Xeon(R) Silver 4114 CPU @ 2.20 GHz；內(nèi)核版本:Linux version 4.15.0-32-generic；系統(tǒng)版本:Ubuntu 16.04.03 LTS；內(nèi)存:32GB；GPU:NVIDIA GeForce GTX 1080Ti；CUDA版本:9.0；cuDNN版本:7.4.2。

設置對照實驗，使用Keras框架分別利用YOLO與改進YOLO進行檢測，統(tǒng)計對象為工作人員與安全帽。本文選取召回率、準確率和檢測速度作為算法性能衡量指標。

兩種算法召回率、準確率與檢測速度對比如表1、表2。

表1 工作人員檢測對比結果表

表2 安全帽檢測對比結果表

由實驗結果看出，改進后的檢測算法在召回率、準確率、快速性方面較原算法有所優(yōu)化。盡管原算法檢測速度較快，但是改進后速度也有了小幅度提高，可以更好地滿足生產(chǎn)需求；在工作人員檢測上，由于工作人員目標較大，故檢測的召回率和準確率提高幅度較小；在安全帽檢測上，召回率由83.57%提高到87.91%,準確率由88.85%提高到93.42%，有比較明顯的優(yōu)化，證明改進后的算法檢測小物體的能力有了一定提高。

4 結束語

為了提高視頻監(jiān)控系統(tǒng)檢測小物體的能力以及檢測速度，更高效地實現(xiàn)車間監(jiān)控，減少人力檢查成本，本文提出了改進后的YOLO算法，將RPN算法與YOLO算法相結合，借鑒R-FCN算法去掉一個全連接層，構成一種新的網(wǎng)絡結構，更多地保留了圖像特征，提高了檢測小物體的能力，也提高了系統(tǒng)的綜合檢測能力。該算法應用于數(shù)字化車間智能視頻監(jiān)控系統(tǒng)中，具有較快的檢測速度和較高的檢測準確率，滿足實時性要求，具有一定的應用價值。