基于改進(jìn)YOLOv3的目標(biāo)識(shí)別方法①

陳正斌,葉東毅,朱彩霞,廖建坤

1(福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,福州 350108)

2(中國移動(dòng)通信集團(tuán) 福建有限公司漳州分公司,漳州 363000)

隨著在限制環(huán)境下目標(biāo)識(shí)別算法在識(shí)別精度和實(shí)時(shí)性方面已經(jīng)接近實(shí)用性,研究人員越來越關(guān)注對(duì)非限制環(huán)境下的目標(biāo)進(jìn)行準(zhǔn)確、實(shí)時(shí)的識(shí)別.特別是針對(duì)自然場(chǎng)景中不同尺度和類型的目標(biāo)進(jìn)行準(zhǔn)確并實(shí)時(shí)的識(shí)別是最具挑戰(zhàn)性的任務(wù)[1].

移動(dòng)通信鐵塔作為移動(dòng)通信網(wǎng)絡(luò)建設(shè)中的基礎(chǔ)設(shè)施,架設(shè)在環(huán)境極為復(fù)雜的自然場(chǎng)景中,為了滿足不同場(chǎng)景下的信號(hào)需求,移動(dòng)通信鐵塔還具有多種不同的設(shè)備類型.因此,為了實(shí)現(xiàn)準(zhǔn)確、實(shí)時(shí)的對(duì)移動(dòng)通信鐵塔目標(biāo)識(shí)別,其難點(diǎn)主要體現(xiàn)在以下幾個(gè)方面:(1)移動(dòng)通信鐵塔包含6大類,并且有的類與類之間的差別極小;(2)不同設(shè)備類型之間的尺度差別很大;(3)目標(biāo)鐵塔的周圍還存在強(qiáng)遮擋、背景干擾等問題;(4)采集的圖像還存在光照變化、分辨率不統(tǒng)一等問題.由于背景復(fù)雜、周圍物體遮擋、光照變化等因素引起的干擾導(dǎo)致在復(fù)雜環(huán)境下的目標(biāo)識(shí)別問題更具有很大的挑戰(zhàn)性[2].

近年來,深度學(xué)習(xí)在計(jì)算機(jī)視覺中得到了顯著的發(fā)展,特別是在目標(biāo)識(shí)別方面[3].其主要的方法可以分為兩類.一類是基于候選區(qū)域的目標(biāo)識(shí)別算法.首先使用區(qū)域推薦產(chǎn)生候選目標(biāo)區(qū)域,隨后使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類、回歸處理;雖然其精度較高但實(shí)時(shí)性較差,難以滿足實(shí)時(shí)性需求的應(yīng)用.其中具有代表性的算法有R-CNN[4],Fast R-CNN[5],Faster R-CNN[6],Mask RCNN[7]等.另一類是基于回歸方法的目標(biāo)識(shí)別算法,將識(shí)別問題作為一個(gè)回歸問題處理,直接預(yù)測(cè)目標(biāo)位置和類別.這類方法具有較快的識(shí)別速度,但相對(duì)而言精度偏低,具有代表性的算法有 YOLO[8]、SSD[9]、YOLOv2[10]、YOLOv3[11]等.

YOLOv3在各個(gè)領(lǐng)域應(yīng)用時(shí)相對(duì)R-CNN具有更好的泛化性,基于YOLOv3的目標(biāo)檢測(cè)方法被迅速推廣應(yīng)用到各個(gè)領(lǐng)域,如視頻監(jiān)控、零件檢測(cè)、交通監(jiān)控等.Qu等人[12]在YOLOv3的基礎(chǔ)上,結(jié)合圖像增強(qiáng)技術(shù),提出了一種用于行人檢測(cè)的方法.Song等人[13]提出了將YOLOv3算法應(yīng)用于列車軌道表面的小目標(biāo)缺陷檢測(cè).Bilel等人[14]利用無人飛行器采集的車輛圖像對(duì)Faster R-CNN和YOLOv3算法進(jìn)行比較,得出YOLOv3在靈敏度和處理時(shí)間方面優(yōu)于Faster R-CNN的結(jié)論.

YOLOv3利用深度殘差網(wǎng)絡(luò)提取圖像特征,并實(shí)現(xiàn)多尺度預(yù)測(cè),獲得了目前最好的識(shí)別精度與速度的平衡,但是YOLOv3提取特征獲得的最小特征圖尺寸為13×13,相對(duì)于SSD中的1×1仍然偏大,造成YOLOv3對(duì)于中等或較大尺度的物體識(shí)別效果不好,會(huì)產(chǎn)生誤檢、漏檢或重復(fù)檢測(cè)的問題.因此,本文對(duì)YOLOv3進(jìn)行改進(jìn),提出了針對(duì)自然場(chǎng)景中中等或較大尺寸的目標(biāo)識(shí)別方法CDSP-YOLO.該方法對(duì)YOLOv3進(jìn)行以下兩大改進(jìn):(1)設(shè)計(jì)了使用隨機(jī)空間采樣池化(S3Pool[15])的特征提取網(wǎng)絡(luò)DSP (DarkNet based on S3Pool),以減少因下采樣而導(dǎo)致特征圖空間信息的丟失.(2)對(duì)YOLOv3的多尺度識(shí)別策略進(jìn)行改進(jìn),增強(qiáng)方法對(duì)中等或較大尺寸的目標(biāo)識(shí)別效果,同時(shí)增加錨點(diǎn)框的數(shù)量,以提高目標(biāo)識(shí)別的召回率.此外,針對(duì)非限制自然場(chǎng)景中目標(biāo)識(shí)別任務(wù)存在光照變化等原因而造成的誤檢或漏檢的問題,采用限制對(duì)比度直方圖均衡化(CLAHE)進(jìn)行圖像增強(qiáng)預(yù)處理.最后使用自行設(shè)計(jì)并標(biāo)注的移動(dòng)通信鐵塔數(shù)據(jù)集對(duì)CDSP-YOLO方法進(jìn)行性能評(píng)估,實(shí)驗(yàn)結(jié)果表明本文提出的方法在非限制自然場(chǎng)景中對(duì)中等或較大尺寸的目標(biāo)識(shí)別上能夠取得較好的效果:準(zhǔn)確率達(dá)97%,召回率達(dá)80%.

1 相關(guān)工作

在感興趣目標(biāo)識(shí)別的方面,近年來得到了飛速的發(fā)展,在精確性和實(shí)時(shí)性上都有了大幅度的提升,主要原因除了GPU計(jì)算能力的提升之外,深度卷積神經(jīng)網(wǎng)絡(luò)的引入也使得該領(lǐng)域取得了重大突破[16].深度學(xué)習(xí)目標(biāo)識(shí)別算法已經(jīng)廣泛地應(yīng)用于各個(gè)目標(biāo)識(shí)別領(lǐng)域,同時(shí)針對(duì)特定問題的改進(jìn)算法也不斷提出,并取得顯著的效果.以下將簡(jiǎn)要介紹利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行自然場(chǎng)景中中等或較大尺寸目標(biāo)檢測(cè)的最新研究.

基于候選區(qū)域的目標(biāo)識(shí)別算法首先在圖像中產(chǎn)生候選框,然后對(duì)候選框中的目標(biāo)進(jìn)行分類.Cai等人[17]針對(duì)街道環(huán)境中的目標(biāo)識(shí)別任務(wù),對(duì)Faster R-CNN進(jìn)行適應(yīng)性的結(jié)構(gòu)微調(diào),使其對(duì)街道環(huán)境中的目標(biāo)識(shí)別任務(wù)可以獲得較好的效果.但是該算法對(duì)于具有圖像背景干擾及周圍物體遮擋的目標(biāo)識(shí)別效果不佳.Weidong Min等人[18]提出一種改進(jìn)的ViBe算法,用于多個(gè)目標(biāo)的魯棒性與準(zhǔn)確性識(shí)別.該算法采用良好的后處理方法抑制動(dòng)態(tài)噪聲,同時(shí)使用兩個(gè)分類器進(jìn)一步解決無法識(shí)別具有遮擋和干擾目標(biāo)的問題,但是實(shí)驗(yàn)中對(duì)比的方法不是目前最好的方法,不能完全說明該方法的優(yōu)越性.Cao等人[19]提出具有知識(shí)引導(dǎo)訓(xùn)練和預(yù)測(cè)感興趣區(qū)域的快速深度神經(jīng)網(wǎng)絡(luò),在顯著降低整體計(jì)算復(fù)雜度的同時(shí)提高目標(biāo)識(shí)別性能,與傳統(tǒng)SSD算法相比,該算法的檢測(cè)速度顯著提高,但是檢測(cè)精度卻沒有明顯提升.

基于回歸問題的目標(biāo)識(shí)別算法使用端到端的神經(jīng)網(wǎng)絡(luò),直接預(yù)測(cè)圖像中目標(biāo)的位置和類別,獲得了目前最好的識(shí)別精度與速度的平衡.針對(duì)不同場(chǎng)景下的任務(wù)需求,基于YOLOv3算法提出了許多改進(jìn)方法.文獻(xiàn)[12–14]已經(jīng)表明基于改進(jìn)YOLOv3的目標(biāo)識(shí)別算法,對(duì)于特定場(chǎng)景下的小目標(biāo)識(shí)別能夠取得較好的效果,但是對(duì)于非限制自然場(chǎng)景中中等或較大尺寸的目標(biāo)識(shí)別任務(wù)存在的背景干擾和周圍物體遮擋的問題,現(xiàn)有改進(jìn)算法的識(shí)別性能仍然有待提升.

2 YOLOv3

YOLO目標(biāo)識(shí)別算法的核心思想是將目標(biāo)識(shí)別問題轉(zhuǎn)化成一個(gè)回歸問題,實(shí)現(xiàn)了僅用一個(gè)深度卷積網(wǎng)絡(luò),同時(shí)在保證準(zhǔn)確率較高的前提下實(shí)現(xiàn)快速的目標(biāo)識(shí)別[20].

YOLOv3在YOLOv2的基礎(chǔ)上進(jìn)行了一些適應(yīng)性的改進(jìn),包括多尺度識(shí)別、多標(biāo)簽分類等,并使用基于ResNet網(wǎng)絡(luò)改進(jìn)的 DarkNet-53 網(wǎng)絡(luò)作為特征提取器,使YOLO系列方法不擅長識(shí)別小物體的缺陷得到了改善.YOLOv3也因此成為目前為止最優(yōu)秀的目標(biāo)識(shí)別算法之一.如圖1為DarkNet-53特征提取器的網(wǎng)絡(luò)結(jié)構(gòu).

圖1 YOLOv3算法的DarkNet-53網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3首先將原始圖片縮放到416×416的大小,使用了類似 FPN 網(wǎng)絡(luò)[21]的尺度金字塔結(jié)構(gòu).其中的DarkNet-53特征提取網(wǎng)絡(luò)將原始圖像按照特征圖的尺度大小劃分為S×S個(gè)等大的單元格,對(duì)應(yīng)的3個(gè)尺度的特征圖大小為 13×13、26×26、52×52.接著采用淺層次特征和深層次特征的融合獲得更具有鑒別性的深層特征.最后在回歸預(yù)測(cè)部分每一個(gè)單元格借助3個(gè)錨點(diǎn)框(anchor box)預(yù)測(cè) 3個(gè)邊框.如圖2所示為其中一個(gè)網(wǎng)格預(yù)測(cè)的邊框示意圖.

YOLOv3在每一個(gè)單元格上會(huì)為每一個(gè)邊框預(yù)測(cè)4個(gè)值,即邊框左上角坐標(biāo)(x,y)與目標(biāo)的寬和高(w,h),記為若目標(biāo)中心在單元格中相對(duì)于圖像左上角有偏移并且錨點(diǎn)框具有寬度和高度(Pw,Ph),則修正后的邊框?yàn)?

其中,錨點(diǎn)框的選擇采用維度聚類的方法,傳統(tǒng)的聚類算法包括層次聚類和k均值聚類,以及基于模型的方法[22].而在YOLOv3中利用K-means聚類算法對(duì)訓(xùn)練集中目標(biāo)邊框的尺寸進(jìn)行聚類,獲取最佳錨點(diǎn)框的尺寸,從而能夠預(yù)測(cè)出更加準(zhǔn)確的目標(biāo)邊框.其中的Kmeans聚類算法的距離度量為:

其中,box指 數(shù)據(jù)集中邊框尺寸樣本,centroid指類簇中心尺寸.

YOLOv3使用邏輯回歸預(yù)測(cè)錨點(diǎn)框中包含物體的概率.如果錨點(diǎn)框與真實(shí)目標(biāo)邊框的重疊率大于任何其他錨點(diǎn)框,則這個(gè)錨點(diǎn)框的概率為 1;如果錨點(diǎn)框與真實(shí)目標(biāo)的邊框的重疊率大于 0.5,但又不是最大的,則忽略這個(gè)預(yù)測(cè).YOLOv3 在訓(xùn)練時(shí)僅對(duì)一個(gè)物體分配一個(gè)錨點(diǎn)框.如果錨點(diǎn)框中沒有包含被認(rèn)為的物體,則使其在損失函數(shù)中不起作用.YOLOv3 在訓(xùn)練過程中使用二元交叉熵?fù)p失和邏輯回歸來進(jìn)行類別預(yù)測(cè),這種方式使得 YOLOv3 可以對(duì)一個(gè)目標(biāo)進(jìn)行多標(biāo)簽分類.

圖2 YOLOv3在13×13的單元格中的預(yù)測(cè)邊框示意圖

3 隨機(jī)空間采樣池化(S3Pool)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的特征池化層主要用于減少參數(shù)計(jì)算數(shù)量,保持尺度的不變性,并增加特征圖的感受野大小[23].在中規(guī)模的網(wǎng)絡(luò),例如:VGG[24]和GoogLeNet[25]中使用最大或者平均池化的方式;而在大規(guī)模的網(wǎng)絡(luò),例如:ResNet[26]和DenseNet[27],使用帶步長的卷積方式進(jìn)行特征圖的壓縮.由于以上的方式,僅從某個(gè)鄰域內(nèi)通過線性的方式下采樣成一個(gè)點(diǎn),而沒有更多的考慮特征圖的空間關(guān)系,使得網(wǎng)絡(luò)在前向傳播時(shí)丟失更多的信息.在文獻(xiàn)[15]中Zhai等人提出了隨機(jī)空間采樣池化(S3Pool).該算法先使用步長為1的最大池化方式,得到一張與原特征圖尺寸相同的特征圖;然后將特征圖劃分成邊長為g的網(wǎng)格,再使用隨機(jī)選擇行列的方式確定池化窗口選擇的點(diǎn)進(jìn)行特征圖的下采樣.如圖3為使用池化窗口為2、步長為2、網(wǎng)格大小為2的S3Pool過程.

S3Pool通過將池化過程分解為兩個(gè)步驟來擴(kuò)展標(biāo)準(zhǔn)最大池:使用步幅1進(jìn)行最大池化和使用非確定性的空間下采樣,即從特征映射中隨機(jī)采樣行和列.實(shí)際上,S3Pool在每個(gè)池化階段隱式地增加了訓(xùn)練數(shù)據(jù),這使得學(xué)習(xí)模型具有更強(qiáng)的泛化能力.并且與帶步長的卷積相比,S3Pool不會(huì)引入任何附加參數(shù),并且可以插入任何現(xiàn)有的池層.如表1為文獻(xiàn)[15]中利用兩種流行的圖像分類基準(zhǔn)評(píng)估S3Pool :CIFAR-10和CIFAR-100.文獻(xiàn)[15]選用兩個(gè)目前通用的深度神經(jīng)網(wǎng)絡(luò)架構(gòu),即NIN[28]和ResNet.對(duì)比兩個(gè)架構(gòu)中使用步長為2的卷積核(Pool-2)和S3Pool的下采樣方法對(duì)于算法性能的影響.實(shí)驗(yàn)結(jié)果表明S3Pool的隨機(jī)性使得模型具有更好的泛化性.同時(shí)相比于使用帶步長的卷積方式,S3Pool不會(huì)增加任何參數(shù),能夠使得模型更易于訓(xùn)練.

圖3 使用窗口為2、步長為2、網(wǎng)格大小為2的S3Pool過程

表1 S3Pool與Pool-2在CIFAR-10和CIFAR-100的對(duì)比

4 基于YOLOv3的改進(jìn)

針對(duì)現(xiàn)有的目標(biāo)識(shí)別算法對(duì)非限制自然場(chǎng)景中中等或較大尺寸目標(biāo)識(shí)別中無法取得較好性能的問題,本文對(duì)YOLOv3算法在網(wǎng)絡(luò)結(jié)構(gòu)和多尺度識(shí)別策略上進(jìn)行改進(jìn),提出了使用CLAHE圖像增強(qiáng)預(yù)處理的CDSP-YOLO目標(biāo)識(shí)別方法.

4.1 YOLOv3網(wǎng)絡(luò)改進(jìn)

YOLOv3中Redmon等人借鑒了ResNet提出DarkNet-53特征提取網(wǎng)絡(luò).雖然DarkNet-53利用殘差網(wǎng)絡(luò)結(jié)構(gòu)使得網(wǎng)絡(luò)的訓(xùn)練難度得到降低,并使用了大量的 1×1 卷積核與使用3×3大小步長為 2 的卷積核替代最大池化減少網(wǎng)絡(luò)總體的參數(shù)數(shù)量,但是由于通過帶步長卷積的下采樣方式仍是局部鄰域的線性計(jì)算,沒有考慮鄰域之間的空間關(guān)系,因此該方法同樣不能有效的解決因最大池化而導(dǎo)致特征圖空間信息丟失的問題,同時(shí)帶步長的卷積會(huì)使得網(wǎng)絡(luò)的參數(shù)增加,導(dǎo)致訓(xùn)練復(fù)雜、并且減慢識(shí)別速度.

本文的任務(wù)在于完成非限制自然場(chǎng)景中中等或較大尺寸的目標(biāo)識(shí)別.使用在非限制自然場(chǎng)景下采集的移動(dòng)通信鐵塔圖像作為算法性能的評(píng)估.由于自然場(chǎng)景下的移動(dòng)通信鐵塔圖像存在背景復(fù)雜、光照變化和周圍物體遮擋等的問題,直接采用YOLOv3無法有效的解決上述問題,因此,本文提出了DSP (DarkNet based on S3Pool)特征提取網(wǎng)絡(luò).DSP采用隨機(jī)空間采樣池化(S3Pool)的方法對(duì)特征圖進(jìn)行下采樣.該方法首先使用步長為1的最大池化方法,保留特征圖之間更多

的空間關(guān)系,再使用隨機(jī)采樣的方式,在每個(gè)2×2的區(qū)域內(nèi)進(jìn)行采樣,最后輸出下采樣之后的特征圖.本文的DSP特征提取網(wǎng)絡(luò)將DarkNet-53中卷積核大小為3×3、步長為2的卷積層替換成S3Pool下采樣層,起到最大概率保留特征圖空間信息的作用.如圖4為改進(jìn)后的DSP特征提取網(wǎng)絡(luò).

圖4 改進(jìn)后的DSP特征提取網(wǎng)絡(luò)

4.2 多尺度識(shí)別改進(jìn)

YOLOv3 中,引入 FPN網(wǎng)絡(luò),同時(shí)利用低層特征的高分辨率和高層特征的高語義信息,并通過上采樣融合不同層的特征,在3個(gè)不同尺度的特征層上識(shí)別物體.如圖5為移動(dòng)通信鐵塔圖像在13×13、26×26、52×52的3個(gè)尺度層下的感受野圖示,在移動(dòng)通信鐵塔目標(biāo)較大的情況下,在52×52的尺度層輸出特征圖的感受野對(duì)應(yīng)目標(biāo)的部分極小.此時(shí)使用錨點(diǎn)框進(jìn)行預(yù)測(cè)鐵塔目標(biāo)邊框?qū)⒑茈y保證錨點(diǎn)框?qū)τ诖竽繕?biāo)的覆蓋率.同時(shí),如圖6所示移動(dòng)通信鐵塔圖像中的鐵塔目標(biāo)大多數(shù)為大目標(biāo)的情況,本文對(duì)YOLOv3中的尺度識(shí)別模塊進(jìn)行改進(jìn),將原有的 3個(gè)尺度識(shí)別修改為2個(gè)尺度識(shí)別,在較小特征圖給大目標(biāo)分配更為準(zhǔn)確的錨點(diǎn)框.

本文將YOLOv3的3個(gè)尺度修改為2個(gè)尺度后,需要對(duì)錨點(diǎn)框進(jìn)行重新確定.通過權(quán)衡平均交并比與錨點(diǎn)框的數(shù)量(如圖7)的關(guān)系,取16個(gè)錨點(diǎn)框,分別為:(12,46)、(16,111)、(22,76)、(39,72)、(22,166)、(30,113)、(75,79)、(33,198)、(49,148)、(40,282)、(57,327)、(291,53)、(64,205)、(94,294)、(135,154)、(194,310).在每個(gè)尺度上的每一個(gè)單元格借助8個(gè)錨點(diǎn)框預(yù)測(cè)8個(gè)目標(biāo)邊框.

基于以上提出的改進(jìn)思路,如圖8中給出了本文提出的改進(jìn)后的DSP-YOLO (DarkNet based on S3Pool-YOLO)網(wǎng)絡(luò)結(jié)構(gòu).網(wǎng)絡(luò)的輸入為416×416的待識(shí)別圖像,經(jīng)過DSP特征提取,再利用多尺度識(shí)別,最后輸出2個(gè)尺度的識(shí)別結(jié)果,分別為13×13×88、26×26×88,其中的88維通道表示使用8個(gè)錨點(diǎn)框預(yù)測(cè)8個(gè)目標(biāo)邊框的信息,每個(gè)預(yù)測(cè)邊框信息具體包括邊框坐標(biāo)(x,y)、大小(w,h)、置信度(C)及所屬6個(gè)類別的概率( C1,C2,C3,C4,C5,C6).

圖5 移動(dòng)通信鐵塔圖像在3個(gè)尺度層下的感受野圖示

圖6 數(shù)據(jù)集中邊框高度的分布情況

圖7 錨點(diǎn)框與數(shù)據(jù)集邊框平均交并比的關(guān)系圖

4.3 圖像增強(qiáng)預(yù)處理

由于非限制自然場(chǎng)景中的圖像在采集過程中存在光線不足或者光照不均勻等的現(xiàn)象,該現(xiàn)象可能導(dǎo)致圖像質(zhì)量下降.因此,采用傳統(tǒng)的YOLOv3算法無法很好適用于該場(chǎng)景下的移動(dòng)通信鐵塔目標(biāo)識(shí)別問題.

為了克服以上提及的問題,本文提出了CDSPYOLO目標(biāo)識(shí)別方法.該方法采用了對(duì)自適應(yīng)直方圖均衡化算法(AHE)[29]改進(jìn)的限制對(duì)比度直方圖均衡化的圖像增強(qiáng)預(yù)處理算法(CLAHE).其中CLAHE圖像增強(qiáng)預(yù)處理算法的主要步驟為:

(1)首先將圖像的顏色空間由RGB轉(zhuǎn)為HSV.

(2)然后將圖像分塊,并對(duì)每個(gè)分塊在HSV顏色空間中的V(亮度)分量進(jìn)行直方圖均衡化的操作,該操作將直方圖中超過閾值的灰度級(jí)像素剪切均分給每個(gè)灰度級(jí).

(3)最后將V分量和原先的H、S分量拼接再轉(zhuǎn)到RGB顏色空間得到增強(qiáng)后的圖像.

通過CLAHE預(yù)處理后可以減小光照對(duì)圖像質(zhì)量的影響,同時(shí)由于提升了對(duì)比度還會(huì)增加了樣本圖像光照的多樣性.在訓(xùn)練和測(cè)試的過程中對(duì)圖像進(jìn)行增強(qiáng)預(yù)處理,提高移動(dòng)通信鐵塔圖像質(zhì)量,從而提高模型識(shí)別的準(zhǔn)確率和召回率.如圖9為CDSP-YOLO目標(biāo)識(shí)別方法流程圖.

5 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證DSP-YOLO算法的在識(shí)別非限制自然場(chǎng)景中中等或較大尺寸目標(biāo)的可行性以及采用基于CLAHE圖像增強(qiáng)預(yù)處理的CDSP-YOLO方法進(jìn)行目標(biāo)識(shí)別的有效性.本文在中國移動(dòng)集團(tuán)福建有限公司漳州分公司提供圖像構(gòu)造的數(shù)據(jù)集上,通過對(duì)比實(shí)驗(yàn)的方法,將YOLOv3、DSP-YOLO和CDSP-YOLO方法應(yīng)用于移動(dòng)通信鐵塔目標(biāo)的識(shí)別.實(shí)驗(yàn)服務(wù)器的配置參數(shù)如下:Intel(R)Xeon(R)CPU E5-2620 v4 @ 2.10 GHz處理器、128 GB內(nèi)存、16 GB NVIDIA Tesla P100 GPU、Ubuntu 16.04.3操作系統(tǒng).

圖9 CDSP-YOLO目標(biāo)識(shí)別方法流程圖

實(shí)驗(yàn)主要分為兩個(gè)部分:第一,通過實(shí)驗(yàn)結(jié)果定量評(píng)估YOLOv3、DSP-YOLO和CDSP-YOLO方法對(duì)于中等或較大尺寸的移動(dòng)通信鐵塔目標(biāo)識(shí)別的效果,驗(yàn)證CDSP-YOLO方法的有效性.第二,通過實(shí)驗(yàn)結(jié)果定性的評(píng)估YOLOv3、DSP-YOLO和CDSP-YOLO方法在自然場(chǎng)景中對(duì)不同類別的移動(dòng)通信鐵塔的識(shí)別能力,驗(yàn)證CDSP-YOLO方法具有良好的魯棒性.

本次實(shí)驗(yàn)規(guī)定當(dāng)模型預(yù)測(cè)的目標(biāo)邊框與手工標(biāo)注的邊框 IOU ≥ 0.5 時(shí),則認(rèn)為移動(dòng)通信鐵塔目標(biāo)識(shí)別正確,否則錯(cuò)誤.實(shí)驗(yàn)選取準(zhǔn)確率P(Precision)、召回率R(Recall)和平均交并比mIOU作為評(píng)價(jià)指標(biāo).

準(zhǔn)確率:

召回率:

其中,TP為 真正例,FP為假正例,FN為假負(fù)例.

5.1 數(shù)據(jù)集

本文中提到的移動(dòng)通信鐵塔目標(biāo)識(shí)別的原始實(shí)驗(yàn)數(shù)據(jù)由中國移動(dòng)集團(tuán)福建有限公司漳州分公司提供,實(shí)驗(yàn)數(shù)據(jù)包含6個(gè)類別共240張圖像.

由于原始移動(dòng)通信鐵塔圖像數(shù)據(jù)數(shù)量較少,本文采取了3種策略對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增[30],分別為:(1)隨機(jī)圖像平移:將圖像在水平或者垂直方向上進(jìn)行平移–0.2倍～0.2倍.(2)隨機(jī)圖像縮放:對(duì)圖像進(jìn)行隨機(jī)的縮小或者放大0.2倍.(3)隨機(jī)圖像鏡像翻轉(zhuǎn):將圖像進(jìn)行隨機(jī)的翻轉(zhuǎn),得到鏡像圖像.通過以上的數(shù)據(jù)擴(kuò)增方法,本文得到6691張圖像用于后續(xù)的工作.如圖10為中國移動(dòng)集團(tuán)福建有限公司漳州分公司提供給的移動(dòng)通信鐵塔目標(biāo)數(shù)據(jù)集擴(kuò)增后的部分?jǐn)?shù)據(jù)展示.

5.2 識(shí)別結(jié)果定量評(píng)估

將本文提出的基于CLAHE圖像增強(qiáng)預(yù)處理的CDSP-YOLO與未采用圖像增強(qiáng)處理的DSP-YOLO及YOLOv3進(jìn)行比較,對(duì)比實(shí)驗(yàn)結(jié)果如表2所示.表中的數(shù)據(jù)是在500個(gè)樣本的測(cè)試集上獲得,其中對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和多尺度改進(jìn)的DSP-YOLO算法得到了91%的準(zhǔn)確率和77%的召回率,相比于YOLOv3分別提升了11%和20%.更進(jìn)一步的是,在使用了基于CLAHE圖像增強(qiáng)預(yù)處理的CDSP-YOLO相比于未使用圖像增強(qiáng)預(yù)處理的DSP-YOLO在準(zhǔn)確率和召回率又提高了6%和3%,最終取得97%的準(zhǔn)確率和80%的召回率.

圖10 移動(dòng)通信鐵塔目標(biāo)識(shí)別數(shù)據(jù)集展示

表2 實(shí)驗(yàn)結(jié)果對(duì)比

5.3 定性評(píng)估與誤差分析

為了更直觀的展示實(shí)驗(yàn)的對(duì)比效果,如圖11展示了YOLOv3、DSP-YOLO和CDSP-YOLO對(duì)中等或較大尺寸的移動(dòng)通信鐵塔測(cè)試集中6個(gè)類別的不同場(chǎng)景圖像的識(shí)別結(jié)果.實(shí)驗(yàn)主要從目標(biāo)強(qiáng)遮擋、光照變化、圖像對(duì)比度低、圖像模糊和多目標(biāo)識(shí)別等方面對(duì)3個(gè)方法進(jìn)行全面的對(duì)比.由圖11的對(duì)比實(shí)驗(yàn)結(jié)果可知,直接使用YOLOv3算法進(jìn)行移動(dòng)通信鐵塔目標(biāo)識(shí)別存在漏檢和識(shí)別錯(cuò)誤的問題.而使用適應(yīng)性的DSPYOLO算法在一定程度上能克服YOLOv3算法出現(xiàn)的漏檢問題,但對(duì)于圖像中出現(xiàn)光照變化、對(duì)比度低和模糊的現(xiàn)象,直接使用DSP-YOLO算法進(jìn)行目標(biāo)識(shí)別也很難有好效果.由圖11中第3列的CDSP-YOLO方法識(shí)別結(jié)果可知,使用CLAHE圖像增強(qiáng)預(yù)處理方法可以很好的避免圖像中出現(xiàn)光照變化、對(duì)比度低和模糊的現(xiàn)象對(duì)于目標(biāo)識(shí)別的影響.實(shí)驗(yàn)對(duì)比結(jié)果表明本文提出的CDSP-YOLO目標(biāo)識(shí)別方法對(duì)于自然場(chǎng)景下的移動(dòng)通信鐵塔目標(biāo)識(shí)別具有良好的魯棒性.

圖11(a)、圖11(b)、圖11(c)3個(gè)對(duì)比圖存在強(qiáng)遮擋、對(duì)比度低和光照變化的問題,僅有CDSP-YOLO方法可以全部識(shí)別移動(dòng)通信鐵塔目標(biāo).YOLOv3算法相比于DSP-YOLO算法在特征圖的下采樣過程中丟失的空間信息更多,而導(dǎo)致在存在上述問題的圖像中無法有效地將移動(dòng)通信鐵塔目標(biāo)識(shí)別.而DSP-YOLO算法雖然能夠識(shí)別出一些鐵塔目標(biāo),但是與CDSPYOLO方法相比存在置信度較低的問題,如圖11(c)中DSP-YOLO算法識(shí)別的置信度為0.75,而CDSPYOLO方法識(shí)別的置信度高達(dá)0.94.綜上,CDSPYOLO目標(biāo)識(shí)別方法在場(chǎng)景復(fù)雜的移動(dòng)通信鐵塔目標(biāo)識(shí)別上具有較好的識(shí)別效果.

圖11(d)、圖11(e)、圖11(f)3個(gè)對(duì)比圖為多目標(biāo)識(shí)別問題,同時(shí)場(chǎng)景中仍存在遮擋、對(duì)比度低和圖像模糊的問題,同樣僅有CDSP-YOLO算法可以識(shí)別出所有的移動(dòng)通信鐵塔目標(biāo).YOLOv3算法不僅存在漏檢的問題,而且在移動(dòng)通信鐵塔目標(biāo)類別較為相似的情況下還存在識(shí)別錯(cuò)誤的問題,主要原因是YOLOv3的特征提取網(wǎng)絡(luò)的對(duì)特征圖空間信息的保留能力不足,同時(shí)由于沒有對(duì)多尺度做適應(yīng)性改進(jìn),每個(gè)尺度采用3個(gè)錨點(diǎn)框無法取得較好的覆蓋率從而導(dǎo)致識(shí)別的召回率低,因此YOLOv3算法無法直接應(yīng)用于自然場(chǎng)景中中等或較大尺寸的目標(biāo)識(shí)別任務(wù)中.而直接使用DSP-YOLO算法對(duì)于場(chǎng)景存在背景干擾、遮擋和光照變化的多目標(biāo)識(shí)別仍存在少數(shù)的漏檢情況,主要還是因?yàn)樯鲜鲎匀粓?chǎng)景過于復(fù)雜引起.所以采用基于CLAHE圖像增強(qiáng)預(yù)處理的方法能夠有效的提高DSP-YOLO的識(shí)別召回率和準(zhǔn)確率.

6 總結(jié)

本文基于YOLOv3對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和多尺度識(shí)別進(jìn)行改進(jìn),提出了一種針對(duì)非限制自然場(chǎng)景中中等或較大尺寸的目標(biāo)識(shí)別方法,并自行設(shè)計(jì)標(biāo)注了一個(gè)移動(dòng)通信鐵塔目標(biāo)的數(shù)據(jù)集,用于方法性能的評(píng)估.實(shí)驗(yàn)結(jié)果表明,本文提出的CDSP-YOLO目標(biāo)識(shí)別方法對(duì)自然場(chǎng)景中中等或較大尺寸的目標(biāo)具有良好的魯棒性,識(shí)別的準(zhǔn)確率達(dá)97%,召回率達(dá)80%.

圖11 YOLOv3、DSP-YOLO、CDSP-YOLO對(duì)比實(shí)驗(yàn)結(jié)果