基于偏振圖像的低照度場(chǎng)景多目標(biāo)檢測(cè)算法

尋華生，張晶晶，劉 曉，李 騰，年福東，張 馨

基于偏振圖像的低照度場(chǎng)景多目標(biāo)檢測(cè)算法

尋華生1,2，張晶晶1,2,3，劉 曉3，李 騰1,2，年福東1,4，張 馨1,2

（1. 安徽大學(xué) 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230601；2. 偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031；3. 中國(guó)科學(xué)院 通用光學(xué)定標(biāo)與表征技術(shù)重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031；4. 合肥學(xué)院先進(jìn)制造工程學(xué)院，安徽 合肥 230601）

偏振光反射信息可直接反演目標(biāo)本征特性，且在傳輸過(guò)程中具備較強(qiáng)的抗干擾特性，因此偏振成像技術(shù)可適用于多種復(fù)雜環(huán)境中的智能監(jiān)控、交通監(jiān)察領(lǐng)域。近年來(lái)使用深度學(xué)習(xí)判讀圖像檢測(cè)目標(biāo)的方法迅速發(fā)展，已經(jīng)廣泛應(yīng)用于圖像處理的各個(gè)領(lǐng)域。本文提出了一種基于偏振圖像與深度神經(jīng)網(wǎng)絡(luò)算法的行人、車(chē)輛多目標(biāo)檢測(cè)算法YOLOv5s-DOLP。首先，通過(guò)實(shí)時(shí)獲取到偏振圖像進(jìn)行偏振信息解析，獲取目標(biāo)偏振度圖像。其次，為增強(qiáng)偏振度圖像中檢測(cè)目標(biāo)與背景存在高對(duì)比度的特性，在主干網(wǎng)絡(luò)中引入通道注意力與空間注意力，提升網(wǎng)絡(luò)特征進(jìn)行自適應(yīng)學(xué)習(xí)的能力。此外，使用K-means算法對(duì)目標(biāo)位置信息進(jìn)行聚類(lèi)分析，加快網(wǎng)絡(luò)在偏振度圖像的學(xué)習(xí)速度，提升目標(biāo)檢測(cè)精度。實(shí)驗(yàn)結(jié)果顯示，該算法結(jié)合了偏振成像和深度學(xué)習(xí)目標(biāo)檢測(cè)的優(yōu)勢(shì)，對(duì)于低照度復(fù)雜場(chǎng)景中的車(chē)輛、行人目標(biāo)檢測(cè)效果好、檢測(cè)速度快，對(duì)于道路車(chē)輛的目標(biāo)檢測(cè)、識(shí)別與跟蹤具有一定的應(yīng)用價(jià)值。

偏振成像；神經(jīng)網(wǎng)絡(luò)；YOLOv5s；多目標(biāo)檢測(cè)；注意力機(jī)制

0 引言

在傳統(tǒng)的監(jiān)控領(lǐng)域，圖像判讀處理和目標(biāo)識(shí)別一直為研究熱點(diǎn)。一直以來(lái)，場(chǎng)景監(jiān)控使用可見(jiàn)光圖像居多，而光線(xiàn)角度的影響，雨霧等散射介質(zhì)對(duì)成像的影響會(huì)造成成像效果不佳，設(shè)備有效探測(cè)距離不遠(yuǎn)。偏振成像與可見(jiàn)光相比，偏振成像反映的是物體的偏振信息，偏振成像受成像環(huán)境因素的影響較小，探測(cè)距離相對(duì)較遠(yuǎn)，目標(biāo)的輪廓對(duì)比度強(qiáng)。偏振成像對(duì)于復(fù)雜環(huán)境下的監(jiān)控等應(yīng)用場(chǎng)景有較高的應(yīng)用價(jià)值。

目前的偏振成像探測(cè)設(shè)備具備的功能除圖像顯示、人眼直接判讀外，很少具有自動(dòng)檢測(cè)與識(shí)別等功能，對(duì)于低照度場(chǎng)景的目標(biāo)檢測(cè)識(shí)別智能化程度較低。于洵等人[1]利用光譜信息和偏振信息相融合的目標(biāo)識(shí)別方法，提高了偽裝目標(biāo)識(shí)別的準(zhǔn)確率。李從利等人[2]在霧天條件下利用偏振信息評(píng)估圖像。李小明[3]用偏振信息檢測(cè)沙漠背景下的目標(biāo)，該方法能有效提取沙漠背景下的金屬靶信息。目前，偏振探測(cè)已經(jīng)應(yīng)用在多個(gè)研究領(lǐng)域中，并已驗(yàn)證了偏振信息的獨(dú)特性以及在目標(biāo)檢測(cè)識(shí)別中的可行性?；谏疃葘W(xué)習(xí)[4]的目標(biāo)檢測(cè)[5-6]和目標(biāo)跟蹤算法被提出。迄今為止，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法大致分為兩類(lèi)：①雙步目標(biāo)檢測(cè)算法，如Fast R-CNN（Region-convolutional Neural Network）[7]、Faster R-CNN[8]、Mask R-CNN[9]，其將檢測(cè)分為兩步，先使用區(qū)域候選網(wǎng)絡(luò)（region proposal network, RPN）來(lái)提取目標(biāo)特征信息，其次運(yùn)用檢測(cè)網(wǎng)絡(luò)針對(duì)候選目標(biāo)的位置等信息的預(yù)測(cè)及識(shí)別；②單步目標(biāo)檢測(cè)算法，如SSD（single shot Multibox detector）[10]、YOLO（you only look once）系列[11-14]等，此類(lèi)算法不使用RPN，直接通過(guò)網(wǎng)絡(luò)來(lái)產(chǎn)生目標(biāo)的位置和類(lèi)別信息，是一種端到端的目標(biāo)檢測(cè)算法。在復(fù)雜環(huán)境，例如低照度等，上述目標(biāo)檢測(cè)算法針對(duì)可見(jiàn)光圖像的檢測(cè)效果不佳?；诖?，本文在YOLOv5中最輕便的YOLOv5s的基礎(chǔ)上進(jìn)行改進(jìn)，提出基于偏振成像的YOLOv5s的目標(biāo)檢測(cè)算法YOLOv5s-DOLP。數(shù)據(jù)層面，首先，本文所構(gòu)建的偏振數(shù)據(jù)與可見(jiàn)光相比，偏振成像可以通過(guò)反映物體的偏振信息來(lái)減少環(huán)境因素的影響，遠(yuǎn)距離的探測(cè)和檢測(cè)目標(biāo)輪廓與背景高對(duì)比度特性，可以在低照度下增強(qiáng)算法在偏振成像中的目標(biāo)檢測(cè)能力。其次，對(duì)本文構(gòu)建的偏振成像數(shù)據(jù)使用K-means算法重新獲取目標(biāo)的位置等信息，提升目標(biāo)檢測(cè)精度。網(wǎng)絡(luò)層面，首先，為了減少Focus操作對(duì)于偏振度圖像中檢測(cè)目標(biāo)與背景相交邊緣的灰度值梯度變化和背景深處的小目標(biāo)輪廓被切割的情況，YOLOv5s-DOLP先將輸入數(shù)據(jù)進(jìn)行卷積處理，保持檢測(cè)目標(biāo)與背景的高對(duì)比度特性和小目標(biāo)的完整輪廓特征，對(duì)Focus模塊結(jié)果進(jìn)行信息補(bǔ)充。其次，在主干網(wǎng)絡(luò)中，使用嵌入注意力模塊卷積塊代替標(biāo)準(zhǔn)卷積操作，提升網(wǎng)絡(luò)在偏振成像數(shù)據(jù)特征中的自適應(yīng)學(xué)習(xí)能力，抑制背景信息，更有效地檢測(cè)到目標(biāo)，減少誤檢和漏檢問(wèn)題。最后，受圖像多尺度表達(dá)思想影響，將偏振度圖像變換尺寸，經(jīng)過(guò)輕量級(jí)卷積操作后，將輸出與對(duì)應(yīng)尺寸的特征圖通道疊加，融合不同感受野的特征信息。

1 偏振成像數(shù)據(jù)的構(gòu)建與預(yù)處理

1.1 偏振成像數(shù)據(jù)的構(gòu)建

通過(guò)式(1)可得斯托克斯參量、、，通過(guò)公式(2)、(3)偏振角AOP與解析線(xiàn)偏振度DOLP。

圖1所示為偏振圖像采集偏振參量流程，光線(xiàn)經(jīng)過(guò)3個(gè)方向的偏振分析器、3個(gè)探測(cè)器分別成像。采集到的數(shù)字圖像經(jīng)過(guò)計(jì)算機(jī)的處理，各對(duì)像素經(jīng)運(yùn)算后得到的即為偏振信息圖像的像素。

圖1 偏振圖像采集與偏振參量解析流程

圖2(a)～(c)為0°、60°和120°三個(gè)方向的偏振原圖，(d)為圖，(e)、(f)依次為圖和圖，(g)、(h)分別為偏振角圖像和偏振度圖像。通過(guò)對(duì)比圖、AOP圖、DOLP圖，可知背景圖像的偏振度相較被檢測(cè)物體的偏振度較低，如車(chē)輛等。其原因?yàn)闄z測(cè)目標(biāo)不屬于自然目標(biāo)，被測(cè)物比較光滑，對(duì)比自然目標(biāo)，會(huì)以鏡面反射為主，地表等背景圖像表面紋理不均勻，以漫反射為主。故在檢測(cè)目標(biāo)與背景相交的邊緣，偏振度和偏振角產(chǎn)生較為明顯的變化，增強(qiáng)檢測(cè)目標(biāo)的邊緣輪廓，提升目標(biāo)的細(xì)節(jié)特性。

1.2 偏振度圖像的錨點(diǎn)修正

YOLOv5s網(wǎng)絡(luò)初始錨點(diǎn)是在COCO以及Pascal VOC兩種可見(jiàn)光圖像上使用K-means算法對(duì)目標(biāo)框位置信息進(jìn)行聚類(lèi)分析而得。本文做構(gòu)建的偏振度圖像數(shù)據(jù)經(jīng)數(shù)據(jù)擴(kuò)容，檢測(cè)目標(biāo)種類(lèi)和目標(biāo)位置分布等參數(shù)與YOLOv5s網(wǎng)絡(luò)的初始錨點(diǎn)有所差異，為了提升網(wǎng)絡(luò)對(duì)于偏振數(shù)據(jù)特征的學(xué)習(xí)能力，提升目標(biāo)檢測(cè)精度，通過(guò)K-mean算法重新對(duì)偏振成像數(shù)據(jù)目標(biāo)框位置信息進(jìn)行聚類(lèi)分析。偏振度圖像的大小為608×608，新的錨點(diǎn)分別為：(60, 43)，(100, 60)，(73, 143)，(29, 64)，(182, 82)，(27, 22)，(11, 30)，(16, 40)，(40, 30)。

2 YOLOv5s模型改進(jìn)

圖3為基于偏振度圖像目標(biāo)檢測(cè)所提出的算法流程圖。由圖1的流程得到3個(gè)角度的偏振原圖，通過(guò)公式(1)得到圖、圖、圖，有公式(3)求解得到偏振度圖像DOLP圖。本文將偏振度圖像輸入到Y(jié)OLOv5s-DOLP中訓(xùn)練，獲得YOLOv5s-DOLP模型，最終獲取檢測(cè)結(jié)果。

圖2 偏振參量解析示意圖

圖3 算法流程圖

2.1 針對(duì)Focus模塊的特征融合

Focus模塊是YOLOv5對(duì)于輸入圖片進(jìn)行切片的操作，如圖4所示。具體操作是在輸入尺寸為×的圖像中每隔一個(gè)像素取一個(gè)值，遍歷整張圖像后得到4張尺寸為/2×/2圖像。其目的是將、的信息集中到通道空間，再通過(guò)3×3的卷積對(duì)其特征進(jìn)行充分提取。此操作雖然在一定程度上幫助網(wǎng)絡(luò)進(jìn)一步提取圖片特征，但對(duì)于偏振度圖像，此操作不僅破壞了檢測(cè)目標(biāo)與背景相交邊緣的灰度值梯度變化，削弱偏振度圖像中檢測(cè)目標(biāo)對(duì)于背景的高對(duì)比度，如圖5所示，而且對(duì)于圖像背景深處的小目標(biāo)容易造成進(jìn)一步模糊或者分割等問(wèn)題，造成漏檢的幾率增加?；诖?，本文在主干網(wǎng)絡(luò)開(kāi)啟分支，對(duì)于輸入數(shù)據(jù)進(jìn)行卷積操作，保留檢測(cè)目標(biāo)與背景相交邊緣的灰度值的梯度變化和小目標(biāo)完整的輪廓特征，再與Focus模塊的輸出進(jìn)行信息交互，補(bǔ)充檢測(cè)目標(biāo)的特征細(xì)節(jié)。

圖4 Focus操作示意圖

圖5中(a)、(b)分別為拉普拉斯算子對(duì)原始偏振度圖像、Focus結(jié)果的圖像邊緣檢測(cè)。整體觀測(cè)，(a)列的邊緣梯度比(b)列的邊緣梯度變化清晰、明了。細(xì)節(jié)觀測(cè)，如圖中矩形框部分所示，相比較(a)列，F(xiàn)ocus結(jié)果的車(chē)輛及行人的梯度變化明顯減弱，降低了偏振度圖像的特性。

2.2 基于注意力機(jī)制的卷積操作

在偏振度圖像中，檢測(cè)目標(biāo)與背景有著較高的對(duì)比度，即檢測(cè)目標(biāo)的輪廓較為清晰。為了進(jìn)一步提高圖像信息的處理效率與檢測(cè)精度，本文在主干網(wǎng)絡(luò)引入了注意力機(jī)制。類(lèi)似于人類(lèi)在視線(xiàn)范圍內(nèi)聚焦于某一片區(qū)域，注意力機(jī)制通過(guò)快速掃描圖像的整體信息，加大重點(diǎn)關(guān)注區(qū)域的權(quán)重，提升網(wǎng)絡(luò)篩選信息的效率，抑制不相關(guān)信息。其中，基于通道注意力與空間注意力的卷積塊注意力模塊（convolutional block attention module, CBAM）[16]就是為卷積網(wǎng)絡(luò)設(shè)計(jì)的輕量級(jí)、有效的注意力模塊。對(duì)于主干網(wǎng)絡(luò)的特征圖∈××，其中、、依次為特征圖通道數(shù)、高度、長(zhǎng)度，融入注意力機(jī)制會(huì)將特征依次通道注意力機(jī)制c∈R×1×1，空間注意力機(jī)制s∈1××，即：

式中：?為矩陣逐元素相乘，其過(guò)程如圖6所示。

圖5 拉普拉斯算子[15]檢測(cè)結(jié)果

圖6 卷積塊注意力模塊

通道注意力模塊將特征圖在空間維度上進(jìn)行壓縮，得到一維矢量，如圖7所示。其中最大池化（max pooling，MaxPool）和平均池化（average pooling，AvgPool）用來(lái)聚合特征映射的空間信息，再將信息輸入到共享網(wǎng)絡(luò)，壓縮輸入特征圖的空間維數(shù)，得到maxc和avgc，并逐元素求和，產(chǎn)生通道注意力圖：

c()＝{MLP(AvgPool())＋MLP(MaxPool())}＝

1(0(maxc)＋1(0(avgc)) (6)

式中：為激活函數(shù)；MLP為共享網(wǎng)絡(luò)；0、1分別為共享網(wǎng)絡(luò)的第一層和第二層。

空間注意力模塊如圖8所示，將通道注意力模塊的特征圖作為輸入，在通道維度分別進(jìn)行了平均值池化和最大值池化，得到avgs和maxs，將它們進(jìn)行通道疊加，再依次經(jīng)過(guò)卷積和激活函數(shù)，產(chǎn)生空間注意力圖：

s()＝{7×7([AvgPool();MaxPool()])}

＝{7×7([avgs;maxs]) (7)

式中：為激活函數(shù)；7×7代表卷積核尺寸7×7的卷積層。

對(duì)于一個(gè)中間特征圖，卷積塊注意力模塊會(huì)沿著兩個(gè)獨(dú)立的維度依次推斷注意力圖，然后將注意力圖與輸入的特征圖相乘以進(jìn)行自適應(yīng)特征優(yōu)化。CBAM是輕量級(jí)的注意力模塊，因此可以用較小的開(kāi)銷(xiāo)而將其無(wú)縫集成到Y(jié)OLOv5s-DOLP網(wǎng)絡(luò)中的卷積層中，進(jìn)行目標(biāo)檢測(cè)模型的訓(xùn)練。在本文中，嵌入注意力模塊的卷積層可以抑制特征圖中的干擾信息，聚焦有效信息，從而提升目標(biāo)檢測(cè)精度。

圖7 通道注意力模塊

圖8 空間注意力模塊

2.3 多尺度偏振度圖像的特征融合

在本文中，被檢測(cè)物的表面偏振信息通過(guò)偏振成像技術(shù)獲得，通過(guò)背景與被檢測(cè)物的偏振特性不一致性，進(jìn)一步提高被檢測(cè)物體與背景圖像的對(duì)比度，提升被檢測(cè)物體與背景的邊緣分離度，從而使目標(biāo)檢測(cè)的精確度上升。受圖像多尺度表達(dá)思想啟發(fā)，針對(duì)偏振成像受成像環(huán)境因素的影響較小，探測(cè)距離相對(duì)較遠(yuǎn)，目標(biāo)的輪廓對(duì)比度強(qiáng)等特點(diǎn)，本文將偏振度圖像變換尺寸，通過(guò)輕量級(jí)卷積模塊后，將輸出與對(duì)應(yīng)尺寸的特征圖通道疊加，進(jìn)行特征融合，如圖9所示。實(shí)驗(yàn)表明，偏振度圖像中目標(biāo)與背景的高對(duì)比度可以有效地提高檢測(cè)目標(biāo)準(zhǔn)確率。

圖9 YOLOv5s-DOLP網(wǎng)絡(luò)

3 實(shí)驗(yàn)過(guò)程與結(jié)果分析

3.1 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)與環(huán)境配置

由于目前沒(méi)有公開(kāi)的關(guān)于偏振度圖像的目標(biāo)檢測(cè)數(shù)據(jù)集，故本文在數(shù)據(jù)準(zhǔn)備階段，選取低照度環(huán)境，行人和車(chē)輛較為密集的路口采集若干批偏振成像數(shù)據(jù)。經(jīng)過(guò)篩選，最終獲取4000張偏振度圖像，使用圖像數(shù)據(jù)標(biāo)注工具labelme對(duì)獲取的偏振度圖像進(jìn)行標(biāo)注。數(shù)據(jù)按照8:1:1比例進(jìn)行隨機(jī)分配，即訓(xùn)練集3200張、驗(yàn)證集400張、測(cè)試集400張。實(shí)驗(yàn)使用的是分光型偏振成像設(shè)備，具體型號(hào)參數(shù)如表1所示。

表1 分光型偏振成像設(shè)備

為了驗(yàn)證本文工作針對(duì)偏振度成像的目標(biāo)檢測(cè)的有效性，客觀地衡量目標(biāo)檢測(cè)模型的性能，本文引入了精確率Precision、召回率Recall、平均精度AP及均值平均精度mAP作為檢測(cè)訓(xùn)練模型的評(píng)價(jià)指標(biāo)。首先根據(jù)真實(shí)標(biāo)簽將檢測(cè)結(jié)果分為真正例TP（true positive）、真反例TN（true negative）、假正例FP（false positive），假反例FN（false negative）。Precision表示左右被預(yù)測(cè)為正的樣本中實(shí)際為正樣本的概率，Recall表示為正的樣本中被預(yù)測(cè)為正樣本的概率。當(dāng)IOU閾值和物體置信度閾值設(shè)置較高時(shí)，計(jì)算出的Precision較高，Recall較低，反之亦然。AP為某類(lèi)Precision-Recall曲線(xiàn)下的面積，面積越大，AP的數(shù)值越高，模型對(duì)某類(lèi)目標(biāo)的檢測(cè)效果越好。mAP代表所有種類(lèi)AP的均值，從整體上反映檢測(cè)模型性能。

Precision＝TP/(TP＋FP) (8)

Recall＝TP/(TP＋FN) (9)

實(shí)驗(yàn)環(huán)境配置如表2所示。算法使用Pytorch實(shí)現(xiàn)，并在2塊NVIDIA 1080Ti顯卡上運(yùn)行。模型訓(xùn)練均采用Adam優(yōu)化器，單個(gè)訓(xùn)練批次的樣本數(shù)量根據(jù)GPU的顯存上限設(shè)為64。學(xué)習(xí)率設(shè)為1×e－5，模型訓(xùn)練輪數(shù)epoch設(shè)為50。訓(xùn)練集和測(cè)試集分別包含3200和400張，尺寸大小為608×608。

3.2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)分為兩個(gè)階段，第一階段，將YOLOv5s- DOLP于目前主流的檢測(cè)算法在偏振數(shù)據(jù)上進(jìn)行精度與幀率的測(cè)量。第二階段為消融實(shí)驗(yàn)驗(yàn)證本文提出的YOLOv5s-DOLP的有效性。其中Faster R-CNN的候選框數(shù)目為256，各算法錨點(diǎn)均為重新獲取錨點(diǎn)數(shù)值。

表2 網(wǎng)絡(luò)訓(xùn)練環(huán)境

其中，F(xiàn)asterR-CNN的IOU閾值為0.5，YOLOv4的IOU閾值為0.5，YOLOv5s-DOLP的IOU閾值為0.5。

第一階段，由表3可知，各類(lèi)算法對(duì)于Car類(lèi)的檢測(cè)精度均有較高的精度，驗(yàn)證了1.1節(jié)中所說(shuō)，車(chē)輛作為非自然目標(biāo)，其表面具有較強(qiáng)的鏡面反射，在車(chē)輛與其他自然物體相交的邊緣，偏振度和偏振角產(chǎn)生較為明顯的變化，強(qiáng)化了車(chē)輛的特征，故Car類(lèi)的AP值較高。在Person類(lèi)檢測(cè)中，F(xiàn)aster R-CNN(Res 50)，YOLO v4(Res 50)的AP值相同，YOLO v5s-DOLP的AP值相較其他兩種算法有明顯提升，證實(shí)了網(wǎng)絡(luò)在嵌入注意力機(jī)制和對(duì)Focus模塊進(jìn)行特征融合等操作的有效性。在檢測(cè)速度方面，YOLO系列算法要優(yōu)于FasterR-CNN數(shù)倍，YOLO v5s-DOLP的檢測(cè)速度雖然相較于YOLO v4略慢，但是依舊滿(mǎn)足實(shí)時(shí)檢測(cè)的要求。圖10為上述算法部分檢測(cè)結(jié)果示意圖。

表3 目標(biāo)檢測(cè)算法檢測(cè)結(jié)果

第二階段，現(xiàn)通過(guò)消融實(shí)驗(yàn)驗(yàn)證本文中的YOLOv5s-DOLP在低照度環(huán)境下結(jié)合偏振度圖像進(jìn)行多目標(biāo)檢測(cè)的有效性，通過(guò)逐步添加各模塊及修改網(wǎng)絡(luò)結(jié)構(gòu)，詳細(xì)地證明各模塊及操作的作用。實(shí)驗(yàn)過(guò)程均采用相同的實(shí)驗(yàn)環(huán)境及配置，以YOLOv5s作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。為了便于表示，將針對(duì)Focus模塊的融合操作視為A，添加CBAM的操作視為B，將原圖像進(jìn)行多尺度縮放，經(jīng)過(guò)卷積后與不同感受野特征圖的融合操作視為C。

圖10 檢測(cè)結(jié)果示例

在圖10中，(a)表示基礎(chǔ)結(jié)構(gòu)YOLOv5s的Precision-Recall曲線(xiàn)，(b)、(c)、(d)依次表示經(jīng)過(guò)A操作、B操作、C操作后的Precision-Recall曲線(xiàn)。圖中各曲線(xiàn)分別代表行人、車(chē)輛和兩者綜合。通過(guò)圖中各曲線(xiàn)包裹的面積可知添加使用注意力模塊卷積塊替換標(biāo)準(zhǔn)卷積塊對(duì)于目標(biāo)檢測(cè)性能提升最為明顯。相較于基礎(chǔ)結(jié)構(gòu)YOLOv5s，雖然在Car類(lèi)的檢測(cè)精度提升不大，但在Person類(lèi)的檢測(cè)精度上有不小的提升，證實(shí)了注意力機(jī)制對(duì)于提升目標(biāo)檢測(cè)網(wǎng)絡(luò)的性能的有效性。

圖11 Precision-Recall曲線(xiàn)

相比于表3中的YOLOv5s-DOLP模型，表4和圖11中A、B、C操作的參數(shù)量減少，在檢測(cè)速率上會(huì)提高。其中，圖11(b)操作旨在彌補(bǔ)網(wǎng)絡(luò)容易漏檢背景深處的小目標(biāo)，C操作利用圖像多尺度表達(dá)的思想進(jìn)一步整合不同感受野層次的特征圖，兩者對(duì)于目標(biāo)檢測(cè)精度都有提升，且檢測(cè)速度與基礎(chǔ)結(jié)構(gòu)YOLOv5s幾乎持平，檢測(cè)一張圖片的時(shí)間均在0.027s左右。B操作添加CBAM導(dǎo)致參數(shù)量增多，檢測(cè)速度下降幅度為26%，但是檢測(cè)精度提升幅度較大，相較于基礎(chǔ)結(jié)構(gòu)YOLOv5s，AP提升4.8。提升較為明顯的原因在于注意力模塊卷積塊在網(wǎng)絡(luò)提取特征過(guò)程加速聚焦檢測(cè)目標(biāo)，提高網(wǎng)絡(luò)對(duì)于圖像特征的自適應(yīng)學(xué)習(xí)能力，抑制背景等不相關(guān)信息，較少環(huán)境等因素對(duì)于目標(biāo)檢測(cè)的干擾，從而提高檢測(cè)精度。圖12為消融實(shí)驗(yàn)部分檢測(cè)結(jié)果示例。

表4 消融實(shí)驗(yàn)結(jié)果

圖12 消融實(shí)驗(yàn)檢測(cè)結(jié)果示例

4 結(jié)語(yǔ)

本文針對(duì)低照度下的多目標(biāo)檢測(cè)任務(wù)，提出基于偏振度圖像的深度神經(jīng)網(wǎng)絡(luò)檢測(cè)算法YOLOV5s- DOLP。數(shù)據(jù)方面，本文構(gòu)建的偏振成像數(shù)據(jù)在低照度環(huán)境下通過(guò)反映物體的偏振信息來(lái)減少環(huán)境因素的影響，通過(guò)檢測(cè)目標(biāo)與背景的高對(duì)比度，凸顯目標(biāo)的輪廓特征，提升目標(biāo)檢測(cè)進(jìn)度。此外，本文根據(jù)偏振成像數(shù)據(jù)中被測(cè)物體的尺寸及位置信息重新獲取錨點(diǎn)。網(wǎng)絡(luò)層面，針對(duì)Focus操作降低檢測(cè)目標(biāo)與背景相交邊緣的灰度值梯度的變化、破壞背景深處的小尺寸目標(biāo)的完整輪廓等問(wèn)題，本文在數(shù)據(jù)輸入端開(kāi)啟分支，對(duì)原始數(shù)據(jù)進(jìn)行卷積操作，再與Focus模塊的輸出進(jìn)行信息融合，減少信息的丟失。其次，在主干網(wǎng)絡(luò)內(nèi)使用注意力模塊卷積塊代替標(biāo)準(zhǔn)卷積，強(qiáng)化網(wǎng)絡(luò)的自適應(yīng)學(xué)習(xí)能力，從圖像中快速選擇行人等檢測(cè)目標(biāo)的信息，抑制背景信息。為了進(jìn)一步整合網(wǎng)絡(luò)深層的語(yǔ)義信息與淺層的細(xì)節(jié)特征，受圖像多尺度表達(dá)思想啟發(fā)，本文將原始的偏振度圖像進(jìn)行多尺度縮放，經(jīng)過(guò)卷積操作后，使其與對(duì)應(yīng)尺寸的特征圖信息交互，融合不同感受野的特征信息。根據(jù)測(cè)試結(jié)果，該方法在某些情況下仍然有著改進(jìn)的空間，例如在重疊、遮擋等干擾因素的檢測(cè)結(jié)果存在一定偏差，這也是本文算法進(jìn)一步優(yōu)化的方向。

[1] 于洵, 楊燁, 姜旭, 等. 基于偏振光譜成像的目標(biāo)識(shí)別方法研究[J]. 應(yīng)用光學(xué), 2016, 37(4): 537-541.

YU Xun, YANG Ye, JIANG Xu, et al. Recognition of camouflage targets by polarization spectral imaging system[J]., 2016, 37(4): 537-541.

[2] 李從利, 薛松, 陸文駿, 等. 霧天條件下偏振解析成像質(zhì)量評(píng)價(jià)[J].中國(guó)圖象圖形學(xué)報(bào), 2017, 22(3): 366-375.

LI Congli, XUE Song, LU Wenjun, et al. Quality assessment of polarization imaging under foggy[J]., 2017, 22(3): 366-375.

[3] 李小明, 黃勤超. 沙漠背景下紅外偏振圖像目標(biāo)檢測(cè)方法[J].紅外技術(shù), 2016, 38(9): 779-782, 792.

LI Xiaoming, HUANG Qinchao. Target detection for infrared polarization image in the background of desert[J]., 2016, 38(9): 779-782, 792.

[4] 張榮, 李偉平, 莫同. 深度學(xué)習(xí)研究綜述[J]. 信息與控制, 2018, 47(4): 385-397.

ZHANG Rong, LI Weiping, MO Tong. Review of deep learning[J]., 2018, 47(4): 385-397.

[5] 王文秀, 傅雨田, 董峰, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的紅外船只目標(biāo)檢測(cè)方法[J]. 光學(xué)學(xué)報(bào), 2018, 38(7): 0712006.

WANG Wenxiu, FU Yutian, DONG Feng, et al. Infrared ship target detection method based on deep convolution neural network[J]., 2018, 38(7): 0712006.

[6] 羅海波, 許凌云, 惠斌, 等. 基于深度學(xué)習(xí)的目標(biāo)跟蹤方法研究現(xiàn)狀與展望[J]. 紅外與激光工程, 2017, 46(5): 0502002-0502002(7).

LUO Haibo, XU Lingyun, HUI Bin, et al. Status and prospect of target tracking based on deep learning[J]., 2017, 46(5): 0502002-0502002(7).

[7] Ross Girshick. Fast R-CNN[J]., 2015, 6: 1440-1448.

[8] REN Shaoqing, HE Kaiming, Ross Girshick, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]., 2017, 39(6): 1137-1149.

[9] HE Kaiming, Georgia Gkioxari, Piotr Dollar, et al. Mask R-CNN[C]//, 2017: 2961-2969.

[10] LIU Wei, Dragomir Anguelov, Dumitru Erhan, et al. SSD: Single shot multibox detector[C]//, 2016, 6: 21-27.

[11] Joseph Redmon, Santosh Divvala, Ross Girshick, et al. You Only Look Once: unified, real-time object detection[C]//, 2016, 6: 779-788.

[12] Joseph Redmon, Ali Farhadi. YOLO9000: better, faster, stronger[C]//, 2017, 7: 6517-6525

[13] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement [J/OL]. arXiv: 1804.02767, 2018.

[14] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao. YOLOv4: optimal speed and accuracy of object detection[J/OL]. arXiv: 2004. 10934, 2020.

[15] 岡薩雷斯. 數(shù)字圖像處理[M]. 第三版, 北京: 電子工業(yè)出版社, 2011: 26-29.

Rafael C. Gonzalez.[M]. 3th, Beijing: Publishing House of Electronics Industry, 2011: 26-29.

[16] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//(ECCV). 2018: 3-19.

[17] 張汝榛, 張建林, 祁小平, 等. 復(fù)雜場(chǎng)景下的紅外目標(biāo)檢測(cè)[J]. 光電工程, 2020, 47(10): 200314.

ZHANG R Z, ZHANG J L, QI X P, et al. Infrared target detection and recognition in complex scene[J].., 2020, 47(10): 200314.

[18] 宮劍, 呂俊偉, 劉亮, 等. 紅外偏振圖像的艦船目標(biāo)檢測(cè)[J]. 光譜學(xué)與光譜分析, 2020, 40(2): 586-594.

GONG Jian, LYU Junwei, LIU Liang, et al. Ship target detection based on infrared polarization image[J]., 2020, 40(2): 586-594.

[19] 游江, 劉鵬祖, 容曉龍, 等. 基于暗通道先驗(yàn)原理的偏振圖像去霧增強(qiáng)算法研究[J]. 激光與紅外, 2020, 50(4): 493-500.

YOU Jiang, LIU Pengzu, RONG Xiaolong, et al. Dehazing and enhancement research of polarized image based on dark channel priori principle[J]., 2020, 50(4): 493-500.

[20] 王美榮, 徐國(guó)明, 袁宏武. 顯著性偏振參量深度稀疏特征學(xué)習(xí)的目標(biāo)檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展, 2019, 56(19): 191101.

WANG Meirong, XU Guoming, YUAN Hongwu. Object detection by deep sparse feature learning of salient polarization parameters[J]., 2019, 56(19): 191101.

[21] 李慕鍇, 張濤, 崔文楠. 基于YOLOv3的紅外行人小目標(biāo)檢測(cè)技術(shù)研究[J].紅外技術(shù), 2020, 42(2): 176-181.

LI Mukai, ZHANG Tao, CUI Wennan. Research of infrared small pedestrian target detection based on YOLOv3[J]., 2020, 42(2): 176-181.

Multi-Target Detection of Low-Illuminance Scene Based on Polarization Image

XUN Huasheng1,2，ZHANG Jingjing1,2,3，LIU Xiao3，LI Teng1,2，NIAN Fudong1,4，ZHANG Xin1,2

(1.,,230601,;2.,230031,;3.,,230031,;4.,,230601,)

Polarized light reflection information can directly invert the intrinsic characteristics of a target and has strong anti-interference characteristics in the transmission process. Thus, polarization imaging technology can be applied to the fields of intelligent monitoring and traffic monitoring in various complex environments. In recent years, deep-neural-network methods for interpreting image detection targets have been developed rapidly and widely used in various fields of image processing. In this study, a vehicle multi-target detection algorithm based on polarized images and deep learning is proposed. First, the target polarization degree image can be obtained by acquiring the polarization image in real time and analyzing the polarization information. Second, to enhance the high contrast between the detection targets and the background in the polarization image, channel attention and spatial attention are introduced into the backbone network to improve the ability of the network features to perform adaptive learning. In addition, the K-means algorithm is used to perform clustering analysis on the target location information, thereby increasing the network's learning speed in the polarization image and improving the progress of target detection. The experimental results show that this method is effective and fast for vehicle detection in complex scenes with low illumination. This method combines the advantages of polarization imaging and deep-learning target detection and has substantial application scope in road vehicle target detection, recognition, and tracking.

polarization image, neural network, YOLO v5s, multi-target detection, attention mechanism

TP183

A

1001-8891(2022)05-0483-09

2021-06-15；

2021-08-03.

尋華生（1996-），男，碩士研究生，主要研究方向?yàn)閳D像處理、深度學(xué)習(xí)。E-mail: Z19201027@stu.ahu.edu.cn。

張晶晶（1974-），女，副教授，博士，主要研究方向?yàn)閳D像處理、遙感信息處理和模式識(shí)別。E-mail: fannyzjj@ahu.edu.cn。

中國(guó)科學(xué)院通用光學(xué)定標(biāo)與表征技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放研究基金項(xiàng)目；偏振光成像探測(cè)技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目；國(guó)家自然科學(xué)基金青年科學(xué)基金項(xiàng)目（61902104）；安徽省自然科學(xué)基金項(xiàng)目（2008085QF295）；安徽高校自然科學(xué)研究項(xiàng)目（KJ2020A0651）；安徽省自然科學(xué)基金項(xiàng)目（1808085MF）。