通過風(fēng)格遷移的濃霧天氣條件下無人機(jī)圖像目標(biāo)檢測方法

殷旭平 鐘平 薛偉 肖子軒 李廣

摘 要： 雨霧惡劣天氣條件下，無人機(jī)獲取的圖像細(xì)節(jié)丟失嚴(yán)重，直接對降質(zhì)圖像進(jìn)行目標(biāo)檢測會導(dǎo)致目標(biāo)的漏檢和錯檢。先去霧后檢測的方法對薄霧天氣條件下無人機(jī)圖像的目標(biāo)檢測性能提升顯著，但無法解決目標(biāo)檢測模型過度依靠圖像中目標(biāo)物紋理和表面信息分類的問題，? 濃霧天氣條件下性能較差。針對這一問題提出通過風(fēng)格遷移的無人機(jī)圖像目標(biāo)檢測方法，在保持圖像內(nèi)容不變的基礎(chǔ)上改變圖像的風(fēng)格，使目標(biāo)檢測模型從學(xué)習(xí)目標(biāo)物紋理和表面信息轉(zhuǎn)變?yōu)閷W(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)。實(shí)驗在無人機(jī)數(shù)據(jù)集Visdrone2019上進(jìn)行，首先利用不同濃度霧氣圖像在梯度特征、暗通道特征及小波特征上的差異，將無人機(jī)圖像劃分為無霧、薄霧、濃霧圖像。其次針對薄霧和濃霧圖像分別采取去霧和風(fēng)格遷移的處理方式。實(shí)驗結(jié)果表明，通過風(fēng)格遷移的目標(biāo)檢測方法可以進(jìn)一步減緩光照、噪聲帶來的影響，并顯著提升無人機(jī)濃霧圖像的目標(biāo)檢測性能，與先去霧后檢測的方法結(jié)合，可以自適應(yīng)地完成無人機(jī)濃霧天氣條件下圖像的目標(biāo)檢測任務(wù)。

關(guān)鍵詞：無人機(jī)圖像;霧圖像;風(fēng)格遷移;目標(biāo)檢測;圖像分類

中圖分類號： TP751; V279? 文獻(xiàn)標(biāo)識碼： A? ?文章編號：1673-5048（2021）03-0022-09

0 引? 言

隨著科學(xué)技術(shù)的快速發(fā)展，無人機(jī)技術(shù)不斷取得新進(jìn)展。無人機(jī)趨于微型化、自動化、智能化，因而被廣泛應(yīng)用在軍事和民事領(lǐng)域[1]，如自然災(zāi)害檢測調(diào)查、空中偵察預(yù)警、航空監(jiān)測等。目標(biāo)檢測作為無人機(jī)感知和理解環(huán)境的重要手段，是計算機(jī)視覺的一項基礎(chǔ)而又高難度的任務(wù)[2]，長久以來一直被國內(nèi)外學(xué)者所研究。目標(biāo)檢測算法中的一個重要過程是圖像特征提取，主要可以分為手工設(shè)計特征提取和深度學(xué)習(xí)特征提取?；谏疃葘W(xué)習(xí)特征提取的方法在無人機(jī)圖像目標(biāo)檢測領(lǐng)域有著優(yōu)良的效果，尤其是對于無人機(jī)拍攝的清晰無降質(zhì)的圖像，可以進(jìn)一步分為雙階段目標(biāo)檢測算法[3-6]以及單階段目標(biāo)檢測算法[7-10]。兩種檢測算法各有特點(diǎn)，雙階段目標(biāo)檢測算法準(zhǔn)確率和精度更高，適用于需要高精度識別的任務(wù);單階段目標(biāo)檢測算法速度更快，適合實(shí)時識別任務(wù)。然而常見的雨霧惡劣天氣下，無人機(jī)獲取的圖像質(zhì)量受到極大的影響，直接對降質(zhì)圖像進(jìn)行目標(biāo)檢測性能不佳。

一種直接提升降質(zhì)圖像目標(biāo)檢測性能的方法，是在目標(biāo)檢測之前，對降質(zhì)圖像進(jìn)行去霧，增強(qiáng)圖像中的有效信息。然而基于先驗的去霧方法，如暗通道先驗（DCP）[11]和顏色衰減先驗（CAP）[12]，基于模型驅(qū)動的深度網(wǎng)絡(luò)去霧方法， 如MSCNN[13]和AOD-Net[14]，基于生成對抗網(wǎng)絡(luò)的去霧方法，如EPDN[15]，以及基于編碼解碼結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)去霧方法，如GMAN[16]和MSBDN[17]等，都是以人的視覺感知為基礎(chǔ)設(shè)計評判標(biāo)準(zhǔn)的。以這種準(zhǔn)則為基礎(chǔ)設(shè)計的圖像復(fù)原方法，雖然可以獲得感知良好的圖像，但目標(biāo)檢測模型仍過度關(guān)注圖像中目標(biāo)物紋理和表面信息，無法充分利用目標(biāo)物形狀信息，這通常會損失與目標(biāo)檢測相關(guān)的有效信息，導(dǎo)致濃霧天氣條件下無人機(jī)圖像的目標(biāo)檢測性能變差。事實(shí)上，

相比依靠人的視覺感知復(fù)原的清晰圖像，風(fēng)格遷移可能更有利于后續(xù)的目標(biāo)檢測、分類、識別、理解等中高層任務(wù)。

風(fēng)格遷移通過圖像生成網(wǎng)絡(luò)對輸入圖像進(jìn)行變換，在保持圖像內(nèi)容不變的基礎(chǔ)上，將圖像風(fēng)格變換為預(yù)設(shè)風(fēng)格。風(fēng)格遷移可以平滑圖像中目標(biāo)物的局部細(xì)小紋理特征，豐富目標(biāo)物的顏色信息，使CNN不能輕易學(xué)到目標(biāo)物的紋理和表面特征，轉(zhuǎn)而學(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)[18]，而輪廓是人類和生物視覺中定義形狀最可靠的信息。據(jù)此，本文提出通過風(fēng)格遷移的無人機(jī)濃霧圖像的目標(biāo)檢測方法，對無人機(jī)濃霧圖像進(jìn)行風(fēng)格遷移，來弱化光照、噪聲、天氣變化等帶來的影響，加強(qiáng)目標(biāo)檢測模型對圖像中目標(biāo)物邊緣信息的利用。

本文在無人機(jī)數(shù)據(jù)集Visdrone2019[19]上進(jìn)行實(shí)驗。實(shí)驗結(jié)果表明，將歸一化的梯度特征、暗通道特征及小波特征作為組合特征，可以準(zhǔn)確描述不同霧氣濃度下無人機(jī)圖像的特征差異。與先去霧后檢測的方法相比，本文方法對真實(shí)無人機(jī)濃霧圖像的檢測效果更好，在合成的無人機(jī)濃霧數(shù)據(jù)集上進(jìn)行檢測，mAP50可提升2%～8%。

1 總體方法

本文方法可以自適應(yīng)地完成不同霧氣濃度的無人機(jī)圖像的目標(biāo)檢測任務(wù)，整個過程分3個步驟進(jìn)行。

（1） 數(shù)據(jù)集的構(gòu)建。在無人機(jī)數(shù)據(jù)集Visdrone 2019[19]上根據(jù)風(fēng)格遷移模型以及大氣散射模型分別生成32種不同的風(fēng)格數(shù)據(jù)集和18種不同濃度的霧天數(shù)據(jù)集。

（2） 無人機(jī)霧天圖像的分類。結(jié)合圖像的梯度特征、暗通道特征及小波特征，通過SVM進(jìn)行有監(jiān)督學(xué)習(xí)， 將無人機(jī)霧天圖像分為無霧、薄霧、濃霧圖像。

（3） 無人機(jī)霧天圖像的目標(biāo)檢測。根據(jù)無人機(jī)霧天圖像的分類結(jié)果，對無霧、薄霧、濃霧圖像分別采用直接檢測、先去霧后檢測、通過風(fēng)格遷移的檢測方法進(jìn)行圖像檢測。本文重點(diǎn)描述通過風(fēng)格遷移的無人機(jī)濃霧圖像的目標(biāo)檢測方法。

整個工作流程圖如圖1所示。

1.1 數(shù)據(jù)集的構(gòu)建

將無人機(jī)數(shù)據(jù)集Visdrone2019[19]作為基礎(chǔ)數(shù)據(jù)集來構(gòu)建實(shí)驗相關(guān)的風(fēng)格數(shù)據(jù)集和霧天數(shù)據(jù)集。Visdrone2019由8 629張帶標(biāo)注圖像和1 580張不帶標(biāo)注圖像組成，包含12類常見目標(biāo)，如行人、車輛等。該數(shù)據(jù)集中圖像目標(biāo)物尺度變化較大，從幾像素到幾千像素不等，且弱小目標(biāo)十分密集，對其進(jìn)行目標(biāo)檢測具有一定挑戰(zhàn)。

1.1.1 風(fēng)格數(shù)據(jù)集的構(gòu)建

本文采用快速風(fēng)格遷移模型[20]來生成風(fēng)格數(shù)據(jù)集?？焖亠L(fēng)格遷移模型由圖像生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)兩部分組成，其結(jié)構(gòu)圖如圖2所示。圖像生成網(wǎng)絡(luò)本質(zhì)是一個全卷積神經(jīng)網(wǎng)絡(luò)，由5個殘差模塊和一對下采樣和上采樣模塊組成。通過圖像生成網(wǎng)絡(luò)將輸入圖像映射成內(nèi)容和風(fēng)格與原圖像及風(fēng)格圖像相似的輸出圖像。

損失網(wǎng)絡(luò)本質(zhì)是一個特征提取網(wǎng)絡(luò)。通過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)提取輸出圖像的感知特征，將其作為度量構(gòu)建出內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)。此外，為了使輸出圖像更加自然，還引入總變分正則函數(shù)[21]進(jìn)行約束。

內(nèi)容損失函數(shù)：

l? ， jfeat（y^， x）=1CjHjWjj（y^）-j（x）2F（1）

風(fēng)格損失函數(shù)：

Gj（y）c， c′=1CjHjWj∑Hjh=1∑Wjw=1j（y）h， w， cj（y）h， w， c′

（2）

l ， jstyle（y^， y）=Gj（y^）-Gj（y）2F（3）

整體損失函數(shù)：

L=λcl? ， jfeat（y^， x）+∑Jλsl? ， Jstyle（y^， y）+λTVl? TV（y^）

（4）

式中：j（·）表示第j層的損失網(wǎng)絡(luò);x表示輸入的內(nèi)容圖像;y表示輸入的風(fēng)格圖像;y^表示輸出的圖像;Cj，Hj，Wj表示特征變量的通道和高寬; λc， λs， λTV為標(biāo)量。采用adam優(yōu)化整體損失函數(shù)。

Geirhos等人[18]指出，CNN根據(jù)圖像中局部紋理和表面信息進(jìn)行分類，并不是設(shè)計出來的，而是由訓(xùn)練數(shù)據(jù)引起的。標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練的網(wǎng)絡(luò)模型可能會通過關(guān)注圖像中局部顏色和紋理信息來達(dá)到分類捷徑。而風(fēng)格數(shù)據(jù)集通過風(fēng)格遷移來改變了圖像中的局部信息，從而迫使網(wǎng)絡(luò)模型更多地關(guān)注圖像全局形狀信息。

1.1.2 霧天數(shù)據(jù)集的構(gòu)建

目前還沒有專門針對目標(biāo)檢測的無人機(jī)霧天數(shù)據(jù)集，因此，本文采用人工合成的方法，借助大氣散射模型在Visdrone2019數(shù)據(jù)集上生成不同濃度的霧天圖像。在強(qiáng)散射介質(zhì)下，引起探測系統(tǒng)成像結(jié)果降質(zhì)有兩種原因：一是目標(biāo)反射光受大氣中懸浮粒子的吸收和散射作用，造成目標(biāo)反射光能量的衰減，導(dǎo)致探測系統(tǒng)成像結(jié)果亮度降低，對比度下降;二是太陽光等環(huán)境光受大氣中散射介質(zhì)的散射作用形成背景光，通常這部分背景光強(qiáng)度大于目標(biāo)光，造成探測系統(tǒng)的成像結(jié)果模糊不清。

雖然遙感圖像與自然圖像的雨霧成像模型略有不同，但無人機(jī)在中低空飛行時所拍攝圖像，其成像模型可以近似為自然圖像的雨霧成像模型，表示為

I（x）=J（x）·t（x）+A（1-t（x））（5）

式中：I（x）和J（x）分別代表有霧圖像和無霧圖像在位置x上像素值;A代表大氣光強(qiáng)，是一個常量;t（x）代表位置x上的透射率，表示為

t（x）=e-βd（x）（6）

式中：β代表大氣散射系數(shù);d（x）代表場景深度，隨著位置的變化而變化。

根據(jù)上述方程，采用深度模型[22]估計場景深度d（x），并通過調(diào)整參數(shù)A和β生成18種不同濃度霧氣圖像，其中大氣光強(qiáng)A∈（0.9，? 0.8，? 0.7），大氣散射系數(shù)β∈（0.5，? 1.0，? 1.5，? 2.0，? 3.0，? 4.0）。以β=3.0劃分霧氣濃度，β≥3.0時為濃霧圖像，β<3.0時為薄霧圖像。Visdrone2019數(shù)據(jù)集中的無霧圖像以及生成的景深圖像和霧天圖像如圖3所示。

1.2 無人機(jī)霧天圖像的分類

針對不同濃度霧氣圖像自適應(yīng)地選擇合適的處理方法，將會顯著提升目標(biāo)檢測模型的性能。綜合考慮分類算法的時間復(fù)雜度、空間復(fù)雜度以及準(zhǔn)確率，本文采用基于SVM和混合特征的霧天圖像分類算法。經(jīng)過大量實(shí)驗分析，發(fā)現(xiàn)利用歸一化的梯度特征、暗通道特征及小波特征，可以準(zhǔn)確地表征不同霧天圖像的濃度。因此，本文將上述三種特征作為混合特征完成對無人機(jī)霧天圖像的分類。

1.2.1 歸一化的梯度特征（NGrad）

不同濃度霧氣圖像最直觀的區(qū)別是清晰度不同。相同場景下，霧氣濃度越低，圖像越清晰，圖像中目標(biāo)物邊緣信息和梯度信息越豐富。相同霧氣濃度下，圖像清晰度和目標(biāo)物景深呈負(fù)相關(guān)，在不考慮無人機(jī)圖像倒置的情況下，利用圖像上方區(qū)域目標(biāo)物景深大的特點(diǎn)，可以更容易、準(zhǔn)確地區(qū)分圖像的霧氣濃度。

本文使用無人機(jī)圖像上1/3區(qū)域的梯度圖，來表征圖像的清晰度。無霧、薄霧、濃霧圖像及對應(yīng)的局部梯度圖像如圖4所示?？梢园l(fā)現(xiàn)，隨著霧氣濃度的加深，局部梯度圖中的梯度信息明顯減弱。對局部梯度圖中灰度值低于200的像素進(jìn)行直方圖統(tǒng)計，將其簡化為20維直方圖并進(jìn)行歸一化，建立歸一化的梯度特征，如圖5所示。

1.2.2 歸一化的暗通道特征（NDCP）

2009年He等人提出暗通道先驗 [11]，通過對大量室外無霧圖像作統(tǒng)計分析，發(fā)現(xiàn)在無霧圖像的局部區(qū)域存在一些像素，這些像素中至少有一個顏色通道亮度值非常低;相反地，有霧圖像中通道亮度值普遍偏高。根據(jù)這一特性，本文采用歸一化的暗通道特征來區(qū)分圖像中霧氣濃度。圖4中無霧、薄霧、濃霧圖像對應(yīng)的暗通道圖如圖6所示。同樣，采取和歸一化梯度特征相同的方式，建立20維的歸一化暗通道特征，如圖7所示。

1.2.3 歸一化的小波特征（NWTM）

小波變換在圖像處理領(lǐng)域被稱為圖像顯微鏡，具有

多分辨能力，可以將圖像信號分解為由原始小波位移和縮放后的一組小波，反映圖像在不同方向上的高頻信息和低頻信息。對M×N的圖像進(jìn)行二尺度小波變化后的尺度系數(shù)和小波系數(shù)分別為

Wφ（j0， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）φj0， m， n（x， y）（7）

Wiψ（j， m， n）=1MN∑M-1x=0∑N-1y=0f（x， y）ψij， m， n（x， y） （8）

式中：j0為任意的開始尺度;φj0， m， n（x， y）和ψij， m， n（x， y）為尺度和平移基函數(shù)， i={H， V， D};? f（x， y）為待變換的圖像。在極限情況下，即當(dāng)j→∞時，可對f（x， y）實(shí)現(xiàn)精確表示。

本文采用三尺度小波變換，對圖4中無霧、薄霧、濃霧圖像進(jìn)行變換，變換后的尺度系數(shù)和小波系數(shù)圖如圖8所示?？紤]到尺度系數(shù)和小波系數(shù)量綱相差太大，將尺度系數(shù)縮放10倍，對縮放的尺度系數(shù)和小波系數(shù)求絕對值的均值并進(jìn)行歸一化，構(gòu)成10維歸一化的小波特征，如圖9所示。

1.3 無人機(jī)霧天圖像的目標(biāo)檢測

目前，針對無人機(jī)霧天圖像的目標(biāo)檢測，主流方法是直接檢測或先去霧后檢測，然而這些方法對于無人機(jī)

濃霧圖像的目標(biāo)檢測效果較差。因此， 本文提出通過風(fēng)格遷移的無人機(jī)濃霧圖像目標(biāo)檢測方法。方法的關(guān)鍵在于挑選使目標(biāo)檢測性能最優(yōu)的遷移風(fēng)格。文獻(xiàn)[23]提出， 風(fēng)格的選取會對風(fēng)格遷移過程產(chǎn)生明顯的影響，通過精心挑選遷移風(fēng)格可以使風(fēng)格遷移效果得到顯著的提高。然而目前還沒有詳細(xì)的分析來可靠地確定哪些風(fēng)格對風(fēng)格遷移方法有促進(jìn)作用。為此，本文采用兩種評價準(zhǔn)則：主觀評價及定量評價rAP50來衡量遷移風(fēng)格的好壞，并從中挑選出使目標(biāo)檢測性能最優(yōu)的遷移風(fēng)格。

（1） 主觀評價

主觀評價遷移風(fēng)格的好壞，主要基于對原數(shù)據(jù)集和霧天數(shù)據(jù)集進(jìn)行風(fēng)格遷移后生成的風(fēng)格數(shù)據(jù)集，背景是否連續(xù)，目標(biāo)物是否突出，目標(biāo)物是否發(fā)生形變，風(fēng)格遷移過程中是否產(chǎn)生新的干擾。

（2） rAP50

目標(biāo)檢測問題中最常用評估指標(biāo)是mAP50，然而當(dāng)目標(biāo)檢測模型或數(shù)據(jù)集發(fā)生變化時，無法直接通過mAP50數(shù)值來衡量各種影響因素之間的相對關(guān)系。本文提出一種新的評估指標(biāo)rAP50，表示為

rAP50=mAPsys50mAPori50 （9）

式中：mAPsys50和mAPori50分別代表目標(biāo)檢測模型在原數(shù)據(jù)集圖像和生成圖像上的平均精度。

對不同遷移風(fēng)格生成的風(fēng)格數(shù)據(jù)集進(jìn)行目標(biāo)檢測，挑選出rAP50較高的遷移風(fēng)格，作為候選最優(yōu)遷移風(fēng)格。

2 實(shí)驗結(jié)果與分析

2.1 實(shí)驗環(huán)境

CPU： Xeon E5-2620 v4 @2.10 GHz; RAM： 16 GB; Graphics Card： RTX 2080Ti @11 GB; Operating System： Ubuntu; Frame： pytorch. 1.2.0。

2.2 基于SVM的無人機(jī)霧天圖像分類

本文構(gòu)建的無人機(jī)霧天數(shù)據(jù)集包括18種不同濃度霧氣圖像，如圖3所示。分別隨機(jī)選取無霧、薄霧、濃霧共4 320張圖像組成霧氣分類數(shù)據(jù)集。提取這些圖像的歸一化梯度特征、暗通道特征及小波特征，合并成50維的混合特征集。

從4 320張圖像中隨機(jī)選出2 592張圖像做訓(xùn)練集，1 728張圖像做測試集，利用訓(xùn)練集的混合特征集對SVM進(jìn)行監(jiān)督學(xué)習(xí)。SVM分別采用高斯核exp（-γ‖xi-xj‖2）， γ=0.9，多項式核（γxTixj+b）d， d=3，? b=20，線性核xTixj，以及sigmoid核tanh（γxTixj+b）， γ=0.000 1， b=-1。對無人機(jī)霧天圖像的分類結(jié)果如表1所示。

由表1可見，采用高斯核函數(shù)時SVM的分類精度最高，可以達(dá)到93.4%，且對無霧圖像和濃霧圖像的分類正確率高于薄霧圖像。這是因為本組實(shí)驗中，采用的測試數(shù)據(jù)中部分無霧-薄霧圖像、薄霧-濃霧圖像分類邊界模糊，容易被SVM判錯，但這并不影響無人機(jī)霧天圖像的目標(biāo)檢測。例如對于處在薄霧-濃霧邊緣的圖像，既可以采用先去霧后檢測的方法，? 也可以采用通過風(fēng)格遷移的檢測方法。

2.3 通過風(fēng)格遷移的目標(biāo)檢測方法

2.3.1 訓(xùn)練設(shè)置

本文采用一階段目標(biāo)檢測器RefineDet [7]來完成無人機(jī)霧天圖像的目標(biāo)檢測?？紤]到采用Visdrone2019[19]基礎(chǔ)數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測模型仍可有限地利用目標(biāo)物形狀信息，本文將基礎(chǔ)數(shù)據(jù)集、最優(yōu)遷移風(fēng)格作用于基礎(chǔ)數(shù)據(jù)集和濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集共同作為訓(xùn)練集，對RefineDet進(jìn)行重新訓(xùn)練。初始學(xué)習(xí)率設(shè)置為0.001， 動量設(shè)置為0.9， 權(quán)重衰減設(shè)置為0.000 5，? 訓(xùn)練迭代輪次設(shè)置為 400 000次，? 批尺寸設(shè)置為16。當(dāng)?shù)螖?shù)為200 000和320 000時，將學(xué)習(xí)率降低至原來的1/10。按照訓(xùn)練驗證集和測試集為8∶2 的比例進(jìn)行數(shù)據(jù)集的隨機(jī)分組。

2.3.2 挑選最優(yōu)的遷移風(fēng)格

通過風(fēng)格遷移的目標(biāo)檢測方法的關(guān)鍵在于最適合目標(biāo)檢測的遷移風(fēng)格的選取，為此需要盡可能包含不同的遷移風(fēng)格。本文選取了32種包含不同的紋理、形狀、顏色以及分布特點(diǎn)的遷移風(fēng)格，如圖10所示。借助快速風(fēng)格遷移模型[20]在Visdrone2019數(shù)據(jù)集上生成32種不同的風(fēng)格數(shù)據(jù)集，如圖11所示。采用RefineDet[7]目標(biāo)檢測模型對這32種不同的風(fēng)格數(shù)據(jù)集分別進(jìn)行檢測，相對于基礎(chǔ)數(shù)據(jù)集的目標(biāo)檢測結(jié)果rAP50如表2所示?？梢园l(fā)現(xiàn)，選用遷移風(fēng)格1，5，6，7，13，21，25，29，30時，rAP50較高，均在0.700以上。

對上述9種遷移風(fēng)格作用于濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集（如圖12所示）進(jìn)行主觀評價，可以發(fā)現(xiàn)采用遷移風(fēng)格1，5，6生成的風(fēng)格數(shù)據(jù)集的效果明顯優(yōu)于其他遷移風(fēng)格，表現(xiàn)為背景連續(xù)，目標(biāo)物突出且未發(fā)生形變，風(fēng)格遷移過程中未產(chǎn)生新的干擾。進(jìn)一步對遷移風(fēng)格1，5，6作用于濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集進(jìn)行目標(biāo)檢測，rAP50如表3所示。遷移風(fēng)格1的rAP50最高，因此，最終選擇風(fēng)格1作為最優(yōu)遷移風(fēng)格。綜合分析，好的遷移風(fēng)格通常具備顏色分布均勻、結(jié)構(gòu)簡單且平滑、無明顯線條感和塊狀感等特點(diǎn)。

2.3.3 與其他方法的對比

霧氣的干擾會使無人機(jī)獲取的圖像細(xì)節(jié)信息丟失嚴(yán)重，直接對降質(zhì)圖像進(jìn)行目標(biāo)檢測，性能不佳，如表4所示。采用CAP[12]和MSBDN[17]算法對降質(zhì)圖像去霧， 可以使無人機(jī)薄霧圖像的目標(biāo)檢測性能得到顯著提升，但對于無人機(jī)濃霧圖像， 該方法性能仍較差，如表5所示。為此， 本文提出通過風(fēng)格遷移的無人機(jī)濃霧圖像目標(biāo)檢測方法。本文方法相對于其他方法的優(yōu)勢在于：進(jìn)一步弱化了霧氣干擾對目標(biāo)檢測模型的影響;解決了目標(biāo)檢測模型過度依靠圖像中目標(biāo)物紋理和表面信息分類的問題，使目標(biāo)檢測模型更充分地利用圖像中目標(biāo)物的形狀和輪廓信息。

（1） 弱化霧氣干擾對目標(biāo)檢測模型的影響

從圖13可以看出，大氣光強(qiáng)A及大氣散射系數(shù)β均會對目標(biāo)檢測模型性能產(chǎn)生影響。隨著A和β的增大，降質(zhì)圖像相對于原圖的目標(biāo)檢測性能逐漸降低。相比于其他方法，本文的方法rAP50下降緩慢，且不同A下，rAP50 基本相等。這說明本文方法可以進(jìn)一步緩解大氣散射和光強(qiáng)變化引起的性能下降。

（2） 充分利用目標(biāo)物的形狀和輪廓信息

當(dāng)待檢測數(shù)據(jù)集顏色、紋理及表面信息發(fā)生較大變化時，目標(biāo)檢測模型性能下降嚴(yán)重，如對圖11中采用遷移風(fēng)格6生成的風(fēng)格數(shù)據(jù)集進(jìn)行檢測，mAP50從0.373下降到0.260。而通過本文方法重新訓(xùn)練的目標(biāo)檢測模型可以將mAP50提升到0.299，說明本文方法可以使目標(biāo)檢測模型更充分地利用目標(biāo)物的形狀和輪廓信息。

然而本文方法也存在一定局限性。對合成的18種不同濃度的無人機(jī)霧天數(shù)據(jù)集中的目標(biāo)物進(jìn)行分類檢測，檢測結(jié)果如圖14所示?？梢园l(fā)現(xiàn)本文方法對大目標(biāo)，如car，van，truck，bus的檢測性能較高，但是對于小目標(biāo)的檢測性能低于其他方法。這是因為學(xué)習(xí)目標(biāo)物的形狀和輪廓信息是一項更高難度的任務(wù);小目標(biāo)的輪廓信息較弱，快速風(fēng)格遷移過程可能會把過小目標(biāo)的輪廓平滑掉。

進(jìn)一步，由表4～5可知，對于無人機(jī)清晰圖像采用直接檢測的方法，mAP50最高，為0.373，而對于無人機(jī)薄霧和濃霧圖像分別采用MSBDN去霧后檢測的方法以及通過風(fēng)格遷移的目標(biāo)檢測方法性能最優(yōu)。因此，針對不同濃度霧氣圖像自適應(yīng)地選擇合適的處理方法，將會顯著提升目標(biāo)檢測模型的性能。

2.4 真實(shí)霧天圖像檢測

盡管本文方法是在合成的數(shù)據(jù)集上訓(xùn)練的，但同樣適用于真實(shí)無人機(jī)濃霧圖像的目標(biāo)檢測，如圖15所示?？梢园l(fā)現(xiàn)，采用MSBDN[17]對濃霧圖像去霧后檢測，雖然會使降質(zhì)圖像得到一定恢復(fù)，但由于濃霧圖像中霧氣濃度太大，在圖像復(fù)原過程中容易產(chǎn)生黑影，相較于直接檢測的方法性能提升不明顯;本文方法可以增大目標(biāo)物與背景的對比度，將目標(biāo)物從濃霧背景中凸顯出來，并根據(jù)目標(biāo)物的輪廓信息進(jìn)行準(zhǔn)確檢測。但本文方法也可能會將風(fēng)格遷移后輪廓相近的兩類物體判別為同類，如圖15（d）中將路燈判別為行人。

3 結(jié) 束 語

針對無人機(jī)霧天圖像的目標(biāo)檢測任務(wù)，本文首先采用SVM借助歸一化的梯度特征、暗通道特征、小波特征形成的混合特征對無人機(jī)圖像進(jìn)行霧氣分類，并自適應(yīng)匹配最優(yōu)的檢測算法，其次考慮到先去霧后檢測方法無法解決目標(biāo)檢測模型過度依靠圖像中目標(biāo)物紋理和表面信息分類，濃霧天氣條件下性能較差的問題，提出通過風(fēng)格遷移的無人機(jī)濃霧圖像目標(biāo)檢測方法。本文方法進(jìn)一步弱化了霧氣干擾對目標(biāo)檢測模型的影響，解決了目標(biāo)檢測模型過度依靠圖像中目標(biāo)物紋理和表面信息分類的問題，使目標(biāo)檢測模型更充分地利用圖像中目標(biāo)物的形狀和輪廓信息。經(jīng)測試，相比于其他方法，本文方法對合成和真實(shí)的無人機(jī)濃霧圖像的目標(biāo)檢測性能均有明顯的提升，在合成的無人機(jī)濃霧數(shù)據(jù)集上mAP50最高可提升8%。但本文方法對較小目標(biāo)的檢測能力相對較弱，對薄霧圖像中目標(biāo)物的檢測性能低于先去霧后檢測方法。下一步工作中，將在風(fēng)格遷移過程中進(jìn)一步利用圖像的深度信息，研究以目標(biāo)檢測為驅(qū)動的風(fēng)格遷移方法。

參考文獻(xiàn)：

[1] 路靜. 微型無人機(jī)的應(yīng)用現(xiàn)狀及未來發(fā)展[J]. 集成電路應(yīng)用，? 2018， 35（4）： 88-91.

Lu Jing. Application Status and Future Development of Micro UAV[J]. Applications of IC，? 2018，? 35（4）： 88-91.（in Chinese）

[2] 周啟晨. 基于深度學(xué)習(xí)的無人機(jī)對地目標(biāo)跟蹤算法研究[D]. 北京： 北方工業(yè)大學(xué)，? 2019.

Zhou Qichen. Research on Object Tracking Algorithm of UAV Based on Deep Learning[D].Beijing：North China University of Technology，? 2019. （in Chinese）

[3] Girshick R，? Donahue J，? Darrell T，? et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition，? 2014： 580-587.

[4] Girshick R. Fast R-CNN [C]∥ Proceedings of the IEEE International Conference on Computer Vision （ICCV），? 2015： 1440-1448.

[5] Ren S Q，? He K M，? Girshick R，? et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2017，? 39（6）： 1137-1149.

[6] Lin T Y，? Dollár P，? Girshick R，? et al. Feature Pyramid Networks for Object Detection[EB/OL].（2017-04-19） [2020-10-13]. https：∥arxiv.org/pdf/1612.03144.pdf.

[7] Zhang S F，? Wen L Y，? Bian X，? et al. Single-Shot Refinement Neural Network for Object Detection[C]∥IEEE/CVF Conference on Computer Vision and Pattern Recognition，? 2018： 4203-4212.

[8] Redmon J，? Divvala S，? Girshick R，? et al. You Only Look Once： Unified，? Real-Time Object Detection[EB/OL].（2015-06-08） [2020-10-13].https：∥ai2-website.s3.amazonaws. com/publications/YOLO.pdf.

[9] Redmon J，? Farhadi A. YOLOv3： An Incremental Improvement[EB/OL]. （2018-04-08） [2020-10-13]. https： ∥arxiv.org/pdf/1804.02767.

[10]? Liu W，? Anguelov D，? Erhan D，? et al. SSD： Single Shot MultiBox Detector[EB/OL]. （2015-12-08） [2020-10-13]. https：∥arxiv.org/abs/1512.02325.

[11]? He K M，? Sun J，? Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2011，? 33（12）： 2341-2353.

[12]? Zhu Q S，? Mai J M，? Shao L. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior[J]. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society，? 2015，? 24（11）： 3522-3533.

[13]? Ren W Q，? Pan J S，? Zhang H，? et al. Single Image Dehazing via Multi-Scale Convolutional Neural Networks with Holistic Edges[J]. International Journal of Computer Vision，? 2020，? 128（1）： 240-259.

[14]? Li B Y，? Peng X L，? Wang Z Y，? et al. AOD-Net： All-in-One Dehazing Network[C]∥2017 IEEE International Conference on Computer Vision （ICCV），? 2017： 4780-4788.

[15]? Qu Y Y，? Chen Y Z，? Huang J Y，? et al. Enhanced Pix2pix Dehazing Network[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2019： 8160-8168.

[16]? Liu Z，? Xiao B T，? Alrabeiah M，? et al. Single Image Dehazing with a Generic Model-Agnostic Convolutional Neural Network[J]. IEEE Signal Processing Letters，? 2019，? 26（6）： 833-837.

[17]? Dong H，? Pan J S，? Xiang L，? et al. Multi-Scale Boosted Dehazing Network with Dense Feature Fusion[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），? 2020： 2154-2164.

[18] Geirhos R，? Rubisch P，? Michaelis C，? et al. ImageNet-Trained CNNs are Biased Towards Texture; Increasing Shape Bias Improves Accuracy and Robustness[EB/OL]. （2018-10-29）[2020-10-13].https： ∥arxiv.org/abs/1811.12231.

[19] Zhu P F，? Wen L Y，? Bian X，? et al. Vision Meets Drones： A Challenge[EB/OL]. （2018-04-20） [2020-10-13]. https： ∥arxiv.org/abs/1804.07437.

[20] Johnson J，? Alahi A，?? Li F F. Perceptual Losses for Real-Time Style Transfer and Super-Resolution[EB/OL]. （2016-03-27）[2020-10-13]. https：∥arxiv.org/abs/1603.08155.

[21] Aly H A，? Dubois E. Image Up-Sampling Using Total-Variation Regularization with a New Observation Model[J]. IEEE Transactions Image Processing，? 2005，? 14（10）： 1647-1659.

[22] Ranftl R，? Lasinger K，? Schindler K，? et al. Towards Robust Monocu-lar Depth Estimation： Mixing Datasets for Zero-Shot Cross-Dataset Transfer[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2020. DOI： 10.1109/TPAMI.2020.3019967.

[23] Yeh M C，? Tang S，? Bhattad A，? et al. Improving Style Transfer with Calibrated Metrics[C]∥ IEEE Winter Conference on Applications of Computer Vision （WACV），? 2020： 3149-3157.

The Method of UAV Image Object Detection under

Foggy Weather by Style Transfer

Yin Xuping1，? Zhong Ping1*，? Xue Wei1， 2，? Xiao Zixuan1，? Li Guang1

（1. National Key Laboratory of Science and Technology on Automatic Target Recognition，

College of Electrical Science，? National University of Defense Technology，? Changsha 410073，? China;

2. School of Computer Science and Technology，? Anhui University of Technology，? Maanshan 243032，? China）

Abstract： Under the bad weather conditions such as foggy or rainy weather，? the details of UAV images are seriously lost. Consequently，? directly detecting without dehazing may lead to object missing and wrong inspection. Although the method of dehazing firstly and then detecting can significantly improve the detection performance of UAV images under misty weather conditions，? it can not solve the problem that object detection model relies too much on the texture and surface information of the targets in the image which are used to classify，? and thus leads to a poor detection performance on heavy fog images. In response to this problem，? a method to detect after style transfer instead of haze removal is proposed to accomplish object detection of the UAV images under dense fog weather conditions. The method can change the style of the image while keep the content in image unchanged，? making the object detection model transform from learning the object texture and surface information to learning the object contour，? which is a more difficult task. The experiment is carried out on the UAV dataset Visdrone2019. Firstly，? the UAV images are divided into fog-free，? mist and dense fog images by using the differences in gradient features，? dark channel features and wavelet features of fog images. Secondly，? the processing methods of dehazing and style transfer are adopted respectively according to the concentration of fog. The experimental results show that the proposed method can further reduce the impact of light and noise，? and can significantly improve the object detection performance of UAV dense fog images. Moreover，? combining with the method of dehazing firstly and then detecting， the proposed method can adaptively complete the object detection task of UAV fog images.

Key words： UAV image; fog? image; style transfer; target detection;? image classification

收稿日期：2020-10-14

基金項目：國家自然科學(xué)基金項目（61671456; 61971428）

作者簡介：殷旭平（1996-），男，山西朔州人，碩士，研究方向是計算機(jī)視覺中的目標(biāo)檢測、風(fēng)格遷移、去霧。

通訊作者：鐘平（1979-），男，河北趙縣人，研究員，研究方向是衛(wèi)星或航空光學(xué)圖像的復(fù)原與增強(qiáng)、目標(biāo)檢測、目標(biāo)識別、機(jī)器學(xué)習(xí)理論及其在航空領(lǐng)域的應(yīng)用研究。