基于對(duì)抗深度學(xué)習(xí)的無(wú)人機(jī)航拍違建場(chǎng)地識(shí)別

宮法明，徐晨曦，李厥瑾

（1.中國(guó)石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山東青島 266580；2.山東電子職業(yè)技術(shù)學(xué)院本科教務(wù)處，濟(jì)南 250200）

0 概述

城鄉(xiāng)結(jié)合部違規(guī)占地導(dǎo)致建設(shè)混亂，影響城市市容并產(chǎn)生潛在危害。傳統(tǒng)的違建航攝方法存在費(fèi)用昂貴且數(shù)據(jù)獲取不便等問(wèn)題，例如衛(wèi)星遙感、普通航空遙感等。許多單位開(kāi)始使用投入成本相對(duì)較低且易于維護(hù)和操作的無(wú)人機(jī)航拍技術(shù)對(duì)違建場(chǎng)地進(jìn)行拍攝。在實(shí)際工作場(chǎng)景中，無(wú)人機(jī)航拍檢測(cè)面積較大，為節(jié)省時(shí)間成本，無(wú)人機(jī)只能飛得較高，將拍攝范圍擴(kuò)大，而人工檢測(cè)只能通過(guò)無(wú)人機(jī)傳回的視頻在較小的屏幕內(nèi)觀察，極易產(chǎn)生遺漏。若違建場(chǎng)地未能及時(shí)被發(fā)現(xiàn)并制止，則在拆除違建場(chǎng)地的執(zhí)法工作中將面臨很多困難，甚至?xí)a(chǎn)生民事糾紛。對(duì)于違建檢查工作，理想的方法是在建設(shè)初期及時(shí)發(fā)現(xiàn)違建場(chǎng)地并制止，可以極大程度地避免由拆除違建引起的一系列糾紛。

在前期的研究中，無(wú)人機(jī)航拍視頻利用傳統(tǒng)的目標(biāo)識(shí)別算法直接對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，但獲得的檢測(cè)效果并不理想，計(jì)算時(shí)間較長(zhǎng)。無(wú)人機(jī)在拍攝過(guò)程中鏡頭方向和飛行高度均不確定，使得目標(biāo)場(chǎng)地在視頻中產(chǎn)生旋轉(zhuǎn)、放大、縮小等形變問(wèn)題。樣本庫(kù)中因形變目標(biāo)樣本數(shù)量不足導(dǎo)致檢測(cè)器對(duì)形變目標(biāo)的檢測(cè)結(jié)果不理想。在當(dāng)前目標(biāo)檢測(cè)工作中，如果學(xué)習(xí)一個(gè)對(duì)于旋轉(zhuǎn)形變樣本具有穩(wěn)定性的目標(biāo)識(shí)別檢測(cè)器，需要大量數(shù)據(jù)集對(duì)其進(jìn)行訓(xùn)練。由于樣本庫(kù)具有的形變數(shù)據(jù)樣本較少，因此沒(méi)有足夠的樣本實(shí)例覆蓋所有可能出現(xiàn)的形變情況。

本文通過(guò)深度學(xué)習(xí)方法對(duì)無(wú)人機(jī)航拍視頻進(jìn)行自動(dòng)檢測(cè)，提出一種結(jié)合空間變換網(wǎng)絡(luò)與Fast RCNN的生成對(duì)抗網(wǎng)絡(luò)ASTN-Fast RCNN 用于建設(shè)初期的違建場(chǎng)地識(shí)別。利用目標(biāo)檢測(cè)器的反饋優(yōu)化生成器，生成目標(biāo)檢測(cè)器難以識(shí)別的旋轉(zhuǎn)形變樣本，并將生成的旋轉(zhuǎn)形變樣本加入訓(xùn)練，解決檢測(cè)器對(duì)形變目標(biāo)識(shí)別精度低的問(wèn)題。

1 相關(guān)工作

無(wú)人機(jī)航拍視頻識(shí)別違建場(chǎng)地主要包括違建場(chǎng)地檢測(cè)、深度學(xué)習(xí)目標(biāo)檢測(cè)、生成性對(duì)抗網(wǎng)絡(luò)3 個(gè)方面工作。傳統(tǒng)的違建場(chǎng)地檢測(cè)方法主要通過(guò)遙感圖像分析檢測(cè)違建場(chǎng)地［2］。

深度學(xué)習(xí)目標(biāo)檢測(cè)的研究領(lǐng)域主要有3 個(gè)方向［3］：1）深度學(xué)習(xí)利用樣本數(shù)據(jù)來(lái)提高檢測(cè)精度［4］，近年來(lái)，目標(biāo)檢測(cè)器通過(guò)可用性更高的數(shù)據(jù)來(lái)提高檢測(cè)器的檢測(cè)精度，例如，在樣本訓(xùn)練策略方面進(jìn)行改進(jìn)，研究人員提出OHEM 算法，該算法在訓(xùn)練過(guò)程中主動(dòng)選擇難樣本加入訓(xùn)練，在提升網(wǎng)絡(luò)性能的同時(shí)使訓(xùn)練更高效，其他工作［5-6］也是通過(guò)數(shù)據(jù)本身提高檢測(cè)性能；2）通過(guò)改變神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)和增加神經(jīng)網(wǎng)絡(luò)的層次來(lái)提高檢測(cè)器的性能［7-8］，這個(gè)方向的研究工作包括ResNet［9］、Inception-ResNet［10］和ResNetXt［11］；3）利用多個(gè)卷積層特征來(lái)提高目標(biāo)檢測(cè)性能，例如使用上下文推理和多尺度特征提高小目標(biāo)檢測(cè)精確率［12-13］，通過(guò)上下文的語(yǔ)義關(guān)聯(lián)學(xué)習(xí)互補(bǔ)信息［14］，采用自上而下的上下文語(yǔ)義分割提高Faster RCNN 的檢測(cè)性能［15］等。

文獻(xiàn)［16］在GAN 中設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)圖像生成技術(shù)；文獻(xiàn)［17］引入新的方法，提高網(wǎng)絡(luò)的收斂和GAN 中圖像生成模型的性能；文獻(xiàn)［18-20］利用GAN 改進(jìn)傳統(tǒng)機(jī)器學(xué)習(xí)的算法；文獻(xiàn)［21］采用GAN 改進(jìn)口語(yǔ)識(shí)別算法；文獻(xiàn)［22］提出GAN 架構(gòu)，解決目標(biāo)識(shí)別中樣本不足的問(wèn)題；文獻(xiàn)［23］提出一種利用GAN 框架進(jìn)行半監(jiān)督或無(wú)監(jiān)督的算法。GAN 的樣本是通過(guò)學(xué)習(xí)大量的形變樣本，生成接近真實(shí)的形變圖像，但是此過(guò)程需要大量的形變樣本來(lái)加入訓(xùn)練，或者生成所有可能的形變樣本，然后利用這些形變樣本來(lái)訓(xùn)練檢測(cè)器。由于產(chǎn)生形變的范圍很大，因此訓(xùn)練效率較低。文獻(xiàn)［1］指出，選擇難樣本得到的檢測(cè)器相較于加入所有樣本的訓(xùn)練更優(yōu)。

本文通過(guò)樣本數(shù)據(jù)來(lái)提高檢測(cè)精度，但是由于樣本庫(kù)中的形變樣本數(shù)量不足，在樣本庫(kù)中直接篩選難以識(shí)別形變樣本的方法并不可行。本文利用GAN 生成檢測(cè)器在識(shí)別時(shí)易出錯(cuò)的難以識(shí)別形變樣本。在GAN 中，生成器通過(guò)檢測(cè)器的反饋來(lái)學(xué)習(xí)預(yù)測(cè)檢測(cè)器難以識(shí)別的樣本，同時(shí)檢測(cè)器通過(guò)難以識(shí)別形變樣本來(lái)提高識(shí)別精度。GAN 通常是用于訓(xùn)練優(yōu)秀的圖像生成器，而在本文算法中GAN 用于完成相反的任務(wù)，即通過(guò)GAN 競(jìng)爭(zhēng)訓(xùn)練一個(gè)對(duì)形變樣本具有魯棒性的檢測(cè)器，利用對(duì)抗學(xué)習(xí)提高識(shí)別形變樣本的能力。

2 網(wǎng)絡(luò)設(shè)計(jì)

2.1 Fast RCNN 目標(biāo)檢測(cè)器

本文基于Fast RCNN 進(jìn)行目標(biāo)檢測(cè)識(shí)別［24］。Fast RCNN 網(wǎng)絡(luò)主要由2 部分組成：1）卷積網(wǎng)絡(luò)提取圖像特征生成特征圖，作為后續(xù)網(wǎng)絡(luò)的輸入；2）RoI-pooling 層和全連接層輸出目標(biāo)類(lèi)別概率和邊界框。

將圖像輸入Fast RCNN 網(wǎng)絡(luò)，該圖像依次通過(guò)卷積網(wǎng)絡(luò)、RoI-pooling 層和全連接層。卷積網(wǎng)絡(luò)通過(guò)對(duì)圖像進(jìn)行卷積和最大池化提取圖像特征，最終輸出卷積特征圖。因此，輸出特征圖的空間尺寸并不是固定的，將隨著輸入圖像尺寸變化而改變。RoI-pooling 層為候選區(qū)域池化，通過(guò)坐標(biāo)投影方式將特征圖中的候選區(qū)域投影到特征空間，并對(duì)該候選區(qū)域進(jìn)行池化，得到統(tǒng)一大小的的特征向量輸入全連接層。全連接層定義了損失函數(shù)，通過(guò)Softmax分類(lèi)器和boxbounding 回歸器分別輸出候選區(qū)域的類(lèi)別概率以及包圍框坐標(biāo)。

2.2 空間變換網(wǎng)絡(luò)

為解決形變目標(biāo)的識(shí)別問(wèn)題，本文算法通過(guò)對(duì)抗網(wǎng)絡(luò)對(duì)原始樣本進(jìn)行形變產(chǎn)生新樣本，加入檢測(cè)器的訓(xùn)練。針對(duì)生成器網(wǎng)絡(luò)，本文算法選用空間變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）［25］。STN 網(wǎng)絡(luò)作為一個(gè)可微分的網(wǎng)絡(luò)，可以插入到卷積神經(jīng)網(wǎng)絡(luò)框架中，使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)輸入圖像進(jìn)行空間變換，以提高檢測(cè)模型對(duì)目標(biāo)幾何變化的魯棒性。本文算法通過(guò)對(duì)抗形變網(wǎng)絡(luò)ASTN-Fast RCNN 訓(xùn)練，得到對(duì)形變目標(biāo)具有魯棒性的目標(biāo)檢測(cè)器。

STN 網(wǎng)絡(luò)通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何對(duì)輸入圖像進(jìn)行空間變換，以提高模型的幾何不變性。STN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，其運(yùn)作機(jī)制可分為本地網(wǎng)絡(luò)、網(wǎng)格生成器和采樣器3 個(gè)部分。

圖1 STN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of STN network

本地網(wǎng)絡(luò)將特征圖輸入STN 網(wǎng)絡(luò)，根據(jù)特征圖預(yù)測(cè)產(chǎn)生的空間變換，并輸出對(duì)應(yīng)的參數(shù)變量。

網(wǎng)格生成器根據(jù)本地網(wǎng)絡(luò)預(yù)測(cè)的變換參數(shù)值θ，通過(guò)矩陣運(yùn)算目標(biāo)圖V中每個(gè)位置對(duì)應(yīng)原圖U的坐標(biāo)位置，生成Tθ(G)，如式（1）所示：

采樣器根據(jù)Tθ(G)中的坐標(biāo)信息和輸入的原始特征圖對(duì)原始圖目標(biāo)特征U進(jìn)行采樣并復(fù)制到目標(biāo)特征圖V中，輸出變換后的特征圖。本文算法根據(jù)STN 網(wǎng)絡(luò)的可微分特點(diǎn)，通過(guò)反向傳播直接優(yōu)化本地網(wǎng)絡(luò)參數(shù)。

2.3 生成對(duì)抗網(wǎng)絡(luò)

GAN 包含生成器G 和判別器D 這2 個(gè)神經(jīng)網(wǎng)絡(luò)模型，GAN 訓(xùn)練過(guò)程是生成器G 與判別器D 對(duì)抗競(jìng)爭(zhēng)的過(guò)程，通過(guò)一次迭代訓(xùn)練，生成器G 與判別器D在對(duì)抗博弈狀態(tài)中相互調(diào)整改進(jìn)，以最大程度減小最小-最大損失以達(dá)到最佳狀態(tài)。

在本文的對(duì)抗形變網(wǎng)絡(luò)（ASTN-Fast RCNN）中，STN 網(wǎng)絡(luò)作為生成器，F(xiàn)ast RCNN 網(wǎng)絡(luò)用于識(shí)別分類(lèi)的全連接層與分類(lèi)回歸器并作為判別器。首先將原始圖片進(jìn)行卷積池化得到特征圖；然后將特征圖輸入訓(xùn)練模型中。特征圖作為ASTN 網(wǎng)絡(luò)輸入，生成器主要對(duì)特征圖產(chǎn)生變換，然后將變換后的特征圖輸入到判別器進(jìn)行訓(xùn)練識(shí)別，同時(shí)判別器將分類(lèi)結(jié)果反饋給生成器。因此，在對(duì)抗學(xué)習(xí)過(guò)程中生成器可以生成檢測(cè)器不易識(shí)別的形變樣本。在生成器ASTN 中用于預(yù)測(cè)空間變換參數(shù)變量的本地網(wǎng)絡(luò)由3 個(gè)完全連接層構(gòu)成，其中第1 層與第2 層均使用ImageNet 預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行初始化。

GAN 在進(jìn)行正式訓(xùn)練前需要對(duì)判別器進(jìn)行初始訓(xùn)練，當(dāng)判別器具有一定的判別能力后，在對(duì)抗訓(xùn)練中才能更有效對(duì)生成器進(jìn)行反饋。本文網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2 所示，將特征圖輸入到STN 網(wǎng)絡(luò)中，將形變特征圖作為Fast RCNN 的輸入，由于STN 網(wǎng)絡(luò)是可以微分的，因此ASTN-Fast RCNN 網(wǎng)絡(luò)通過(guò)分類(lèi)損失對(duì)ASTN 的本地網(wǎng)絡(luò)中空間變換參數(shù)進(jìn)行調(diào)整。

圖2 本文網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Structure of the proposed network model

2.4 ASTN-Fast RCNN 網(wǎng)絡(luò)

數(shù)據(jù)集不包含所有可能的形變樣本。本文通過(guò)生成目標(biāo)檢測(cè)器難以識(shí)別的形變樣本來(lái)提高對(duì)形變樣本的識(shí)別精度。設(shè)原始目標(biāo)檢測(cè)器網(wǎng)絡(luò)為F(X)，則原始檢測(cè)器損失函數(shù)如式（2）所示：

其中：X為候選區(qū)域；Fc為檢測(cè)器輸出的目標(biāo)類(lèi)別；Fl為檢測(cè)器輸出的邊界框坐標(biāo)；C為候選框區(qū)域的真值；L為空間位置。

訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)如式（3）所示：

其中：A(X)為對(duì)抗網(wǎng)絡(luò)。

檢測(cè)器很容易對(duì)GAN 的形變樣本進(jìn)行分類(lèi)，則生成器即STN 網(wǎng)絡(luò)將獲得高損失，相反，如果檢測(cè)器對(duì)生成的形變樣本難以分類(lèi)，則檢測(cè)器獲得高損失，而STN 網(wǎng)絡(luò)獲得低損失值。

3 實(shí)驗(yàn)與結(jié)果分析

本文將數(shù)據(jù)集按2∶1∶1 分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。原始數(shù)據(jù)來(lái)自于國(guó)土局下屬單位無(wú)人機(jī)采集視頻庫(kù)。無(wú)人機(jī)在外進(jìn)行飛行拍攝，并將實(shí)時(shí)拍攝視頻傳輸并存儲(chǔ)到視頻庫(kù)中。

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 本文實(shí)驗(yàn)設(shè)計(jì)

在實(shí)驗(yàn)之前，本文考慮到無(wú)人機(jī)拍攝范圍廣，相機(jī)拍攝清晰度要求高，導(dǎo)致圖片過(guò)大，在對(duì)圖片進(jìn)行處理時(shí)，計(jì)算量也會(huì)變大。因此，在訓(xùn)練之前，本文首先對(duì)視頻幀圖像進(jìn)行去均值處理，在訓(xùn)練自然圖像時(shí)，由于圖像任一部分的統(tǒng)計(jì)性質(zhì)都與其他部分相同，因此對(duì)每個(gè)像素單獨(dú)估計(jì)均值和方差意義不大。去均值處理歸一化可以移除圖像的平均亮度值。在對(duì)圖像進(jìn)行訓(xùn)練之前，本文去掉圖像中無(wú)關(guān)的特征值，能夠減少后處理中的計(jì)算量，提高訓(xùn)練速度。

實(shí)驗(yàn)需要對(duì)模型進(jìn)行預(yù)訓(xùn)練，ASTN-Fast RCNN網(wǎng)絡(luò)模型使用標(biāo)準(zhǔn)Fast RCNN 并加入STN 對(duì)抗網(wǎng)絡(luò)。ASTN-Fast RCNN 模型采用分階段式訓(xùn)練，訓(xùn)練流程如圖3 所示。

圖3 ASTN-Fast RCNN 網(wǎng)絡(luò)模型訓(xùn)練流程Fig.3 Training procedure of ASTN-Fast RCNN network model

從圖3 可以看出，首先訓(xùn)練標(biāo)準(zhǔn)的Fast RCNN目標(biāo)檢測(cè)器，使用Image Net 預(yù)訓(xùn)練模型作為初始化網(wǎng)絡(luò)的權(quán)重，迭代1×104訓(xùn)練Fast RCNN 目標(biāo)檢測(cè)器得到預(yù)訓(xùn)練模型。ASTN 網(wǎng)絡(luò)利用Fast RCNN的共享卷積層、RoI-pooling 層，與自身獨(dú)立的完全連接層來(lái)預(yù)訓(xùn)練GAN 模型以創(chuàng)建旋轉(zhuǎn)形變。將得到的預(yù)訓(xùn)練STN 網(wǎng)絡(luò)和Fast RCNN 放在同一個(gè)網(wǎng)絡(luò)下聯(lián)合訓(xùn)練得到ASTN-Fast RCNN 網(wǎng)絡(luò)模型。實(shí)驗(yàn)過(guò)程遵循標(biāo)準(zhǔn)的Fast RCNN 訓(xùn)練過(guò)程。訓(xùn)練采用選擇性搜索算法產(chǎn)生候選區(qū)域，利用隨機(jī)梯度下降對(duì)模型進(jìn)行8×104次迭代。學(xué)習(xí)率初始值設(shè)置為0.01，在大約6×104次迭代后學(xué)習(xí)率下降到0.000 1。

3.1.2 對(duì)照實(shí)驗(yàn)設(shè)計(jì)

本文設(shè)計(jì)了2 組對(duì)照實(shí)驗(yàn)，分別為：1）對(duì)照實(shí)驗(yàn)1，本實(shí)驗(yàn)為了對(duì)照生成形變樣本加入訓(xùn)練對(duì)檢測(cè)器的影響，直接訓(xùn)練標(biāo)準(zhǔn)的Fast RCNN 目標(biāo)檢測(cè)器，原始樣本集使用Image Net 的預(yù)訓(xùn)練模型作為初始化網(wǎng)絡(luò)的權(quán)重，采用選擇性搜索算法產(chǎn)生候選區(qū)域，利用隨機(jī)梯度下降對(duì)模型進(jìn)行8×104次迭代；2）對(duì)照實(shí)驗(yàn)2，本實(shí)驗(yàn)利用外部軟件對(duì)樣本集中的每個(gè)樣本進(jìn)行旋轉(zhuǎn)生成形變樣本，由于產(chǎn)生形變的空間較大，本文考慮到實(shí)驗(yàn)效率問(wèn)題，將形變限制在可接受范圍內(nèi)的5 個(gè)旋轉(zhuǎn)度與放大縮小，樣本集擴(kuò)充到原始的8 倍，用擴(kuò)充樣本集訓(xùn)練標(biāo)準(zhǔn)的Fast RCNN 目標(biāo)檢測(cè)器，同樣使用ImageNet 的預(yù)訓(xùn)練模型作為初始化網(wǎng)絡(luò)的權(quán)重，采用選擇性搜索算法產(chǎn)生候選區(qū)域，利用隨機(jī)梯度下降對(duì)模型進(jìn)行8×104次迭代。

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證檢測(cè)器對(duì)旋轉(zhuǎn)形變目標(biāo)的識(shí)別效果，本文在數(shù)據(jù)集中選取包含形變目標(biāo)圖像。違建場(chǎng)地如圖4 所示，2 個(gè)場(chǎng)景下有3 處目標(biāo)需要識(shí)別，已用方框標(biāo)出。

圖4 違建場(chǎng)地Fig.4 Unauthorized construction sites

對(duì)照實(shí)驗(yàn)1 的識(shí)別結(jié)果如圖5 所示，使用原樣本集直接訓(xùn)練標(biāo)準(zhǔn)的Fast RCNN 目標(biāo)檢測(cè)器產(chǎn)生的部分實(shí)驗(yàn)結(jié)果。從圖5 可以看出，在拍攝過(guò)程中，檢測(cè)器并未有效地識(shí)別出目標(biāo)旋轉(zhuǎn)。每個(gè)實(shí)驗(yàn)抽出兩個(gè)場(chǎng)景下相同的15 張圖像展示旋轉(zhuǎn)過(guò)程的識(shí)別結(jié)果。組圖中主要包含目標(biāo)從傾斜旋轉(zhuǎn)到平行的過(guò)程。

圖5 對(duì)照實(shí)驗(yàn)1 的違建場(chǎng)地識(shí)別結(jié)果Fig.5 Recognition results of unauthorized construction sites on controlled experiment 1

對(duì)照實(shí)驗(yàn)2 的識(shí)別結(jié)果如圖6 所示，采用外部軟件對(duì)原樣本進(jìn)行無(wú)差別旋轉(zhuǎn)生成形變樣本，擴(kuò)大樣本集加入訓(xùn)練得到的部分實(shí)驗(yàn)結(jié)果。從圖6 可以看出，通過(guò)人工添加有限的形變樣本改進(jìn)形變目標(biāo)的識(shí)別結(jié)果，但效果并不理想。

圖6 對(duì)照實(shí)驗(yàn)2 的違建場(chǎng)地識(shí)別結(jié)果Fig.6 Recognition results of unauthorized construction sites on controlled experiment 2

本文網(wǎng)絡(luò)對(duì)違建場(chǎng)地的識(shí)別結(jié)果如圖7 所示，使用本文提出ASTN-Fast RCNN 網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練后的部分檢測(cè)結(jié)果，雖然仍有漏檢狀況，但相較于對(duì)照實(shí)驗(yàn)1 與對(duì)照實(shí)驗(yàn)2 的結(jié)果，能夠有效提升識(shí)別結(jié)果準(zhǔn)確率。

圖7 本文網(wǎng)絡(luò)對(duì)違建場(chǎng)地的識(shí)別結(jié)果Fig.7 Recognition results of unauthorized construction sites using the proposed network

3 個(gè)實(shí)驗(yàn)的mAP 值對(duì)比如圖8 所示。mAP 為AP 的平均值，在目標(biāo)檢測(cè)任務(wù)中通常用mAP 值衡量模型性能。

圖8 3 個(gè)實(shí)驗(yàn)的mAP 值對(duì)比Fig.8 mAP comparison of three experiments

從圖8 可以看出，對(duì)照實(shí)驗(yàn)1 在訓(xùn)練的前期使用原樣本集直接訓(xùn)練標(biāo)準(zhǔn)Fast RCNN 目標(biāo)檢測(cè)器的mAP 上升較快，在大概4×104次迭代后曲線趨于平穩(wěn)，mAP 值不再上升，檢測(cè)器對(duì)測(cè)試集中的形變樣本識(shí)別困難。對(duì)照實(shí)驗(yàn)2 用外部軟件進(jìn)行旋轉(zhuǎn)生成形變樣本，擴(kuò)大樣本集之后進(jìn)行訓(xùn)練，由于樣本集數(shù)量過(guò)大，模型在約7×104次迭代后，mAP 值趨于穩(wěn)定。本文ASTN-Fast RCNN 網(wǎng)絡(luò)模型盡管在訓(xùn)練前期不穩(wěn)定，在1×104～1.5×104次出現(xiàn)下降的情況，但是隨著迭代次數(shù)的增加，mAP 值在6×104次迭代后趨于穩(wěn)定，mAP 值約為91%。3 個(gè)實(shí)驗(yàn)的檢測(cè)結(jié)果對(duì)比如表1 所示。從表1 可以看出，對(duì)照實(shí)驗(yàn)1 使用原樣本集直接訓(xùn)練標(biāo)準(zhǔn)的Fast RCNN 目標(biāo)檢測(cè)器在全部測(cè)試集上得到的檢測(cè)結(jié)果是76.53%，通過(guò)人工擴(kuò)大樣本集在Fast RCNN 上訓(xùn)練得到的檢測(cè)結(jié)果是84.69%，本文提出的聯(lián)合網(wǎng)絡(luò)訓(xùn)練出檢測(cè)器的檢測(cè)結(jié)果是91.84%。實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)集可以結(jié)合基于Fast RCNN 的生成對(duì)抗網(wǎng)絡(luò)研究旋轉(zhuǎn)檢測(cè)，并取得較優(yōu)的結(jié)果。

表1 3 個(gè)實(shí)驗(yàn)的檢測(cè)結(jié)果對(duì)比Table 1 Detection results comparison of three experiments %

4 結(jié)束語(yǔ)

目前對(duì)違建場(chǎng)地的檢測(cè)方法主要通過(guò)人工對(duì)無(wú)人機(jī)拍攝的視頻進(jìn)行查驗(yàn)，不僅耗時(shí)費(fèi)力，而且容易遺漏。本文提出一種結(jié)合空間變換網(wǎng)絡(luò)與Fast RCNN 的生成對(duì)抗網(wǎng)絡(luò)ASTN-Fast RCNN，將深度學(xué)習(xí)與無(wú)人機(jī)航拍視頻相結(jié)合用于違建場(chǎng)地的自動(dòng)檢測(cè)識(shí)別。將空間變換網(wǎng)絡(luò)作為生成器生成形變樣本，通過(guò)Fast RCNN 目標(biāo)檢測(cè)器與生成器的競(jìng)爭(zhēng)式訓(xùn)練，提高檢測(cè)器的魯棒性。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)能夠提高形變樣本的檢測(cè)性能和違建檢查的工作效率。下一步將在本文工作基礎(chǔ)上對(duì)復(fù)雜場(chǎng)景下違建場(chǎng)地的特征提取與背景分割進(jìn)行研究，以提升網(wǎng)絡(luò)的通用性，使其適用于更多復(fù)雜場(chǎng)景下違建場(chǎng)地的自動(dòng)檢測(cè)工作。