燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測

于永輝，蔡佳航，劉斌，虞海江，楊文武*

（1.浙江工商大學計算機科學與技術(shù)系，杭州 310018；2.南昌大學信息工程學院，南昌 330031；3.中科院軟件所，北京 100190）

1 引言

二維人體目標檢測（2D Human Object Detection）在諸多應(yīng)用領(lǐng)域中扮演著關(guān)鍵角色，例如人體姿態(tài)識別和視頻監(jiān)控等[1-2]。傳統(tǒng)的二維人體目標檢測算法主要基于手工設(shè)計特征，例如使用HOG、SURF 等算法提取圖像中的局部特征進行人體目標識別[3-4]。傳統(tǒng)方法的主要弊端是需要大量的專業(yè)知識和經(jīng)驗來設(shè)計特征，并且手工設(shè)計的特征其表示質(zhì)量和泛化能力存在局限性，最終限制了目標檢測算法在實際應(yīng)用環(huán)境中的性能。與傳統(tǒng)方法不同，基于深度學習技術(shù)的二維人體目標檢測方法自動從大量數(shù)據(jù)中學習到特征表示，從而能夠生成更加高效的目標檢測特征[5-6]。近年來，基于深度卷積神經(jīng)網(wǎng)絡(luò)模型的目標檢測算法研究取得了突破性進展[7-9]，在富有挑戰(zhàn)性的公開數(shù)據(jù)集上顯著提升了二維人體目標檢測性能[10-12]。公開數(shù)據(jù)集中的圖片主要對應(yīng)著日常的室內(nèi)外白熾光照環(huán)境，但在一些特殊環(huán)境中，例如現(xiàn)場的舞臺演出環(huán)境，場景中的燈光五顏六色、忽明忽暗且變化劇烈，現(xiàn)有的二維人體目標檢測算法在這些燈光劇烈變化場景中的檢測性能和魯棒性均會發(fā)生明顯下降，如圖1所示。

圖2 StageHuman數(shù)據(jù)集中的部分二維人體標注結(jié)果

圖3 三種不同風格遷移算法對劇烈燈光變化風格的遷移效果

針對上述問題，本文提出了一種燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測方法。首先，為了驗證當前二維人體目標檢測算法在具有劇烈燈光變化環(huán)境中表現(xiàn)不足，同時為了設(shè)計和測試新算法，本文采集并構(gòu)建了一個包含各種燈光顏色和劇烈燈光變化的人體圖片基準數(shù)據(jù)集（命名為“StageHuman”）。StageHuman 數(shù)據(jù)集中的圖片采自于浙江橫店影視城景區(qū)內(nèi)的現(xiàn)場舞臺演出環(huán)境，對應(yīng)著多個風格迥異的舞臺演出場景，場景中燈光復(fù)雜且變化劇烈，包含著各種顏色和明暗不均的舞臺燈光，并且可編程電腦燈還會發(fā)生各種閃爍以及朝向變化。此外，舞臺上的演員個數(shù)一直動態(tài)變化，少到僅1 個人，多到二三十人，并且演員服裝和姿態(tài)各異，此外演員之間以及演員與表演道具之間常常發(fā)生相互遮擋。因此，StageHuman數(shù)據(jù)集不僅具有劇烈燈光變化的特點，并且包含了豐富的人體與環(huán)境多樣性。

基于StageHuman 數(shù)據(jù)集，本文進一步提出一種基于風格遷移的數(shù)據(jù)增強策略，以提升深度神經(jīng)網(wǎng)絡(luò)模型在燈光劇烈變化環(huán)境下進行二維人體目標檢測的魯棒性和精度。該數(shù)據(jù)增強策略利用圖片風格遷移算法，將StageHuman 數(shù)據(jù)集圖片中蘊含的劇烈燈光變化風格遷移到大規(guī)模公開數(shù)據(jù)集的圖片中，例如COCO 數(shù)據(jù)集，從而自動獲得具有特定燈光變化風格的大規(guī)模標注數(shù)據(jù)。基于風格遷移后獲得的具有特定燈光變化風格的大規(guī)模標注數(shù)據(jù)，本文訓練深度神經(jīng)網(wǎng)絡(luò)模型使其學習到圖片中蘊含的劇烈燈光變化風格，從而提升模型在劇烈燈光變化環(huán)境下的二維人體檢測性能。以StageHuman 數(shù)據(jù)集作為測試驗證數(shù)據(jù)集，通過大量的實驗對比與分析，驗證了上述方法能夠有效提升深度神經(jīng)網(wǎng)絡(luò)模型在劇烈燈光變化環(huán)境下的魯棒性和檢測精度，并且該有效性不依賴于具體的風格遷移算法，而主要取決于所遷移的燈光變化風格的多樣性和完整性。

本文貢獻可以歸納為以下三方面：

(1)采集并構(gòu)建了一個名為StageHuman的二維人體目標檢測基準數(shù)據(jù)集，該數(shù)據(jù)集中的圖片蘊含了各種燈光顏色以及明暗不均的劇烈燈光變化。根據(jù)我們目前的調(diào)研結(jié)果，StageHuman 數(shù)據(jù)集是國內(nèi)外首個面向燈光劇烈變化環(huán)境的二維人體目標檢測數(shù)據(jù)集。

(2)提出一種燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測方法，其核心是一個基于風格遷移的數(shù)據(jù)增強策略，它利用已有的大規(guī)模公開數(shù)據(jù)集，自動獲得具有特定燈光變化風格的大規(guī)模標注數(shù)據(jù)來訓練深度神經(jīng)網(wǎng)絡(luò)模型，最終實現(xiàn)燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測。

(3)基于StageHuman數(shù)據(jù)集，通過大量實驗，充分驗證了本文所提出算法在劇烈燈光變化環(huán)境下的有效性和魯棒性。

2 相關(guān)工作

2.1 目標檢測算法

目標檢測是計算機視覺領(lǐng)域中的一項基本任務(wù)，其目標是從圖像或視頻中識別并定位出多個物體的類別和位置。相較于圖像分類任務(wù)只需輸出物體的類別，目標檢測則還需要準確地定位物體的空間位置信息。二維人體目標檢測是目標檢測的一個特定領(lǐng)域，與一般的目標檢測相比，二維人體目標檢測更加專注于人體目標的檢測和定位。由于人體的形狀、姿態(tài)和變化范圍廣泛，人體目標檢測在許多應(yīng)用中具有重要意義，如視頻監(jiān)控、人機交互、人臉識別、行為分析等。

Girshick 等人[6]提出了經(jīng)典的R-CNN 算法，它是一種基于錨框的兩階段檢測算法。相比于傳統(tǒng)的滑動窗口（Sliding Window）方法，R-CNN 將目標檢測任務(wù)轉(zhuǎn)化為候選框的分類和回歸問題，大大減少了計算量，并提高了檢測性能。在R-CNN 算法中，重疊框特征的冗余計算使得整個網(wǎng)絡(luò)的檢測效率較低。為了減少大量重疊框帶來的冗余計算，K. He 等人[13]提出了一種空間金字塔池化層（Spatial Pyramid Pooling Layer, SPP），主要思路是對于一副圖像分成若干尺度的圖像塊，然后對每一塊提取的特征融合在一起，從而兼顧多個尺度的特征。進一步，R. Girshick 等人[7]提出了Fast RCNN，該網(wǎng)絡(luò)使得我們可以在相同的網(wǎng)絡(luò)配置下同時訓練一個檢測器和邊框回歸器，其改進版本Faster RCNN則是第一個端到端的深度學習檢測算法，極大提升了檢測框的生成速度。

兩階段目標檢測雖然在目標檢測領(lǐng)域取得了很好的成果，但是它的計算復(fù)雜度比較高，且需要多個階段的計算。為了解決這些問題，研究人員開始探索單階段目標檢測算法。在最新的單階段目標檢測算法中，一些算法的性能已經(jīng)超過了兩階段目標檢測算法，同時計算復(fù)雜度也得到了很大的優(yōu)化。YOLO[9]作為一種較為流行的單階段目標檢測算法，其核心思想是將目標檢測問題轉(zhuǎn)化為一個回歸問題。YOLO結(jié)合了兩階段算法的優(yōu)點，使用單個神經(jīng)網(wǎng)絡(luò)對檢測到的對象執(zhí)行邊界框的分類和預(yù)測。此外，它針對檢測器進行了大量優(yōu)化，從而大幅提升了目標檢測任務(wù)的處理速度，實現(xiàn)了實時的目標檢測。最終，YOLO算法在準確性和速度上取得了很好的平衡。YOLO算法自提出以來一直在更新迭代，目前已經(jīng)產(chǎn)生了從YOLOv1到Y(jié)OLOv8的一系列目標檢測算法。

隨著大規(guī)模人體圖片標注數(shù)據(jù)集的可公開獲得，上述基于深度學習的二維人體目標檢測方法均取得了明顯的性能提升，已經(jīng)成為該方向的主流技術(shù)。但是，不同于人類視覺能夠適應(yīng)各種燈光變化環(huán)境，現(xiàn)有的二維人體目標檢測算法在劇烈燈光變化場景中其檢測性能會明顯下降，使得這些算法不能直接應(yīng)用于具有劇烈燈光變化的復(fù)雜場景環(huán)境中。

2.2 風格遷移算法

風格遷移（Style Transfer）是指將一種圖像的藝術(shù)風格應(yīng)用到另一幅圖像上，從而生成一幅新的圖像，使得新圖像既保留原圖像中的主體內(nèi)容，同時又帶有另一幅圖像的藝術(shù)風格。利用深度學習方法進行風格遷移是圖像領(lǐng)域研究的熱點之一。當前主流的基于深度學習的圖像風格遷移方法可以劃分為兩類：基于圖像迭代的圖像風格遷移方法以及基于模型迭代的圖像風格遷移方法。

Leon A. Gatys 等人[14]首次提出一種基于圖像迭代的圖像風格遷移方法。論文作者發(fā)現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)(CNN)中內(nèi)容和樣式的表示是可分離的，因此可以獨立地操縱這兩種表示以產(chǎn)生新的、具有感知意義的圖像。其主要思路是使用卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，然后紋理合成，計算內(nèi)容損失和風格損失，使用梯度下降優(yōu)化總損失，然后不斷迭代圖像以得到藝術(shù)圖像。然而，由于迭代次數(shù)過多、迭代時間較長，這種基于圖像迭代的方法效率較低，隨之出現(xiàn)了快速風格遷移方法。Justin Johnson 等人[15]中提出了一種基于模型迭代的實時圖像風格遷移方法。該方法使用前饋卷積神經(jīng)網(wǎng)絡(luò)對感知損失進行優(yōu)化并生成圖片，圖像不是由隨機噪聲產(chǎn)生，而是通過輸入圖像的變換得到。因此，該方法被稱為快速風格遷移方法，而圖像風格轉(zhuǎn)換網(wǎng)絡(luò)也被稱為快速風格化網(wǎng)絡(luò)。

在最新的研究中，Domain[16]提出了一種基于域感知的風格傳輸網(wǎng)絡(luò)，不僅能夠傳輸模版圖片的樣式，還能同時傳遞域的屬性，同時針對不同的圖像領(lǐng)域，自適應(yīng)的調(diào)整風格轉(zhuǎn)換參數(shù)，從而獲得更好的結(jié)果。FastPhoto[17]網(wǎng)絡(luò)主要由樣式化以及平滑步驟兩部分組成，樣式化會將模版圖片中的樣式轉(zhuǎn)移到待遷移圖片中，平滑化則確保兩者空間上的樣式一致性。由于使用了封閉的函數(shù)來實現(xiàn)風格化，該方法遷移速度遠高于傳統(tǒng)算法。StyleNas[18]是一種基于神經(jīng)網(wǎng)絡(luò)搜索架構(gòu)的方法，它不需要進行后處理就能得到遷移后的圖片，并且網(wǎng)絡(luò)還使用了自動剪枝框架，能在保持風格化不變的情況下，提升風格遷移轉(zhuǎn)換效率。

3 燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測方法

3.1 StageHuman：面向燈光變化劇烈舞臺演出環(huán)境的二維人體目標檢測數(shù)據(jù)集

為了驗證并提升基于深度網(wǎng)絡(luò)模型的二維人體目標檢測算法在劇烈燈光變化場景中的性能，在真實的復(fù)雜演出環(huán)境中采集并構(gòu)建了一個專門的二維人體目標檢測基準數(shù)據(jù)集，該數(shù)據(jù)集中的圖片蘊含了各種燈光顏色以及明暗不均的劇烈燈光變化。把該數(shù)據(jù)集命名為StageHuman，并且根據(jù)目前的調(diào)研結(jié)果，StageHuman 數(shù)據(jù)集是國內(nèi)外首個面向燈光劇烈變化環(huán)境的二維人體目標檢測數(shù)據(jù)集。

StageHuman 數(shù)據(jù)集的創(chuàng)建分為三個階段：數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集標注。在數(shù)據(jù)獲取階段，為了保證數(shù)據(jù)的多樣性和真實性，選取了6 個不同的真實舞臺演出場景，各個場景都對應(yīng)不同的舞臺燈光變化情況，并且演出人物、服飾和動作都各有特色。在數(shù)據(jù)采集過程中，使用松下GH5S 單反相機，以1080p的分辨率和50fps 的拍攝幀率，從舞臺前方的三個不同視角對正在進行的舞臺表演進行拍攝，從而獲取到覆蓋了整個舞臺表演的清晰視頻圖像。在數(shù)據(jù)預(yù)處理階段，為了消除冗余數(shù)據(jù)，以20 幀為步長對視頻數(shù)據(jù)進行均勻采樣，得到單張圖像。在采樣得到的所有圖像中，以前70%作為訓練集圖像，后30%作為測試集圖像。最后，在數(shù)據(jù)集標注階段，采用開源標注軟件Labelme，對訓練集和測試集圖像標注其中的二維人體檢測框。采用交叉標注的方式，保證每張圖像都至少經(jīng)過兩名標注人員的標注和檢查。在兩名標注人員標注情況下，整個標注過程由兩名標注人員共耗時約1 個月完成。最終，StageHuman 數(shù)據(jù)集共包含30,346 張單人檢測數(shù)據(jù)，其中的21,242 張為訓練集，另外的9,104 張為測試集。圖 2 給出了數(shù)據(jù)集中的部分二維人體標注結(jié)果。

3.2 基于數(shù)據(jù)增強的復(fù)雜燈光環(huán)境下二維人體目標檢測

為了提升現(xiàn)有的基于深度網(wǎng)絡(luò)模型的二維人體目標檢測算法在燈光劇烈變化環(huán)境中的檢測性能，一種直接的方法是使用StageHuman 數(shù)據(jù)集對已有的二維人體目標檢測深度網(wǎng)絡(luò)模型進行微調(diào)，以使其適應(yīng)具有劇烈燈光變化的復(fù)雜環(huán)境。但是由于StageHuman 數(shù)據(jù)集主要采集于舞臺表演場景，并且數(shù)據(jù)集規(guī)模有限，容易造成深度網(wǎng)絡(luò)模型在訓練過程中過擬合，并且難以泛化到更多的場景和環(huán)境。針對這一問題，我們提出了一種基于風格遷移的數(shù)據(jù)增強策略，將StageHuman 數(shù)據(jù)集圖片所對應(yīng)場景中的劇烈燈光變化風格遷移到大規(guī)模公開數(shù)據(jù)集COCO 的人體圖片中，再利用風格遷移后的大規(guī)模數(shù)據(jù)集來訓練深度神經(jīng)網(wǎng)絡(luò)模型，從而提升模型在劇烈燈光變化環(huán)境下的二維人體檢測性能，并保持模型在各種場景和環(huán)境中的泛化能力。

為了實現(xiàn)StageHuman 數(shù)據(jù)集場景中劇烈燈光變化風格的遷移，我們考慮了三種主流的風格遷移算法：Domain[16]、FastPhoto[17]、StyleNas[18]。這三種風格遷移算法的遷移效果如圖 3所示，其中Reference指待遷移風格圖片，也稱為“遷移模板”?？梢钥闯?，這三種遷移算法的遷移效果各有不同，但是它們均較好地把StageHuman 數(shù)據(jù)集圖片中所包含的燈光變化風格遷移到了COCO 數(shù)據(jù)集的人體圖片中。在后面的實驗部分，我們將通過對比實驗，來驗證不同遷移算法對最終的二維人體目標檢測結(jié)果的影響。

在本文提出的基于風格遷移的數(shù)據(jù)增強策略中，利用上述三種風格遷移算法，將StageHuman 數(shù)據(jù)集圖片中所蘊含的燈光變化風格遷移到大規(guī)模公開數(shù)據(jù)集COCO 的人體圖片中，從而實現(xiàn)COCO 訓練數(shù)據(jù)集的增強。為了遷移StageHuman 數(shù)據(jù)集圖片中所蘊含的燈光變化風格，需要從該數(shù)據(jù)集中選取一組待遷移風格的圖片，這些圖片被稱為“風格遷移模板”。在實驗中，根據(jù)所選用的風格遷移算法以及風格遷移模塊，本文制定了不同的數(shù)據(jù)增強策略。為了驗證不同遷移算法對二維人體目標檢測結(jié)果的影響，可以使用單個遷移算法、兩個遷移算法或三個遷移算法的不同組合來進行數(shù)據(jù)增強。同時，為了驗證風格遷移模板的數(shù)量對二維人體目標檢測結(jié)果的影響，可以使用單張遷移模板或多張遷移模板來進行數(shù)據(jù)增強。

基于遷移算法和遷移模板數(shù)量的不同組合，最終可以得到11種不同的數(shù)據(jù)增強策略，如表 1所示。在這些增強策略中，“單張模版”表示的是人工挑選了StageHuman訓練集中燈光顏色變化具有代表性的某張圖片，而“多張模版”表示的是人工挑選了StageHuman訓練集中燈光顏色變化具有代表性的一組圖片。在實驗中，“多張模版”包含了10張代表性圖片。根據(jù)所選用的遷移算法以及模版數(shù)量，為每種增強策略進行了命名。其中，YOLO表示將選用YOLOv5訓練二維人體目標檢測的深度神經(jīng)網(wǎng)絡(luò)模型；D、F 和S 分別表示使用Domain[16]，F(xiàn)ast-Photo[17]或StyleNas[18]算法進行風絡(luò)遷移；SGL和MUL分別表示使用了“單張模版”或“多張模版”。

在YOLOv5 模型的訓練過程中，對于每種數(shù)據(jù)增強策略，本文采用如下方法進行數(shù)據(jù)增強：對于COCO 數(shù)據(jù)集中的每個訓練樣本，首先根據(jù)該策略確定遷移算法，如果該策略包含兩個及以上的遷移算法，隨機選擇其中的一個遷移算法；然后根據(jù)該策略確定遷移模板，如果該策略包含多個遷移模板，隨機選擇其中的一個作為遷移模板；最后，根據(jù)確定的遷移算法和遷移模板，把該模板中的風格遷移到上述的COCO的數(shù)據(jù)集中的訓練樣本中。

表1 遷移算法與遷移模版的不同組合所形成的數(shù)據(jù)增強策略

4 實驗結(jié)果

根據(jù)上節(jié)介紹的數(shù)據(jù)增強策略，本文利用大規(guī)模公開數(shù)據(jù)集MS COCO 中的人體圖片，來訓練二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型YOLOv5。根據(jù)不同數(shù)據(jù)增強策略所訓練得到的二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型，我們分別在COCO 數(shù)據(jù)集的驗證集以及Stage-Human 數(shù)據(jù)集的測試集上對其進行性能評估。我們分別使用了AP、AR 和F1 Score 三個指標進行了二維人體檢測性能的評估。

AP 指標：是一種用來衡量物體檢測模型的精度評價指標，反映了檢測器對每個類別的識別準確程度。AP值越高，說明模型的檢測性能越好。

AR 指標：是一種用來衡量物體檢測模型在不同召回率下的準確度評價指標，AR 指的是平均召回率（Average Recall，AR），也就是在不同的召回率閾值下，模型檢測出的正確目標數(shù)的平均值。AR 值越高，說明模型的檢測性能越好。

F1 Score 指標：是綜合考慮Precision 和Recall 兩個指標的評價指標，其計算方法是精確率與召回率的調(diào)和均值，即公式(1)所示：

F1 Score值越高，說明模型的分類性能越好。

表2給出了單一遷移算法和單張模板組合下的數(shù)據(jù)增強策略所訓練得到的二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型的性能結(jié)果。其中，YOLOv5s表示在COCO數(shù)據(jù)集上訓練而沒有使用數(shù)據(jù)增強得到的深度模型。該實驗主要用于驗證不同遷移算法對最終檢測結(jié)果的影響。由表可見，與未進行數(shù)據(jù)增強的YOLOv5s模型相比，三種數(shù)據(jù)增強策略訓練后得到的模型在StageHuman數(shù)據(jù)集上的AP和AR精度不僅沒有提升反而都出現(xiàn)了下降，這表明了使用單張模版的策略未能提升模型在劇烈燈光變化環(huán)境下的二維人體檢測性能。此外，我們注意到，三種數(shù)據(jù)增強策略訓練后得到的模型在COCO 數(shù)據(jù)集的AP精度僅出現(xiàn)了較小幅度的下降（-1% ～ -1.5%）以及AR 指標的略微上升（+0.6 %～+1.4%），這表明三種不同的風格遷移算法并未對COCO 數(shù)據(jù)集中的圖片本質(zhì)內(nèi)容產(chǎn)生較大影響，只是改變了數(shù)據(jù)集中圖片的風格，并能夠保持在COCO 數(shù)據(jù)集所對應(yīng)的各種不同環(huán)境中的泛化能力，進而驗證了使用風格遷移算法進行數(shù)據(jù)增強策略的可行性。

表2 單張模版+單一算法策略下進行數(shù)據(jù)增強的二維人體檢測結(jié)果

表3給出了在單張模板下，不同遷移算法組合的數(shù)據(jù)增強策略所訓練得到的二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型的性能結(jié)果。其中，YOLOv5s表示在COCO數(shù)據(jù)集上訓練而沒有使用數(shù)據(jù)增強得到的深度模型。該實驗主要用于驗證通過組合風格遷移算法是否可以提升燈光變化風格的遷移能力。由表可見，與未進行數(shù)據(jù)增強的YOLOv5s模型相比，四種數(shù)據(jù)增強策略訓練后得到的模型在StageHuman數(shù)據(jù)集上的AP和AR精度不僅沒有提升反而都出現(xiàn)了下降。并且，從表 2和表 3可以看出，在相同的單張模版策略下，使用單一遷移算法與使用不同遷移算法的組合在最終的二維人體檢測結(jié)果上性能較接近。這進一步驗證了通過表 2結(jié)果得出的結(jié)論：使用單張模版的策略不能提升模型在劇烈燈光變化環(huán)境下的二維人體檢測性能。

表4 多張模版+單一算法策略下進行數(shù)據(jù)增強的二維人體檢測結(jié)果

表 4 給出了單一遷移算法和多張模板組合下的數(shù)據(jù)增強策略所訓練得到的二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型的性能結(jié)果。其中，YOLOv5s表示在COCO數(shù)據(jù)集上訓練而沒有使用數(shù)據(jù)增強得到的深度模型。該實驗主要用于驗證模版圖片樣本多樣性對最終檢測結(jié)果的影響。由表可見，與未進行數(shù)據(jù)增強的YOLOv5s 模型相比，三種數(shù)據(jù)增強策略訓練后得到的模型在StageHuman 數(shù)據(jù)集上的AP 精度均有提升，提升幅度分別為0.7%、4.6%、0.4%，以及在AR 指標下精度也有著不同程度的提升。該結(jié)果表明，在使用多張模版策略進行數(shù)據(jù)增強時，三種不同的風格遷移算法都能將StageHuman 數(shù)據(jù)集圖片中的燈光變化風格遷移到COCO 數(shù)據(jù)集中，從而提升訓練模型在劇烈燈光變化環(huán)境下的二維人體檢測性能。其中，F(xiàn)astPhoto風格遷移算法取得了4.6%的AP精度提升以及6.1%的AR精度提升，明顯更優(yōu)于Domain 與 StyleNas 算法。綜合上述分析，可以得出結(jié)論：1）相比于單張模版策略，多張模版策略能夠充分提取出復(fù)雜環(huán)境中的劇烈燈光變化風格；2）不同的遷移算法具有不同的燈光變化風格遷移能力。

表5給出了三個遷移算法和多張模板組合下的數(shù)據(jù)增強策略所訓練得到的二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型的性能結(jié)果。其中，YOLOv5s表示在COCO數(shù)據(jù)集上訓練而沒有使用數(shù)據(jù)增強得到的深度模型。該實驗主要用于驗證模版多樣性與遷移算法多樣性對最終檢測結(jié)果的影響。由表可見，與未進行數(shù)據(jù)增強的YOLOv5s 模型相比，該數(shù)據(jù)增強策略訓練后得到的模型在StageHuman 數(shù)據(jù)集上的AP 精度提升了1.9%以及AR 精度提升了5.5%。進一步對比表 3 和表 4，可以看出，在多張模板情況下，采用三個遷移算法的組合與單一遷移算法取得的檢測精度提升相差較小。我們可以得出結(jié)論：相比于不同遷移算法對燈光變化風格遷移能力的影響，多張模版策略對燈光變化風格遷移能力具有更大的影響。

表5 多張模版+混合三種算法策略下進行數(shù)據(jù)增強的二維人體檢測結(jié)果

5 結(jié)論

本文提出了一種燈光劇烈變化環(huán)境自適應(yīng)的二維人體目標檢測方法。首先，為了驗證并提升基于深度網(wǎng)絡(luò)模型的二維人體目標檢測算法在劇烈燈光變化場景中的性能，本文在真實的復(fù)雜演出環(huán)境中采集并構(gòu)建了一個專門的二維人體目標檢測基準數(shù)據(jù)集StageHuman。然后，通過組合不同的風格遷移算法以及遷移模板數(shù)量，制定了多種的數(shù)據(jù)增強策略。最后，根據(jù)每種數(shù)據(jù)增強策略，將StageHuman 數(shù)據(jù)集圖片中的劇烈燈光變化風格遷移到大規(guī)模公開數(shù)據(jù)集COCO 的人體圖片中，再利用風格遷移后的大規(guī)模數(shù)據(jù)集訓練得到二維人體檢測深度神經(jīng)網(wǎng)絡(luò)模型。通過對每種數(shù)據(jù)增強策略下訓練得到的模型進行對比分析，發(fā)現(xiàn)本文提出的基于數(shù)據(jù)增強的復(fù)雜燈光環(huán)境下二維人體目標檢測方法能夠有效提升深度神經(jīng)網(wǎng)絡(luò)模型在劇烈燈光變化環(huán)境下的檢測精度，并且該有效性不依賴于具體的風格遷移算法，而主要取決于所遷移的燈光變化風格的多樣性和完整性。