結合Cannikin’s Law的離線數(shù)據(jù)增廣方法研究

鄧 雪，趙 皓，2，張 靜，2，梅菠萍，張 華

1.西南科技大學 信息工程學院，四川 綿陽 621010

2.中國科學技術大學 信息科學技術學院，合肥 230026

卷積神經(jīng)網(wǎng)絡（convolution neural network，CNN）在計算機視覺領域中的目標檢測、語意分割、姿態(tài)估計等具有挑戰(zhàn)性的任務上展現(xiàn)出強大性能[1]。目前，用于提升模型性能的方法主要分為三類：（1）加深網(wǎng)絡結構。例如GGNET[2]、Inception-v4[3]等，更深的網(wǎng)絡具有足夠的復雜度和特征內部變化，隨著網(wǎng)絡層數(shù)增加，CNN分層次提取更精細的特征，從而高效進行學習。（2）優(yōu)化損失函數(shù)。例如Momentum[4]、RMSprop[5]等以更有效的損失函數(shù)找到模型最優(yōu)參數(shù)，加快訓練速度，提高學習效率。（3）數(shù)據(jù)增廣。數(shù)據(jù)作為深度學習的驅動力，對模型訓練至關重要。數(shù)據(jù)增廣主要用于解決樣本尺寸不平衡、類別不平衡以及遮擋問題。尺寸不平衡是指小樣本的檢測性能總是比尺寸大的樣本差。在文獻[6-7]中，采用copy-paste機制和過采樣來提高小目標檢測精度。在文獻[8-12]中，通過提高原始圖片分辨率并融合來自不同分辨率級別特征以提高小目標的特征表達能力。類別不平衡，即，數(shù)量不平衡，可能導致模型過擬合，幾何變換是最常用的數(shù)據(jù)增廣方法，通過隨機裁剪、翻轉、鏡像等幾何變換能有效提升模型的泛化能力。對于遮擋問題，信息丟失可以顯著提升模型對遮擋的魯棒性，在文獻[13-14]中，隨機截取樣本區(qū)域并使用隨機值或均值填充，迫使模型學習圖像中更寬廣的具有描述性質的特征，從而防止模型過擬合于特定的視覺特征。CutMix為避免圖片本身區(qū)域特征信息丟失[15]，結合Mixup和Cutout將剪切區(qū)域與訓練集中其他圖片區(qū)域像素進行線性插值。相比于前兩類方法，數(shù)據(jù)增廣更具有通用性和易操作性。

上述方法均能有效提升模型的檢測精度和效率，但是在其不是影響檢測性能的主要因素時，始終存在某些類別的檢測性能遠低于平均檢測水平，如圖1所示（chair、potted-plant），將此現(xiàn)象定義為檢測性能不平衡問題。受Cannikin’s Law啟發(fā)，木桶的總容量會隨著最短板提高而顯著增加，因此，最低mAP類別的檢測性能提升，整體檢測性能將顯著提升。推測其主要原因是其特征表達能力不平衡，遵循copy-paste機制，對特定類別實例進行分割并隨機放入增廣樣本中，通過相似性度量機制選擇需要增廣的樣本。由于隨機粘貼導致大量目標遮擋問題以及數(shù)據(jù)集本身存在的遮擋現(xiàn)象，進一步采用cut-replace進行自遮擋增廣，選擇圖像特征表達能力最顯著的區(qū)域，并根據(jù)中心先驗使用同一張圖像左上角相同大小的區(qū)域進行替換，該步驟沒有引入額外的特征信息。

圖1 不同檢測器對Pascal VOC數(shù)據(jù)集的檢測性能對比Fig.1 Comparison of detection performance of different detectors on Pascal VOC dataset

1 數(shù)據(jù)增廣的動機

在FCOS和RetinaNet檢測器上對Pascal VOC數(shù)據(jù)集進行大量實驗。對比、分析實驗結果：始終存在檢測精度遠低于平均檢測水平的類別。為了確定出現(xiàn)此現(xiàn)象的原因，對Pascal VOC數(shù)據(jù)集進行統(tǒng)計分析。首先對每個類別的數(shù)量進行統(tǒng)計，然后對每個類別實例的平均尺寸進行統(tǒng)計，如圖2所示。

圖2 對PASCAL VOC數(shù)據(jù)集的統(tǒng)計Fig.2 Statistics of PASCAL VOC dataset

實驗結果表明，對于數(shù)量、尺寸相當?shù)念悇e，其檢測精度差距也很大。推測其主要原因是其特征表達能力不平衡。當物體處于背景極其復雜，或者與其特征十分相似的環(huán)境下，以及被遮擋的物體，人眼也很難一眼分辨，因此，可以通過增加目標的場景多樣性來提高模型的學習能力。

2 場景多樣性增廣

為了提升樣本數(shù)據(jù)集分布的多樣性，本文采用“copy-paste”機制，首先將短板類別實例進行分割，然后通過余弦相似性度量機制確定目標增廣樣本，并將增廣的樣本擴充到訓練樣本集中。增廣的樣本數(shù)據(jù)如圖3所示（藍色框內是增廣的樣本實例）。

圖3 對chair和potted-plant樣本實例的增廣圖片F(xiàn)ig.3 Augmented images of chair and potted-plant sample examples

2.1 余弦相似性

Random-erasing方法中采用隨機數(shù)進行在線數(shù)據(jù)增廣，對數(shù)據(jù)集分布多樣性的提升針對性不強。本文采用余弦相似性度量機制計算訓練集中的樣本與包含短板類別實例樣本間的相似性距離，選擇相似性高的樣本作為目標增廣樣本，有利于提升檢測模型在相似場景的分辨能力。圖像的余弦相似性是根據(jù)像素坐標值將一維向量映射到向量空間，通過計算相同維度向量間的距離獲取相似性度量，計算過程如公式（1）所示：

其中，Ai、Bi為通過直方圖和灰度獲得的區(qū)域矢量。

通過對內容相似以及差異較大的兩組不同圖片進行相似性度量測試，實驗結果如圖4所示。為了降低數(shù)據(jù)增廣的代價，本文通過余弦相似性度量機制，在訓練數(shù)據(jù)集中，獲取與包含短板類別實例相似的訓練樣本作為增廣目標樣本，通過控制相似性閾值，能夠獲取性能提升與增廣代價的平衡。

圖4 余弦相似性的相似度測量結果Fig.4 Similarity measurement results by cosine similarity

2.2 實施細節(jié)

場景多樣性增廣的具體流程如圖5所示，樣本范例如圖6所示。首先，通過gt-box獲得包含樣本的最小外接矩形，減少背景，再通過含有短板類別的分割掩碼將背景變?yōu)楹谏?。最后，將這些實例按一定比例縮放后，通過copy-paste任意放入選擇的樣本中，這里的分割掩碼是數(shù)據(jù)集自帶的蒙版真值，也可根據(jù)成熟的數(shù)據(jù)分割方法進行獲取，不需要精度很高。

圖5 場景多樣性增廣流程Fig.5 Specific process of scene diversity augment

圖6 場景多樣性增廣的樣本范例Fig.6 Sample example of scene diversity augment

3 Cut-replace自遮擋

遮擋增廣通過引入額外信息，增加數(shù)據(jù)集的場景多樣性，然而，檢測模型不可避免地會受到噪聲信息的影響。本文提出一種自遮擋方法，通過隨機剪切圖像本身的區(qū)域進行增廣，最大程度地降低噪聲引入。同時為了避免遮擋過程中，有用信息被嚴重遮擋，造成檢測模型性能明顯下降的問題，本文采用遮擋部分特征表達顯著區(qū)域，有效保護上下文信息的一致性。其增廣后的樣本數(shù)據(jù)示例如圖7所示。

圖7 Cut-replace自遮擋增廣后的樣本Fig.7 Sample of cut-replace self-occlusion augmentation

Cut-replace的實施細節(jié)：cut-replace自遮擋的具體實施流程如圖8所示。首先，將卷積特征圖resize到輸入圖片尺寸并獲取最大特征值的位置(x,y)，映射回原圖；其次，以該位置為圓心，因為，cutout指出：切口大小是比形狀更重要的影響因素，選擇橢圓；然后，根據(jù)邊界框大小設置切口尺寸，為選擇最佳遮擋面積，設置長軸為其所在gt-box的h/3、h/4、h/5，短軸為w/3、w/4、w/5進行對比。若該位置在背景上，則選擇圖片的h和w；最后，截取圖片中的patch進行遮擋。相比于random-erasing方法對樣本進行隨機擦除，本文主要針對特征顯著區(qū)域進行擦除。該機制能提升模型從上下文信息對目標的分類與定位性能。

圖8 Cut-replace自遮擋增廣的流程Fig.8 Process of cut-replace self-occlusion augmentation

如圖9所示，cut-replace自遮擋可使模型關注樣本非顯著性區(qū)域，通過目標全局特征進行類別判別與位置回歸。降低模型對顯著性區(qū)域特征的依賴程度，提升模型的表達能力。

圖9 熱力圖可視化Fig.9 Heat map visualization

4 實驗結果及分析

4.1 實驗準備

4.1.1 實驗平臺

所有實驗均使用PyTorch1.5框架，訓練、驗證和測試都在Nvidia Titan XP（12 GB）工作站上進行。

4.1.2 數(shù)據(jù)集

本次實驗主要在PASCAL VOC數(shù)據(jù)集上進行訓練和針對VOC數(shù)據(jù)集，訓練集采用VOC（07+12），測試集采用VOC07 test。同時，為了驗證該方法的有效性，還在MS-COCO數(shù)據(jù)集上進行了驗證實驗，訓練集采用train2017，測試集采val2017。

4.1.3 數(shù)據(jù)集

為了驗證提出方法的有效性，選擇兩個以ResNet-50為骨干網(wǎng)絡的RetinaNet[16]和FCOS[17]無錨檢測器作為基線。

4.2 在Pascal VOC數(shù)據(jù)集上的對比實驗

為加快訓練過程的收斂速度，采用ImageNet分類任務的預訓練權重初始化backbone。采用SGD作為優(yōu)化器，batch-size=6，momentum=0.9，初始學習率為2E-3，設置30個epoch。初始學習率設置為0.01，在20和25個epoch分別降低10%。輸入圖片尺寸調整為800×1 300。

表1展示了在FCOS檢測器上，不同數(shù)據(jù)增廣方法對Pascal VOC數(shù)據(jù)集檢測性能的改進，主要對比Random-erasing和Cutout數(shù)據(jù)增廣方法。

表1 不同數(shù)據(jù)增廣方法對比實驗結果Table 1 Comparison of experimental results with different data augmentation methods 單位：%

從表1中可知，基于copy-paste的場景多樣性增強方法在FCOS檢測器上將檢測精度提升了4.04個百分點，短板類別最高提升10.04個百分點，基于cut-replace的自遮擋方法提升了4.28個百分點，短板類別最高提升了16.23個百分點，兩種方法同時作用，檢測性能提升了4.8個百分點，短板類別最高提升了20.80個百分點，相比于Random-erasing和Cutout對短板類別的提升效果更明顯。表2列出了在本文方法下每個類別的AP值對比結果。

表2 每個類別的mAP對比Table 3 Comparison of mAP for each category單位：%

4.3 在MS-COCO上的驗證實驗

為了進一步驗證該方法的有效性，在最典型的MS-COCO數(shù)據(jù)集上進行驗證實驗，采用SGD優(yōu)化器。在FCOS檢測器上，訓練的Bach-size設為12，迭代次數(shù)設置為24個epoch，每張圖片的尺寸被調整到512×512，并根據(jù)COCO數(shù)據(jù)集json文件的標注格式，對增廣后的整個數(shù)據(jù)集生成新的json標注文件，并與Randomerasing進行對比，測試結果如表3所示。

表3 MS-COCO數(shù)據(jù)集上實驗結果Table 3 Experimental results on MS-COCO dataset單位：%

如表3所示，在FCOS檢測框架上，可將MS-COCO數(shù)據(jù)集的平均檢測精度從32.1%提升到33.0%。

4.4 消融實驗

4.4.1 場景多樣性增廣數(shù)量的對比實驗

為驗證測試增廣的數(shù)量對該方法的影響，設置了增廣數(shù)量為100～500的等級，測試結果如表4所示。

表4 PASCAL VOC數(shù)據(jù)集上的實驗結果Table 4 Experimental results on PASCAL VOC dataset單位：%

從表4中可以知道，當增廣數(shù)量為400，該方法達到了最好的效果，因此選擇合適的增廣數(shù)量，對于獲得最佳檢測精度至關重要。

如圖10是對場景多樣性增廣數(shù)量消融實驗的可視化對比，將特定類別實例進行隨機放置時會產(chǎn)生遮擋現(xiàn)象，當增廣數(shù)量達到一定程度時，檢測性能的提升率反而下降。因此，利用遮擋原理可進一步提升短板類別的檢測性能和對遮擋的魯棒性。

圖10 不同數(shù)量等級的增廣測試結果Fig.10 Augmentation test results of different quantity levels

4.4.2 相似性度量機制的消融實驗

為了提升短板類別（chair、potted-plant）的檢測精度，驗證相似性度量機制的有效性，對隨機選擇和余弦相似性進行對比實驗。在FCOS和RetinaNet檢測器上對PASCAL VOC數(shù)據(jù)集進行測試，結果如表5所示。

表5 相似性度量機制的消融實驗結果Table 5 Ablation experiment results of similarity measurement mechanism 單位：%

實驗結果表明，基于copy-paste的數(shù)據(jù)增強方法在FCOS和RetinaNet檢測器上對PASCAL VOC數(shù)據(jù)集的檢測精度分別從79.10%和81.59%提升到83.14%和83.57%。特別對于短板類別，提升最為顯著。

4.4.3 自遮擋增廣的面積和數(shù)量對比實驗

采用與場景多樣性驗證實驗相同的實驗設置，為了測試最佳遮擋面積，對遮擋比例為1/3、1/4、1/5進行對比，對比結果如表6所示。

表6 不同遮擋比例的檢測結果Table 6 Detection results of different occlusion ratios單位：%

從表6中數(shù)據(jù)可知，選擇遮擋比例為1/4時測試效果最佳。同時為了測試遮擋數(shù)量對檢測精度的影響，設置260、360、460、560實例數(shù)量等級的遮擋級別，實驗結果如表7所示。設置遮擋的實例數(shù)量為560時，平均檢測性能達到了83.38%，提升了4.28個百分點，短板類別（chair、potted-plant）分別提升了8.4個百分點和16.23個百分點。

表7 不同數(shù)量等級PASCAL VOC數(shù)據(jù)集的檢測精度Table 7 Detection accuracy of different quantity levels PASCAL VOC dataset 單位：%

5 結束語

為解決多類別目標檢測任務中檢測性能不平衡問題。受Cannikin’s Law的啟發(fā)，提出一種離線數(shù)據(jù)增強算法。首先，采用copy-paste增廣方法對短板類別進行場景多樣性增強，然后，針對copy-paste增廣方法隨機放置過程中產(chǎn)生的大量遮擋問題，采用cut-replace的自遮擋增廣方法來提升短板類別對遮擋的魯棒性。大量實驗結果證明該方法的有效性，為數(shù)據(jù)增廣領域提供了有用的參考價值。