基于優(yōu)化多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的多人目標(biāo)偵測*

陳 英， 李志勇

(南昌航空大學(xué) 軟件學(xué)院，江西 南昌 330063)

0 引 言

目標(biāo)偵測識別在日常生活中很普遍，車站和機(jī)場的人臉識別閘門都是采用單目標(biāo)偵測識別。多目標(biāo)偵測到海量人臉之后再進(jìn)行識別的方案可以有效地解決這類問題。對于多目標(biāo)偵測，當(dāng)前已有的研究包括：文獻(xiàn)[1]提出了循環(huán)卷積神經(jīng)網(wǎng)絡(luò)(RCNN)的處理方案，通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)和支持向量機(jī)(SVM)機(jī)器學(xué)習(xí)的方法解決多目標(biāo)偵測問題；文獻(xiàn)[2]對 RCNN進(jìn)行改進(jìn)，提出了Fast RCNN的方法，通過CNN提取特征，然后在特征圖上找到有物體的框，輸入到分類網(wǎng)絡(luò)進(jìn)行分類；文獻(xiàn)[3]對Fast RCNN進(jìn)行改進(jìn)，提出了Faster RCNN，將Fast RCNN得到特征圖上的框，輸出到區(qū)域選取網(wǎng)絡(luò)(region proposal network,RPN)篩選框，再進(jìn)行分類，加速了網(wǎng)絡(luò)的運(yùn)行速度；文獻(xiàn)[4]提出了SSD方法，在多尺度特征圖上進(jìn)行偵測，提高了偵測的精度；文獻(xiàn)[5～7]提出了Yolo的方法，尤其是YoloV3在SSD的基礎(chǔ)上，增加了上采樣操作，進(jìn)一步增加了偵測的精度和速度；文獻(xiàn)[8]提出了多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(multi-task cascaded CNN,MTCCNN)，采用圖像金字塔的方法，并采用多任務(wù)級聯(lián)的方式進(jìn)行多目標(biāo)偵測。對于人臉識別，文獻(xiàn)[9]提出了一個損失Triplet Loss，通過加入隔離帶并采用困難樣本訓(xùn)練的方式進(jìn)行特征分離;文獻(xiàn)[10]又提出了一個新的損失Center Loss,通過為每一個特征加入中心點(diǎn)的方式，分開特征;文獻(xiàn)[11]提出了一種對SoftMax的改進(jìn)方法—Arc-SoftMax，即在SoftMax中加入隔離帶，分開特征。

綜上所述，多目標(biāo)偵測識別的方案很多，但是要將偵測和識別方案很好地結(jié)合，是一個很難的問題。本文在多目標(biāo)偵測中采用了MTCCNN作為主要的方案，并對其網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，一定程度上加速了網(wǎng)絡(luò)偵測速度。對于人臉識別，采用Arc-SoftMax的分特征的方法，將兩種方案很好結(jié)合，完成海量人臉的偵測識別。

1 相關(guān)基本理論

1.1 交并比與非極大值抑制

通過交并比(intersection over union,IoU)對建議框和預(yù)測框進(jìn)行重疊度計(jì)算，并作為置信度的計(jì)算方法，通過6種情況下的IoU計(jì)算,找出一個通用的計(jì)算方法。然后采用非極大值抑制(non maximum suppression,NMS)對預(yù)測框進(jìn)行篩選，得到最終目標(biāo)框。

NMS篩選預(yù)測框的步驟如下：

1)首先根據(jù)IoU計(jì)算出的置信度,對所有的預(yù)測框由大到小進(jìn)行排序，保存每次排序置信度最大框；

2) 用第一個框與剩下所有的框進(jìn)行IoU計(jì)算，如果計(jì)算后的IoU的值小于某個閾值,則保留當(dāng)前框；

3)重復(fù)步驟(1)操作，直至沒有框可以比較，最終保留下來的框即為所有的目標(biāo)框。

1.2 圖像金字塔

圖像金字塔縮放過程如下：

1)通過多次試驗(yàn)確定一個較好的縮放比例；

2)每次通過縮放比例對原始圖片進(jìn)行縮放，將縮放后的圖片傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，得到特征圖；

3)直到縮放到圖片的長或?qū)挒樘崆霸O(shè)定的最小的尺寸，停止縮放。

1.3 SoftMax,Center Loss與Arc-SoftMax

1)SoftMax原理：在處理多分類問題時，通常會使用SoftMax激活函數(shù)作為網(wǎng)絡(luò)最后一層分類的激活函數(shù)。SoftMax的原理如式(1)所示

(1)

式中Si為激活后的值，ei為第i個值，j為所有向量的個數(shù)。

在眾多的分類問題中，常常會使用交叉熵作為損失函數(shù)(cross entropy loss),如式(2)所示

(2)

對SoftMax進(jìn)行改進(jìn)，計(jì)算過程

(3)

對SoftMax進(jìn)行求導(dǎo)，計(jì)算過程

(4)

2)歐氏距離與余弦相似度原理

歐氏距離

(5)

式中X和Y為一個向量，dis(X,Y)為X與Y之間的距離，i為點(diǎn)的個數(shù)。

余弦相似度如式(6)、式(7)所示

(6)

(7)

3)Arc-SoftMax原理

本文中以對SoftMax層改進(jìn)為核心思想進(jìn)行設(shè)計(jì)，如式(8)所示為SoftMax的公式，如式(9)所示為對SoftMax的改進(jìn)，n為個數(shù)，s為神經(jīng)元x和權(quán)重w的向量積，θyi為yi的角度，m為隔離帶大小

(8)

(9)

(10)

余距相似度和余弦距離有等價(jià)公式

(11)

最終可得

(12)

最終可以得出結(jié)論余弦相似度等價(jià)于在二范數(shù)歸一化后的歐氏距離。通過對原始的SoftMax改進(jìn)之后，通過加入了一個隔離帶，使得SoftMax的分類效果得到了更好地提升。

2 偵測算法改進(jìn)、人臉識別遷移學(xué)習(xí)

本文采用在原始偵測網(wǎng)絡(luò)上進(jìn)行改動,去除對于人臉關(guān)鍵點(diǎn)的回歸，并結(jié)合遷移學(xué)習(xí)對人臉進(jìn)行分類，提取人臉特征。

2.1 數(shù)據(jù)集處理

在偵測數(shù)據(jù)集中進(jìn)行使用平移中心點(diǎn)的方式進(jìn)行增樣處理，具體步驟如下：

1)處理掉異常的人臉框的數(shù)據(jù)，如人臉框?qū)捀咝∮?2 pix、寬高小于0和框坐標(biāo)小于0；

2)計(jì)算標(biāo)簽框的中心點(diǎn)坐標(biāo)，對中心點(diǎn)偏移0.074左右，得到偏移后的人臉框坐標(biāo)；

3)計(jì)算偏移后人臉框與標(biāo)簽框的IoU值，作為置信度，分別篩選出正樣本、負(fù)樣本和部分樣本；

4)對負(fù)樣本進(jìn)行增樣處理，在圖片中人臉框四周提取背景信息作為負(fù)樣本，擴(kuò)充5倍負(fù)樣本；

5)將制作好的標(biāo)簽框坐標(biāo)保存到.txt文本文件中，共9個.txt文本文件，分別代表3種尺寸，每個尺寸3種樣本標(biāo)簽。

2.2 偵測網(wǎng)絡(luò)改進(jìn)

改進(jìn)的OMTCCNN的網(wǎng)絡(luò)模型如圖1所示。

圖1 OMTCCNN網(wǎng)絡(luò)模型

該網(wǎng)絡(luò)中總共有3個網(wǎng)絡(luò)分別為Proposal Network(P Net)、Refine Network(R Net)和Output Network(O Net)。P Net主要用于對人臉框的初步篩選，篩選出所有框到人臉的框；R Net主要篩選P Net輸出的框，對P Net的框進(jìn)行篩選，得到更加精確人臉框；最后將R Network得到的框輸入到O Net中進(jìn)行最終精準(zhǔn)的人臉框的回歸，通過這種多任務(wù)級聯(lián)的方法，通過不斷篩選得到最終的結(jié)果，但這個方法下需要多次處理一個問題，因?yàn)檎麄€網(wǎng)絡(luò)的速度比較慢，可以進(jìn)行優(yōu)化。

本文改進(jìn)如下：

1)P Net、R Net和O Net去除5個特征點(diǎn)的回歸，加速網(wǎng)絡(luò)偵測速度；

2)P Net、R Net和O Net中將置信度的激活函數(shù)由SoftMax改為Sigmoid；

3)O Net中淺層加入BatchNormal，同時加入Dropout抑制部分神經(jīng)元，訓(xùn)練時減緩網(wǎng)絡(luò)收斂速度，偵測時增加網(wǎng)絡(luò)的推理速度。

3 實(shí)驗(yàn)結(jié)果分析

3.1 數(shù)據(jù)集屬性

本文的偵測數(shù)據(jù)集來源于香港中文大學(xué)多媒體實(shí)驗(yàn)室的CelebA數(shù)據(jù)集(1)數(shù)據(jù)集包含202 599張人臉圖片(2)數(shù)據(jù)集解壓后9.77 GB，壓縮文件大小為700 MB,進(jìn)行增樣后數(shù)據(jù)集中包含750萬張圖片。具體數(shù)據(jù)集屬性如表1。

表1 偵測數(shù)據(jù)集屬性

3.2 偵測效果

如圖1所示為在CelebA數(shù)據(jù)集下標(biāo)簽框與OMTCCNN網(wǎng)絡(luò)輸出框的對比，圖2(a)所示為CelebA標(biāo)簽框的效果，可以看到CelebA原始標(biāo)簽框并不準(zhǔn)確;圖2(b)所示為Fast MTCNN網(wǎng)絡(luò)輸出的人臉框，比原始標(biāo)簽框更加貼合人臉，所留的空白也相對減少，可以看出偵測Fast MTCNN基于CelebA數(shù)據(jù)集的效果已經(jīng)明顯高于原始標(biāo)簽效果。

圖2 CelebA數(shù)據(jù)集下標(biāo)簽框與網(wǎng)絡(luò)輸出框?qū)Ρ?/p>

從原始網(wǎng)絡(luò)模型OMTCCNN和改進(jìn)后的網(wǎng)絡(luò)模型OMTCCNN進(jìn)行分析，分別比較偵測網(wǎng)絡(luò)中P Net、R Net和O Net的精確率、召回率和網(wǎng)絡(luò)運(yùn)行時間，其結(jié)果分別如表2,表3所示。通過對MTCNN與E-MTCNN的精確率和召回率的比較，發(fā)現(xiàn)兩個模型的精確率和召回率相差不大，但在偵測時間上卻有區(qū)別，優(yōu)化后的OMTCCNN時間上有一定的提升。

表2 MTCNN下的精確率和召回率

表3 E-MTCNN下的精度和召回率

3.3 識別效果

如圖3和圖4所示分別為SoftMax和Arc-SoftMax下的分類效果。本文將多分類的特征變?yōu)槎S數(shù)據(jù)，并將每兩個特征值作為一個點(diǎn)(x,y)，顯示在二維直角坐標(biāo)系中。

圖3 SoftMax十分類效果

圖4 Arc-SoftMax十分類效果

圖3為SoftMax在20,40輪次的分類效果圖，很明顯，SoftMax還沒有把分類分開，是個類的特征還冗雜在一起，分類效果很差。圖4為對SoftMax加入隔離帶的改進(jìn)方法Arc-SoftMax的效果圖，可以看出：在10,40輪次已經(jīng)將十分類的特征大致分開，只有中心位置還沒有分離的很明顯；在訓(xùn)練到213輪次之后，可以看到十分類的中心位置的特征也比較好地分離開。當(dāng)235,256輪次時，整個特征已經(jīng)清晰可見。這只是在二維坐標(biāo)系中的分類效果，而人臉的特征向量有512維度，如果將這些特征放在更高維的坐標(biāo)系中，特征分離效果將會更好。

FAR表示在不同類之間的錯誤接受的比率，TAR表示在類之間正確接受的比率，F(xiàn)RR表示在類之間的錯誤接受的比率。不同閾值下的FAR與TAR值的對比結(jié)果如表4所示，從表中可以看出，隨著閾值的不斷變大，F(xiàn)AR的比率不斷下降，表明將兩個人判別為同一個人的幾率增大；TAR的比率也在不斷的減小，表明同一個人被判別為同一個人的比率也在下降；與TAR相對應(yīng)的FRR的拒識率就會有所升高。最終可以得出，在FAR為0.042 01時，TAR最高為0.986 3。

表4 相似度閾值下的評測指標(biāo)

綜上所述，OMTCCNN對多目標(biāo)偵測時，時間上有所提升，比原模型快了9 %；人臉識別通過對SoftMax的改進(jìn)Arc-SoftMax的使用，在小范圍人臉識別中可以達(dá)到TAR=0.986 3@FAR=0.042 01。

4 結(jié) 論

針對多目標(biāo)偵測識別，對MTCNN偵測網(wǎng)絡(luò)進(jìn)行優(yōu)化，一定程度上加速了網(wǎng)絡(luò)的偵測速度，對人臉識別進(jìn)行遷移學(xué)習(xí)，利用CASIA-FaceV5部分人臉數(shù)據(jù)進(jìn)行測試結(jié)果顯示，對于小范圍人臉有比較好的效果。