自糾正噪聲標(biāo)簽的人臉美麗預(yù)測(cè)

甘俊英，吳必誠(chéng)，翟懿奎，何國(guó)輝，麥超云，白振峰

五邑大學(xué)智能制造學(xué)部，江門 529020

0 引 言

噪聲標(biāo)簽是指標(biāo)注錯(cuò)誤的標(biāo)簽，通常會(huì)降低深度神經(jīng)網(wǎng)絡(luò)的泛化性(Zhang等，2017；Arpit等，2017)。為避免噪聲標(biāo)簽對(duì)深度神經(jīng)網(wǎng)絡(luò)的負(fù)面影響，針對(duì)噪聲標(biāo)簽數(shù)據(jù)庫的有監(jiān)督分類成為一個(gè)重要研究方向(Algan和Ulusoy，2021a)。Wang等人(2019)提出對(duì)稱交叉熵學(xué)習(xí)的方法，添加反向交叉熵作為損失函數(shù)，避免了僅使用交叉熵作為損失函數(shù)造成深度網(wǎng)絡(luò)過度擬合噪聲標(biāo)簽樣本影響泛化。Xu等人(2019)提出一種新型的信息理論損失函數(shù)，這是第一個(gè)證明對(duì)與實(shí)例無關(guān)的標(biāo)簽噪聲具有魯棒性的損失函數(shù)，無論噪聲模式如何，均可直接應(yīng)用于任何現(xiàn)有的分類神經(jīng)網(wǎng)絡(luò)，而無需輔助信息。Liu等人(2020)提出利用半監(jiān)督學(xué)習(xí)技術(shù)產(chǎn)生模型輸出的目標(biāo)概率，并設(shè)計(jì)一個(gè)正則化項(xiàng)防止深度網(wǎng)絡(luò)記憶噪聲標(biāo)簽。Algan和Ulusoy(2021b)提出在有噪聲標(biāo)簽的情況下利用元學(xué)習(xí)訓(xùn)練深度網(wǎng)絡(luò)。首先根據(jù)元目標(biāo)尋求最佳的標(biāo)簽分布，即最小化小元數(shù)據(jù)集的損失；然后利用元軟標(biāo)簽生成框架，生成預(yù)測(cè)的軟標(biāo)簽訓(xùn)練網(wǎng)絡(luò)；最后在訓(xùn)練過程中不斷重復(fù)上述兩個(gè)階段，從而避免噪聲標(biāo)簽的負(fù)面影響。Wang等人(2019)、Xu等人(2019)、Liu等人(2020)、Algan和Ulusoy(2021b)利用設(shè)計(jì)魯棒性損失函數(shù)、正則化器或者利用元學(xué)習(xí)的方法避免噪聲標(biāo)簽的負(fù)面影響，所提方法沒有通過建立噪聲模型估計(jì)噪聲結(jié)構(gòu)。

深度學(xué)習(xí)模型一開始會(huì)記憶簡(jiǎn)單樣本，隨著訓(xùn)練次數(shù)增加逐漸擬合到困難樣本(Arpit等，2017)。當(dāng)存在噪聲樣本時(shí)，深度學(xué)習(xí)網(wǎng)絡(luò)甚至?xí)洃涍@些錯(cuò)誤的標(biāo)簽從而影響泛化(Zhang等，2017)。Han 等人(2018)、Guo等人(2018)和Li等人(2020)從含有噪聲標(biāo)簽的數(shù)據(jù)庫中選擇出干凈樣本，并用其訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，從而隱性地建立噪聲模型避免噪聲標(biāo)簽的負(fù)面影響。Han等人(2018)提出一種互相教學(xué)的策略訓(xùn)練一個(gè)魯棒性的深度學(xué)習(xí)網(wǎng)絡(luò)。該策略同時(shí)訓(xùn)練兩個(gè)深度卷積網(wǎng)絡(luò)，訓(xùn)練前期一般擬合的是簡(jiǎn)單樣本，兩個(gè)網(wǎng)絡(luò)互相選擇損失值小的樣本給對(duì)方進(jìn)行訓(xùn)練，從而防止擬合到噪聲標(biāo)簽樣本。Guo等人(2018)提出在大規(guī)模弱監(jiān)督的網(wǎng)絡(luò)圖像上訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，利用課程學(xué)習(xí)，先使模型從簡(jiǎn)單樣本開始學(xué)習(xí)，逐漸進(jìn)階到復(fù)雜樣本和知識(shí)，從而提高模型的泛化能力并降低噪聲標(biāo)簽的負(fù)面影響。Li等人(2020)提出DivideMix框架，利用半監(jiān)督學(xué)習(xí)和干凈樣本選擇，避免噪聲標(biāo)簽負(fù)面影響。首先用混合模型對(duì)每個(gè)樣本損失分布進(jìn)行建模，然后將訓(xùn)練數(shù)據(jù)動(dòng)態(tài)地劃分為具有干凈樣本的標(biāo)簽集和具有噪聲樣本的無標(biāo)簽集，接著以半監(jiān)督的方式在有標(biāo)簽和無標(biāo)簽數(shù)據(jù)上訓(xùn)練模型。為了避免偏差，同時(shí)訓(xùn)練了兩個(gè)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)都使用另一個(gè)網(wǎng)絡(luò)的數(shù)據(jù)集劃分。最后在半監(jiān)督訓(xùn)練階段，通過不斷對(duì)有標(biāo)簽和無標(biāo)簽樣本分別進(jìn)行標(biāo)簽的互相精細(xì)和互相猜測(cè)來改進(jìn)動(dòng)態(tài)劃分策略。陳慶強(qiáng)等人(2019)提出一種基于數(shù)據(jù)分布的標(biāo)簽噪聲過濾方法。首先對(duì)于數(shù)據(jù)集中的每一個(gè)樣本，根據(jù)其近鄰內(nèi)樣本的分布，將其及鄰域樣本形成的區(qū)域劃分為高密度區(qū)域和低密度區(qū)域，然后針對(duì)不同的區(qū)域采用不同的噪聲過濾規(guī)則進(jìn)行過濾。張?jiān)鲚x等人(2021)提出一種基于標(biāo)簽置信度分布的局部概率抽樣方法進(jìn)行標(biāo)簽噪聲過濾。首先利用隨機(jī)森林分類器對(duì)樣本的標(biāo)簽進(jìn)行投票，從而獲取每個(gè)樣本的標(biāo)簽置信度；然后根據(jù)標(biāo)簽置信度的大小，將樣本劃分為易識(shí)別樣本和難識(shí)別樣本；最后分別采用不同的過濾策略對(duì)樣本進(jìn)行過濾。

若只選擇干凈樣本進(jìn)行學(xué)習(xí)，未能充分利用全部數(shù)據(jù)。Shu等人(2019)、Wang等人(2020)、唐軻和郎叢妍(2021)利用樣本重要性加權(quán)策略，即首先設(shè)計(jì)一個(gè)從訓(xùn)練損失到樣本權(quán)重的加權(quán)函數(shù)映射，然后利用該加權(quán)函數(shù)對(duì)不同樣本的重要性加權(quán)并影響分類器的輸出，從而避免深度網(wǎng)絡(luò)過度擬合噪聲標(biāo)簽樣本。Shu等人(2019)提出利用具有一個(gè)隱藏層的多層感知器作為加權(quán)函數(shù)，該加權(quán)函數(shù)能直接從數(shù)據(jù)中自適應(yīng)地學(xué)習(xí)樣本重要性權(quán)重。Wang等人(2020)提出了一種自校正網(wǎng)絡(luò)，通過排名正則化對(duì)每個(gè)訓(xùn)練樣本的重要性進(jìn)行加權(quán)，防止深度網(wǎng)絡(luò)過度擬合噪聲標(biāo)簽的人臉表情圖像，并重新標(biāo)注噪聲標(biāo)簽樣本，從而提高深度網(wǎng)絡(luò)泛化能力。為解決行人再識(shí)別的噪聲標(biāo)簽問題，唐軻和郎叢妍(2021)結(jié)合噪聲、非噪聲數(shù)據(jù)訓(xùn)練差異化特征，提出一種噪聲標(biāo)簽自適應(yīng)的行人再識(shí)別方法，不需要使用額外的驗(yàn)證集以及噪聲比例、類型等先驗(yàn)信息，完成對(duì)噪聲數(shù)據(jù)的篩選過濾。此外，該方法可以自適應(yīng)地學(xué)習(xí)噪聲樣本權(quán)重，進(jìn)一步降低噪聲影響。

無論是Han等人(2018)方法中的樣本選擇，還是Wang等人(2020)方法中的樣本重要性加權(quán)，其有效的共性在于，計(jì)算深度神經(jīng)網(wǎng)絡(luò)輸出損失值時(shí)，簡(jiǎn)單樣本對(duì)應(yīng)的損失值一般小于噪聲標(biāo)簽樣本對(duì)應(yīng)的損失值。該假定的不足在于，困難樣本對(duì)應(yīng)的損失值一般大于簡(jiǎn)單樣本對(duì)應(yīng)的損失值。因此，將深度神經(jīng)網(wǎng)絡(luò)輸出的損失值作為判斷噪聲標(biāo)簽樣本依據(jù)，不利于困難樣本的學(xué)習(xí)。判斷噪聲標(biāo)簽樣本能力更強(qiáng)的深度網(wǎng)絡(luò)可以幫助區(qū)分噪聲標(biāo)簽樣本(Jiang等，2020)，且自訓(xùn)練的方式有助于獲得噪聲標(biāo)簽樣本判斷能力更強(qiáng)的深度網(wǎng)絡(luò)(Xie等，2020)。為此，本文提出一種自糾正噪聲標(biāo)簽方法，能穩(wěn)定選擇干凈樣本學(xué)習(xí)，并重新標(biāo)注噪聲標(biāo)簽樣本，從而充分利用全部數(shù)據(jù)。

人臉美麗預(yù)測(cè)任務(wù)更易受到噪聲標(biāo)簽影響。首先，客觀評(píng)價(jià)標(biāo)準(zhǔn)不明確，在進(jìn)行人工標(biāo)簽標(biāo)注時(shí)容易受標(biāo)注人員的影響，從而產(chǎn)生標(biāo)注錯(cuò)誤，即容易產(chǎn)生更多噪聲標(biāo)簽。其次，受人力、物力等客觀因素影響，人臉美麗數(shù)據(jù)庫包含的標(biāo)簽數(shù)據(jù)樣本有限，從而使數(shù)據(jù)在表達(dá)差異性特征能力上存在不足，進(jìn)而更易受噪聲標(biāo)簽的干擾。最后，不同類別人臉美麗等級(jí)的人臉圖像之間特征相似、抽象且難以提取，故深度神經(jīng)網(wǎng)絡(luò)更難以區(qū)分噪聲標(biāo)簽和真實(shí)標(biāo)簽進(jìn)而降低泛化能力。因此，本文使用自糾正噪聲標(biāo)簽方法對(duì)人臉美麗進(jìn)行預(yù)測(cè)。

本文提出的自糾正噪聲標(biāo)簽方法包括自訓(xùn)練教師模型機(jī)制和重標(biāo)簽再訓(xùn)練機(jī)制。自訓(xùn)練教師模型機(jī)制首先利用Han等人(2018)方法中的樣本選擇方法，自訓(xùn)練出噪聲標(biāo)簽樣本判斷能力更強(qiáng)的模型，以此作為教師模型。然后，借助教師模型的噪聲標(biāo)簽樣本判斷能力幫助學(xué)生模型學(xué)習(xí)，直至訓(xùn)練出噪聲標(biāo)簽判斷能力更強(qiáng)的學(xué)生模型，并將其作為新的教師模型不斷重復(fù)該過程。最后，重標(biāo)簽再訓(xùn)練機(jī)制利用Wang等人(2020)方法中的重標(biāo)簽機(jī)制，重新標(biāo)注潛在的噪聲標(biāo)簽并引入自訓(xùn)練教師模型機(jī)制再訓(xùn)練。

本文主要貢獻(xiàn)如下：1)首次提出將人臉美麗預(yù)測(cè)問題理解成噪聲標(biāo)簽問題，并用實(shí)驗(yàn)表明了該假設(shè)成立。2)提出一種自糾正噪聲標(biāo)簽方法，能一定程度降低噪聲標(biāo)簽對(duì)人臉美麗深度卷積預(yù)測(cè)網(wǎng)絡(luò)的負(fù)面影響。3)在人工合成噪聲標(biāo)簽LSFBD(large scale facial beauty database)數(shù)據(jù)庫、原始LSFBD(甘俊英 等，2019)數(shù)據(jù)庫和人工合成噪聲標(biāo)簽SCUT-FBP5500數(shù)據(jù)庫、原始SCUT-FBP5500數(shù)據(jù)庫(Liang等，2018)上，驗(yàn)證了自糾正噪聲標(biāo)簽方法的有效性。對(duì)比實(shí)驗(yàn)表明，所提方法每個(gè)環(huán)節(jié)皆能降低噪聲標(biāo)簽對(duì)人臉美麗深度網(wǎng)絡(luò)的影響。

1 本文方法

為了降低噪聲標(biāo)簽對(duì)深度神經(jīng)網(wǎng)絡(luò)的負(fù)面影響，本文提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的自糾正噪聲標(biāo)簽方法，包括自訓(xùn)練教師模型機(jī)制和重標(biāo)簽再訓(xùn)練機(jī)制。圖1為自糾正噪聲標(biāo)簽方法框圖。首先，同時(shí)初始化兩個(gè)結(jié)構(gòu)相同的深度卷積神經(jīng)網(wǎng)絡(luò)，并將泛化能力較強(qiáng)的網(wǎng)絡(luò)作為教師模型，另一個(gè)網(wǎng)絡(luò)作為學(xué)生模型。初始化時(shí)可任意指定教師模型。其次，在輸入端同時(shí)輸入小批次訓(xùn)練數(shù)據(jù)給教師、學(xué)生模型。其中，教師模型自身不進(jìn)行反向傳播訓(xùn)練，僅用于選擇干凈標(biāo)簽樣本序號(hào)給學(xué)生模型；學(xué)生模型接收該樣本序號(hào)并找到對(duì)應(yīng)樣本和標(biāo)簽進(jìn)行反向傳播訓(xùn)練，直至學(xué)生模型泛化能力超過教師模型。此時(shí)，學(xué)生模型共享最優(yōu)參數(shù)給教師模型，即原學(xué)生模型成為新的教師模型，稱之為自訓(xùn)練教師模型機(jī)制。經(jīng)反復(fù)訓(xùn)練后，將小批次數(shù)據(jù)輸入教師模型中，計(jì)算其每類預(yù)測(cè)概率值；將其輸入到重標(biāo)簽?zāi)K中進(jìn)行標(biāo)簽糾正。最后，利用糾正后的數(shù)據(jù)再反復(fù)執(zhí)行自訓(xùn)練教師模型機(jī)制，并將教師模型作為最終模型輸出。

圖1 自糾正噪聲標(biāo)簽方法框圖Fig.1 Block diagram of self-correcting noise labels method

1.1 自訓(xùn)練教師模型機(jī)制

在有噪聲標(biāo)簽的數(shù)據(jù)中進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，一個(gè)很重要的思路就是進(jìn)行干凈樣本選擇。Han等人(2018)在每批次數(shù)據(jù)完成訓(xùn)練后，直接利用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行干凈樣本判斷與選擇。本文將自訓(xùn)練出泛化能力相對(duì)好的深度神經(jīng)網(wǎng)絡(luò)作為教師模型，并僅利用教師模型進(jìn)行樣本選擇，從而避免了每次訓(xùn)練完成后深度神經(jīng)網(wǎng)絡(luò)泛化性能波動(dòng)造成的誤判。設(shè)N幅小批次輸入人臉圖像及其對(duì)應(yīng)的人臉美麗等級(jí)標(biāo)簽表示為(x,y)={(xi,yi),…,(xN,yN)}，其中，x∈RN×3×τ×υ表示共N幅人臉圖像，3層顏色通道，每幅人臉圖像的分辨率為τ×υ，y∈RN為其對(duì)應(yīng)的標(biāo)簽，xi為第i幅人臉圖像，yi∈{0,…,c-1}為第i幅人臉圖像的人臉美麗等級(jí)標(biāo)簽，c為人臉美麗等級(jí)標(biāo)簽總等級(jí)數(shù)；α∈[0,1]為噪聲控制率，即超參數(shù)。

圖2 自訓(xùn)練教師模型機(jī)制示意圖Fig.2 Schematic diagram of the mechanism of self-training teacher model

1.2 重標(biāo)簽再訓(xùn)練機(jī)制

在自訓(xùn)練教師模型機(jī)制中，通過限制噪聲標(biāo)簽樣本的學(xué)習(xí)可減少噪聲標(biāo)簽的影響。由于人臉美麗數(shù)據(jù)庫仍存在標(biāo)簽數(shù)據(jù)樣本不足的問題，為充分利用所有可用數(shù)據(jù)，本文融合Wang等人(2020)方法中的噪聲標(biāo)簽糾正方法糾正噪聲標(biāo)簽。

如果每幅人臉圖像經(jīng)教師模型預(yù)測(cè)的最大輸出概率高于標(biāo)簽對(duì)應(yīng)輸出概率一定閾值，則認(rèn)為該樣本標(biāo)簽應(yīng)該糾正，即

(1)

1.3 算法流程

本文提出的自糾正噪聲標(biāo)簽算法的具體步驟如下：

1)設(shè)學(xué)生和教師模型參數(shù)分別為ωs和ωt，學(xué)習(xí)率為γ，訓(xùn)練次數(shù)為T，糾正前訓(xùn)練總次數(shù)為Tn，最大訓(xùn)練總次數(shù)為Tm，小批次次數(shù)為km，小批次樣本數(shù)為N，學(xué)生和教師模型驗(yàn)證準(zhǔn)確率分別為As和At，測(cè)試準(zhǔn)確率為A，學(xué)生模型為φ，教師模型為ψ，訓(xùn)練集為D。

2)forT=1, 2,…,Tn-1 執(zhí)行：

打亂訓(xùn)練集D中樣本順序；

fork=1,…,km執(zhí)行：

end for。

在驗(yàn)證集上驗(yàn)證學(xué)生模型預(yù)測(cè)準(zhǔn)確率，記為As；

如果As>At執(zhí)行:

ωt=ωs,At=As且保存ωt,At；

3)end for。

4)如果T=Tn執(zhí)行：

讀取ωt作為教師模型；

fork=1,…,km執(zhí)行：

利用式(1)糾正噪聲標(biāo)簽，更新訓(xùn)練集為D′；

end for。

5)forT=Tn+1,Tn+2,…,Tm執(zhí)行：

打亂訓(xùn)練集D′中樣本順序；

重復(fù)步驟2)中第3行及以下過程直至步驟3)；

6)end for。

7)在測(cè)試集測(cè)試教師模型預(yù)測(cè)準(zhǔn)確率，記為A。

8)輸出ωt,A。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)在GeForce RTX2080tiGPU,Intel i7-9800X CPU和62.5 GB內(nèi)存的計(jì)算機(jī)上進(jìn)行，使用PyTorch框架；采用Albumentations工具進(jìn)行一系列數(shù)據(jù)處理和增強(qiáng)操作。首先，將數(shù)據(jù)按照6 ∶2 ∶2的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，同時(shí)對(duì)訓(xùn)練集圖像進(jìn)行隨機(jī)亮度、對(duì)比度、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)和隨機(jī)仿射變換(移動(dòng)、縮放)。然后，將在ImageNet數(shù)據(jù)庫上預(yù)訓(xùn)練過的ResNet-18(He等，2016)作為骨干深度神經(jīng)網(wǎng)絡(luò)，使用交叉熵作為損失函數(shù)，并以此作為基準(zhǔn)方法。最后，使用動(dòng)量為9×10-1的隨機(jī)梯度下降優(yōu)化器，配置權(quán)重衰減系數(shù)為1×10-2。使用余弦學(xué)習(xí)率(He等，2019)，并初始化學(xué)習(xí)率為1×10-2，批次大小設(shè)置為40。

2.1.1 LSFBD數(shù)據(jù)庫

LSFBD(甘俊英 等，2019)數(shù)據(jù)庫由五邑大學(xué)項(xiàng)目組建立，共20 000幅帶標(biāo)簽的人臉圖像(男女各10 000幅)和80 000幅無標(biāo)簽人臉圖像，分辨率為144×144像素，分為0、1、2、3、4共5個(gè)類別，分別對(duì)應(yīng)極不吸引人、不吸引人、平均、吸引人和最吸引人。本文著重于女性吸引力預(yù)測(cè)，僅使用10 000幅女性人臉圖像驗(yàn)證方法的有效性。其中，類別0有948幅、類別1有1 148幅、類別2有3 846幅、類別3有2 718幅、類別4有1 340幅，如圖3所示。

圖3 LSFBD數(shù)據(jù)庫中人臉圖像Fig.3 Face images in LSFBD database((a)type 0;(b)type 1;(c)type 2;(d)type 3;(e)type 4)

2.1.2 SCUT-FBP5500數(shù)據(jù)庫

2.2 基于人工合成噪聲標(biāo)簽數(shù)據(jù)庫實(shí)驗(yàn)

本文分別使用LSFBD和SCUT-FBP5500數(shù)據(jù)庫10%、20%、30%訓(xùn)練集噪聲標(biāo)簽比率，探索自糾正噪聲標(biāo)簽方法的有效性。從每一類人臉美麗等級(jí)中選擇10%、20%、30%的訓(xùn)練數(shù)據(jù)，并隨機(jī)改變它們的標(biāo)簽。表1為自糾正噪聲標(biāo)簽方法與基準(zhǔn)方法(沒有考慮噪聲標(biāo)簽的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練)和其他方法的比較結(jié)果。本文執(zhí)行人臉美麗預(yù)測(cè)五分類任務(wù)，以分類準(zhǔn)確率(classification accuracy，CA)作為評(píng)價(jià)指標(biāo)，表1中結(jié)果皆為5次實(shí)驗(yàn)結(jié)果的平均值?？梢钥闯?，在噪聲率為30%、20%、10%時(shí)，本文方法在LSFBD數(shù)據(jù)庫上分別超出基準(zhǔn)方法5.8%、4.1%、3.7%；在SCUT-FBP5500數(shù)據(jù)庫上分別超出基準(zhǔn)方法3.1%、2.8%、2.5%。顯然，隨著噪聲率增加，本文方法的效果更加明顯。Han等人(2018)和Wang等人(2020)的方法皆能超過基準(zhǔn)方法，但仍遜色于本文方法。

表1 不同方法在人工合成噪聲標(biāo)簽數(shù)據(jù)庫不同噪聲率的分類準(zhǔn)確率對(duì)比Table 1 Comparison of classification accuracy with various noise rates among different methods on synthetic noise label databases /%

2.3 基于原始數(shù)據(jù)庫實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證自糾正噪聲標(biāo)簽方法的有效性，在原始LSFBD數(shù)據(jù)庫和原始SCUT-FBP5500數(shù)據(jù)庫(不進(jìn)行人工合成噪聲標(biāo)簽)上進(jìn)行實(shí)驗(yàn)。假定在構(gòu)建LSFBD數(shù)據(jù)庫和SCUT-FBP5500數(shù)據(jù)庫時(shí)，會(huì)不可避免地產(chǎn)生人為因素造成的噪聲標(biāo)簽。雖然在驗(yàn)證集和測(cè)試集中仍可能存在少量噪聲標(biāo)簽，但由于訓(xùn)練集數(shù)據(jù)樣本數(shù)量大于驗(yàn)證集、測(cè)試集數(shù)量，即訓(xùn)練數(shù)據(jù)樣本中存在的噪聲標(biāo)簽數(shù)量大于驗(yàn)證集、測(cè)試集中噪聲標(biāo)簽數(shù)量，故在原始LSFBD數(shù)據(jù)庫和原始SCUT-FBP5500數(shù)據(jù)庫實(shí)驗(yàn)中，本文方法仍然取得了最好的實(shí)驗(yàn)效果。如表2所示，本文方法在原始LSFBD數(shù)據(jù)庫和原始SCUT-FBP5500數(shù)據(jù)庫上預(yù)測(cè)準(zhǔn)確率分別超出基準(zhǔn)方法2.7%和1.2%。Han等人(2018)和Wang等人(2020)的方法皆能略高于基線方法，但都遜色于本文方法。

表2 不同方法在原始數(shù)據(jù)庫的分類準(zhǔn)確率對(duì)比Table 2 Comparison of classification accuracy among different mothods on the original databases /%

2.4 兩種機(jī)制對(duì)比實(shí)驗(yàn)

為驗(yàn)證比較自訓(xùn)練教師模型機(jī)制和重標(biāo)簽再訓(xùn)練機(jī)制的有效性，在原始LSFBD數(shù)據(jù)庫和具有人工合成30%訓(xùn)練集噪聲標(biāo)簽的LSFBD數(shù)據(jù)庫中分別進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表3所示。在原始LSFBD數(shù)據(jù)庫上，將表3第1行與第3行比較、第2行與第4行比較，可知使用自訓(xùn)練教師模型機(jī)制使分類準(zhǔn)確率提升了0.5%和0.8%，平均提升0.7%。同理，在人工合成30%訓(xùn)練集噪聲標(biāo)簽LSFBD數(shù)據(jù)庫上，使用自訓(xùn)練教師模型機(jī)制使分類準(zhǔn)確率平均提升了3.6%。即噪聲水平越高，自訓(xùn)練教師模型機(jī)制的提升效果越好。因?yàn)樽杂?xùn)練教師模型機(jī)制通過樣本選擇進(jìn)行噪聲標(biāo)簽限制，達(dá)到理想效果時(shí)學(xué)習(xí)的樣本皆為干凈標(biāo)簽樣本。但噪聲水平低時(shí)噪聲標(biāo)簽樣本少，受噪聲標(biāo)簽負(fù)面影響少，故效果提升不明顯。在原始LSFBD數(shù)據(jù)庫上，將表3第1行與第2行、第3行與第4行比較，可知使用重標(biāo)簽再訓(xùn)練機(jī)制使分類準(zhǔn)確率提升了1.9%和2.2%，平均提升2.1%。同理，在人工合成30%訓(xùn)練集噪聲標(biāo)簽LSFBD數(shù)據(jù)庫上，使用重標(biāo)簽再訓(xùn)練機(jī)制使分類準(zhǔn)確率平均提升了1.9%。兩種機(jī)制對(duì)比實(shí)驗(yàn)表明，本文方法在每一個(gè)環(huán)節(jié)都具有充分的有效性。

表3 在原始LSFBD數(shù)據(jù)庫和人工合成30%訓(xùn)練集噪聲標(biāo)簽的LSFBD數(shù)據(jù)庫上的比較Table 3 Comparison on the original LSFBD database and the LSFBD database with artificially synthesized 30% training set noise labels /%

2.5 不同閾值間隔的對(duì)比實(shí)驗(yàn)

重標(biāo)簽機(jī)制中，δ是預(yù)測(cè)輸出的最大概率Pm與標(biāo)簽對(duì)應(yīng)的預(yù)測(cè)輸出概率Pt的閾值間隔。固定其他設(shè)置，在原始LSFBD數(shù)據(jù)庫中δ取不同值時(shí)，實(shí)驗(yàn)結(jié)果如表4所示。從表4可知，當(dāng)δ取值越遠(yuǎn)離0.5時(shí)，分類準(zhǔn)確率越低。這是因?yàn)棣?0.5時(shí)，會(huì)導(dǎo)致更多錯(cuò)誤的重標(biāo)簽操作，從而影響分類準(zhǔn)確率。然而δ>0.5時(shí)，沒有完全糾正所有噪聲標(biāo)簽，從而影響分類準(zhǔn)確率。

表4 不同閾值間隔的分類準(zhǔn)確率對(duì)比Table 4 Comparison of classification accuracy with different threshold intervals

3 結(jié) 論

為了減少人臉美麗預(yù)測(cè)中噪聲標(biāo)簽的負(fù)面影響，本文提出一種自糾正噪聲標(biāo)簽方法，在樣本選擇方法的基礎(chǔ)上，自訓(xùn)練出噪聲標(biāo)簽樣本判斷能力更強(qiáng)的深度網(wǎng)絡(luò)，從而幫助區(qū)分噪聲標(biāo)簽樣本。本文方法包括自訓(xùn)練教師模型機(jī)制和重標(biāo)簽再訓(xùn)練機(jī)制。自訓(xùn)練教師模型機(jī)制以自訓(xùn)練的方式得到教師模型，幫助學(xué)生模型進(jìn)行干凈樣本選擇和訓(xùn)練，直至學(xué)生模型泛化能力超過教師模型并成為新的教師模型，并不斷重復(fù)該過程。重標(biāo)簽再訓(xùn)練機(jī)制通過比較最大預(yù)測(cè)概率和標(biāo)簽對(duì)應(yīng)預(yù)測(cè)概率，從而糾正噪聲標(biāo)簽。最后，利用糾正后的數(shù)據(jù)反復(fù)執(zhí)行自訓(xùn)練教師模型機(jī)制訓(xùn)練。在人工合成噪聲標(biāo)簽LSFBD數(shù)據(jù)庫、人工合成噪聲標(biāo)簽SCUT-FBP5500數(shù)據(jù)庫和原始LSFBD數(shù)據(jù)庫、原始SCUT-FBP5500數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，皆證明本文方法能降低噪聲標(biāo)簽的負(fù)面影響且效果優(yōu)于基準(zhǔn)方法。

由于數(shù)據(jù)庫中存在類間數(shù)據(jù)樣本數(shù)量不平衡的問題，利用自糾正噪聲標(biāo)簽方法判斷數(shù)據(jù)樣本數(shù)量少的類別中存在的噪聲標(biāo)簽比較困難，這是由于數(shù)據(jù)樣本數(shù)量少的類別表達(dá)的差異性特征不夠強(qiáng)，因此更難以建立噪聲標(biāo)簽樣本判斷的決策邊界，后續(xù)將融合代價(jià)敏感方法，降低類間不平衡帶來的影響，不斷優(yōu)化該方法。