基于多粒度標(biāo)簽擾動(dòng)的文本分類(lèi)研究

姚汝婧　王芳

關(guān)鍵詞： 文本分類(lèi)； 深度學(xué)習(xí)； 標(biāo)簽擾動(dòng)； 元學(xué)習(xí)； 多粒度

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０１．００３

〔中圖分類(lèi)號(hào)〕ＴＰ３９１ 〔文獻(xiàn)標(biāo)識(shí)碼〕Ａ 〔文章編號(hào)〕１００８－０８２１ （２０２４） ０１－００２５－１２

文本分類(lèi)是信息組織和信息分析中的重要內(nèi)容，其涉及的范圍十分廣泛， 不僅包括學(xué)術(shù)文獻(xiàn)的分類(lèi)任務(wù)， 如文獻(xiàn)結(jié)構(gòu)分類(lèi)、引文情感分類(lèi)、引文意圖分類(lèi)等， 也包含社交媒體信息分類(lèi)、突發(fā)事件的識(shí)別與分類(lèi)、政策文本分類(lèi)等。隨著文獻(xiàn)數(shù)量的飛速增長(zhǎng)， 對(duì)于學(xué)術(shù)文獻(xiàn)相關(guān)內(nèi)容的分類(lèi)能夠幫助學(xué)者在面對(duì)浩如煙海的文獻(xiàn)資料時(shí)， 快速地識(shí)別出所需信息， 了解目標(biāo)文獻(xiàn)的研究?jī)?nèi)容與研究?jī)r(jià)值［１－２］ 。政策文本分類(lèi)能夠幫助政府、高校、企業(yè)等高效地獲取自身所需的科技政策［３］ 。社交媒體信息分類(lèi)能夠幫助決策者快速了解公眾的情感和觀點(diǎn)， 并利用這些有價(jià)值的分類(lèi)信息優(yōu)化和改進(jìn)現(xiàn)有的解決方案［４］ 。突發(fā)事件的自動(dòng)識(shí)別與分類(lèi)能夠從海量信息中快速獲取有效信息， 并為應(yīng)急管理機(jī)構(gòu)提供幫助［５］ 。

深度學(xué)習(xí)算法因其良好的特征表示能力， 逐漸成為了解決上述問(wèn)題的首選方案。然而， 有監(jiān)督的深度學(xué)習(xí)算法的訓(xùn)練依賴(lài)于訓(xùn)練數(shù)據(jù)， 一個(gè)大型高質(zhì)量的訓(xùn)練樣本集對(duì)能否有效訓(xùn)練深度學(xué)習(xí)算法幾乎起著決定性作用。但是， 由于標(biāo)注經(jīng)驗(yàn)、主觀性以及責(zé)任心等因素的影響， 人工標(biāo)注的數(shù)據(jù)集不可避免地存在著噪聲。如有研究表明圖像分類(lèi)中最為知名的大型數(shù)據(jù)集ＩｍａｇｅＮｅｔ 約包含了６％的噪聲標(biāo)簽［６］ ， 而ＮＥＲ 領(lǐng)域應(yīng)用最為廣泛的數(shù)據(jù)集ＣｏＮＬＬ－２００３ 也被發(fā)現(xiàn)約５％的標(biāo)簽錯(cuò)誤存在于測(cè)試句中［７］ 。可想而知， 對(duì)于深度學(xué)習(xí)任務(wù)所采用的非基準(zhǔn)數(shù)據(jù)集， 其噪聲標(biāo)簽比例極可能更高， 而這些噪聲標(biāo)簽會(huì)對(duì)深度學(xué)習(xí)的模型訓(xùn)練造成負(fù)面影響。因此， 在文本分類(lèi)研究中， 尋求有效的噪聲標(biāo)簽學(xué)習(xí)方法也已經(jīng)成為一個(gè)熱點(diǎn)問(wèn)題。

迄今為止， 研究者們已經(jīng)提出了各種各樣的噪聲標(biāo)簽學(xué)習(xí)算法［８］ ， 通過(guò)降低噪聲標(biāo)簽對(duì)模型訓(xùn)練的負(fù)面影響進(jìn)而提升模型的性能， 基于標(biāo)簽擾動(dòng)的算法就是其中一類(lèi)典型的學(xué)習(xí)策略。顧名思義，標(biāo)簽擾動(dòng)的目標(biāo)是訓(xùn)練樣本的標(biāo)簽， 即通過(guò)對(duì)一部分訓(xùn)練樣本的標(biāo)簽添加擾動(dòng)來(lái)減少噪聲標(biāo)簽對(duì)模型造成的負(fù)面影響， 增強(qiáng)模型的魯棒性。按照擾動(dòng)粒度的不同， 標(biāo)簽擾動(dòng)算法可以分為樣本級(jí)粒度的擾動(dòng)、類(lèi)別級(jí)粒度的擾動(dòng)、數(shù)據(jù)集級(jí)粒度的擾動(dòng)。目前， 有３ 種具有代表性的單一粒度的標(biāo)簽擾動(dòng)算法：Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（標(biāo)簽平滑）算法［９］ 、Ｂｏｏｔｓｔｒａｐｐｉｎｇ 算法［１０］ 、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（在線標(biāo)簽平滑） 算法［１１］ 。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 為類(lèi)別級(jí)粒度的標(biāo)簽擾動(dòng)算法， Ｂｏｏｔｓｔｒａｐｐｉｎｇ 為樣本級(jí)粒度的標(biāo)簽擾動(dòng)算法。

多項(xiàng)研究表明， 不同粒度的標(biāo)簽擾動(dòng)算法都能有效地提升模型性能， 然而， 現(xiàn)有的算法大多是從同一粒度下的深入探索， 缺乏對(duì)不同粒度信息的有效利用， 而不同級(jí)別的粒度信息能夠進(jìn)行互補(bǔ)從而提高模型的性能。基于此， 本文首先分析了ＬａｂｅｌＳｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ ３種單粒度的標(biāo)簽擾動(dòng)算法如何具體地對(duì)學(xué)習(xí)過(guò)程起著調(diào)節(jié)作用。然后， 提出了一種多粒度的標(biāo)簽擾動(dòng)算法（Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ Ｌａｂｅｌ Ｐｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ），該算法通過(guò)加權(quán)的方式將前述的３ 種單粒度的標(biāo)簽擾動(dòng)算法融合在一起。隨著融合權(quán)重取值的不同，本文提出的ＭＧＬＰ 算法可以簡(jiǎn)化為３ 種擾動(dòng)方式中的任意一種或者兩種的組合。對(duì)于融合權(quán)重， 本文采用元學(xué)習(xí)的思想對(duì)其進(jìn)行學(xué)習(xí)， 使之能夠根據(jù)不同的數(shù)據(jù)特點(diǎn)自適應(yīng)地進(jìn)行調(diào)整， 減輕了人工調(diào)參的負(fù)擔(dān)， 并減少了主觀性偏差對(duì)結(jié)果造成的負(fù)面影響。最后， 本文將提出的ＭＧＬＰ 算法應(yīng)用在推文情感分類(lèi)、電影評(píng)論情感分類(lèi)、引文意圖分類(lèi)３ 個(gè)文本分類(lèi)數(shù)據(jù)集上， 通過(guò)施加不同類(lèi)型噪聲的方式驗(yàn)證算法的性能， 實(shí)驗(yàn)結(jié)果表明本文提出的ＭＧＬＰ算法有效地提升了深度學(xué)習(xí)算法在文本分類(lèi)任務(wù)上的準(zhǔn)確性， 對(duì)于深度學(xué)習(xí)算法更準(zhǔn)確地在信息組織和信息分析領(lǐng)域的應(yīng)用具有十分重要的價(jià)值和意義。

１ 相關(guān)研究

１.１ 文本分類(lèi)

文本分類(lèi)在信息組織和信息分析中發(fā)揮著日益重要的作用。早期的文本分類(lèi)利用信息增益［１２］ 、互信息［１３］ 或者主題模型［１４］ 等提取特征， 然后利用淺層分類(lèi)器進(jìn)行分類(lèi)。近年來(lái)， 以詞向量為基礎(chǔ)的分布表示和以ＬＳＴＭ［１５］ 、Ｔｒａｎｓｆｏｒｍｅｒ［１６］ 等為代表的深度學(xué)習(xí)算法逐步取代了早期文本分類(lèi)的方法。如ＢＥＲＴ、ＥＲＮＩＥ 等模型被用來(lái)對(duì)文獻(xiàn)的學(xué)科進(jìn)行分類(lèi)［１７］ 。基于ＳｃｉＢｅｒｔ 的模型被用于學(xué)術(shù)文獻(xiàn)致謝的識(shí)別［１８］ 。融合多種特征的深度學(xué)習(xí)模型可以較好地實(shí)現(xiàn)對(duì)評(píng)論中的用戶(hù)意見(jiàn)的分類(lèi)［１９］ 。除了在上述文本分類(lèi)任務(wù)上以外， 深度學(xué)習(xí)算法也廣泛地應(yīng)用在突發(fā)事件的識(shí)別與分類(lèi)任務(wù)以及政策文本分類(lèi)方面。吳雪華等［５］ 提出了一個(gè)兩階段的突發(fā)事件應(yīng)急行動(dòng)支撐信息的識(shí)別與分類(lèi)框架， 且利用ＳＶＭ、ＬＲ、ＴｅｘｔＣＮＮ 以及ＢＥＲＴ 等算法進(jìn)行實(shí)驗(yàn)來(lái)驗(yàn)證其性能。一種ＢＥＲＴ 與多尺度ＣＮＮ 融合的算法被提出且用來(lái)捕獲科技政策文本的特征信息， 對(duì)政策文本的主題進(jìn)行分類(lèi)［２０］ 。深度學(xué)習(xí)算法具有較強(qiáng)的特征表示能力， 被廣泛應(yīng)用于各種文本分類(lèi)任務(wù)，且使得文本分類(lèi)任務(wù)的準(zhǔn)確性有了進(jìn)一步的提高。

除了詞匯的分布表示、更為有效的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)等研究之外， 針對(duì)訓(xùn)練數(shù)據(jù)的不完美特點(diǎn)設(shè)計(jì)有效的學(xué)習(xí)策略， 如噪聲標(biāo)簽、類(lèi)別不平衡等問(wèn)題， 也是文本分類(lèi)領(lǐng)域的研究重點(diǎn)。針對(duì)類(lèi)別不平衡問(wèn)題， 研究者們提出了多種解決方案。Ｚｏｎｇ Ｄ等［２１］ 設(shè)計(jì)了一個(gè)雙通道的學(xué)習(xí)策略來(lái)解決文本分類(lèi)中的長(zhǎng)尾分布問(wèn)題。盧小賓等［２２］ 提出了綜合數(shù)據(jù)、算法、評(píng)估３ 個(gè)層面的優(yōu)化框架以解決新興技術(shù)識(shí)別中的數(shù)據(jù)類(lèi)別不平衡問(wèn)題。為了更好地處理虛假評(píng)論識(shí)別任務(wù)， 一種基于類(lèi)別可分性計(jì)算的代價(jià)敏感學(xué)習(xí)方法被提出［２３］ ?；陬?lèi)別先驗(yàn)Ｍｉｘｕｐ數(shù)據(jù)增強(qiáng)策略被用來(lái)解決罪名分類(lèi)任務(wù)中的不平衡問(wèn)題［２４］ 。此外， 元學(xué)習(xí)和小樣本學(xué)習(xí)等方法也被引入來(lái)處理數(shù)據(jù)中存在問(wèn)題。一種在不平衡少樣本情況下基于元學(xué)習(xí)的文本分類(lèi)模型被提出［２５］ 。小樣本數(shù)據(jù)增強(qiáng)技術(shù)被用于對(duì)科技文檔的不平衡分類(lèi)問(wèn)題進(jìn)行解決［２６］ 。通過(guò)對(duì)上述研究的總結(jié)和分析發(fā)現(xiàn)， 文本分類(lèi)在信息組織和信息分析中發(fā)揮著越來(lái)越重要的作用。此外， 針對(duì)數(shù)據(jù)的不完美特點(diǎn)探討有效的學(xué)習(xí)策略逐步成為研究的熱點(diǎn)。

１.２ 噪聲標(biāo)簽學(xué)習(xí)

在文本分類(lèi)任務(wù)中， 基于淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的算法逐漸成為主要方法， 而在算法的訓(xùn)練過(guò)程中， 訓(xùn)練數(shù)據(jù)中存在的噪聲標(biāo)簽會(huì)對(duì)算法的訓(xùn)練造成負(fù)面影響， 比如容易導(dǎo)致所學(xué)習(xí)到的模型產(chǎn)生過(guò)擬合等問(wèn)題， 因此， 噪聲標(biāo)簽學(xué)習(xí)逐漸成為一個(gè)重點(diǎn)的研究方向。在淺層機(jī)器學(xué)習(xí)時(shí)代， 噪聲標(biāo)簽學(xué)習(xí)就是一個(gè)極受關(guān)注的研究問(wèn)題。如經(jīng)典的支持向量機(jī)算法［２７］ ， 所引入的松弛變量的一大動(dòng)機(jī)就是抑制噪聲標(biāo)簽的不利影響。相對(duì)于淺層學(xué)習(xí)時(shí)代相對(duì)規(guī)模較小的訓(xùn)練數(shù)據(jù)， 深度學(xué)習(xí)的訓(xùn)練對(duì)人工標(biāo)注的數(shù)據(jù)集規(guī)模有著更高的要求， 不可避免地會(huì)進(jìn)一步帶來(lái)噪聲標(biāo)簽問(wèn)題。

目前解決噪聲標(biāo)簽問(wèn)題的途徑主要有兩種， 一種是對(duì)噪聲標(biāo)簽樣本進(jìn)行離線檢測(cè)， 另一種是基于噪聲標(biāo)簽樣本進(jìn)行在線檢測(cè)。離線檢測(cè)的方法主要利用損失［２８］ 、交叉驗(yàn)證錯(cuò)誤率［７］ 、幾何邊界距離［２９］等量化指標(biāo)來(lái)區(qū)分正常標(biāo)簽樣本與噪聲標(biāo)簽樣本。如置信學(xué)習(xí)被用來(lái)對(duì)樣本集進(jìn)行清洗， 降低噪聲數(shù)據(jù)對(duì)模型的負(fù)面影響， 進(jìn)而有效地提升了模型的性能［３０］ 。為了檢測(cè)命名實(shí)體識(shí)別任務(wù)中的噪聲樣本，一種基于交叉驗(yàn)證的方式被提出來(lái)計(jì)算每個(gè)樣本的預(yù)測(cè)正確率［７］ 。該正確率越小那么該樣本更可能是噪聲樣本， 然后將正確率作為樣本權(quán)重重新進(jìn)行訓(xùn)練。此外， 汪敏等［３１］ 提出了一種噪聲識(shí)別與糾正算法， 通過(guò)篩選可信樣本對(duì)樣本標(biāo)簽的置信度進(jìn)行預(yù)測(cè)， 然后識(shí)別噪聲標(biāo)簽， 對(duì)噪聲標(biāo)簽進(jìn)行糾正。Ｈｕａｎｇ Ｊ 等［３２］ 提出了一個(gè)基于過(guò)擬合—欠擬合過(guò)程的策略來(lái)識(shí)別噪聲樣本。對(duì)噪聲標(biāo)簽樣本的離線檢測(cè)方法的主要缺陷在于通常需要增加大量的訓(xùn)練時(shí)間， 為此， 研究者們開(kāi)發(fā)出了基于噪聲標(biāo)簽樣本的在線檢測(cè)途徑。

基于噪聲標(biāo)簽樣本的在線檢測(cè)方法隱式地降低噪聲標(biāo)簽的不利影響， 基于標(biāo)簽擾動(dòng)的方法就是其中一類(lèi)典型的學(xué)習(xí)策略。許多基于噪聲標(biāo)簽學(xué)習(xí)的深度學(xué)習(xí)算法， 甚至其一些研究分支， 本質(zhì)上都可以歸結(jié)為對(duì)訓(xùn)練數(shù)據(jù)的擾動(dòng)。如當(dāng)前深度學(xué)習(xí)中的熱點(diǎn)研究方向： 對(duì)抗攻擊［３３］ 以及基于對(duì)抗攻擊的對(duì)抗訓(xùn)練［３４］ 。對(duì)抗攻擊的根本性問(wèn)題就是尋求一個(gè)滿(mǎn)足特定目標(biāo)的樣本擾動(dòng)并疊加到輸入樣本上。從數(shù)據(jù)對(duì)象上看， 現(xiàn)有的方法可以分為特征擾動(dòng)、邏輯向量擾動(dòng)以及標(biāo)簽擾動(dòng)等幾大類(lèi)別。對(duì)抗攻擊可以看作是特征擾動(dòng)。此外， 近期一些代表性的研究從不同角度來(lái)提升算法的泛化性能， 如ＩＳ?ＤＡ［３５］ 、Ｌｏｇｉｔ Ａｄｊｕｓｔｍｅｎｔ［３６］ 等在數(shù)學(xué)上都可以歸結(jié)為邏輯向量擾動(dòng)。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 可以歸結(jié)為標(biāo)簽擾動(dòng)。從擾動(dòng)粒度上， 現(xiàn)有的方法可以分為訓(xùn)練集級(jí)別、類(lèi)別級(jí)別以及樣本級(jí)別。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ 是類(lèi)別級(jí)粒度的擾動(dòng)， Ｂｏｏｔｓｔｒａｐｐｉｎｇ 是樣本級(jí)粒度的擾動(dòng)。然而， 目前大多數(shù)研究通常在同一粒度下進(jìn)行探索和創(chuàng)新， 極少有研究綜合考慮利用不同粒度的有效信息， 而多種粒度信息的有效利用能夠幫助模型更好地學(xué)習(xí)特征表示， 有利于提升模型的性能?；诖?， 本文針對(duì)單一粒度的不足，探討多種粒度級(jí)別下的標(biāo)簽擾動(dòng)， 以期通過(guò)多粒度信息的有效利用提升模型的性能。

２ 研究方法

本節(jié)首先對(duì)３ 種單粒度的經(jīng)典標(biāo)簽擾動(dòng)算法進(jìn)行了分析， 然后針對(duì)單粒度算法沒(méi)有有效地利用不同粒度級(jí)別信息的缺陷， 提出了一種多粒度標(biāo)簽擾動(dòng)算法。該算法綜合考慮了樣本級(jí)粒度和類(lèi)別級(jí)粒度信息， 彌補(bǔ)了單粒度算法的不足。對(duì)于不同粒度信息的融合權(quán)重， 本文采用了元學(xué)習(xí)的思想對(duì)其進(jìn)行學(xué)習(xí)， 使本文提出的方法能夠根據(jù)不同的數(shù)據(jù)特點(diǎn)自適應(yīng)地調(diào)整融合權(quán)重， 減少了人工調(diào)參的負(fù)擔(dān)， 降低了主觀因素對(duì)結(jié)果產(chǎn)生的不利影響。

２.２ 多粒度標(biāo)簽擾動(dòng)算法（ Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ ＬａｂｅｌＰｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ）

２.２.１ ＭＧＬＰ算法設(shè)計(jì)

大量的理論和實(shí)驗(yàn)已經(jīng)證明， 類(lèi)別級(jí)的標(biāo)簽擾動(dòng)和樣本級(jí)的標(biāo)簽擾動(dòng)對(duì)于解決噪聲標(biāo)簽問(wèn)題非常有效和高效。然而， 當(dāng)前大部分研究都是在同一粒度下對(duì)算法的深入探索， 鮮有研究綜合考慮利用這些不同粒度的標(biāo)簽擾動(dòng)策略提升模型的性能， 而不同粒度的擾動(dòng)能夠從不同的角度對(duì)算法性能進(jìn)行補(bǔ)充。基于此， 本文提出了一種多粒度標(biāo)簽擾動(dòng)算法（Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ Ｌａｂｅｌ Ｐｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ）， 該算法對(duì)Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａ?ｂｅｌ Ｓｍｏｏｔｈｉｎｇ ３ 種單粒度的標(biāo)簽擾動(dòng)策略進(jìn)行了集成， 綜合考慮了樣本級(jí)粒度和類(lèi)別級(jí)粒度的擾動(dòng)。同時(shí)， 利用元學(xué)習(xí)的思想對(duì)３ 種標(biāo)簽擾動(dòng)策略的融合系數(shù)進(jìn)行學(xué)習(xí)， 技術(shù)路線如圖１ 所示。由于在文本分類(lèi)任務(wù)中， ＢＥＲＴ 和ＢｉＬＳＴＭ 具有良好的特征表示能力［３７，１７］ ， 因此， 為了全面地驗(yàn)證本文所提出的算法的性能， 本研究分別利用ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 作為基線模型進(jìn)行實(shí)驗(yàn)。

３ 實(shí)驗(yàn)

３.１數(shù)據(jù)

為了充分地驗(yàn)證本文所提出的ＭＧＬＰ 算法的性能， 選擇３ 個(gè)知名的國(guó)際公開(kāi)的英文文本分類(lèi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)： ＳｅｍＥｖａｌ－２０１６ Ｔａｓｋ ４ Ｓｕｂｔａｓｋ Ａ［４０］ 、Ｍｏｖｉｅ Ｒｅｖｉｅｗｓ（ＭＲ）［４１］ 和ＳｃｉＣｉｔｅ［４２］ 。第一個(gè)數(shù)據(jù)集來(lái)自于ＳｅｍＥｖａｌ－２０１６ 的任務(wù)４ 的子任務(wù)Ａ， 是推文情感分類(lèi)數(shù)據(jù)集， 包含正面情感、中性情感、負(fù)面情感３ 種類(lèi)型， 本文采用官方給定的訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分。第二個(gè)數(shù)據(jù)集是ＭＲ 數(shù)據(jù)集， 其為一個(gè)電影評(píng)論情感分類(lèi)數(shù)據(jù)集， 包含正面情感和負(fù)面情感兩種類(lèi)型的標(biāo)簽， 由于官方數(shù)據(jù)未劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集， 因此， 本文按照７ ∶１∶２ 的比例將ＭＲ 數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。ＳｃｉＣｉｔｅ 是一個(gè)引文意圖分類(lèi)數(shù)據(jù)集， 包含背景、方法和結(jié)果３ 種類(lèi)型， 本文采用該數(shù)據(jù)集官方給定的訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分。

３.２ 對(duì)比算法及參數(shù)設(shè)置

為了有效地驗(yàn)證本文提出的ＭＧＬＰ 算法的性能， 采用以下幾種經(jīng)典的以及最先進(jìn)的噪聲標(biāo)簽處理算法進(jìn)行對(duì)比： Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ［９］ 、Ｓｏｆｔ／ ＨａｒｄＢｏｏｔｓｔｒａｐｐｉｎｇ［１０］ 、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ［１１］ 、Ｓｅｌｆ－Ｄｉｓｔｉｌｌａｔｉｏｎ ｆｒｏｍ Ｌａｓｔ Ｍｉｎｉ－Ｂａｔｃｈ（ＤＬＢ）［４３］ 、ＭａｒｇｉｎｂａｓｅｄＬａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（ＭｂＬＳ）［４４］ 。本文在原始數(shù)據(jù)集的基礎(chǔ)上施加了兩種類(lèi)型的噪聲， 一種是對(duì)稱(chēng)噪聲， 一種是非對(duì)稱(chēng)噪聲［８］ 。對(duì)稱(chēng)噪聲指的是樣本的真實(shí)標(biāo)簽以相同的概率隨機(jī)翻轉(zhuǎn)成其他類(lèi)別標(biāo)簽， 非對(duì)稱(chēng)噪聲指的是樣本的真實(shí)標(biāo)簽被翻轉(zhuǎn)成某類(lèi)特定的標(biāo)簽， 本文設(shè)置的樣本的真實(shí)標(biāo)簽翻轉(zhuǎn)比例（即噪聲比例）為１０％、２０％、３０％。

對(duì)于本文采用的ＢＥＲＴ－Ｂａｓｅ， 其有１２ 層Ｔｒａｎｓ?ｆｏｒｍｅｒ 結(jié)構(gòu)， 隱藏層維度為７６８， 學(xué)習(xí)率設(shè)為２ｅ－５， ｅｐｏｃｈ 設(shè)為１０。對(duì)于ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ， 本文采用３００ 維的Ｇｌｏｖｅ 詞向量， 隱藏層維度設(shè)為３００，ｅｐｏｃｈ 設(shè)為５０。對(duì)于Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐ?ｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、ＤＬＢ、ＭｂＬＳ 等對(duì)比算法， 按照其對(duì)應(yīng)的原論文的設(shè)置進(jìn)行實(shí)驗(yàn)。在ＭＧＬＰ 算法中， 本文隨機(jī)選取驗(yàn)證集中的每類(lèi)樣本１００ 個(gè)作為元數(shù)據(jù)集。

３.３ 實(shí)驗(yàn)結(jié)果

表１ 為基線模型為ＢＥＲＴ－Ｂａｓｅ 時(shí)不同噪聲標(biāo)簽處理算法在３ 種不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果， 表２為基線模型為ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 時(shí)不同噪聲標(biāo)簽處理算法在３ 種不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。采用分類(lèi)任務(wù)中常用的準(zhǔn)確率作為評(píng)價(jià)指標(biāo)， 每個(gè)實(shí)驗(yàn)進(jìn)行３ 次取其平均值作為最終結(jié)果。

通過(guò)表１ 的實(shí)驗(yàn)結(jié)果， 可以看出本文提出的ＭＧＬＰ 算法以ＢＥＲＴ－Ｂａｓｅ 為基線模型時(shí)， 在３ 種數(shù)據(jù)集上都取得了最佳結(jié)果。

具體來(lái)說(shuō)， 在ＳｅｍＥｖａｌ－２０１６ 數(shù)據(jù)集上， 不添加噪聲的情況下， ＭＧＬＰ 算法相比于基線模型ＢＥＲＴＢａｓｅ提高了２.０２％。相比于單粒度的Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎ?ｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法分別提升了１.３５％、１.９７％、０.９２％、１.４０％。說(shuō)明ＭＧＬＰ 算法充分利用了樣本級(jí)粒度和類(lèi)別級(jí)粒度的信息， 結(jié)合了Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ ３ 種經(jīng)典的單粒度噪聲標(biāo)簽算法的優(yōu)勢(shì)。在施加噪聲的情況下， 相比于近年來(lái)的ＭｂＬＳ 算法， 本文提出的ＭＧＬＰ 算法平均提升了１.５７％， 并且在施加２０％對(duì)稱(chēng)噪聲的情況下， 準(zhǔn)確率高于ＭｂＬＳ 算法２.３５％。在施加３０％對(duì)稱(chēng)噪聲時(shí)， 對(duì)比算法中準(zhǔn)確率最高的為ＭｂＬＳ 算法， 而本文提出的ＭＧＬＰ算法的準(zhǔn)確率相比于ＭｂＬＳ 算法提升了２.０８％， 且相比于基線模型ＢＥＲＴ－Ｂａｓｅ 算法提升了６.３７％，具有明顯的性能優(yōu)勢(shì)。在ＭＲ 數(shù)據(jù)集上， 在不添加噪聲的情況下， ＭＧＬＰ 相對(duì)于基線模型ＢＥＲＴ－Ｂａｓｅ提升了１.０５％。在施加噪聲的情況下， 相比于經(jīng)典的Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔ?ｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法分別平均提升了１.１１％、１.３９％、１.１６％、１.１２％。施加３０％對(duì)稱(chēng)噪聲和３０％非對(duì)稱(chēng)噪聲時(shí)， ＭＧＬＰ 算法相比于對(duì)比算法中準(zhǔn)確率最高的ＭｂＬＳ 算法分別提升了１.６６％和１.１１％， 取得了最佳結(jié)果。在ＳｃｉＣ?ｉｔｅ 數(shù)據(jù)集上， 不添加噪聲的情況下， ＭＧＬＰ 相對(duì)于基線模型ＢＥＲＴ－Ｂａｓｅ 提升了１.０６％， 相比于對(duì)比算法中準(zhǔn)確率最高的Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 提升了０.７０％。在施加噪聲２０％對(duì)稱(chēng)噪聲的情況下，相比于對(duì)比算法中準(zhǔn)確率最高的ＭｂＬＳ 算法提升了０.８６％， 實(shí)現(xiàn)了最優(yōu)性能。以上結(jié)果表明ＭＧＬＰ 算法能夠充分利用不同粒度的數(shù)據(jù)信息， 減少噪聲標(biāo)簽對(duì)模型性能產(chǎn)生的負(fù)面影響， 使模型的性能具有明顯的提升。

通過(guò)表２ 可知， 以ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 為基線模型時(shí)， ＭＧＬＰ 算法在３ 個(gè)數(shù)據(jù)集上也都實(shí)現(xiàn)了最優(yōu)的性能。

在ＳｅｍＥｖａｌ－２０１６ 數(shù)據(jù)集上， ＭＧＬＰ 算法在不施加噪聲的情況下相比于基線模型提升了１.１０％，相比于準(zhǔn)確率最高的ＭｂＬＳ 算法提升了０.７３％。在ＳｅｍＥｖａｌ－ ２０１６ 數(shù)據(jù)集施加對(duì)稱(chēng)噪聲的情況下，ＭＧＬＰ 算法相比于基線模型平均提升了１.７５％； 在施加非對(duì)稱(chēng)噪聲的情況下， ＭＧＬＰ 算法相比于基線模型平均提升了２.０４％， 相比于近年來(lái)的ＤＬＢ 算法和ＭｂＬＳ 算法， ＭＧＬＰ 算法分別平均提升了１.１８％、１.０８％。在施加２０％對(duì)稱(chēng)噪聲時(shí)， ＭＧＬＰ 算法相比于對(duì)比算法中準(zhǔn)確率最高的ＭｂＬＳ 算法提升了１.４６％。在ＭＲ 數(shù)據(jù)集上， 相比于經(jīng)典的Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、ＯｎｌｉｎｅＬａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法平均提升了１.４５％、１.０２％、１.１９％、１.３７％。在施加１０％對(duì)稱(chēng)噪聲的情況下， ＭＧＬＰ 算法相比于對(duì)比算法中準(zhǔn)確率最高的Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ 算法提升了１.０２％， 實(shí)現(xiàn)了最佳性能。此外， 在ＭＲ 數(shù)據(jù)集施加３０％非對(duì)稱(chēng)噪聲的情況下， ＭＧＬＰ 算法相比于基線模型提升了４.４８％。在ＳｃｉＣｉｔｅ 數(shù)據(jù)集上， ＭＧＬＰ 算法準(zhǔn)確率也是最高的， 相比于ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 基線模型平均提升了１.４０％。在ＳｃｉＣｉｔｅ 上施加３０％對(duì)稱(chēng)噪聲的情況下， ＭＧＬＰ 算法相比于Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ、ＤＬＢ、ＭｂＬＳ 算法分別提升了１.４７％、１.５６％、１.３２％、１.２８％、１.３４％、１.２１％。此外，在施加２０％非對(duì)稱(chēng)噪聲時(shí)， 對(duì)比算法中準(zhǔn)確率最高的為ＭｂＬＳ 算法， 本文提出的ＭＧＬＰ 算法相比于ＭｂＬＳ 算法提升了１.０７％， 取得了最優(yōu)結(jié)果。以上實(shí)驗(yàn)結(jié)果均表明， ＭＧＬＰ 算法充分利用了３ 種經(jīng)典的單粒度的噪聲標(biāo)簽算法的優(yōu)勢(shì)， 融合了樣本級(jí)粒度和類(lèi)別級(jí)粒度的數(shù)據(jù)信息， 提升了深度學(xué)習(xí)模型的性能。在模型進(jìn)行學(xué)習(xí)的過(guò)程中， ＭＧＬＰ 算法能夠根據(jù)不同數(shù)據(jù)的特點(diǎn)， 自適應(yīng)地選取不同的比例對(duì)樣本級(jí)粒度和類(lèi)別級(jí)粒度的數(shù)據(jù)信息進(jìn)行融合，從而減少噪聲樣本對(duì)模型訓(xùn)練產(chǎn)生的負(fù)面影響。實(shí)驗(yàn)結(jié)果表明， 不管是在原始數(shù)據(jù)集上還是在施加噪聲的情況下， ＭＧＬＰ 算法均有效且明顯地提升了深度學(xué)習(xí)模型的性能。

為了探究ＭＧＬＰ 算法的魯棒性， 本文以ＳｃｉＣｉｔｅ數(shù)據(jù)集為例， 對(duì)更高比例噪聲標(biāo)簽下算法的性能進(jìn)行了評(píng)估， 結(jié)果如圖２ ～ 圖５ 所示。在施加４０％、５０％、６０％比例的對(duì)稱(chēng)噪聲情況下， 本文提出的ＭＧＬＰ 算法相比于ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ基線模型分別平均提升了５.０９％、２.６８％。在施加４０％、５０％、６０％比例的非對(duì)稱(chēng)噪聲情況下， ＭＧＬＰ算法相比于ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 基線模型分別平均提升了２.2４％、２.２２％。實(shí)驗(yàn)結(jié)果表明， 即使在施加更高比例噪聲的情況下， 本文提出的ＭＧＬＰ 算法仍保持較高的準(zhǔn)確率， 具有良好的魯棒性。

４結(jié)語(yǔ)

本文針對(duì)現(xiàn)有的標(biāo)簽擾動(dòng)算法大都只在單一粒度層級(jí)下進(jìn)行深入探索， 而未有效利用多種粒度信息， 從而限制了算法的性能這一不足之處， 首先分析了Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ 和Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ ３ 種經(jīng)典的單一粒度的標(biāo)簽擾動(dòng)算法的原理， 然后提出了一種融合了樣本級(jí)粒度和類(lèi)別級(jí)粒度的多粒度標(biāo)簽擾動(dòng)算法（ＭＧＬＰ）。該算法通過(guò)加權(quán)的方式將類(lèi)別級(jí)的Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ Ｌａ?ｂｅｌ Ｓｍｏｏｔｈｉｎｇ、樣本級(jí)的Ｂｏｏｔｓｔｒａｐｐｉｎｇ ３ 種單粒度的標(biāo)簽擾動(dòng)算法融合在一起， 集成了類(lèi)別級(jí)粒度和樣本級(jí)粒度的標(biāo)簽擾動(dòng)算法的特點(diǎn)， 通過(guò)融合系數(shù)來(lái)控制不同粒度擾動(dòng)的比例， 并利用元學(xué)習(xí)的思想對(duì)融合系數(shù)進(jìn)行學(xué)習(xí)， 使其能夠根據(jù)不同的數(shù)據(jù)特點(diǎn)自適應(yīng)地對(duì)融合系數(shù)進(jìn)行調(diào)整， 避免了人工調(diào)參所造成的主觀性誤差， 提高了模型的性能。本文在推文情感分類(lèi)數(shù)據(jù)集、電影評(píng)論情感分類(lèi)數(shù)據(jù)集、引文意圖分類(lèi)數(shù)據(jù)集３ 個(gè)公開(kāi)的文本數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)， 結(jié)果表明本文提出的ＭＧＬＰ 算法與其他算法相比性能有明顯的提升， 能夠有效地減輕噪聲標(biāo)簽對(duì)深度學(xué)習(xí)模型訓(xùn)練的負(fù)面影響， 對(duì)于深度學(xué)習(xí)模型在信息組織和信息分析領(lǐng)域更準(zhǔn)確地應(yīng)用具有十分重要的價(jià)值和前景。

本文也存在一些局限性。首先， 只考慮了利用樣本級(jí)粒度和類(lèi)別級(jí)粒度的數(shù)據(jù)信息， 還未研究與數(shù)據(jù)集級(jí)粒度信息的結(jié)合； 其次， 本文只在英文文本分類(lèi)數(shù)據(jù)集上對(duì)算法的性能進(jìn)行了驗(yàn)證。在未來(lái)研究中， 將探究如何將樣本級(jí)、類(lèi)別級(jí)以及數(shù)據(jù)集級(jí)粒度的信息進(jìn)行融合， 以期進(jìn)一步提高對(duì)多粒度信息的有效利用， 進(jìn)一步提升深度學(xué)習(xí)模型的性能， 并將在中文數(shù)據(jù)集上對(duì)多粒度標(biāo)簽擾動(dòng)算法的性能進(jìn)行探究。此外， 還將探究利用更多的信息對(duì)融合系數(shù)進(jìn)行求解。在算法未來(lái)的應(yīng)用層面， 除了將本文提出的算法應(yīng)用于文本分類(lèi)領(lǐng)域之外， 還將探究其在更多領(lǐng)域中的應(yīng)用， 如計(jì)算機(jī)視覺(jué)領(lǐng)域，以期在多個(gè)領(lǐng)域中發(fā)揮該算法的應(yīng)用價(jià)值。