基于多語BERT的無監(jiān)督攻擊性言論檢測

師夏陽，張風(fēng)遠(yuǎn)，袁嘉琪，黃敏*

基于多語BERT的無監(jiān)督攻擊性言論檢測

師夏陽1，張風(fēng)遠(yuǎn)1，袁嘉琪2，黃敏1*

（1.鄭州輕工業(yè)大學(xué) 軟件學(xué)院，鄭州 450001； 2.鄭州輕工業(yè)大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，鄭州 450001）（?通信作者電子郵箱huangmin@zzuli.edu.cn）

攻擊性言論會(huì)對(duì)社會(huì)安定造成嚴(yán)重不良影響，但目前攻擊性言論自動(dòng)檢測主要集中在少數(shù)幾種高資源語言，對(duì)低資源語言缺少足夠的攻擊性言論標(biāo)注語料導(dǎo)致檢測困難，為此，提出一種跨語言無監(jiān)督攻擊性遷移檢測方法。首先，使用多語BERT（mBERT）模型在高資源英語數(shù)據(jù)集上進(jìn)行對(duì)攻擊性特征的學(xué)習(xí)，得到一個(gè)原模型；然后，通過分析英語與丹麥語、阿拉伯語、土耳其語、希臘語的語言相似程度，將原模型遷移到這四種低資源語言上，實(shí)現(xiàn)對(duì)低資源語言的攻擊性言論自動(dòng)檢測。實(shí)驗(yàn)結(jié)果顯示，與BERT、線性回歸（LR）、支持向量機(jī)（SVM）、多層感知機(jī)（MLP）這四種方法相比，所提方法在丹麥語、阿拉伯語、土耳其語、希臘語這四種語言上的攻擊性言論檢測的準(zhǔn)確率和F1值均提高了近2個(gè)百分點(diǎn)，接近目前的有監(jiān)督檢測，可見采用跨語言模型遷移學(xué)習(xí)和遷移檢測相結(jié)合的方法能夠?qū)崿F(xiàn)對(duì)低資源語言的無監(jiān)督攻擊性檢測。

跨語言模型；攻擊性言論檢測；BERT；無監(jiān)督方法；遷移學(xué)習(xí)

0 引言

網(wǎng)絡(luò)社交媒體中時(shí)常存在著大量的攻擊性言論，如網(wǎng)絡(luò)欺凌、網(wǎng)絡(luò)攻擊和仇恨言論等［1-2］。社交媒體中的攻擊性言論會(huì)嚴(yán)重影響人們的正常交流，更有甚者可能煽動(dòng)群眾情緒，對(duì)社會(huì)穩(wěn)定造成不良的影響。因此，檢測和過濾網(wǎng)絡(luò)中的攻擊性言論顯得格外重要，成為自然語言處理領(lǐng)域的一個(gè)研究熱點(diǎn)［3］。

目前攻擊性言論檢測的研究主要集中在高資源語言（如英語）中，這是因?yàn)楦哔Y源的數(shù)據(jù)集資源、單語詞典和預(yù)訓(xùn)練語言模型成果豐富［4］。然而，在社交媒體平臺(tái)上，往往存在著多種語言的攻擊性言論（例如：不同國家的語言、不同民族的語言和不同地區(qū)的方言），而對(duì)語言進(jìn)行攻擊性言論檢測研究大多基于有限的數(shù)據(jù)集上，因此低資源語言攻擊性言論檢測的研究面臨巨大的挑戰(zhàn)［5-6］。

攻擊性言論檢測是分類任務(wù)中的一項(xiàng)具體應(yīng)用，往往將分類任務(wù)分為上游的語言建模和下游的分類特征學(xué)習(xí)兩階段。神經(jīng)網(wǎng)絡(luò)語言模型（Neural Network Language Model， NNLM）通過構(gòu)建神經(jīng)網(wǎng)絡(luò)的方式來探索和建模自然語言內(nèi)在的依賴關(guān)系，能夠用向量表征一個(gè)單詞或者句子，優(yōu)良表征能夠提高下游模型泛化能力。檢測方法泛化能力往往建立在龐大的數(shù)據(jù)資源基礎(chǔ)上，因此，當(dāng)建模語言對(duì)象為低資源語言時(shí)，由于可用資源很少，無法學(xué)習(xí)到語言對(duì)象中內(nèi)在的依賴關(guān)系，也就無法對(duì)低資源語言中的文本語義特征進(jìn)行有效的語義編碼學(xué)習(xí)。研究表明可以通過跨語言詞向量結(jié)合遷移學(xué)習(xí)（Transfer Learning， TL）實(shí)現(xiàn)對(duì)低資源語言上的文本語義編碼［7］。此外，下游階段模型的泛化能力決定分類性能的優(yōu)劣，而可用數(shù)據(jù)資源的多少又決定了下游階段的泛化能力；同時(shí)，也造成了下游分類模型無法依靠這些低資源數(shù)據(jù)得到一個(gè)有效的攻擊性言論檢測模型。

低資源的攻擊性言論檢測面臨兩大挑戰(zhàn)：一是由于可用資源少，無法單獨(dú)對(duì)低資源語言中的文本語義進(jìn)行有效編碼；二是無法對(duì)低資源語言中的攻擊性特征進(jìn)行有效訓(xùn)練?；谏鲜龇治觯疚牟捎眠w移學(xué)習(xí)架構(gòu)，在BERT（Bidirectional Encoder Representation from Transformers）模型的基礎(chǔ)上，多語言預(yù)訓(xùn)練語言模型——多語BERT（multilingual BERT， mBERT）進(jìn)行在低資源語言中的遷移學(xué)習(xí)，使模型具備對(duì)低資源語言的文本語義編碼能力［8］。此外，通過探索不同語言之間的語言相似程度，再次對(duì)低資源語言進(jìn)行遷移，實(shí)現(xiàn)對(duì)低資源語言的攻擊性言論的跨語言檢測，使模型具有一定的對(duì)低資源語言的攻擊性言論檢測的泛化能力。

本文的主要工作包括：

1）提出了一種融合mBERT的跨語言攻擊性言論遷移檢測方法，通過探索不同語言之間的語言相似度，將在高資源語言上訓(xùn)練的模型遷移到其他低資源語言中來檢測該低資源語言中的攻擊性；

2）使用BERT模型作為語言模型，通過對(duì)BERT微調(diào)，保證了對(duì)自然語言的語義編碼能力；

3）利用mBERT進(jìn)行不同語言的遷移學(xué)習(xí)，保留了mBERT模型對(duì)不同語言的語義編碼特征，以便于探索不同語言之間的語言相似程度。

1 相關(guān)工作

進(jìn)行攻擊性言論識(shí)別的早期工作依賴于手動(dòng)提取不同類型的特征和基于知識(shí)的功能以及多模式信息［9-10］，如：Saroj等［11］使用四種機(jī)器學(xué)習(xí)分類器：多項(xiàng)式樸素貝葉斯（Multinomial Naive?Bayes， MNB）、隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）、線性支持向量機(jī)（Linear Support Vector Machine， LSVM）和線性回歸（Linear Regression，LR）來識(shí)別社交媒體中印地語中的攻擊性言論；Pathak等［12］通過提取文本語言中的?gram特征，使用機(jī)器學(xué)習(xí)中的分類和回歸方法來學(xué)習(xí)這些攻擊性言論的特征。但是這種基于特征的方法在文本表示中的能力相對(duì)較弱，往往需要構(gòu)建高維的特征對(duì)復(fù)雜文本進(jìn)行特征學(xué)習(xí)，在進(jìn)行相關(guān)計(jì)算時(shí)耗費(fèi)大量資源，且特征的冗余會(huì)影響分類的實(shí)際效果［13］。受Zampieri 等［14］的啟發(fā)，Howard等［15］借助BERT，利用ULMFiT（Universal Language Model Fine?tuning for Text classification， ULMFiT）方法經(jīng)過預(yù)訓(xùn)練的語言模型成功實(shí)現(xiàn)了遷移學(xué)習(xí)在攻擊性言論檢測的應(yīng)用，由于性能較好，該類方法成為用于解決攻擊性言論識(shí)別任務(wù)的主流。在2019年OffensEval競賽［16］中，參加任務(wù)A的前10個(gè)團(tuán)隊(duì)中，有7個(gè)使用了BERT，僅在參數(shù)設(shè)置和預(yù)處理步驟有所不同［17-18］。目前利用跨語言預(yù)訓(xùn)練模型進(jìn)行攻擊性言論檢測大多數(shù)都以預(yù)訓(xùn)練跨語言模型基礎(chǔ)［19-21］。這類方法最大的優(yōu)點(diǎn)是：通過這種無監(jiān)督的跨語言預(yù)訓(xùn)練模型，能夠?qū)崿F(xiàn)低資源語言的攻擊性言論檢測。Ayo等［22］提出基于支持向量機(jī)（Support Vector Machine， SVM）和BERT的方法構(gòu)建跨語言攻擊性言論和厭女性（Misogynist）言論檢測模型。Kapil等［23］在跨語言預(yù)訓(xùn)練模型的基礎(chǔ)上加入了遷移學(xué)習(xí)，將豐富資源的攻擊性言論檢測任務(wù)知識(shí)遷移到低資源語言上，可以有效提高低資源語言的攻擊性言論檢測準(zhǔn)確率，但上述方法的檢測性能并不令人滿意。

2 融合mBERT與TL的攻擊性言論檢測方法

本文提出的方法包括兩個(gè)方面：第一是單語攻擊性言論檢測學(xué)習(xí)；第二是跨語言遷移檢測。對(duì)于給定的單語攻擊性言論樣本集，首先，使用mBERT模型在單語攻擊性言論樣本集中進(jìn)行遷移學(xué)習(xí)，得到單語攻擊性言論檢測器。對(duì)于給定的低資源語種文本，將單語攻擊性言論檢測器遷移到低資源語言，檢測低資源語言文本中的攻擊性言論。融合mBERT與TL的攻擊性言論檢測方法結(jié)構(gòu)如圖1所示。

2.1　單語攻擊性言論檢測學(xué)習(xí)

由于給定的單語攻擊性言論樣本集較小，不足以支撐構(gòu)建一個(gè)相對(duì)完整的模型表達(dá)這些言論中的文本語義信息，但跨語言遷移學(xué)習(xí)方法能夠利用其他語言提供的更大的可用數(shù)據(jù)集。通過遷移學(xué)習(xí)將已經(jīng)學(xué)到的模型參數(shù)（也可理解為模型學(xué)到的知識(shí)）通過某種方式來分享給新模型，從而提高模型的學(xué)習(xí)效率，避免了多數(shù)網(wǎng)絡(luò)從零學(xué)習(xí)的缺點(diǎn)。

mBERT為Google發(fā)布的基于BERT模型訓(xùn)練的多語言預(yù)訓(xùn)練模型，由12個(gè)堆疊的Transformer組成，其中一個(gè)隱藏層大小為768，還包括12個(gè)自注意力頭。mBERT模型經(jīng)過預(yù)先訓(xùn)練，將104種不同語言的單語維基百科數(shù)據(jù)（包括英語、印地語、土耳其語、馬拉雅拉姆語等）與一個(gè)共享的詞匯表（該詞匯表包括12萬個(gè)單詞）進(jìn)行連接，使得所有字符編碼共享一個(gè)嵌入空間和編碼器，方便應(yīng)用于不同的語言任務(wù)中［24］。Kudugunta等［25］和Kondratyuk等［26］驗(yàn)證了在下游任務(wù)上（如詞性標(biāo)注、命名實(shí)體識(shí)別等）可以實(shí)現(xiàn)從跨語言預(yù)訓(xùn)練模型中提取相關(guān)特征，獲取在特定任務(wù)上的基于語言知識(shí)的信息。Kumar等［27］在德語和印地語任務(wù)中，使用了預(yù)訓(xùn)練模型mBERT，通過對(duì)BERT模型微調(diào)在德語和印地語的識(shí)別仇恨和冒犯性任務(wù)上取得了顯著的效果。Libovicky等［28］證明了基于上下文的mBERT可以捕捉語言之間的相似性，并將語言按語種進(jìn)行聚類，且跨語言微調(diào)后不會(huì)破壞這個(gè)屬性。換句話說，mBERT可以將語言信息的一部分按照嵌入空間中的位置進(jìn)行編碼，將每種語言的編碼集中起來，可以實(shí)現(xiàn)一定程度的跨語言性。

圖 1　本文方法的結(jié)構(gòu)

受到前面工作的啟發(fā)，本文利用mBERT模型的跨語言性使得檢測器可以捕獲不同語言的文本特征，通過遷移學(xué)習(xí)將mBERT學(xué)到的有關(guān)各種語言的知識(shí)信息分享給新模型，在mBERT模型參數(shù)的基礎(chǔ)上進(jìn)行檢測器模型的訓(xùn)練，從而提高模型的學(xué)習(xí)效率。本文方法使用BERT模型作為構(gòu)建攻擊性言論檢測模型的基礎(chǔ)結(jié)構(gòu)，將mBERT的模型參數(shù)作為上述攻擊性言論檢測模型的初始參數(shù)，在此基礎(chǔ)上，通過對(duì)BERT模型進(jìn)行微調(diào)，完成攻擊性言論檢測器的訓(xùn)練。

最后，使用交叉熵函數(shù)作為該任務(wù)的損失函數(shù)。該損失函數(shù)如式（3）所示：

通過使用遷移學(xué)習(xí)，將mBERT跨語言預(yù)訓(xùn)練模型的權(quán)重參數(shù)遷移到單語攻擊性言論檢測模型中作為單語攻擊性言論檢測模型的初始參數(shù)，在這基礎(chǔ)上進(jìn)行攻擊性言論中的攻擊性特征的學(xué)習(xí)，最后得到一個(gè)單語攻擊性言論檢測模型。

2.2　跨語言檢測

2.1節(jié)中得到的單語攻擊性言論檢測模型不僅可以解釋高資源攻擊性言論中的攻擊性特征，還繼承了遷移到mBERT預(yù)訓(xùn)練模型對(duì)多種語言的語義編碼能力。這種能力使單語攻擊性言論檢測模型可以對(duì)未參與攻擊性特征學(xué)習(xí)的語言直接進(jìn)行檢測。本文將使用訓(xùn)練好的單語攻擊性言論檢測模型對(duì)未參與攻擊性特征學(xué)習(xí)的語言進(jìn)行檢測的方法稱為跨語言檢測。

為觀察語言之間的關(guān)系，從每種語言中隨機(jī)抽取了1 000個(gè)樣本，并使用tSNE（t?distributed Stochastic Neighbor Embedding）可視化了它們的句子嵌入（見圖2）［29］。從可視化中觀察到，這些例子基于它們的語言形成了一個(gè)粗略的聚類，但是英語和丹麥語的集群彼此靠近。這進(jìn)一步說明了利用嵌入空間的這種接近性來提高對(duì)低資源語言攻擊性文本檢測的可能性。

需要特別指出的是，本文方法并未使用上述單語攻擊性言論檢測模型在低資源數(shù)據(jù)上進(jìn)行再遷移學(xué)習(xí)，因此該方法可以稱無監(jiān)督的跨語言檢測。

對(duì)于某些語種（如丹麥語、阿拉伯語和印地語等），由于這些語種的攻擊性言論樣本資源極少，在對(duì)現(xiàn)有資源進(jìn)行跨語言遷移學(xué)習(xí)時(shí)，這些樣本量不足以訓(xùn)練一個(gè)完整的針對(duì)該語言的攻擊性言論檢測器。通過觀察表1，發(fā)現(xiàn)這些語言之間或多或少都有些相似之處，如：丹麥語和英語之間，在實(shí)際生活中，丹麥語中也包含大部分的英語；又發(fā)現(xiàn)如英語、土耳其語這些語言，構(gòu)成文本的字符較為相似；而印地語、阿拉伯語和希臘語這些語言的字符之間差異較大，這些差異也決定了這些語言間的相似性不高。因此，提出一種通過探索不同語言之間的語言相似度，選取合適的單語攻擊性言論檢測器，用來檢測低資源語種文本中的攻擊性言論。

為了定量估計(jì)兩種語言的語義相似性，本文使用了Patra等［30］提出的GH（Gromov?Hausdroff）距離度量兩個(gè)單詞之間嵌入空間距離的方法。與文獻(xiàn)［30］中不同語言的單詞所映射到的嵌入空間不同的情況相反，通過跨語言預(yù)訓(xùn)練模型mBERT編碼的嵌入編碼都映射在同一空間內(nèi)，且通過編碼可視化（編碼可視化如圖2所示）可以看出不同語言的編碼聚集在不同區(qū)域。因此，本文只需計(jì)算兩種語言嵌入編碼在不同區(qū)域的等距距離，以此來定量兩種語言的語義相似程度。

表1　各語種的樣本數(shù)據(jù)

具體來說，GH距離定義如式（4）所示：

3 實(shí)驗(yàn)設(shè)置

3.1　數(shù)據(jù)設(shè)置

為了驗(yàn)證本文方法的性能，使用了如表2所示的公開可用的攻擊性言論檢測數(shù)據(jù)集。對(duì)于豐富的資源語言，本文使用2019年OffensEval共享任務(wù)6中發(fā)布的英文標(biāo)記數(shù)據(jù)集（EN?OLID）［31］，OLID（EN?OLID）是最流行的英語語言數(shù)據(jù)集之一。對(duì)于其他資源匱乏的語言，選擇使用在2020年OffensEval共享任務(wù)12中發(fā)布的丹麥語（Danish）、阿拉伯語（Arabic）、土耳其語（Turkish）和希臘語（Greek）數(shù)據(jù)集。其中，OLID數(shù)據(jù)集包括三個(gè)子任務(wù)。子任務(wù)A：檢測語言文本具有攻擊性或不具有攻擊性，以及兩者樣本總和；子任B：將攻擊語言文本的攻擊類型分類為有針對(duì)性的侮辱（TIN）、有針對(duì)性的威脅（TTH）或無針對(duì)性的（UNT）；子任務(wù)C：將攻擊目標(biāo)確定為個(gè)人（IND）、人群（GRP）、組織或?qū)嶓w（ORG）及其他（OTH）。而阿拉伯語、丹麥語、希臘語和土耳其語只包含子任務(wù)A。本文實(shí)驗(yàn)只針對(duì)上述所有任務(wù)A數(shù)據(jù)進(jìn)行探討。此外，實(shí)驗(yàn)中設(shè)置訓(xùn)練集樣本量和測試集樣本量的比例為9∶1。

表2　樣本數(shù)據(jù)分布

3.2　參數(shù)設(shè)置

詞向量維度：設(shè)置本方法中的模型詞向量維度為768維。

詞表：設(shè)置mBERT預(yù)訓(xùn)練模型對(duì)應(yīng)的詞表作為文本實(shí)驗(yàn)中的共享詞表，其中，該詞表包括104種語言，共有12萬詞匯。

跨語言遷移學(xué)習(xí)：經(jīng)過對(duì)樣本的數(shù)據(jù)分析，發(fā)現(xiàn)大部分?jǐn)?shù)據(jù)長度在120個(gè)詞以內(nèi)，因此設(shè)置句子最大長度為120。設(shè)置Softmax層的隱藏層單元為標(biāo)簽類別個(gè)數(shù)2。

模型訓(xùn)練：設(shè)置訓(xùn)練batch為64，epoch為10。

優(yōu)化器設(shè)置：設(shè)置優(yōu)化器為Adam。

優(yōu)化參數(shù)設(shè)置：設(shè)置隱藏層dropout參數(shù)為0.01，固定學(xué)習(xí)率為0.000 02。

4 實(shí)驗(yàn)及結(jié)果分析

4.1　度量標(biāo)準(zhǔn)

度量標(biāo)準(zhǔn)主要包括模型預(yù)測的準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、宏平均macro F1值（后文統(tǒng)稱F1值）。

4.2　對(duì)比實(shí)驗(yàn)分析

首先實(shí)驗(yàn)驗(yàn)證所提方法對(duì)于低資源語言攻擊性言論檢測的有效性。先抽取英語樣本集做跨語言遷移學(xué)習(xí)，接著將訓(xùn)練好的攻擊性言論檢測器遷移到其他語言樣本中，用來檢測文本中的攻擊性。同時(shí)設(shè)置幾個(gè)單語模型作為對(duì)比，單語模型設(shè)置如下：

BERT：直接遷移mBERT預(yù)訓(xùn)練模型權(quán)重參數(shù)到低資源語言上進(jìn)行攻擊性特征的學(xué)習(xí)。

LR：使用詞頻?逆向文檔頻率（Term Frequency?Inverse Document Frequency，TF?IDF）提取語言文本特征信息，接著使用Logistic Regression算法構(gòu)建攻擊性言論分類器。

SVM：使用TF?IDF提取語言文本中的特征信息，使用SVM來學(xué)習(xí)特征信息中的文本特征。

MLP：使用多層感知機(jī)（Multi?Layer Perceptron， MLP）來構(gòu)建攻擊性文本分類器。

實(shí)驗(yàn)結(jié)果如表3所示。表3顯示，與所設(shè)置的4種方法相比，本文方法不論是準(zhǔn)確率還是F1值都有所提升，進(jìn)一步驗(yàn)證了本文提出的跨語言遷移檢測方法要優(yōu)于基于單語模型的檢測方法。從以下兩方面分析原因：

1）理論上，可以通過對(duì)BERT模型進(jìn)行微調(diào)來自動(dòng)檢測攻擊性言論，但要達(dá)到上述目標(biāo)需要大量的語料，而由于語料不足，模型無法很好地對(duì)文本中的攻擊性特征進(jìn)行表示學(xué)習(xí)；類似地，在使用TF?IDF表示文本特征時(shí)，數(shù)據(jù)集極少的情況下并不能將文本中的多元信息很好地表示出來，所以這些單語模型盡管可以學(xué)習(xí)到一些攻擊性特征，但在測試過程中的檢測性能表現(xiàn)一般。

2）在數(shù)據(jù)資源極少的情況下，由于組成不同語言的單詞不同，可能差異很大。這導(dǎo)致將其他語言的文本作為單語檢測器的輸入時(shí)，該檢測器對(duì)上述所能表示的信息量與對(duì)訓(xùn)練語言相同的文本表示的信息量相差懸殊，不利于遷移檢測。而對(duì)mBERT的遷移學(xué)習(xí)使該檢測器對(duì)不同的語言都有一定的表示能力，可以縮小文本表示階段的信息量差距，這有利于將單語檢測器學(xué)習(xí)到的特征遷移到其他語言做檢測。

表3　不同模型的實(shí)驗(yàn)結(jié)果對(duì)比

經(jīng)驗(yàn)上，對(duì)可用數(shù)據(jù)資源極少的語言收集工作和標(biāo)記工作都是極耗費(fèi)人力物力的，從而導(dǎo)致這些語言的可用資源很少；而使用跨語言遷移檢測方法能夠?qū)膭e的語言上學(xué)習(xí)到的攻擊性特征遷移到低資源語言上檢測包含攻擊性的言論，擴(kuò)大了該方法的使用范圍。

實(shí)驗(yàn)也驗(yàn)證了跨語言遷移檢測方法可以檢測低資源語言中的攻擊性言論。觀察表3，可以看到基于英語數(shù)據(jù)集的攻擊性言論檢測器在不同語言上的遷移檢測實(shí)驗(yàn)結(jié)果并不一致。相比其他語言，在丹麥語上的遷移檢測結(jié)果最好。通過觀察表3中的原數(shù)據(jù)，發(fā)現(xiàn)不同的單語檢測模型在不同語言的遷移檢測效果是不同的。可以得出結(jié)論，在兩種語義相近的語言上做遷移檢測可以解決低資源的攻擊性言論檢測問題。為進(jìn)一步驗(yàn)證本文方法的有效性，通過式（4）計(jì)算兩個(gè)語言的GH距離作為判斷最佳遷移檢測模型的效果，結(jié)果如表4所示。表4計(jì)算了樣本量最高的三種語言（英語、土耳其語和希臘語）和其他語言之間的單詞向量的GH距離來衡量不同語種之間的語言相似度。其中，兩種不同語言對(duì)應(yīng)的值越小，表明這兩種語言越相似。從表4中可以看出英語與丹麥語相似度更高，而希臘語與丹麥語、土耳其語與阿拉伯語相似度高，這也符合人們對(duì)語言的觀測。

4.3　語義相似度對(duì)遷移效果的影響分析

為了分析語義相似度對(duì)遷移效果的影響，設(shè)置樣本量最高的三種語言訓(xùn)練單語檢測模型，并遷移到其他語言中做遷移檢測實(shí)驗(yàn)，檢測不同單語檢測模型對(duì)不同語言的遷移檢測效果。

首先，分別在英語、土耳其語和希臘語三個(gè)語言的數(shù)據(jù)集上進(jìn)行攻擊性言論檢測模型的訓(xùn)練，得到英語檢測模型、土耳其語檢測模型和希臘語檢測模型；接著，將這三個(gè)檢測模型分別在其他語言上進(jìn)行檢測實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果圖3所示，其中en、da、ar、tr、和el表示英語、丹麥語、阿拉伯語、土耳其語和希臘語。

圖3　五種語言模型的準(zhǔn)確度、召回率、精確度和F1性能比較

從圖3可以看出，對(duì)于丹麥語、阿拉伯語和土耳其語的F1以及Recall，使用英語檢測器的檢測結(jié)果對(duì)應(yīng)的四個(gè)評(píng)價(jià)指標(biāo)基本優(yōu)于另外兩個(gè)分類器（在本次分析中，使用土耳其語檢測器檢測土耳其語和使用希臘語檢測器檢測希臘語的結(jié)果不參與分析），且這三種語言與英語之間的GH距離也遠(yuǎn)小于其他兩種語言之間的GH距離。對(duì)于Accuracy和Precision，土耳其語對(duì)應(yīng)的柱狀圖要高于英語對(duì)應(yīng)的柱狀圖，表明這種方法在一定程度上利用了語言上的相似性，使在語義相似的語言間遷移時(shí)達(dá)到信息損失最小化，進(jìn)一步說明了判斷語義相似度在跨語言檢測中的重要性?？梢岳眠@種特性，選擇與低資源語言語義相似度最高的高資源數(shù)據(jù)進(jìn)行單語攻擊性言論檢測模型的訓(xùn)練，進(jìn)而可以更好地實(shí)現(xiàn)對(duì)低資源語言中的攻擊性判斷。

4.4　訓(xùn)練資源的多少對(duì)遷移效果的影響分析

設(shè)置不同的訓(xùn)練樣本量以分析樣本量變化過程中遷移檢測效果的變化，結(jié)果如圖4?？梢钥闯?，隨著訓(xùn)練樣本量的增多，遷移檢測效果的性能也不斷提升。觀察圖4發(fā)現(xiàn)，當(dāng)訓(xùn)練樣本量小于3 000時(shí)，對(duì)各個(gè)語言的遷移檢測性能指標(biāo)均低于0.35，此時(shí)模型處于不夠理想的狀態(tài)；隨著訓(xùn)練樣本量的增加，模型的遷移檢測性能指標(biāo)也隨之上升，當(dāng)訓(xùn)練樣本量增加到12 000時(shí)，圖中各指標(biāo)處于緩慢增長甚至穩(wěn)定狀態(tài)。而且相較于其他語言，與英語語義相似度最高的丹麥語的檢測性能指標(biāo)增長最快。所以訓(xùn)練樣本越多，用這些訓(xùn)練樣本訓(xùn)練得到的模型遷移到其他語言中的效果越好，但當(dāng)樣本量超過一定值時(shí)，訓(xùn)練資源的多少帶來的影響就會(huì)很??；而且與高資源語言相似度最高的低資源語言的檢測性能的變化最明顯。由此，本文認(rèn)為語言之間的相似性是使遷移效果更優(yōu)的主要原因，兩種語言越相似，遷移檢測效果越好。

4.5　與有監(jiān)督方法的對(duì)比實(shí)驗(yàn)分析

本文方法主要是基于mBERT的無監(jiān)督檢測方法，為了進(jìn)一步探究語言相似性對(duì)低資源語言任務(wù)中的影響，將無監(jiān)督方法與一組有監(jiān)督方法作對(duì)比實(shí)驗(yàn)。具體實(shí)現(xiàn)為在得到英語這種高資源語言對(duì)應(yīng)的檢測模型后，在有限的低資源語言中做進(jìn)一步的遷移學(xué)習(xí)，實(shí)驗(yàn)結(jié)果如表5。由表5可以看出，本文的無監(jiān)督方法效果接近有監(jiān)督的方法，并且不同語言之間的接近程度有一定的差異。值得注意的是，丹麥語中的有監(jiān)督方法比無監(jiān)督方法在Accuracy和F1兩種評(píng)價(jià)指標(biāo)中分別高0.029和0.090。同時(shí)發(fā)現(xiàn)，與英語相似度更高的丹麥語無論是各指標(biāo)值還是接近程度都要優(yōu)于其他語言，這也進(jìn)一步驗(yàn)證了語言相似性對(duì)低資源語言任務(wù)中的影響一致性。

圖 4　訓(xùn)練樣本量不同時(shí)的模型遷移檢測對(duì)比

表5　本文方法與有監(jiān)督方法的對(duì)比

5 結(jié)語

本文采用跨語言模型遷移學(xué)習(xí)和遷移檢測相結(jié)合方式構(gòu)建了攻擊性言論監(jiān)測器，實(shí)現(xiàn)了對(duì)低資源語言的攻擊性檢測。通過在BERT模型中遷移跨語言預(yù)訓(xùn)練語言模型mBERT，保證模型對(duì)多種語言的語義編碼能力，且減少多語語言模型訓(xùn)練過程中資源的耗費(fèi)。對(duì)BERT模型微調(diào)，實(shí)現(xiàn)在該語言中的攻擊性言論檢測。通過探索不同語言之間的語言相似度，提高在低資源語種中的攻擊性言論遷移檢測有效性。實(shí)驗(yàn)結(jié)果表明，本文方法確實(shí)能有效提高對(duì)低資源語種的遷移檢測效果。在今后的研究中，會(huì)嘗試將這種方法應(yīng)用在多種任務(wù)上，如其他自然語言處理領(lǐng)域的機(jī)器翻譯、文本生成等。

[1] MALMASI S， ZAMPIERI M. Challenges in discriminating profanity from hate speech［J］. Journal of Experimental and Theoretical Artificial Intelligence， 2018. 30（2）： 187-202.

[2] KUMAR R， OJHA A K， MALMASI S， et al. Benchmarking aggression identification in social media［C］// Proceedings of the 1st Workshop on Trolling， Aggression， and Cyberbullying. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1-11.

[3] NOBATA C， TETREAULT J， THOMAS A， et al. Abusive language detection in online user content［C］// Proceedings of the 25th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2016： 145-153.

[4] ROSENTHAL S， ATANASOVA P， KARADZHOV G， et al. SOLID： a large?scale semi?supervised dataset for offensive language identification［C］// Findings of the Association for Computational Linguistics： ACL?IJCNLP 2021. Stroudsburg， PA： Association for Computational Linguistics， 2021： 915-928.

[5] MUBARAK H， RASHED A， DARWISH K， et al. Arabic offensive language on Twitter： analysis and experiments［C］// Proceedings of the 6th Arabic Natural Language Processing Workshop. Stroudsburg， PA： Association for Computational Linguistics， 2021： 126-135.

[6] ??LTEKIN ?. A corpus of Turkish offensive language on social media［C］// Proceedings of the 12th Language Resources and Evaluation Conference. Paris： European Language Resources Association， 2020： 6174-6184.

[7] CASULA C， PALMERO APROSIO A， MENINI S， et al. FBK?DH at SemEval-2020 Task 12： using multi?channel BERT for multilingual offensive language detection［C］// Proceedings of the 14th Workshop on Semantic Evaluation. ［S.l.］： International Committee for Computational Linguistics， 2020： 1539-1545.

[8] FENG F X Y，YANG Y F， CER D， et al. Language?agnostic BERT sentence embedding［C］// Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2022： 878-891.

[9] PAMUNGKAS E W， PATTI V. Cross?domain and cross?lingual abusive language detection： a hybrid approach with deep learning and a multilingual lexicon［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics： Student Research Workshop. Stroudsburg， PA： Association for Computational Linguistics，2019： 363-370.

[10] WARNER W， HIRSCHBERG J. Detecting hate speech on the world wide web［C］// Proceedings of the 2nd Workshop on Language in Social Media. Stroudsburg， PA： Association for Computational Linguistics， 2012： 19-26.

[11] SAROJ A， PAL S. An Indian language social media collection for hate and offensive speech［C］// Proceedings of the 1st Workshop on Resources and Techniques for User and Author Profiling in Abusive Language. Paris： European Language Resources Association， 2020： 2-8.

[12] PATHAK V， JOSHI M， JOSHI P A， et al. KBCNMUJAL@ HASOC?Dravidian?CodeMix?FIRE2020： using machine learning for detection of hate speech and offensive code?mixed social media text［EB/OL］. （2021-02-19）［2021-08-10］.https：//arxiv.org/ftp/arxiv/papers/2102/2102.09866.pdf.

[13] 蘇金樹，張博鋒，徐昕. 基于機(jī)器學(xué)習(xí)的文本分類技術(shù)研究進(jìn)展［J］. 軟件學(xué)報(bào)， 2006， 17（9）： 1848-1859.（SU J S， ZHANG B F， XU X. Advances in machine learning based text categorization［J］. Journal of Software， 2006， 17（9）：1848-1859.）

[14] ZAMPIERI M， NAKOV P， ROSENTHAL S， et al. SemEval-2020 Task 12： multilingual offensive language identification in social media （OffensEval 2020）［C］// Proceedings of the 14th Workshop on Semantic Evaluation. ［S.l.］： International Committee for Computational Linguistics， 2020： 1425-1447.

[15] HOWARD J， RUDER S. Universal language model fine?tuning for text classification［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 328-339.

[16] LIU P， LI W， ZOU L. NULI at SemEval-2019 Task 6： transfer learning for offensive language detection using bidirectional transformers［C］// Proceedings of the 13th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2019： 87-91.

[17] PITENIS Z， ZAMPIERI M， RANASINGHE T. Offensive language identification in Greek［C］// Proceedings of the 12th Language Resources and Evaluation Conference. Paris： European Language Resources Association， 2020： 5113-5119.

[18] NIKOLOV A， RADIVCHEV V. Nikolov?Radivchev at SemEval-2019 Task 6： offensive tweet classification with BERT and ensembles［C］// Proceedings of the 13th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2019： 691-695.

[19] MAHESHAPPA P， MATHEW B， SAHA P. Using knowledge graphs to improve hate speech detection［C］// Proceedings of the 3rd ACM India Joint International Conference on Data Science and Management of Data. New York： ACM， 2021： 430-430.

[20] PHAM Q H， NGUYEN V A， DOAN L B， et al. From universal language model to downstream task： improving RoBERTa?based Vietnamese hate speech detection［C］// Proceedings of the 12th International Conference on Knowledge and Systems Engineering. Piscataway： IEEE， 2020： 37-42.

[21] AL?MAKHADMEH Z， TOLBA A . Automatic hate speech detection using killer natural language processing optimizing ensemble deep learning approach［J］. Computing， 2020， 102（2）：501-522.

[22] AYO F E， FOLORUNSO O， IBHARALU F T， et al. Hate speech detection in Twitter using hybrid embeddings and improved cuckoo search?based neural networks［J］. International Journal of Intelligent Computing and Cybernetics，2020， 13（4）：485-525.

[23] KAPIL P， EKBAL A. A deep neural network based multi?task learning approach to hate speech detection［J］. Knowledge?Based Systems， 2020， 210： No.106458.

[24] COLLA D， CASELLI T， BASILE V， et al. GruPaTo at SemEval-2020 Task 12： retraining mBERT on social media and fine?tuned offensive language models［C］// Proceedings of the 14th Workshop on Semantic Evaluation. ［S.l.］： International Committee for Computational Linguistics， 2020： 1546-1554.

[25] KUDUGUNTA S， BAPNA A， CASWELL I， et al. Investigating multilingual NMT representations at scale［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 1565-1575.

[26] KONDRATYUK D， STRAKA M. 75 languages， 1 model： parsing universal dependencies universally［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2779-2795.

[27] KUMAR A， SAUMYA S， SINGH J P . NITP?AI?NLP@HASOC? FIRE2020： fine tuned BERT for the hate speech and offensive content identification from social media［C］// Proceedings of the 12th Meeting of Forum for Information Retrieval Evaluation. Aachen： CEUR?WS.org， 2020： 266-273.

[28] LIBOVICKY J， ROSA R， FRASER A. How language?neutral is multilingual BERT？［EB/OL］. （2019-11-08）［2021-08-10］.https：//arxiv.org/pdf/1911.03310.pdf.

[29] ABE M， MIYAO J， KURITA T. q?SNE： visualizing data using q?Gaussian distributed stochastic neighbor embedding［C］// Proceedings of the 25th International Conference on Pattern Recognition. Piscataway： IEEE， 2021： 1051-1058.

[30] PATRA B， MONIZ J R A， GARG S， et al. Bilingual lexicon induction with semi?supervision in non?isometric embedding spaces［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics， Stroudsburg， PA： Association for Computational Linguistics， 2019： 184-193.

[31] ZAMPIERI M， MALMASI S， NAKOV P， et al. SemEval-2019 Task 6： identifying and categorizing offensive language in social media （OffensEval）［C］// Proceedings of the 13th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2019： 75-86.

Detection of unsupervised offensive speech based on multilingual BERT

SHI Xiayang1， ZHANG Fengyuan1， YUAN Jiaqi2， HUANG Min1*

（1，，450001，；2，，450001，）

Offensive speech has a serious negative impact on social stability. Currently， automatic detection of offensive speech focuses on a few high?resource languages， and the lack of sufficient offensive speech tagged corpus for low?resource languages makes it difficult to detect offensive speech in low?resource languages. In order to solve the above problem， a cross?language unsupervised offensiveness transfer detection method was proposed. Firstly， an original model was obtained by using the multilingual BERT （multilingual Bidirectional Encoder Representation from Transformers， mBERT）model to learn the offensive features on the high?resource English dataset. Then， by analyzing the language similarity between English and Danish， Arabic， Turkish， Greek， the obtained original model was transferred to the above four low?resource languages to achieve automatic detection of offensive speech on low?resource languages. Experimental results show that compared with the four methods of BERT， Linear Regression （LR）， Support Vector Machine （SVM） and Multi?Layer Perceptron （MLP）， the proposed method increases both the accuracy and F1 score of detecting offensive speech of languages such as Danish， Arabic， Turkish， and Greek by nearly 2 percentage points， which are close to those of the current supervised detection， showing that the combination of cross?language model transfer learning and transfer detection can achieve unsupervised offensiveness detection of low?resource languages.

cross?language model; offensive speech detection; BERT (Bidirectional Encoder Representation from Transformers); unsupervised method; Transfer Learning (TL)

This work is partially supported by Key Research and Development and Promotion Project of Henan Province （212102210547）.

SHI Xiayang， born in 1978，Ph. D.， lecturer. His research interests include natural language processing， machine translation.

ZHANG Fengyuan， born in 1998. Her research interests include natural language processing， machine translation.

YUAN Jiaqi， born in 1996， M. S. candidate. Her research interests include natural language processing， multimodal machine translation.

HUANG Min， born in 1972， Ph. D.， professor. His research interests include data mining， information processing.

TP391.1

A

1001-9081（2022）11-3379-07

10.11772/j.issn.1001-9081.2021112005

2021?11?25；

2021?12?31；

2022?01?14。

河南省重點(diǎn)研發(fā)與推廣專項(xiàng)（212102210547）。

師夏陽（1978—），男，河南魯山人，講師，博士，CCF會(huì)員，主要研究方向：自然語言處理、機(jī)器翻譯；張風(fēng)遠(yuǎn)（1998—），女，河南許昌人，主要研究方向：自然語言處理、機(jī)器翻譯；袁嘉琪（1996—），女，河南許昌人，碩士研究生，主要研究方向：自然語言處理、多模態(tài)機(jī)器翻譯；黃敏（1972—），男，河南南陽人，教授，博士，主要研究方向：數(shù)據(jù)挖掘、信息處理。