多模態(tài)語義協(xié)同交互的圖文聯(lián)合命名實(shí)體識(shí)別方法*

鐘維幸，王海榮，王 棟，車 淼

(北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，寧夏銀川 750021)

關(guān)鍵字：多模態(tài)命名實(shí)體識(shí)別 圖文數(shù)據(jù) 多模態(tài)注意力 圖像描述 語義融合

自媒體的廣泛應(yīng)用致使互聯(lián)網(wǎng)上的海量數(shù)據(jù)呈現(xiàn)圖像、文本、視頻等多模態(tài)交融態(tài)勢(shì)，這些數(shù)據(jù)具有語義互補(bǔ)性，因此，多模態(tài)數(shù)據(jù)的知識(shí)抽取和應(yīng)用成為研究熱點(diǎn)，作為基礎(chǔ)任務(wù)的多模態(tài)命名實(shí)體識(shí)別(Multimodal Named Entity Recognition，MNER)方法研究受到關(guān)注。

MNER領(lǐng)域的初期工作旨在將圖像信息利用起來以提升命名識(shí)別的效果，通過將單詞與圖像區(qū)域?qū)R的方式，獲取與文本相關(guān)的有效視覺上下文。Esteves等[1]首次在MNER任務(wù)中使用了視覺信息，將圖文聯(lián)合命名實(shí)體識(shí)別帶入研究者的視野。隨后，Zhang等[2]提出了一種基于雙向長(zhǎng)短時(shí)記憶(Long Short-Term Memory,LSTM)網(wǎng)絡(luò)模型(BiLSTM)和共注意力機(jī)制的自適應(yīng)共注意網(wǎng)絡(luò)，這是首個(gè)在MNER研究上有突出表現(xiàn)的工作。同年，Moon等[3]、Lu等[4]也相繼提出自己的MNER方法，前者提出一個(gè)通用的注意力模塊用于自適應(yīng)地降低或增強(qiáng)單詞嵌入、字符嵌入和視覺特征權(quán)重，后者則提出一個(gè)視覺注意模型，以尋找與文本內(nèi)容相關(guān)的圖像區(qū)域。在之前的工作中僅用單個(gè)單詞來捕捉視覺注意，該方式對(duì)視覺特征的利用存在不足，Arshad等[5]將自注意力機(jī)制擴(kuò)展到捕獲兩個(gè)詞和圖像區(qū)域之間的關(guān)系，并引入門控融合模塊，從文本和視覺特征中動(dòng)態(tài)選擇信息。但是在MNER中融合文本信息和圖像信息時(shí)，圖像并不總是有益的，如在Arshad等[5]和Lu等[4]的工作中均提及不相關(guān)圖像所帶來的噪聲問題，因此，如何在MNER中減小無關(guān)圖像的干擾成為研究重點(diǎn)。如Asgari-Chenaghlu等[6]擴(kuò)展設(shè)計(jì)了一個(gè)多模態(tài)BERT來學(xué)習(xí)圖像和文本之間的關(guān)系。Sun等[7,8]提出一種用于預(yù)測(cè)圖文相關(guān)性的文本圖像關(guān)系傳播模型，其可以幫助消除模態(tài)噪聲的影響。為了緩解視覺偏差的問題，Yu等[9]在其模型中加入實(shí)體跨度檢測(cè)模塊來指導(dǎo)最終的預(yù)測(cè)。而Liu等[10]則結(jié)合貝葉斯神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)一種不確定性感知的MNER框架，減少無關(guān)圖像對(duì)實(shí)體識(shí)別的影響。Tian等[11]提出分層自適應(yīng)網(wǎng)絡(luò)(Hierarchical Self-adaptation Network，HSN)來迭代地捕獲不同表示的子空間中更多的跨模態(tài)語義交互。

上述方法學(xué)習(xí)了粗粒度的視覺對(duì)象與文本實(shí)體之間的關(guān)系。但粗粒度特征可能會(huì)忽略細(xì)粒度視覺對(duì)象與文本實(shí)體之間的映射關(guān)系，進(jìn)而導(dǎo)致不同類型實(shí)體的錯(cuò)誤檢測(cè)。為此，一些研究開始探索細(xì)粒度的視覺對(duì)象與文本實(shí)體之間的關(guān)系。Zheng等[12]提出一種對(duì)抗性門控雙線性注意神經(jīng)網(wǎng)絡(luò)，將文本和圖像的不同表示映射為共享表示。Wu等[13]提出一種針對(duì)細(xì)粒度交互的密集協(xié)同注意機(jī)制，它將對(duì)象級(jí)圖像信息和字符級(jí)文本信息相結(jié)合來預(yù)測(cè)實(shí)體。Zhang等[14]提出一種多模態(tài)圖融合方法，充分利用了不同模態(tài)語義單元之間的細(xì)粒度語義。除了直接利用圖像的原始信息，一些額外信息的加入也有益于MNER任務(wù)，如Chen等[15]在其模型中引入圖像屬性和圖像知識(shí)，Chen等[16]則將圖像的描述作為豐富MNER的上下文的一種方法。

當(dāng)前，MNER仍面臨兩大挑戰(zhàn):一是無關(guān)的圖像信息帶來的噪聲干擾，二是圖文語義交互中有效語義信息的丟失。為此，本文提出一種新的多模態(tài)語義協(xié)同交互的圖文聯(lián)合命名實(shí)體識(shí)別(Image-Text Joint Named Entity Recognition，ITJNER)模型，引入圖像描述以增強(qiáng)視覺數(shù)據(jù)的特征表示，建立多注意力機(jī)制耦合的多模態(tài)協(xié)同交互模塊，通過多個(gè)跨模態(tài)注意力機(jī)制實(shí)現(xiàn)模態(tài)間語義的充分交互并過濾錯(cuò)誤圖像所帶來的噪聲信息，實(shí)現(xiàn)圖文聯(lián)合下命名實(shí)體的有效識(shí)別。

1 方法模型

ITJNER模型通過協(xié)同表示學(xué)習(xí)圖像、文本的深層特征，使用自注意力、跨模態(tài)注意力、門控機(jī)制通過協(xié)同交互的方式實(shí)現(xiàn)跨模態(tài)語義交互，并加入條件隨機(jī)場(chǎng)，利用標(biāo)簽間的依賴關(guān)系得到最優(yōu)的預(yù)測(cè)標(biāo)簽序列。具體模型如圖1所示。圖1展示了本方法的核心處理流程，其主要包含多模態(tài)特征表示、多模態(tài)協(xié)同交互與序列標(biāo)注兩個(gè)核心模塊。

圖1 圖文聯(lián)合命名實(shí)體識(shí)別模型的整體架構(gòu)

2 多模態(tài)特征表示

對(duì)圖像與文本進(jìn)行多模態(tài)特征表示是圖文聯(lián)合命名實(shí)體識(shí)別工作的基礎(chǔ)，大量研究表明，將文本表示和視覺表示作為多模態(tài)特征相結(jié)合，可以提高語義提取任務(wù)的性能[17,18]。為方便描述對(duì)圖文特征的抽取與表示工作，將圖文對(duì)數(shù)據(jù)集形式化地表示為

(1)

其中，I為圖像，S為文本，N為圖像-文本數(shù)。

2.1 文本特征抽取與表示

對(duì)文本特征的抽取是命名實(shí)體識(shí)別任務(wù)的基本，更加輕量化且不影響性能的模型有助于降低后續(xù)從算法模型到應(yīng)用落地的難度，因此本文采用ALBERT模型[19]對(duì)文本進(jìn)行特征提取。ALBERT是一個(gè)輕量級(jí)的BERT模型，其參數(shù)比BERT-large更少且效果更好，為了降低參數(shù)量和增強(qiáng)語義理解能力，其引入詞嵌入矩陣分解和跨層參數(shù)共享策略，并使用句子順序預(yù)測(cè)(Sentence Order Prediction，SOP)任務(wù)替換原先的下一句預(yù)測(cè)(Next Sentence Prediction，NSP)任務(wù)。在模型中使用多層雙向Transformer編碼器對(duì)輸入序列進(jìn)行編碼，其模型結(jié)構(gòu)見圖2。圖2展示了ALBERT模型的核心結(jié)構(gòu)，包含輸入層、編碼層、輸出層，其中每一個(gè)Trm對(duì)應(yīng)一個(gè)Transformer編碼器。

圖2 ALBERT模型結(jié)構(gòu)圖

由于數(shù)據(jù)集文本可能存在無用的特殊字符，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)每個(gè)輸入句子S進(jìn)行標(biāo)記處理，對(duì)不存在的字符使用[UNK]替代，并分別在每個(gè)句子的開頭和結(jié)尾插入兩個(gè)特殊的標(biāo)記即[CLS]和[SEP]。形式上，設(shè)S=[S0，S1，S2，…，Sn+1]為修改后的輸入句子，其中S0和Sn+1表示插入的兩個(gè)令牌。設(shè)E=[E0，E1，E2，…，En+1]為句子S的標(biāo)記表示，其中Ei為字符向量、分段向量和位置向量的和。將E作為ALBERT編碼層的輸入。

T=ALBERT(E)，

(2)

T=[T0，T1，T2，…，Tn+1]為模型的輸出向量，其中Ti∈d為Ei生成的上下文感知表示，d是向量的維數(shù)。在獲得文本特征表示的同時(shí)，對(duì)圖像與圖像描述特征進(jìn)行特征抽取。

2.2 圖像及圖像描述特征的抽取與表示

2.2.1 圖像特征抽取

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)的最新研究進(jìn)展顯示，更強(qiáng)的多尺度表示能力可以在廣泛的應(yīng)用中對(duì)圖像特征的提取帶來性能增益，因此本文采用預(yù)訓(xùn)練過的Res2Net[20]來提取圖像特征。Res2Net在粒度級(jí)別表示多尺度特征，并增加了每個(gè)網(wǎng)絡(luò)層的感受野，相比于傳統(tǒng)ResNet網(wǎng)絡(luò)，其在不增加計(jì)算復(fù)雜度的情況下，提高了網(wǎng)絡(luò)的特征表示能力。更深層次的網(wǎng)絡(luò)已經(jīng)被證明對(duì)視覺任務(wù)具有更強(qiáng)的表示能力[21]，在綜合考慮模型的性能與模型訓(xùn)練效率后，本文最終選擇采用101層的Res2Net (Res2Net-101)用于圖像特征的提取與表示。

不同圖文對(duì)數(shù)據(jù)中的圖像大小可能不同，因此首先將它們的大小統(tǒng)一縮放為224×224像素，并經(jīng)隨機(jī)剪切、歸一化等圖像預(yù)處理方法進(jìn)行數(shù)據(jù)增強(qiáng)；然后將調(diào)整后的圖像輸入Res2Net-101，如式(3)所示。

U=Res2Net(I)，I∈D。

(3)

本文在預(yù)訓(xùn)練的Res2Net-101中保留了最后一個(gè)卷積層輸出，以表示每幅圖像，遵循大部分研究對(duì)卷積核大小的設(shè)置，經(jīng)Res2Net進(jìn)行特征抽取后，獲得7×7=49個(gè)視覺塊特征U=(u1，u2，…，u49)，其中ui是第i個(gè)視覺塊，由2 048維向量表示。在將圖文特征輸入多模態(tài)協(xié)同交互模塊前需保持圖文特征向量的維度一致，因此對(duì)視覺塊特征U應(yīng)用線性變換得到V=(v1，v2，…，v49)，如式(4)所示。

(4)

其中，Wu∈2048×d是一個(gè)權(quán)重矩陣。

2.2.2 圖像描述特征抽取

為了加強(qiáng)圖像與文本間的語義融合，本文加入圖像描述，并將其視為圖文間的過渡信息特征，描述可以幫助過濾掉從圖像特征中引入的噪聲，同時(shí)也可以更好地總結(jié)圖像的語義。本文使用包含視覺注意力的編解碼框架的描述生成模型來生成圖像描述，如圖3所示。

圖3 圖像描述模型

使用圖像特征提取到的視覺塊特征U作為長(zhǎng)短時(shí)記憶(LSTM)網(wǎng)絡(luò)的輸入，LSTM網(wǎng)絡(luò)通過動(dòng)態(tài)地選擇圖像特征，提取句子內(nèi)部單詞之間的句法特征、單詞位置編碼信息，學(xué)習(xí)圖像特征與句法特征、單詞特征之間的映射關(guān)系，同時(shí)加入注意力機(jī)制，賦予不同視覺區(qū)域以不同的權(quán)重，以此緩解視覺噪聲干擾。將加權(quán)圖像特征輸入LSTM，將圖像信息逐字轉(zhuǎn)換為自然語言，輸出目標(biāo)為

L=[L0,L1,L2,…,Ln+1]，Li∈k

(5)

其中k是詞匯表的大小，n是描述句的長(zhǎng)度，Li代表句子中的第i個(gè)單詞。再將描述L作為輸入，使用ALBERT編碼器，得到C=[C0,C1,C2,…,Cn+1]，其中Ci∈d是Li生成的上下文表示，d是向量的維數(shù)。在得到多模態(tài)表示后將其作為協(xié)同交互模塊的輸入，實(shí)現(xiàn)多模態(tài)特征的語義交互。

3 多模態(tài)協(xié)同交互與序列標(biāo)注

多模態(tài)協(xié)同交互模塊獲取圖像、文本、圖像描述特征，利用圖像引導(dǎo)進(jìn)行文本模態(tài)融合、文本引導(dǎo)進(jìn)行圖像模態(tài)融合，實(shí)現(xiàn)不同特征的語義交互，減少視覺偏差。圖4展示了多模態(tài)協(xié)同交互模塊的具體框架結(jié)構(gòu)，其中包括了以文本向量為鍵值的跨模態(tài)注意力、以圖像向量為鍵值的跨模態(tài)注意力、以原始文本向量為鍵值的非標(biāo)準(zhǔn)自注意力、視覺門控機(jī)制。

如圖4所示，在ALBERT模型得到的輸出后添加一個(gè)標(biāo)準(zhǔn)的自注意力層，以獲得每個(gè)單詞的文本隱藏層表示R=(r0，r1，…，rn+1)，其中ri∈d為生成的文本隱藏層表示。對(duì)圖像描述特征C和視覺塊特征U線性變換所得的視覺塊特征V各添加一個(gè)標(biāo)準(zhǔn)自注意力層，分別得到圖像描述與圖像的隱藏層表示：

O=(o0,o1,o2,…,on+1)，

(6)

W=(w1,w2,…,w49)，

(7)

其中oi∈d為生成的圖像描述隱藏層表示，wi∈d為生成的圖像隱藏層表示。

3.1 圖像引導(dǎo)的文本模態(tài)融合

如圖4左側(cè)所示，為了利用相關(guān)圖像學(xué)習(xí)更好的文本表示，本文采用多頭跨模態(tài)注意力機(jī)制，先利用圖像描述來引導(dǎo)文本融合，將O∈d×(n+1)作為查詢，將R∈d×(n+1)作為鍵和值，將m設(shè)為多頭數(shù)：

Ai(O,R)=

(8)

MHA(O,R)=WO[A1(O,R),…，Am(O,R)]T,

(9)

其中Ai指跨模態(tài)注意力的第i個(gè)頭，MHA表示多頭注意力，{Wqi,Wki,Wvi}∈d/m×d和W0∈d×d分別表示查詢、鍵、值和多頭注意力的權(quán)重矩陣。在跨模態(tài)注意層的輸出后堆疊前饋網(wǎng)絡(luò)和層歸一化等，另外3個(gè)子層得到描述感知文本表示P=(p0,p1,…,pn+1)，如式(10)-(11)所示：

(10)

(11)

其中FFN表示前饋網(wǎng)絡(luò)，LN表示層歸一化。在利用圖像描述填補(bǔ)了文本與相關(guān)圖像間的語義空白后，再利用圖像與描述感知文本做跨模態(tài)注意力，將W∈d×49作為查詢，將P∈d×(n+1)作為鍵和值，與文本和描述的融合方法相似，疊加3個(gè)子層后輸出Z=(z1,z2,…,z49)，由于以視覺表示作為查詢，所以生成的向量zi都對(duì)應(yīng)于第i個(gè)視覺塊，而非第i個(gè)輸入字符，因此另外加入一個(gè)跨模態(tài)注意力層，以文本表示R作為查詢，并將Z作為鍵和值，該跨模態(tài)注意力層生成最終的圖像感知文本表示H=(h0,h1,…,hn+1)。

圖4 多模態(tài)協(xié)同交互模塊的框架結(jié)構(gòu)

3.2 文本引導(dǎo)的圖像模態(tài)融合

為了將每個(gè)單詞與其密切相關(guān)的視覺塊對(duì)齊，加入跨模態(tài)注意力層為視覺塊分配不同的注意力權(quán)重。將P作為查詢，W作為鍵和值。與圖像引導(dǎo)的文本模態(tài)融合對(duì)稱，文本引導(dǎo)的圖像模態(tài)融合會(huì)生成具有單詞感知能力的視覺表示，用Q=(q0，q1，…，qn+1)表示。

相關(guān)圖像中，部分文本中的一些視覺塊可能與單詞沒有任何關(guān)聯(lián)，同時(shí)，文本中的一些單詞如助詞、數(shù)詞等也與視覺塊少有關(guān)聯(lián)。因此，本文應(yīng)用一個(gè)視覺門控來動(dòng)態(tài)控制每個(gè)視覺塊特征的貢獻(xiàn)，如式(12)所示：

g=σ((Wh)TH+(Wq)TQ),

(12)

其中{Wh，Wq}∈d×d是權(quán)重矩陣，σ是元素級(jí)的S型激活函數(shù)?；趧?dòng)態(tài)視覺門控，得到最終的文本感知視覺表示為G=(g0，g1，…，gn+1)。

在得到最終的圖像感知文本表示H和最終的文本感知視覺表示G后，本文將H和G拼接，得到圖像與文本最終融合的隱藏層表示A=(a0，a1，…，an+1)，其中ai∈2d。

3.3 標(biāo)簽依賴的序列標(biāo)注

在命名實(shí)體識(shí)別任務(wù)中，輸出標(biāo)簽對(duì)其鄰域有著強(qiáng)依賴性，如I-LOC不會(huì)出現(xiàn)在B-PER后。多模態(tài)協(xié)同交互只考慮了圖文對(duì)數(shù)據(jù)中上下文的信息，而沒有考慮標(biāo)簽間的依賴關(guān)系，因此，本文添加了一個(gè)條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)來標(biāo)記全局最優(yōu)序列，并將隱藏層表示A轉(zhuǎn)化為最佳標(biāo)記序列y=(y0，y1，…，yn+1)，CRF可以有效提升此類任務(wù)的性能。本文對(duì)給定的輸入句子S及其關(guān)聯(lián)圖像I的標(biāo)簽序列y計(jì)算如下：

(13)

(14)

(15)

(16)

經(jīng)上述學(xué)習(xí)得到全局最優(yōu)標(biāo)注序列。

4 驗(yàn)證實(shí)驗(yàn)及結(jié)果分析

4.1 數(shù)據(jù)集和方法驗(yàn)證

為驗(yàn)證本文提出的方法，使用python語言，利用pytorch等技術(shù)在Ubuntu系統(tǒng)上搭建實(shí)驗(yàn)環(huán)境，在Twitter-2015和Twitter-2017兩個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)集信息如表1所示。

對(duì)于實(shí)驗(yàn)中比較的每種單模態(tài)和多模態(tài)方法，考慮到文本數(shù)據(jù)的實(shí)際輸入范圍，將句子輸入的最大長(zhǎng)度設(shè)置為128?？紤]到訓(xùn)練速度的內(nèi)存大小，將批處理大小設(shè)置為8。對(duì)于本方法，對(duì)預(yù)訓(xùn)練語言模型的參數(shù)設(shè)置大多數(shù)遵循原始論文設(shè)置。使用ALBERT-Base模型進(jìn)行文本抽取初始化，使用預(yù)訓(xùn)練的Res2Net-101來初始化視覺表示，并在訓(xùn)練中保持大小固定。對(duì)于多頭自注意力層和多頭跨模態(tài)注意力層，考慮訓(xùn)練效率與精度，在經(jīng)過調(diào)整訓(xùn)練后使用12個(gè)頭和768個(gè)隱藏單元。同時(shí)，經(jīng)過對(duì)超參數(shù)多次微調(diào)，將學(xué)習(xí)率、dropout率和權(quán)衡參數(shù)λ分別設(shè)置為5e-5,0.1和0.5，可以在兩個(gè)數(shù)據(jù)集的開發(fā)集上獲得最好的性能。

表1 數(shù)據(jù)集詳情

本實(shí)驗(yàn)使用召回率(Recall)、準(zhǔn)確率(Precision)、F1值作為實(shí)驗(yàn)評(píng)價(jià)指標(biāo)，與HBiLSTM-CRF-GVATT[5]、BERT-CRF-GVATT[5]、AdaCAN-CNN-BiLSTM-CRF[3]等12種方法的對(duì)比結(jié)果如表2所示。

表2 對(duì)比實(shí)驗(yàn)結(jié)果

續(xù)表

4.2 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)結(jié)果表明，圖文聯(lián)合方法通?？梢垣@得更好的性能，本文方法在Twitter-2017數(shù)據(jù)集上的準(zhǔn)確率、召回率、F1值較對(duì)比方法中的最優(yōu)方法UMGF分別提高了0.67%、2.26%和0.93%；在Twitter-2015數(shù)據(jù)集上，召回率提高了0.19%。

對(duì)于單模態(tài)方法，預(yù)訓(xùn)練的方法明顯優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。例如，BERT-CRF在Twitter-2017數(shù)據(jù)集上準(zhǔn)確率、召回率、F1值的表現(xiàn)比HiBiLSTM-CRF分別高出0.29%、6.3%和3.34%，表明預(yù)訓(xùn)練模型在NER中具有明顯的優(yōu)勢(shì)。使用CRF解碼的BERT-CRF的性能優(yōu)于使用softmax的BERT-softmax，說明CRF層對(duì)NER的有效性。通過對(duì)比單模態(tài)與多模態(tài)方法，可以看到多模態(tài)方法的性能明顯優(yōu)于單模態(tài)方法。例如，加入視覺門控注意力后，在兩個(gè)數(shù)據(jù)集上HBiLSTM-CRF較之前的F1值分別提高了1.63%和1.5%。此外，相較于AGBAN、UMT-BERT-CRF等未使用圖像描述的模型，本文方法的性能表現(xiàn)更好，表明結(jié)合圖像描述有助于完成NER任務(wù)。

針對(duì)本文方法在Twitter-2015數(shù)據(jù)集上表現(xiàn)不佳的情況，本文對(duì)數(shù)據(jù)集的內(nèi)容進(jìn)行分析，統(tǒng)計(jì)兩個(gè)數(shù)據(jù)集的實(shí)體分布狀態(tài)，通過對(duì)比圖文間實(shí)體分布的不同，反映出數(shù)據(jù)集的圖文關(guān)聯(lián)程度，并人工抽樣統(tǒng)計(jì)數(shù)據(jù)集的圖文關(guān)聯(lián)度，如圖5所示。

從圖5可以看到數(shù)據(jù)集中文本實(shí)體分布與圖像實(shí)體分布之間的差異，圖像實(shí)體與文本實(shí)體并不是完全對(duì)應(yīng)的，圖像中的實(shí)體對(duì)象總量一般會(huì)多于其對(duì)應(yīng)的文本所含的命名實(shí)體數(shù)量，這一差別也體現(xiàn)了數(shù)據(jù)集中圖像文本對(duì)之間存在無關(guān)聯(lián)或弱關(guān)聯(lián)情況。對(duì)比數(shù)據(jù)集的圖文內(nèi)容后發(fā)現(xiàn)，Twitter-2015中圖文無關(guān)聯(lián)或弱關(guān)聯(lián)現(xiàn)象比Twitter-2017中更多，而對(duì)本文所提出的方法，圖像描述與圖像本身有著更高的關(guān)聯(lián)性，因此，在圖文無關(guān)聯(lián)或弱關(guān)聯(lián)的圖文對(duì)數(shù)據(jù)中，圖像描述與文本的語義差距會(huì)更大，這也意味著在進(jìn)行命名實(shí)體識(shí)別時(shí)，帶入了無關(guān)的噪聲數(shù)據(jù)。由此分析，本文提出的加強(qiáng)圖文間融合的方法可以為圖文存在相關(guān)性的MNER帶來益處，但對(duì)于圖文顯著無關(guān)的情況仍有待改進(jìn)。

圖5 數(shù)據(jù)集實(shí)體量對(duì)比圖

4.3 消融實(shí)驗(yàn)

為了研究本文圖文聯(lián)合命名實(shí)體識(shí)別模型中模塊的有效性，對(duì)模型的核心部件進(jìn)行消融實(shí)驗(yàn)。如表3所示，圖像描述、視覺門控、圖像感知文本融合均對(duì)模型生效起重要影響，在去掉圖像描述后，模型在Twitter-2017數(shù)據(jù)集上的表現(xiàn)明顯變差，而在Twitter-2015數(shù)據(jù)集上的表現(xiàn)卻并沒有下滑甚至略有提升，這佐證了4.2節(jié)的觀點(diǎn)，即加入圖像描述所帶來的影響會(huì)因圖文數(shù)據(jù)關(guān)聯(lián)度不同而不同，圖文間關(guān)聯(lián)度更大，可以為NER任務(wù)提供幫助；若圖文間關(guān)聯(lián)度不足則可能會(huì)起到相反的作用。在多模態(tài)協(xié)同交互模塊中，去除圖像感知文本表示后性能明顯下降，顯示它對(duì)模型有不可或缺的作用。而去除視覺門控也會(huì)導(dǎo)致輕微的性能下降，這體現(xiàn)了它對(duì)整個(gè)模型有著一定的重要性。

表3 消融實(shí)驗(yàn)

5 總結(jié)

本文針對(duì)現(xiàn)有MNER研究中存在的噪聲影響和圖文語義融合不足的問題，提出了一種多模態(tài)語義協(xié)同交互的圖文聯(lián)合命名實(shí)體識(shí)別(ITJNER)模型。以圖像描述豐富多模態(tài)特征表示和圖像語義信息的表達(dá)，減少圖文交互中有效語義信息的丟失，提出一種將多頭跨模態(tài)注意力、多頭自注意力、門控機(jī)制相互耦合的多模態(tài)協(xié)同交互方法，可以在實(shí)現(xiàn)圖文語義間有效融合的同時(shí)，抑制多模態(tài)交互中的不完整或錯(cuò)誤的語義信息。實(shí)驗(yàn)結(jié)果表明，本模型有助于提取圖文間的共同語義信息且在圖文關(guān)聯(lián)度更高的數(shù)據(jù)中表現(xiàn)更優(yōu)，但本模型對(duì)于圖文關(guān)聯(lián)度較低的數(shù)據(jù)的準(zhǔn)確率仍有待提升。

在未來的工作中，考慮增強(qiáng)模型對(duì)圖文不相關(guān)數(shù)據(jù)的處理能力，能夠排除過濾無關(guān)數(shù)據(jù)噪聲對(duì)模型的影響，以獲得一個(gè)更健壯的NER模型，同時(shí)考慮通過融合知識(shí)圖譜實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的語義表達(dá)，并反向推動(dòng)知識(shí)圖譜的構(gòu)建。