高速公路突發(fā)事件實(shí)體識(shí)別及事件分類聯(lián)合模型研究

范曉武 葛嘉恒

摘? 要： 針對(duì)高速公路突發(fā)事件實(shí)體識(shí)別和事件分類任務(wù)中文本表征時(shí)存在的一詞多義問(wèn)題，提出使用層次多頭注意力網(wǎng)絡(luò)HMAN來(lái)學(xué)習(xí)文本字向量的高層次特征表示，結(jié)合經(jīng)典的BiLSTM-CRF模型，構(gòu)建一個(gè)稱為HMAN-BiLSTM-CRF的多任務(wù)聯(lián)合學(xué)習(xí)模型。模型共享文本特征表示模塊，使用CRF對(duì)共享表征進(jìn)行解碼獲得最優(yōu)實(shí)體標(biāo)注序列，而全連接層則根據(jù)輸入的文本特征預(yù)測(cè)事件類別。在FEIC數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，本文所提出的HMAN-BiLSTM-CRF在突發(fā)事件實(shí)體識(shí)別和分類兩項(xiàng)任務(wù)中都優(yōu)于其他對(duì)比模型。

關(guān)鍵詞： 實(shí)體識(shí)別; 事件分類; 層次多頭注意力網(wǎng)絡(luò); HMAN-BiLSTM-CRF模型

中圖分類號(hào)：TP391.1????????? 文獻(xiàn)標(biāo)識(shí)碼：A???? 文章編號(hào)：1006-8228（2021）01-11-05

Research on the joint model of entity recognition and event

classification of freeway emergency

Fan Xiaowu， Ge Jiaheng

（Zhejiang Comprehensive Transportation Big Data Center Co.， Ltd.， Hangzhou， Zhejiang 310018， China）

Abstract： Aiming at the polysemy problem in text representation in freeway emergency entity recognition and event classification tasks， this paper proposes to use a hierarchical multi-head self-attention network to learn high-level feature representations of text word vectors， and combines with the classic BiLSTM-CRF Model to construct a multi-task joint learning model called HMAN-BiLSTM-CRF. The model shares the text feature representation module， and uses CRF to decode the shared representation to obtain the optimal entity annotation sequence. Meanwhile， the fully connected layer predicts the event category according to the input text feature. The experimental results on the FEIC data set show that the HMAN-BiLSTM-CRF proposed in this paper is superior to other comparison models in the two tasks of emergency entity recognition and classification.

Key words： entity recognition; event classification; hierarchical multi-head self-attention network; HMAN-BiLSTM-CRF model

0 引言

隨著我國(guó)高速公路建設(shè)規(guī)模的不斷增長(zhǎng)與道路交通量的快速增加，交通事故、惡劣天氣、道路擁堵，以及?；沸孤兜雀咚俟吠话l(fā)事件日益增長(zhǎng)，嚴(yán)重影響高速公路的通行能力和運(yùn)營(yíng)效率。當(dāng)高速公路突發(fā)事件發(fā)生后，交通應(yīng)急指揮部門應(yīng)根據(jù)報(bào)警信息快速定位事故點(diǎn)，調(diào)配應(yīng)急救援物資并制定最佳救援路徑，使高速公路能夠迅速恢復(fù)平穩(wěn)通行。在整個(gè)應(yīng)急救援實(shí)施的過(guò)程中，精確確定事發(fā)點(diǎn)并分析出事件類別是應(yīng)急救援能夠正確、順利開(kāi)展的關(guān)鍵。然而，突發(fā)事件報(bào)警信息大多以語(yǔ)義來(lái)表述事發(fā)地理位置和事件情況，如何識(shí)別出突發(fā)事件位置等實(shí)體信息并對(duì)事件進(jìn)行分類是亟待解決的問(wèn)題，兩者本質(zhì)上是自然語(yǔ)言處理領(lǐng)域的經(jīng)典任務(wù)：命名實(shí)體識(shí)別和文本分類。

目前，國(guó)內(nèi)外對(duì)特定領(lǐng)域?qū)嶓w識(shí)別的研究已有很多，研究方法主要包括基于規(guī)則的方法[1]、基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法[2]以及基于深度神經(jīng)網(wǎng)絡(luò)的方法。將深度神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）相結(jié)合的模型取得了比較有競(jìng)爭(zhēng)力的結(jié)果，此類模型先利用神經(jīng)網(wǎng)絡(luò)自動(dòng)提取文本特征，再通過(guò)CRF進(jìn)行實(shí)體標(biāo)簽預(yù)測(cè)。比如，Xu等人[3]提出將雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory neural network，BiLSTM）與CRF結(jié)合起來(lái)構(gòu)建基于BiLSTM-CRF的模型，在NCBI疾病語(yǔ)料庫(kù)上取得了80.22% 的F1值;李等人[4]在BiLSTM-CRF模型的基礎(chǔ)上融入了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）訓(xùn)練字符級(jí)向量，提出了CNN-BLSTM-CRF模型進(jìn)行生物醫(yī)學(xué)命名實(shí)體識(shí)別，在Biocreative II GM和JNLPBA 2004數(shù)據(jù)集上的F1值分別達(dá)到了89.09%和74.40%。張等人[5]將生成式對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）與基于注意力機(jī)制的BiLSTM-CRF模型相結(jié)合，構(gòu)建了一種新的實(shí)體識(shí)別模型BiLSTM-Attention-CRF-Crowd，在信息安全領(lǐng)域的眾包標(biāo)注數(shù)據(jù)集上取得了較高的F1值87.2%。

高速突發(fā)事件分類是指根據(jù)事件的起因、影響等因素將其歸類到某個(gè)類別中，屬于文本分類任務(wù)中的單標(biāo)簽多分類問(wèn)題。文本分類的核心是文本特征表示，基于深度神經(jīng)網(wǎng)絡(luò)的方法在此方面表現(xiàn)出很好的性能成為了研究的主流模型。先前的研究大多使用基于CNN[6]或基于循環(huán)神經(jīng)網(wǎng)路（Recurrent Neural Network，RNN）[7-8]的單一神經(jīng)網(wǎng)絡(luò)模型處理文本分類問(wèn)題，但受限于網(wǎng)絡(luò)結(jié)構(gòu)，這兩類模型在提取文本特征時(shí)具有一定的局限性。最近研究者嘗試將不同的神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)以利用他們的優(yōu)點(diǎn)，取得了非常顯著的研究進(jìn)展。Zhang等人[9]提出了一個(gè)結(jié)合CNN和LSTM的情感分類模型CNN-LSTM的，模型首先使用CNN提取文本序列的局部N-Gram特征，然后通過(guò)LSTM學(xué)習(xí)文本的語(yǔ)義表示并輸出分類結(jié)果。Li等人[10]提出的BLSTM-C模型利用BiLSTM從正向和逆向同時(shí)處理輸入序列，獲取能夠捕捉雙向語(yǔ)義依賴的文本表示，并輸入到CNN進(jìn)行特征提取和分類。

實(shí)體識(shí)別和文本分類通常被視為兩個(gè)不同的任務(wù)獨(dú)立進(jìn)行，但實(shí)際上這兩個(gè)任務(wù)是相關(guān)的，兩者可以共享底層的文本特征表示，進(jìn)行聯(lián)合訓(xùn)練。目前，多任務(wù)聯(lián)合學(xué)習(xí)模型已被廣泛應(yīng)用。Wu等人[11]提出使用CNN-LSTM-CRF模型來(lái)進(jìn)行命名實(shí)體識(shí)別任務(wù)和分詞任務(wù)的聯(lián)合學(xué)習(xí)，提高了識(shí)別實(shí)體邊界的準(zhǔn)確率。Zhang等人[12]提出了CNN-BiLSTM-CRF模型來(lái)識(shí)別實(shí)體及其關(guān)系，使兩個(gè)任務(wù)的效果都得到了提升，達(dá)到了聯(lián)合處理的目的。這兩個(gè)模型都使用CNN來(lái)訓(xùn)練高層次字符向量，但CNN只能提取文本序列的局部特征，無(wú)法捕捉長(zhǎng)距離依賴關(guān)系。

受Vaswani等人[13]在機(jī)器翻譯中提出的Transformer網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，本文提出使用層次多頭自注意力網(wǎng)絡(luò)HMAN（Hierarchical Multi-head Self-attention Network）來(lái)訓(xùn)練字符特征向量，自注意力網(wǎng)絡(luò)能夠直接建立文本序列中不同位置之間的關(guān)系，所以使用層次多頭自注意力網(wǎng)絡(luò)訓(xùn)練出的字符特征向量具有全局語(yǔ)義信息，從而解決了突發(fā)事件文本特征表示時(shí)存在的一字多義問(wèn)題。

本文提出了一個(gè)多任務(wù)聯(lián)合模型同時(shí)完成高速突發(fā)事件實(shí)體識(shí)別和事件分類任務(wù)，該模型將層次多頭自注意力網(wǎng)絡(luò)HMAN和BiLSTM相結(jié)合來(lái)學(xué)習(xí)輸入文本的共享表征，并輸入到CRF和全連接網(wǎng)絡(luò)分別進(jìn)行實(shí)體識(shí)別和事件分類，從而構(gòu)建出一個(gè)稱為HMAN-BiLSTM-CRF的聯(lián)合學(xué)習(xí)模型。在高速突發(fā)事件語(yǔ)料庫(kù)上的實(shí)驗(yàn)結(jié)果表明，與其他對(duì)比基線模型相比，HMAN-BiLSTM-CRF模型在各評(píng)價(jià)指標(biāo)上都有顯著提升。

1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)標(biāo)注

本文實(shí)驗(yàn)所使用的數(shù)據(jù)由杭州市高速公路管理相關(guān)部門提供，我們對(duì)其進(jìn)行了預(yù)處理和實(shí)體分類標(biāo)注，從而建立了一個(gè)基于實(shí)體識(shí)別和事件分類的高速突發(fā)事件語(yǔ)料庫(kù)FEIC。這個(gè)數(shù)據(jù)集中包含15937個(gè)用于訓(xùn)練的突發(fā)事件示例、2601個(gè)用于驗(yàn)證的突發(fā)事件示例以及3985個(gè)用于測(cè)試的突發(fā)事件示例。

本文采用人工標(biāo)注方式對(duì)高速突發(fā)事件實(shí)體進(jìn)行標(biāo)注。為了更加清晰地劃分實(shí)體邊界，在對(duì)高速突發(fā)事件語(yǔ)料進(jìn)行實(shí)體標(biāo)注時(shí)采用BIEO（Begin，Inside，End，Outside）標(biāo)簽方案。B表示高速突發(fā)事件實(shí)體的第一個(gè)字符，I表示實(shí)體的內(nèi)部字符，E表示實(shí)體的結(jié)尾字符，O表示非實(shí)體字符。表1展示了實(shí)體類型及其具體標(biāo)注方法。給定一個(gè)含有n個(gè)字符的高速突發(fā)事件文本句子[S={w1，w2，…，wn}]，

采用上述標(biāo)注方法標(biāo)記句子[S]的每個(gè)字符[wi]。同時(shí)，本文將高速公路突發(fā)事件進(jìn)行了分類標(biāo)注，每個(gè)類別的數(shù)據(jù)分布情況如表2所示。

2 HMAN-BiLSTM-CRF模型

2.1 模型概述

HMAN-BiLSTM-CRF模型的結(jié)構(gòu)如圖1所示，包括字符編碼層、HMAN層、BiLSTM層、CRF層以及FNN層。模型首先將輸入的文本序列隨機(jī)初始化為高維度數(shù)值向量矩陣，然后使用HMAN訓(xùn)練字符向量的高層次特征表示，并輸入到BiLSTM提取文本的上下文特征，最后，CRF層對(duì)BiLSTM層輸出的共享表征進(jìn)行解碼獲得實(shí)體標(biāo)記序列，全連接層的作用是對(duì)事件進(jìn)行分類。

2.2 字符編碼層

模型的第一層是字符嵌入層，目的是將輸入的文本句子映射為高維度數(shù)值向量序列。假設(shè)輸入的突發(fā)事件文本句子為[S={w1，w2，…，wn}]，本文使用隨機(jī)初始化的嵌入矩陣將每個(gè)字符[wi ]表示為字符向量[xi∈Rd]，[d]為字符向量的維度，那么整個(gè)輸入文本句子可被表示為[ X0=[x1，x2，…，xn]∈Rd×n]。

2.3 HMAN層

本節(jié)將詳細(xì)介紹把字嵌入序列編碼為高層次語(yǔ)義表示的過(guò)程。HMAN層由[L]個(gè)相同的層堆疊而成，每個(gè)層又包含兩個(gè)子層。第一個(gè)子層是多頭自注意力網(wǎng)絡(luò)，被定義為：

[M1=MultiHead X0， X0， X0]

其中，[M1∈Rd×n]是第一個(gè)多頭注意力子層的輸出狀態(tài)，[MultiHeadQ，K，V]表示一個(gè)多頭注意力函數(shù)（圖2），不同的注意力頭旨在捕獲不同的依賴信息，其將查詢矩陣[Q]、鍵矩陣[K]以及值矩陣[V]作為輸入，具體計(jì)算過(guò)程參考文獻(xiàn)[13]。

第二個(gè)子層是全連接前饋網(wǎng)絡(luò)（feed-forward network），其使用帶有[ReLU]激活的線性轉(zhuǎn)化函數(shù)進(jìn)一步處理第一個(gè)子層的輸出：

[FFNx=W1ReLU0，W2x+b1+b2]

其中，[W ]和[ b ]是可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)。

對(duì)于輸入的任意字符序列[ X0]，上述過(guò)程被迭代[L]次，用公式表示：

[M=MultiHead Xl-1， Xl-1， Xl-1]

[Xl=[FFNxl1;…;FFNxln]]

其中，[xlk∈Rd]是句子中第[k]個(gè)字符在第[l]層的向量表示。

為了防止加深網(wǎng)絡(luò)層數(shù)導(dǎo)致的梯度消失問(wèn)題，每個(gè)子層之后都進(jìn)行殘差連接和層歸一化操作：

[LayerNorm（A+B）]

其中，[A， B∈Rd×Nm]分別表示每一個(gè)子層的輸入輸出狀態(tài)。

2.4 BiLSTM層

由于LSTM模型在處理文本序列時(shí)，只能保留過(guò)去時(shí)刻的文本信息，無(wú)法同時(shí)對(duì)上下文信息進(jìn)行建模，所以本文采用BiLSTM提取文本特征。BiLSTM由一個(gè)正向LSTM和一個(gè)反向LSTM組成，正向LSTM用來(lái)學(xué)習(xí)上文的特征信息，反向 LSTM 用來(lái)學(xué)習(xí)下文的特征信息。

LSTM模型通過(guò)3個(gè)控制門結(jié)構(gòu)來(lái)決定信息的保留和丟棄，具體計(jì)算過(guò)程如下：

[it=σ（Wixt+Uiht-1+ViCt-1+bi）]

[ft=σ（Wfxt+Ufht-1+VfCt-1+bf）]

[ct=tanh（Wcxt+Ucht-1+bc）]

[ct=ftct-1+itct]

[ot=σ（Woxt+Uoht-1+VoCt-1+bo）]

[ht=ottanh （ct）]

其中，?[σ]為激活函數(shù)，?[W]為權(quán)重矩陣，? [b]為偏置向量;[it]，[ft]?和?[ot]分別為輸入門，遺忘門和輸出門的輸出;[ct]是輸入信息后的中間狀態(tài)，[ct]是更新之后的cell狀態(tài)，?[ht]是[ t]時(shí)刻的最終輸出。

BiLSTM模型的在[t]時(shí)刻的隱狀態(tài)由前向LSTM的隱狀態(tài)[ht]和反向LSTM的隱狀態(tài)[ht]共同決定，可以表示為：

[ht=[ht，ht]]

之后，使用tanh激活函數(shù)來(lái)計(jì)算每個(gè)字符可能的實(shí)體標(biāo)簽的概率得分，其公式表示如下：

[P=W1tanhW1ht+b1+b2]

其中，[W]和[b ]為可訓(xùn)練的網(wǎng)絡(luò)參數(shù)。

2.5 CRF層

BiLSTM模型是獨(dú)立預(yù)測(cè)實(shí)體標(biāo)簽的，會(huì)出現(xiàn)[{B-Time、I-Pos}]等序列標(biāo)注錯(cuò)誤的情況。因此，本文添加 CRF 層來(lái)保證預(yù)測(cè)標(biāo)簽的合法性，其能夠建立相鄰標(biāo)簽之間的依賴關(guān)系。BiLSTM輸出的概率矩陣[ P ∈Rn×k ]，其中[ n ]為輸入序列的字符個(gè)數(shù)，?[k]為標(biāo)簽種類數(shù)。輸入序列[ X=（x1，…，xn）]對(duì)應(yīng)的輸出序列[Y=（y1，…，yn）]的得分為：

[scoreX，Y=i=0nAyi，yi+1+i=1nPi，yi]

其中，[Pi，j]表示第[i]個(gè)字符對(duì)于第[j]個(gè)標(biāo)簽的分?jǐn)?shù)，[Ai，j]表示標(biāo)簽[i]轉(zhuǎn)移為標(biāo)簽[j]的概率。

最后，使用一個(gè)softmax函數(shù)來(lái)計(jì)算標(biāo)簽序列[ Y ]的概率：

[pY|X=escoreX，YY∈YXescore（X，Y）]

其中，[YX]表示所有可能的標(biāo)簽序列。

2.6 全連接層

全連接層的主要任務(wù)是將BiLSTM層輸出的文本特征向量作為輸入，經(jīng)過(guò)線性變換后，使用softmax函數(shù)計(jì)算高速突發(fā)事件屬于某一類別的概率，即：

[P=softmax（W1tanhW2X+b1+b2）]

其中，[W]為權(quán)重矩陣，[b]為偏置向量，兩者都是可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 模型參數(shù)設(shè)置

在模型訓(xùn)練過(guò)程中， 使用Adam算法對(duì)模型進(jìn)行優(yōu)化。字嵌入大小設(shè)置為200，隱藏向量大小也設(shè)置為200，層次多頭注意力的層數(shù)為3，頭數(shù)為5，以批次量為64的小批量進(jìn)行訓(xùn)練，學(xué)習(xí)率選取為0.0001。同時(shí)，模型使用Dropout來(lái)防止過(guò)擬合問(wèn)題，參數(shù)取值為0.3。

3.2 評(píng)價(jià)指標(biāo)

本文使用準(zhǔn)確率（Precision）、召回率（Recall）和F1值（F1-score）作為評(píng)價(jià)指標(biāo)對(duì)突發(fā)事件實(shí)體識(shí)別與事件分類的效果進(jìn)行評(píng)估，計(jì)算公式如下：

[Precision=TPTP+FP×100%]

[Recall=TPTP+FN×100%]

[F1=2×Precision×RecallPrecision+Recall×100%]

其中，TP（True Positives）表示測(cè)試集中被正確識(shí)別的實(shí)體或事件的個(gè)數(shù)，F(xiàn)P（False Positives）表示測(cè)試集中被錯(cuò)誤識(shí)別的實(shí)體或事件個(gè)數(shù)，F(xiàn)N（False Negatives）表示測(cè)試集中沒(méi)有被識(shí)別出的實(shí)體或者事件個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

本文使用高速突發(fā)事件數(shù)據(jù)集的測(cè)試集來(lái)對(duì)訓(xùn)練后的HMAN-BiLSTM-CRF模型進(jìn)行評(píng)價(jià)。表3展示了高速突發(fā)事件中不同類型的實(shí)體識(shí)別結(jié)果。從表3可以看出，事發(fā)時(shí)間、高速名稱、高速編號(hào)和事發(fā)方向?qū)嶓w類型取得了相對(duì)較高的結(jié)果，這是因?yàn)樗鼈兊谋磉_(dá)形式相對(duì)較為固定且實(shí)體語(yǔ)義簡(jiǎn)單。事發(fā)路段、事發(fā)位置、實(shí)體的各項(xiàng)指標(biāo)相對(duì)較低，主要是因?yàn)檫@幾類實(shí)體的字符數(shù)相對(duì)較長(zhǎng)且其實(shí)體語(yǔ)義比較復(fù)雜。通過(guò)查看實(shí)例發(fā)現(xiàn)，在高速突發(fā)事件數(shù)據(jù)集中事發(fā)位置的實(shí)體分布低于其他實(shí)體，這也是造成其識(shí)別準(zhǔn)確率等指標(biāo)較低的原因。

表3? 高速突發(fā)事件實(shí)體識(shí)別實(shí)驗(yàn)結(jié)果

[實(shí)體類型??????? 準(zhǔn)確率???? 召回率???? F1 值?????? 事發(fā)時(shí)間???????? 0.955??????? 0.954??????? 0.955??????? 高速名稱???????? 0.967??????? 0.97 0.968??????? 高速編號(hào)???? 0.986??????? 0.988??????? 0.987??????? 事發(fā)路段???????? 0.769??????? 0.805??????? 0.787??????? 事發(fā)方向???????? 0.927??????? 0.948??????? 0.938??????? 事發(fā)距離???? 0.822??????? 0.846??????? 0.834??????? 事發(fā)位置???????? 0.629??????? 0.586??????? 0.607??????? 總體指標(biāo)???????? 0.865??????? 0.871??????? 0.868??????? ]

高速突發(fā)事件的分類結(jié)果如表4所示。從表中可以看出，道路施工類和其他情況類的準(zhǔn)確率最高，分別達(dá)到了85%和86%，而大流量類的準(zhǔn)確率僅為59%，這在一定程度上證明了數(shù)據(jù)量的規(guī)模對(duì)模型的訓(xùn)練結(jié)果有較大影響，大規(guī)模訓(xùn)練數(shù)據(jù)有利于提升模型的性能。值得注意的是，雖然交通事故類的訓(xùn)練數(shù)據(jù)較大，但其性能指標(biāo)的提升相對(duì)不是太高，這可能是因?yàn)樵斐山煌ㄊ鹿实脑蛴泻芏?，交通事故情況也較為復(fù)雜，從而增大了語(yǔ)義識(shí)別的難度。

4 結(jié)束語(yǔ)

針對(duì)高速公路突發(fā)事件實(shí)體識(shí)別和事件分類任務(wù)，?本文提出了HMAN -BiLSTM-CRF多任務(wù)聯(lián)合學(xué)習(xí)模型，該模型使用多頭自注意力網(wǎng)絡(luò)學(xué)習(xí)字向量的高層次特征表示，解決了文本表征時(shí)的一詞多義問(wèn)題。本文提出的HMAN -BiLSTM-CRF模型在突發(fā)事件實(shí)體識(shí)別任務(wù)和事件分類任務(wù)中均取得了最佳結(jié)果，證明了模型的有效性。

參考文獻(xiàn)（References）：

[1] EftimovT， Seljak B K， Koroec P. A rule-based namedentity recognition method for knowledge extraction of evidence-based dietary recommendations[J].Plos One，2017.12（6）.

[2] The role of fine-grained annotations in supervised recognition of risk factors for heart disease from EHRs[J]. Journal of Biomedical Informatics，2015.58：S111-S119

[3] Xu K， Zhou Z， Hao T， et al. A Bidirectional LSTM and Conditional Random Fields Approach to Medical Named Entity Recognition[J].2017.

[4] 李麗雙，郭元?jiǎng)P.基于CNN-BLSTM-CRF 模型的生物醫(yī)學(xué)命名實(shí)體識(shí)別[J].中文信息學(xué)報(bào)，2018.32（1）：116-122

[5] 張晗，郭淵博，李濤.結(jié)合GAN與BiLSTM-Attention-CRF的領(lǐng)域命名實(shí)體識(shí)別[J].計(jì)算機(jī)研究與發(fā)展，2019.9.

[6] Kim Y. Convolutional neural networks for sentence

classification[C].Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing（EMNLP），2014：1746-1751

[7] BansalT，BelangerD，Mccallum A. Ask the GRU： multi-task

learning for deep text recommendations[C]. The 10th ACM Conference on Recommender Systems （RecSys）， 2016：107-114

[8] Zhou P， Shi W， et al. Attention-Based Bidirectional Long

Short-Term Memory Networks for Relation Classification[C]. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2：Short Papers），2016.

[9] Zhang Y，YuanH，WangJ，et al. YNU-HPCC at EmoInt-

2017：Using a CNN-LSTM model for sentiment intensity prediction[C]. Proceedings of the 8th Workshop on Computational Approaches to Subjectivity， Sentiment and Social Media Analysis，2017：200-204

[10] Li Y，WangX，XuP，et al. Chinese text classification model

based on deep learning[J]. Future Internet，2018.10（11）：113

[11] Wu F， Liu J， Wu C， et al. Neural Chinese Named Entity

Recognition via CNN-LSTM-CRF and Joint Training with Word Segmentation[J]. 2019.

[12] Zhang Z， Zhan S， Zhang H， et al. Joint model of entity

recognition and relation extraction based on artificial neural network[J]. Journal of Ambient Intelligence and Humanized Computing，2020：1-9

[13] Vaswani A， Shazeer N， Parmar N， et al. Attention is all

you need[C].Advances in neural information processing systems，2017：5998-6008

收稿日期：2020-08-31

基金項(xiàng)目：浙江省交通運(yùn)輸廳科研計(jì)劃項(xiàng)目（ZJXL-JTT-2019061）

作者簡(jiǎn)介：范曉武（1972-），男，浙江紹興人，碩士，高級(jí)工程師，主要研究方向：交通大數(shù)據(jù)應(yīng)用和智慧高速車路協(xié)同。