基于ERNIE+DPCNN+BiGRU 的農(nóng)業(yè)新聞文本分類

楊森淇，段旭良*，肖 展，郎松松，李志勇

（1.四川農(nóng)業(yè)大學(xué) 信息工程學(xué)院，四川 雅安 625014；2.四川農(nóng)業(yè)大學(xué) 農(nóng)業(yè)信息工程實驗室，四川 雅安 625014）

0 引言

隨著我國農(nóng)業(yè)的快速發(fā)展，人們對農(nóng)業(yè)新聞的質(zhì)量提出了更高的要求，但因農(nóng)業(yè)領(lǐng)域因涵蓋面廣、涉及產(chǎn)業(yè)眾多，農(nóng)業(yè)信息的獲取仍存在針對性較差、分類不清等問題，人們需要花費大量時間甄別出所需的農(nóng)業(yè)新聞，極大地阻礙了農(nóng)業(yè)新聞的傳播。

目前中文新聞分類最著名的數(shù)據(jù)集是THUCNews（THU Chinese Text Classification）［1］，它包含74 萬篇新聞文檔，涉及體育、財經(jīng)、房產(chǎn)、教育和科技等14 類新聞，但唯獨沒有農(nóng)業(yè)新聞。農(nóng)業(yè)新聞的分類在中文新聞分類領(lǐng)域目前仍處于起步階段，如何精準(zhǔn)、高效地實現(xiàn)農(nóng)業(yè)新聞文本分類，為用戶提供精準(zhǔn)的農(nóng)業(yè)新聞，提高農(nóng)業(yè)新聞傳播的效率，擴(kuò)大農(nóng)業(yè)新聞的傳播范圍，成了目前亟待解決的問題。

1 文本與新聞分類模型

1.1 針對不同領(lǐng)域新聞的分類模型

文本分類模型的更新進(jìn)展較快，如Wang 等［2］提出了一種用于文本分類的歸納圖卷積網(wǎng)絡(luò)（Inductive Graph Convolutional Network for Text classification，InducT-GCN），該網(wǎng)絡(luò)僅基于訓(xùn)練文檔的統(tǒng)計數(shù)據(jù)構(gòu)建圖，并用詞向量的加權(quán)和來表示文檔向量。InducT-GCN 在測試期間進(jìn)行單向圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）的傳播，能降低時間和空間復(fù)雜度，InducT-GCN 在5 個文本分類基準(zhǔn)中取得了最好的效果。Wang 等［3］將多維邊緣嵌入圖卷積網(wǎng)絡(luò)（Multi-dimensional Edge-enhanced Graph Convolutional Network，ME-GCN）用于半監(jiān)督文本分類，通過構(gòu)建文本圖描述文本之間的多維關(guān)系，并將生成的圖送入ME-GCN 訓(xùn)練，它可以整合整個文本語料庫的豐富圖邊信息源。實驗結(jié)果表明，ME-GCN 在8 個基準(zhǔn)數(shù)據(jù)集中顯著優(yōu)于最先進(jìn)的方法。Yang 等［4］提出了混合經(jīng)典量子模型，由一種新穎的隨機(jī)量子時間卷積（Quantum Temporal Convolution，QTC）學(xué)習(xí)框架組成，該框架取代了基于BERT（Bidirectional Encoder Representation from Transformers）的解碼器中的一些層。實驗結(jié)果表明，BERT-QTC 模型在Snips 和ATIS 口語數(shù)據(jù)集中獲得了較好的結(jié)果。

新聞分類是文本分類的一個分支，文本分類技術(shù)自然也被應(yīng)用到新聞領(lǐng)域［5］，針對新聞分類的研究日益增多，很多學(xué)者都提出了針對新聞分類的模型。謝志峰等［6］針對財經(jīng)新聞提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的中文財經(jīng)新聞分類方法，通過CNN 對中文財經(jīng)新聞進(jìn)行分類，在大、小規(guī)模的財經(jīng)語料上都表現(xiàn)優(yōu)異。許英姿等［7］針對物流新聞分類提出了一種基于改進(jìn)的加權(quán)補集樸素貝葉斯物流新聞分類的方法，針對文本不均衡的情況，加權(quán)補集樸素貝葉斯模型在進(jìn)行新聞分類時更加快速和準(zhǔn)確。朱芳鵬等［8］針對船舶工業(yè)領(lǐng)域新聞構(gòu)建了一個船舶工業(yè)新聞?wù)Z料庫，并提出了基于文檔頻率、卡方統(tǒng)計量及潛在語義分析（Latent Semantic Analysis，LSA）進(jìn)行特征選擇和特征降維，將文檔-詞矩陣映射成文檔-主題矩陣后，最終對處理后的特征采用支持向量機(jī)（Support Vector Machine，SVM）進(jìn)行文本分類的方法。實驗結(jié)果表明，該方法能夠有效解決文本向量的高維度、高稀疏性問題，在小樣本集和類別有限的前提下獲得了比傳統(tǒng)方法更好的分類效果。李超凡等［9］為了解決中文電子病歷文本分類的高維稀疏性、算法模型收斂較慢、分類效果不佳等問題，提出了一種基于注意力機(jī)制（Attention mechanism）結(jié)合CNN 和雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的模型。該病歷文本分類模型對比實驗的結(jié)果表明，該模型的F1 值達(dá)到了97.85%，有效地提升了病歷文本分類的效果。目前國內(nèi)農(nóng)業(yè)新聞分類的模型還較少，其中霍婷婷［10］提出了一種基于FastText 對“重要詞進(jìn)行加權(quán)篩選”和“融合新聞標(biāo)題”的模型CFT-FastText（Content Feature and Title Fast Text）應(yīng)用于農(nóng)業(yè)新聞文本分類，通過對特征增強的序列進(jìn)行加權(quán)篩選，再融合提出的CFT-FastText 算法，可以獲得更好的農(nóng)業(yè)新聞分類效果。

農(nóng)業(yè)文本與其他類別文本相比，具有長度較短、文本間較為類似、特征不突出，并且維度較高、稀疏性較強等特點，容易區(qū)分不開。例如“在山區(qū)如何養(yǎng)野雞”和“在山區(qū)如何捉野雞”這兩個只有一字之差的農(nóng)業(yè)新聞標(biāo)題，前者屬于畜牧業(yè)，而后者屬于副業(yè)。針對農(nóng)業(yè)文本的特點，不同作者提出了不同的解決辦法。如金寧等［11］運用詞頻-逆文本頻率（Term Frequency-Inverse Document Frequency，TF-IDF）算法對農(nóng)業(yè)文本的特征進(jìn)行擴(kuò)展，并采用Word2Vec（Word to Vector）模型訓(xùn)練分詞結(jié)果，將農(nóng)業(yè)文本轉(zhuǎn)為低維、連續(xù)的詞向量，實現(xiàn)了農(nóng)業(yè)問答社區(qū)中農(nóng)業(yè)問句的精確快速分類；王郝日欽等［12］提出了一種基于CNN 和注意力機(jī)制的水稻文本分類方法，根據(jù)水稻文本具備的特征，采用Word2Vec 方法對文本數(shù)據(jù)進(jìn)行處理與分析，并結(jié)合農(nóng)業(yè)分詞詞典對文本數(shù)據(jù)進(jìn)行向量化處理，有效地解決了文本的高維性和稀疏性問題。

1.2 基于BERT的新聞分類

目前，融合BERT 模型的新聞分類方法取得了較好的效果。BERT 模型是一種基于大量語料庫訓(xùn)練完成的語言模型，生成的詞向量擁有較多的先驗信息、并且充分結(jié)合上下文語義等優(yōu)點，因此被廣泛應(yīng)用于新聞分類領(lǐng)域。隨后產(chǎn)生了一批基于BERT 進(jìn)行改進(jìn)的加強版模型，例如Liu 等［13］提出的RoBERTa（Robustly optimized BERT）模型是BERT 的改進(jìn)版，具有訓(xùn)練時間更長、批量數(shù)據(jù)更大、訓(xùn)練序列更長等特點，并且加入了動態(tài)調(diào)整掩碼機(jī)制，在GLUE（General Language Understanding Evaluation）、RACE（Large-scale ReAding Comprehension dataset from Examination）和SQuAD（Stanford Question Answering Dataset）上取得了當(dāng)時最先進(jìn)的成績。哈工大訊飛聯(lián)合實驗室（HFL）的Cui 等［14］提出的MacBERT（MLM as correction BERT）模型在多個方面對RoBERTa 進(jìn)行了改進(jìn)，利用相似的單詞掩碼減小了預(yù)訓(xùn)練和微調(diào)階段兩者之間的差距，并在多個數(shù)據(jù)集上取得了較好的效果。

楊先鳳等［15］針對傳統(tǒng)文本特征無法充分解決一詞多義的問題，利用BERT 字注釋和雙向門控循環(huán)單元（Bidirectional Gated Recurrent Unit，BiGRU）結(jié)合注意力機(jī)制提取特征。實驗結(jié)果表明，在公開數(shù)據(jù)集THUCNews 上，該模型比未引入字注釋的文本分類模型有明顯提高。彭玉芳等［16］融合了中國圖書館分類法的族性檢索和分面分類法的特性檢索，構(gòu)建了南海文獻(xiàn)分類法，應(yīng)用BERT 預(yù)訓(xùn)練模型實現(xiàn)細(xì)粒度的多標(biāo)簽?zāi)虾ＷC據(jù)性數(shù)據(jù)的自動分類，從更細(xì)粒度的視角實現(xiàn)數(shù)據(jù)分類，從而更有利于展開數(shù)據(jù)挖掘，找到數(shù)據(jù)間潛在的關(guān)聯(lián)關(guān)系。張海豐等［17］提出了一種結(jié)合BERT 和特征投影網(wǎng)絡(luò)的新聞主題文本分類方法，該方法將新聞類文本輸入BERT 模型后，輸出的特征再次進(jìn)行多層全連接層的特征提取，并將最終提取到的文本特征結(jié)合特征投影方法進(jìn)行提純，從而強化分類效果。但是BERT 模型針對中文領(lǐng)域和其預(yù)訓(xùn)練模塊仍有較多不足，在BERT 模型中，對文本的預(yù)處理都按照最小單位進(jìn)行切分，在英文文本中掩碼的對象多數(shù)情況下為詞根，而非完整的詞，對于中文則是按字切分，直接對單個的字進(jìn)行掩碼，這種方式限制了模型對于詞語信息的學(xué)習(xí)。

1.3 基于ERNIE的新聞分類

BERT-Chinese-WWM（Whole Word Masking）模型［18］改進(jìn)了中文處理的過程：首先對中文進(jìn)行分詞，在掩蓋時將完整詞語的所有字一并掩蓋，便于模型對語義信息的學(xué)習(xí)。

百度發(fā)布的ERNIE（Enhanced Representation through kNowledge IntEgration）模型［19］則進(jìn)一步擴(kuò)展了中文全詞掩蓋策略，不僅包含了中文分詞，還包括短語及命名實體的全詞掩蓋。國內(nèi)也有學(xué)者利用ERNIE 進(jìn)行新聞分類，如陳杰等［20］利用ERNIE 結(jié)合文本卷積神經(jīng)網(wǎng)絡(luò)（Text Convolutional Neural Network，TextCNN），通過領(lǐng)域預(yù)訓(xùn)練生成高階文本特征向量并進(jìn)行特征融合，實現(xiàn)語義增強，進(jìn)而提升短文本分類效果。黃山成等［21］提出一種基于ERNIE2.0、雙向長短時記憶（Bi-directional Long Short-Term Memory，BiLSTM）網(wǎng)絡(luò)和Attention 的隱式情感分析方法EBA（ERNIE2.0，BiLSTM and Attention），能夠較好捕捉隱式情感句的語義及上下文信息，有效提升隱式情感的識別能力，并在SMP2019 公開數(shù)據(jù)集上取得了較好的分類效果。喻航等［22］利用ERNIE 結(jié)合TF-IDF針對區(qū)級人大報告特定的幾方面內(nèi)容進(jìn)行文本分類，利用ERNIE 直接對語義知識單元進(jìn)行建模，并且在此基礎(chǔ)上加入TF-IDF 提升模型性能。實驗結(jié)果表明，該方法在分類的準(zhǔn)確率和召回率上表現(xiàn)不錯，ERNIE 模型收斂速度得到了明顯提升。

綜上所述，為了避免BERT 在中文特征提取上的不足，以及目前國內(nèi)在農(nóng)業(yè)新聞分類領(lǐng)域的欠缺，采用ERNIR 結(jié)合深度金字塔卷積神經(jīng)網(wǎng)絡(luò)（Deep Pyramidal Convolutional Neural Network，DPCNN）和雙向門控循環(huán)單元（BiGRU），提出EGC 模型。本文的主要工作包括：1）自建農(nóng)業(yè)新聞數(shù)據(jù)集，對網(wǎng)絡(luò)上真實存在的農(nóng)業(yè)類新聞進(jìn)行收集并清洗；2）在數(shù)據(jù)集上對比幾組最經(jīng)典的模型，并嘗試了幾種不同的激活函數(shù)，最終基于ERNIE、DPCNN 和BiGRU 提出EGC 模型。

2 EGC模型

為了提取更完整的特征，本文EGC 模型由3 個模型融合構(gòu)成，包括ENIRE、BiGRU 和改進(jìn)DPCNN。

2.1 ERNIE

ERNIE 是基于谷歌公司研發(fā)的BERT 模型，原生的BERT 用在中文上時是基于單個字的，忽略了文字的聯(lián)系，而ERNIE 可以很好地捕捉文字之間的關(guān)系。以“越南巴沙魚出口仍未走出困境”為例，BERT 和ERNIE 的掩碼策略對比如圖1 所示，ERNIE 加入了前后文本的聯(lián)系，更容易推理出被掩蓋掉的文字。當(dāng)使用原生BERT，會隨機(jī)掩碼15%的文字，BERT 不會考慮上下文的聯(lián)系，導(dǎo)致一個詞被分開，不易推理出被掩蓋掉的文字；而ERNIE 的掩碼策略會考慮文字之間的關(guān)系，會以詞來進(jìn)行掩碼，能夠更容易推理出被掩蓋的文字。

ERNIE 的核心 部分是Transformer-encode［23］，如 圖2 所示。數(shù)據(jù)輸入后，經(jīng)過編碼和添加位置信息，利用多頭注意力機(jī)制進(jìn)行計算，通過歸一化以及前向傳播和再次歸一化，從多頭注意力機(jī)制到再次歸一化構(gòu)成一個層，經(jīng)過N個這樣的層，輸出編碼。

圖2 Transformer-encode結(jié)構(gòu)Fig.2 Structure of Transformer-encode

2.2 BiGRU

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是自然語言處理任務(wù)中的一個重要方法，與CNN 相比，它的最大優(yōu)勢是能夠提取到上下文的文本特征，在處理序列問題時優(yōu)勢明顯。Hochreiter 等［24］提出了長短時記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，LSTM 在記憶上下文重要信息的同時，會遺忘掉無關(guān)信息，解決了RNN 反向梯度消散等問題；但LSTM 計算量比較大，訓(xùn)練時間過長。針對LSTM 的不足，Cho 等［25］提出了門控循環(huán)單元（Gated Recurrent Unit，GRU），對LSTM 進(jìn)行簡化，結(jié)構(gòu)如圖3 所示。

圖3 GRU結(jié)構(gòu)Fig.3 Structure of GRU

其中：Zt表示更新門；W表示權(quán)值矩陣；Ht表示t時刻的隱藏層狀態(tài)；xt表示t時刻的輸入；Rt表示重置門。

但單向的GRU 只提取了上文對下文的影響，無法反映出下文對上文的影響。為了充分提取每個新聞標(biāo)題的特征，采用BiGRU，它每步的輸出由當(dāng)前狀態(tài)的前向狀態(tài)和后向狀態(tài)組合而成，可以提取更加完整、豐富的特征信息。BiGRU結(jié)構(gòu)如圖4 所示。

圖4 BiGRU結(jié)構(gòu)Fig.4 Structure of BiGRU

2.3 改進(jìn)DPCNN

Johnson 等［26］提出的DPCNN 的核心是等長卷積和1/2 池化層，等長卷積的輸入和輸出都為n，而1/2 池化層令每次輸入的序列長度減半，隨著層數(shù)的加深，將長度疊起來，最終會呈現(xiàn)一個金字塔形狀。

針對農(nóng)業(yè)新聞標(biāo)題的特點，本文對DPCNN 進(jìn)行改進(jìn)，提出DPCNN-upgrade。根據(jù)計算，農(nóng)業(yè)類新聞數(shù)據(jù)集平均長度大概在18.98，農(nóng)業(yè)新聞標(biāo)題要比其他新聞短一些，針對該特點，將DPCNN 的卷積層減少2 個，以保留更多的文本特征，達(dá)到了更好的效果。

DPCNN 與DPCNN-upgrade 的對比如圖5 所示，數(shù)據(jù)輸入后經(jīng)過Region embedding，將數(shù)據(jù)轉(zhuǎn)化為句向量表示，然后將這些特征向量依次輸入到后面的卷積組，每個卷積組包含1個卷積層以及從輸入到輸出的殘差相連。每個組之間由步長為2 的池化層相連接，可以設(shè)置多個卷積組來提取特征，直到最后的卷積組得到最終文本的特征向量表示。

圖5 DPCNN和DPCNN-upgrade對比Fig.5 Comparison between DPCNN and DPCNN-upgrade

2.4 EGC模型結(jié)構(gòu)

一些可用于文本分類的先進(jìn)模型，如ChineseBERT，RoBERTa 和MacBERT，它們進(jìn)行了一些基于BERT 的調(diào)整，如更改掩碼策略、增大batch size 或者將字形考慮進(jìn)特征范圍內(nèi)等，這些調(diào)整雖然在一定程度上提升了訓(xùn)練的效果，但針對農(nóng)業(yè)新聞的高維度和稀疏性特點，效果有限。針對農(nóng)業(yè)文本特征較少、文本間較為類似、特征不突出、維度較高、稀疏性較強等問題，本文的EGC 模型將DPCNN-upgrade 與BiGRU 提取出的特征進(jìn)行融合，以降低特征的稀疏性并降低特征維度，融合后的特征更準(zhǔn)確，能有效提高農(nóng)業(yè)新聞分類的準(zhǔn)確度。EGC 模型結(jié)構(gòu)如圖6 所示，主要包括輸入編碼層、特征提取層、特征融合層和Softmax。

圖6 EGC詳細(xì)框架Fig.6 Detailed framework of EGC

1）輸入編碼層。數(shù)據(jù)集輸入后，經(jīng)過ERNIE 的掩碼機(jī)制，embedding 過后，輸入transformer encode，將數(shù)據(jù)集轉(zhuǎn)化為編碼。

2）特征提取層。將編碼后的數(shù)據(jù)分別輸入DPCNNupgrade 和BiGRU 兩部分進(jìn)行特征提取。

數(shù)據(jù)輸入到DPCNN-upgrade，經(jīng)過一個卷積層后，與沒經(jīng)過卷積層的數(shù)據(jù)進(jìn)行拼接操作，然后輸入循環(huán)模塊；接著依次經(jīng)過1/2 池化層和卷積層，再將池化后的數(shù)據(jù)和卷積后的數(shù)據(jù)進(jìn)行拼接，并不斷循環(huán)這個模塊N次；循環(huán)結(jié)束后，將數(shù)據(jù)進(jìn)行一次池化得到最終的特征。

為了得到BiGRU 部分的特征，將數(shù)據(jù)輸入到GRU 中，每個位置上有兩個反方向的GRU，通過將信息不斷傳遞，分別匯總前向和后向信息，最終將每個位置上的兩個GRU 的匯總信息進(jìn)行拼合，組成該數(shù)據(jù)的特征。

3）特征融合層。將DPCNN-upgrade 提取出來的特征和BiGRU 提取出來的特征進(jìn)行拼接，組成最終的特征。

4）Softmax。利用Softmax 對拼接后的特征進(jìn)行全鏈接，從而得到最終類別的概率［27］，進(jìn)一步輸出最終結(jié)果。

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集

由于目前沒有公開的新聞，需要采用自建數(shù)據(jù)集，本實驗所用的農(nóng)業(yè)數(shù)據(jù)集利用八爪魚軟件［28］在中國畜牧網(wǎng)、海洋資訊網(wǎng)、西南漁業(yè)網(wǎng)、中國農(nóng)業(yè)網(wǎng)、中國大豆網(wǎng)和中國油脂科技網(wǎng)等農(nóng)業(yè)新聞網(wǎng)站進(jìn)行數(shù)據(jù)爬取。數(shù)據(jù)時效性對保證數(shù)據(jù)質(zhì)量至關(guān)重要［29-31］，因此我們從2022 年4 月開始采集最新數(shù)據(jù)，并進(jìn)行去除停用詞、標(biāo)點符號等操作的預(yù)處理，以保證數(shù)據(jù)的可用性和質(zhì)量。數(shù)據(jù)集總量為20 834，各類別具體情況如表1 所示，其中訓(xùn)練集、測試集和驗證集的比例為8∶1∶1，數(shù)據(jù)集的句子的平均長度為18.98。

表1 數(shù)據(jù)集各類別數(shù)量Tab.1 Number of each category in dataset

3.2 評價指標(biāo)

評價指標(biāo)使用精確率P（Precision）、召回率R（Recall）和F1 分?jǐn)?shù)F1（F1-score）［26］，計算公式如下：

其中：TP（True Positive）表示將正類預(yù)測為正類數(shù)；FN（False Negative）表示將正類預(yù)測為負(fù)類數(shù)；FP（False Positive）表示將負(fù)類預(yù)測為正類數(shù)；TN（True Negative）表示將負(fù)類預(yù)測為負(fù)類數(shù)。

宏平均（Macro-averaging）［31］在很多項目中經(jīng)常被使用，但是針對農(nóng)業(yè)新聞數(shù)據(jù)集有些不適用。原因在于農(nóng)業(yè)新聞數(shù)據(jù)集中每個類別所占比重不同，且數(shù)據(jù)集之前的數(shù)量差距較大，林業(yè)、副業(yè)新聞數(shù)據(jù)較少，所以采用權(quán)重平均（Weighted-averaging）［32］更客觀。權(quán)重平均是所有類別的F1加權(quán)平均，公式如下：

其中：n為類別數(shù)，ki為類別i占數(shù)據(jù)集總數(shù)的比例。

3.3 實驗參數(shù)

序列長度設(shè)置為19，學(xué)習(xí)率為10-5，ENIRE 隱藏層數(shù)量為768，BiGRU 隱藏層數(shù)量為256，dropout 設(shè)置為0.1。

3.4 模型對比

針對農(nóng)業(yè)新聞利用不同的模型做了多組實驗，包含基礎(chǔ)的BERT、較為先進(jìn)的模型RoBERTa 和MacBERT，以及BERT+CNN、BERT+RNN、BERT+DPCNN、ERNIE、ERNIE+DPCNN 和ERNIE+BiGRU，激活函數(shù)為線性整流函數(shù)（Rectified Linear Unit，ReLU）［33］，結(jié)果如表2 所示，其中：加粗為最優(yōu)結(jié)果，下劃線為次優(yōu)結(jié)果。由表2 可以看出，EGC達(dá)到了最好的效果，要全面優(yōu)于其他對比模型，在精確率、召回率和F1 分?jǐn)?shù)上比次優(yōu)結(jié)果分別提高了1.33、1.11 和1.21個百分點，比ERNIE 分別提高了1.47、1.29 和1.42 個百分點，這得益于EGC 大幅降低了農(nóng)業(yè)文本的稀疏性和高維度特征。

表2 不同模型的加權(quán)平均指標(biāo)的比較Tab.2 Comparison of weighted-average indicators of different models

為了探索不同激活函數(shù)對EGC 模型的影響，進(jìn)一步嘗試使用ReLU［33］、帶泄露修正 線性單元（Leaky ReLU）［34］、RReLU（Reflected ReLU）［35］和PReLU［36］進(jìn)行實驗，結(jié)果如表3所示?？梢钥闯?，針對農(nóng)業(yè)新聞文本的分類，使用RReLU 的實際效果更好，相較于ReLU 提升了0.99 個百分點。

表3 四種不同激活函數(shù)的性能對比Tab.3 Performance comparison of four different activation functions

4 結(jié)語

隨著農(nóng)業(yè)現(xiàn)代化的不斷發(fā)展，農(nóng)業(yè)新聞的傳播顯得尤為重要，準(zhǔn)確的新聞分類可以提高新聞傳播的效率。本文利用新聞的標(biāo)題信息，提出基于ERNIE、DPCNN 和BiGRU 的EGC模型，與傳統(tǒng)模型相比，綜合性能更好，可為精確分類農(nóng)業(yè)新聞提供理論方法支持。

但農(nóng)業(yè)新聞中的副業(yè)分類難度較大，因為近些年的研究方法都是基于深度學(xué)習(xí)，而副業(yè)中包含的類別較多，比如糖業(yè)、食用油、紡織業(yè)、藥材采集、手工副業(yè)等，數(shù)據(jù)集的分配將顯著影響副業(yè)的分類，若出現(xiàn)一些只在測試集中出現(xiàn)的數(shù)據(jù)，準(zhǔn)確率將明顯降低，而且目前還缺乏副業(yè)的詳細(xì)分類規(guī)范。因此，在接下來的研究中，我們將進(jìn)一步研究副業(yè)的細(xì)分化，以進(jìn)一步提高分類準(zhǔn)確率。

目前關(guān)于農(nóng)業(yè)新聞的數(shù)據(jù)集還較少，但隨著自媒體的逐步發(fā)展，今后可考慮爬取自媒體來源的新聞。

EGC 模型目前僅考慮了農(nóng)業(yè)新聞的標(biāo)題，并未考慮新聞的主體和文中配圖，今后可以考慮結(jié)合多模態(tài)數(shù)據(jù)以提取到更多的特征，進(jìn)一步提高數(shù)據(jù)分類效果。

EGC 模型對算力有一定的要求，在接下來的研究中，可以精簡模型，加快訓(xùn)練過程。