NLP文本分類深度學(xué)習(xí)方法庫建立研究

朱茜敏

摘? 要：人工智能技術(shù)的推動(dòng)下，深度學(xué)習(xí)與NLP的聯(lián)系更為緊密，并推動(dòng)了NLP的進(jìn)一步發(fā)展。本文就如何打造NLP文本分類深度學(xué)習(xí)方法庫進(jìn)行了回顧性的分析，對(duì)其建模原理及模型細(xì)分進(jìn)行了總結(jié)，將為這一研究的深入提供一定的參考。

關(guān)鍵詞：深度學(xué)習(xí);NLP;方法庫

隨著NLP（神經(jīng)語言程序?qū)W）研究的不斷深入，其重要的應(yīng)用價(jià)值開始在機(jī)器翻譯、情感分析、智能問答、文摘生成、文本分類、輿論分析、知識(shí)圖譜等領(lǐng)域有所體現(xiàn)^[1]。與此同時(shí)，以深度學(xué)習(xí)技術(shù)為核心的人工智能得到了廣泛的關(guān)注，成為一個(gè)新的研究熱點(diǎn)。這一技術(shù)與PLB的耦合，推動(dòng)了NLP的新發(fā)展。打造神經(jīng)語言程序?qū)W文本分類深度學(xué)習(xí)數(shù)據(jù)庫即NLP文本分類深度學(xué)習(xí)方法庫作為其中的基礎(chǔ)環(huán)節(jié)成為研究中的一個(gè)重點(diǎn)。NLP文本分類深度學(xué)習(xí)方法庫建立的目的可為探索以深度學(xué)習(xí)為主要技術(shù)的NLP分類方法提供海量的研究資源，這一學(xué)習(xí)方法庫還具有文本分類的各種基準(zhǔn)模型。同時(shí)NLP文本分類深度學(xué)習(xí)庫也支持多標(biāo)簽的分類，且這些標(biāo)簽與句子或文檔可以形成一定的關(guān)聯(lián)。這些模型的建立將使得后續(xù)的研究有了重要的支點(diǎn)。在實(shí)踐中發(fā)現(xiàn)，打造NLP文本庫的過程中，有一些較為經(jīng)典的模型是比較適合作為學(xué)習(xí)庫的基準(zhǔn)模型。

在此次研究的過程中，采用兩個(gè) seq2seq模型進(jìn)行文本分類，每個(gè)模型之下都設(shè)置有一個(gè)函數(shù)予以測(cè)試。兩個(gè) seq2seq模型也可以在文本分類的過程中生成序列或其它任務(wù)。在文本分類的過程中，若需完成的分類任務(wù)是多標(biāo)簽的分類工作，這時(shí)候就可以將工作以序列生成的方式來進(jìn)行。在這一研究中基本達(dá)成了一個(gè)記憶網(wǎng)絡(luò)的建設(shè)^[2]。其中以recurrent entity network（循環(huán)實(shí)體網(wǎng)絡(luò)）來追蹤狀態(tài)，以blocks of key-value pairs（它用鍵值對(duì)塊）為記憶并進(jìn)行運(yùn)行，并在這一功能的支持下實(shí)現(xiàn)對(duì)新狀態(tài)的獲取。構(gòu)建后的NLP文本分類深度學(xué)習(xí)模型可以實(shí)現(xiàn)使用歷史或上下文來回答建模的問題。例如，在測(cè)試中可以讓NLP文本分類深度學(xué)習(xí)模型來讀取句子作為文本，并提出一個(gè)問題來查詢，而后可實(shí)現(xiàn)NLP文本分類深度學(xué)習(xí)模式的答案預(yù)測(cè)。若這一過程轉(zhuǎn)化為向NLP文本分類深度學(xué)習(xí)模型提供一些素材資源，這時(shí)NLP文本分類深度學(xué)習(xí)模型便能夠完成研究意義上的分類工作^[3]。

1NLP文本分類深度學(xué)習(xí)方法庫模型

1.1模型

fast Text（快速文本模型）：這一模型主要用于高效文本分類技巧上的研究，在運(yùn)行中使用 bi-gram，具有較高的速度優(yōu)勢(shì)。

Text CNN（文本卷積神經(jīng)網(wǎng)絡(luò)）：這一模型主要用于句子分類的卷積神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)，在結(jié)構(gòu)上利用從降維到conv再到最大池化，最終到softmax。

Text RNN（文本循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本卷積神經(jīng)網(wǎng)絡(luò)有一定的不同，是從降維到雙向的lstm到concta輸出，最終到softmax。

RCNN（循環(huán)卷積神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項(xiàng)上進(jìn)行了特殊的設(shè)計(jì)，采用EOS將兩個(gè)問題隔開。

Hierarchical Attention Network（分層注意網(wǎng)絡(luò)）：這一墨香在結(jié)構(gòu)上采用降維→詞編輯器→詞注意→句子編輯器→句子注意→FC + Softmax。

seq2seq with attention（具有注意的 Seq2seq 模型）：這一模型在結(jié)構(gòu)上主要有三層，降維→ bi-GRU→具有注意的解碼器。

Transformer：這一模型主要有編碼器和解碼器兩大部分組成，具有在多向自我注意等方面的突出優(yōu)勢(shì)。

Recurrent Entity Network（循環(huán)實(shí)體網(wǎng)絡(luò)）：這一模型在型號(hào)結(jié)構(gòu)上也是分為三個(gè)層次，即輸入編碼，動(dòng)態(tài)記憶，輸出。

BiLstm Text Relation（雙向長(zhǎng)短期記憶網(wǎng)絡(luò)文本關(guān)系）：這一模型在結(jié)構(gòu)上與文本循環(huán)神經(jīng)網(wǎng)絡(luò)基本相同，在輸入項(xiàng)上進(jìn)行了特殊的設(shè)計(jì)，采用EOS將兩個(gè)問題隔開。

Two CNN Text Relation（兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)文本關(guān)系）：這一模型采用不同的卷積來實(shí)現(xiàn)對(duì)句子特征的提取，然后在通過函數(shù)使目標(biāo)標(biāo)簽完成飲食，然后使用softmax。

BiLstm Text Relation Two RNN（雙長(zhǎng)短期記憶文本關(guān)系雙循環(huán)神經(jīng)網(wǎng)絡(luò)）：這一模型在結(jié)構(gòu)上采取不同句子的雙向lstm獲取，最終由softmax輸出。

1.2性能

2 NLP文本分類深度學(xué)習(xí)方法庫的用途

2.1用途

此次研究中的NLP文本分類深度學(xué)習(xí)方法庫建立在 xxx_model.py之上。在訓(xùn)練階段采用 python xxx_train.py來進(jìn)行，進(jìn)入測(cè)試階段之后，可使用 python xxx_predict.py 來進(jìn)行?？焖傥谋灸Ｐ?、文本卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)卷積神經(jīng)網(wǎng)絡(luò)、分層注意網(wǎng)絡(luò)等模型下都有測(cè)試方法，可通過此來實(shí)現(xiàn)對(duì)模型的檢驗(yàn)^[4]。

2.3環(huán)境

該項(xiàng)學(xué)習(xí)庫建立之后的運(yùn)行環(huán)境為python 2.7+tensorflow 1.1或tensorflow 1.2。

3結(jié)束語

作為人工智能研究的一個(gè)重要分支，打造NLP文本分類深度學(xué)習(xí)方法庫正在不斷的探索當(dāng)中，隨著信息技術(shù)、大數(shù)據(jù)技術(shù)及人工智能技術(shù)逐步由設(shè)想變?yōu)閼?yīng)用，這一過程也將會(huì)進(jìn)一步的提速。相信在未來的探索中，這一技術(shù)模型在獲得突破的同時(shí)，將為人類社會(huì)的發(fā)展帶來新的福音。

參考文獻(xiàn)

[1]? 王臣博.深度學(xué)習(xí)在自然語言處理NLP中的應(yīng)用研究[J].新商務(wù)周刊，2020，（4）：226.

[2]? 周向明，貝聿運(yùn).基于機(jī)器深度學(xué)習(xí)的智能材料預(yù)審模型構(gòu)建[J].科學(xué)與信息化，2020，（14）：11-12.

[3]? 徐子淇，李煜.打造NLP文本分類深度學(xué)習(xí)方法庫[J].機(jī)器人產(chǎn)業(yè)，2017，（5）：50-57. .

[4]? 馬立紅，覃丹，林強(qiáng)，等.基于NLP方法的配電網(wǎng)項(xiàng)目關(guān)鍵指標(biāo)智能化提取[J].自動(dòng)化與儀器儀表，2019，（4）：129-133.