基于長短時(shí)記憶網(wǎng)絡(luò)的人才培養(yǎng)模型設(shè)計(jì)

李瑤 周正松

摘要：長短時(shí)記憶LSTM神經(jīng)網(wǎng)絡(luò)的工作原理雖有記載，但究其物理過程很多資料都未解釋清楚，該文以學(xué)校人才培養(yǎng)為.例，將LSTM網(wǎng)絡(luò)類比為通過多年辦學(xué)的吐故納新，將成功的經(jīng)驗(yàn)長期繼承下來，而把逐年的新貢獻(xiàn)又增加上去，如此循環(huán)，就把多級(jí)LSTM的級(jí)聯(lián)展現(xiàn)在讀者面前。

關(guān)鍵詞：長短時(shí)記憶LSTM;遺忘門f;輸入門i;輸出門Q，

中圖分類號(hào)：TP18

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）04-0152-02

收稿日期：2019-12-05

作者簡介：李瑤（1989—），女，四川南充人，四川大學(xué)錦城學(xué)院講師，碩士，主要研究方向?yàn)榇髷?shù)據(jù)、人工智能;周正松（1987-），男，重慶人，四川大學(xué)錦城學(xué)院講師，碩士，主要研究方向?yàn)椴淮_定性信息處理的數(shù)學(xué)。

1 背景

一談到神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)似乎就高不可攀，深不可測，其實(shí)它都是為了解決日常生活中的實(shí)際問題。例如四川大學(xué)錦城學(xué)院從2005年開辦以來到今天已有14年的歷史，若把每年的人才培養(yǎng)工作總結(jié)進(jìn)行整理，會(huì)發(fā)現(xiàn)它都是在原有的基礎(chǔ)狀態(tài)ht-1和已有信息Ct-1之上，隨著科學(xué)技術(shù)的發(fā)展和社會(huì)的進(jìn)步在不斷地更新前進(jìn)，這就可以看作是一個(gè)長短時(shí)記憶LSTM模型。因此，本文立足于高校的人才培養(yǎng)，結(jié)合LSTM神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)關(guān)于人才培養(yǎng)的LSTM模型，以更直觀的形式來闡述LSTM的工作原理。

2 LSTM網(wǎng)絡(luò)

長短時(shí)記憶網(wǎng)絡(luò)[1-2]（Long Short-Term Memory，LSTM），是循環(huán)神經(jīng)網(wǎng)絡(luò)[3]的一種變體，可以有效地解決簡單循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度爆炸或消失問題。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

LSTM網(wǎng)絡(luò)引入一個(gè)新的記錄信息的Ct專門進(jìn)行循環(huán)信息傳遞，同時(shí)輸出信息給隱藏層的外部狀態(tài)h1。LSTM網(wǎng)絡(luò)中的門是一種軟門，取值在（0，1）之間，表示以一定的比例運(yùn)行信息通過。其中遺忘門f1，控制上一時(shí)刻的信息Ct-1需要遺忘多少;輸入門it，控制當(dāng)前時(shí)刻的信息有多少需要保存;Ct表示新增信息;輸出門Qt，控制當(dāng)前時(shí)刻的信息保留多少輸出給外部狀態(tài)ht。

在LSTM網(wǎng)絡(luò)中，記憶單元C可以在某個(gè)時(shí)刻捕捉到某個(gè)關(guān)鍵信息，并有能力將關(guān)鍵信息保存一定的時(shí)間間隔。記憶單元C中保存信息的生命周期要長于短期記憶，但又遠(yuǎn)遠(yuǎn)短于長期記憶，因此稱為長的短期記憶。

關(guān)于LSTM網(wǎng)絡(luò)中的工作原理將在下一節(jié)中進(jìn)行詳細(xì)介紹。

3 LSTM人才培養(yǎng)模型設(shè)計(jì)

對于高校的人才培養(yǎng)，使用LSTM可進(jìn)行如下設(shè)計(jì)[4]。

若設(shè)，

①Ct-1：是已有信息;

②ht_1：是目前的狀態(tài);

③b：是基本設(shè)施，師資+大樓+設(shè)備;

④xt;是當(dāng)今采取的辦法;

⑤w：是對目前狀態(tài)和采取辦法的重視程度（權(quán)重因子）。

則可求得下一年的信息Ct是原有信息Ct-1（長時(shí)記憶）乘上一個(gè)遺忘系數(shù)ft后再加上新增信息Ct（短時(shí)記憶）乘上一個(gè)輸入系數(shù)it之后的和即：

這就是長短時(shí)記憶的由來。

而新的輸出狀態(tài)ht是Ct經(jīng)tanh（Ct）這個(gè)非線性變換后再乘以一個(gè)輸出系數(shù)Qt的結(jié)果，即：

是由ht-1和xt與wt作卷積運(yùn)算后再作一個(gè)從0到1的非線性遺忘門，用以控制原有信息Ct-1的輸出比例。

是由ht-1和xt與wc作卷積運(yùn)算后再作一個(gè)從-1到1的非線性變換后獲得的新增信息。

是由ht-1和xt，與wi作卷積運(yùn)算后再作一個(gè)從0到1的非線性輸入門，用以控制新增信息C，的輸出比例。

是由ht-1和xt與w0作卷積運(yùn)算后再作一個(gè)從0到1的非線性輸出門，用以控制tanh（Ct）的輸出比例。

注意：

設(shè)net=wrh，-1+w.x+b，是執(zhí)行兩序列之卷積運(yùn)算用以尋找二者之間的相似性。

則8（net）=叫0～1的非線性激活函數(shù)[5]，是為了獲得更多的高頻信息。

tanh（net）=叫-1～1的非線性激活函數(shù)，是為了獲得更多歸一化的高頻信息。

當(dāng)net=wrh-1 + wx+ b=0.35h-1 + 0.45x+0.1時(shí)，再取合適的ht-1和xt使之等于2.2或0.81時(shí)，就有δ（2.2）=0.9，表示遺忘門將長時(shí)記憶Ct-1保留90%，而遺忘10%，如圖2所示，而tanh（0.81）=0.9，表示新增短時(shí)記憶C，保留90%，如圖3所示。

則由（1）～（6）式構(gòu)成一個(gè)LSTM人才培養(yǎng)的模型如圖4所示。

4 結(jié)束語

總之，學(xué)校的人才培養(yǎng)注重的是德才兼?zhèn)?，其中德行的培養(yǎng)是長期積累的過程為ht-1，而培養(yǎng)的辦法是不斷學(xué)習(xí)的過程為x。在學(xué)校培養(yǎng)學(xué)生的過程中，學(xué)校提供的教學(xué)設(shè)施，例如師資、大樓、設(shè)備等為b。為提高學(xué)生素質(zhì)而制定的培養(yǎng)方案、管理制度、激勵(lì)措施等的重視程度和執(zhí)行力度為w。那么LSTM人才培養(yǎng)的循環(huán)網(wǎng)絡(luò)可以解釋為，學(xué)校為培養(yǎng)高素質(zhì)的、全面發(fā)展的人才，應(yīng)保留前面積累的成功經(jīng)驗(yàn)，再結(jié)合科技的發(fā)展進(jìn)行教學(xué)改革、增強(qiáng)設(shè)施建設(shè)、加強(qiáng)師資隊(duì)伍建設(shè)等，通過實(shí)踐去糙留精，以此往復(fù)，達(dá)到培養(yǎng)德才兼?zhèn)涞膶W(xué)生之目的。

參考文獻(xiàn)：

[1]張晨陽，韋增欣，郜星軍.基于LSTM模型的數(shù)學(xué)機(jī)理分析實(shí)證研究[J].中國管理信息化，2019，22（15）：93-97..

[2]吳岸城.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京：電子工業(yè)出版社，2016.

[3]張學(xué)工.模式識(shí)別[M].3版.北京：清華大學(xué)出版社，2010.[4]Martin T.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M].章毅，譯.北京：機(jī)械工業(yè)出版社，2018.

[5]lan，Goodfellow，Yoshua，等.深度學(xué)習(xí)[M].北京：人民郵電出版社，2017.

[通聯(lián)編輯：謝媛媛]