融合時(shí)域卷積、殘差結(jié)構(gòu)和注意力機(jī)制的時(shí)序預(yù)測(cè)①

孫思宇,張標(biāo)標(biāo),吳俊宏,馬仕強(qiáng),任 佳

1(浙江理工大學(xué) 機(jī)械與自動(dòng)控制學(xué)院,杭州 310018)

2(浙江遠(yuǎn)圖互聯(lián)科技股份有限公司,杭州 310012)

1 引言

隨著當(dāng)前居民醫(yī)療需求的迅速增長(zhǎng)[1],智慧醫(yī)療成為大勢(shì)所趨.如何通過(guò)信息化手段提高醫(yī)療管理效率、提升醫(yī)療服務(wù)質(zhì)量和安全,已成為醫(yī)療領(lǐng)域最關(guān)注的焦點(diǎn).流水量是衡量一家醫(yī)院經(jīng)營(yíng)、管理水平的重要指標(biāo)之一,準(zhǔn)確高效的預(yù)測(cè)流水?dāng)?shù)據(jù)的長(zhǎng)期變化能夠?yàn)獒t(yī)院的資源分配、工作調(diào)度等提供依據(jù),提高醫(yī)院資源利用率.流水量是一種典型的時(shí)間序列數(shù)據(jù),可以應(yīng)用時(shí)間序列預(yù)測(cè)方法進(jìn)行研究.

時(shí)間序列預(yù)測(cè)方法按照不同研究階段可以歸納為3 類:傳統(tǒng)時(shí)序預(yù)測(cè)方法、基于淺層機(jī)器學(xué)習(xí)的時(shí)序預(yù)測(cè)方法和基于深度學(xué)習(xí)的時(shí)序預(yù)測(cè)方法.

傳統(tǒng)時(shí)序預(yù)測(cè)方法的典型代表為自回歸(Auto-Regressive,AR)模型、滑動(dòng)平均(Moving Average,MA)模型、自回歸-滑動(dòng)平均(AutoRegressive Moving Average,ARMA)模型[2].AR 模型用時(shí)間序列中的過(guò)去值的線性組合加誤差項(xiàng)來(lái)表示當(dāng)前值,MA 模型用隨機(jī)噪聲的線性組合加誤差項(xiàng)來(lái)表示當(dāng)前值,ARMA模型是AR 模型和MA 模型的結(jié)合.這3 種模型都以時(shí)間序列平穩(wěn)為前提,當(dāng)時(shí)間序列不平穩(wěn)時(shí),需引入差分方法[3]使序列變?yōu)槠椒€(wěn)序列,即自回歸-差分-滑動(dòng)平均模型[2].

傳統(tǒng)時(shí)序預(yù)測(cè)方法受限于固定的模型框架,且?guī)缀跛心Ｐ投际蔷€性的.但現(xiàn)實(shí)中時(shí)序數(shù)據(jù)常常表現(xiàn)為非線性特性,線性模型無(wú)法很好的擬合非線性數(shù)據(jù)的變化趨勢(shì),使得傳統(tǒng)時(shí)序預(yù)測(cè)方法對(duì)此類數(shù)據(jù)的預(yù)測(cè)效果有限.隨著機(jī)器學(xué)習(xí)算法的發(fā)展,越來(lái)越多的機(jī)器學(xué)習(xí)算法被應(yīng)用于時(shí)序預(yù)測(cè)中,如支持向量機(jī)、貝葉斯算法、各種淺層神經(jīng)網(wǎng)絡(luò)等,機(jī)器學(xué)習(xí)算法能夠較好的處理非線性問(wèn)題.文獻(xiàn)[4]使用神經(jīng)網(wǎng)絡(luò)提取特征,然后使用支持向量機(jī)來(lái)預(yù)測(cè)匯率變化,同時(shí)對(duì)不同的支持向量機(jī)的核函數(shù)進(jìn)行了比較.文獻(xiàn)[5]使用貝葉斯算法來(lái)推斷金融時(shí)間序列數(shù)據(jù)的波動(dòng)性從而實(shí)現(xiàn)時(shí)序預(yù)測(cè).文獻(xiàn)[6]提出了一種基于人工神經(jīng)網(wǎng)絡(luò)的模型用于海洋濤動(dòng)指數(shù)和海面溫度的預(yù)測(cè).

基于機(jī)器學(xué)習(xí)的時(shí)序預(yù)測(cè)方法在處理具有高維數(shù)的大數(shù)據(jù)的能力有限,并且無(wú)法實(shí)現(xiàn)復(fù)雜的功能[7].隨著深度學(xué)習(xí)的興起,越來(lái)越多的深度學(xué)習(xí)網(wǎng)絡(luò)被應(yīng)用到時(shí)序預(yù)測(cè)中.多層感知器(Multi-Layer Perceptron,MLP)是最早開發(fā)的人工神經(jīng)網(wǎng)絡(luò)之一,與淺層網(wǎng)絡(luò)的區(qū)別在于可以包含更多的層,主要由3 層組成:輸入層、隱藏層和輸出層.每個(gè)隱藏層具有非線性的激活函數(shù).為更好的對(duì)序列數(shù)據(jù)進(jìn)行處理,20世紀(jì)80年代提出了循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN),RNN 具有記憶性,對(duì)序列的非線性特征進(jìn)行學(xué)習(xí)時(shí)具有一定的優(yōu)勢(shì),RNN 與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于神經(jīng)元的輸出取決于當(dāng)前的輸入和先前的輸入數(shù)據(jù).為了解決RNN 只能學(xué)到短期依賴關(guān)系,無(wú)法學(xué)習(xí)長(zhǎng)時(shí)間跨度的非線性關(guān)系的問(wèn)題,1997年,Hochreiter和Schmidhuber 提出了長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)[8].由于其采用3 個(gè)門控控制輸入、記憶和輸出狀態(tài)的選擇,因此LSTM 可以有效的處理和預(yù)測(cè)長(zhǎng)時(shí)間依賴的時(shí)間序列.2006年,Hinton等[9]提出了深度置信網(wǎng)絡(luò)(Deep Belief Network,DBN),DBN 通過(guò)堆疊受限玻爾茲曼機(jī)組成,通過(guò)預(yù)訓(xùn)練結(jié)合反向傳播更新網(wǎng)絡(luò)參數(shù),具有更高的精度,能夠有效運(yùn)用于多維非線性序列的擬合.2018年,Bai 等[10]提出了時(shí)間卷積網(wǎng)絡(luò)(Temporal Convolutional Network,TCN),TCN 使用因果卷積提取時(shí)序特征,使用擴(kuò)張卷積增大感受野,使用殘差卷積加快反饋與收斂.與傳統(tǒng)RNN 相比,TCN在參數(shù)量上大幅減少,在結(jié)構(gòu)上更加簡(jiǎn)潔明了.文獻(xiàn)[11]使用循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)空氣污染進(jìn)行預(yù)測(cè).文獻(xiàn)[12]提出了一種多層網(wǎng)格搜索的LSTM 預(yù)測(cè)模型.文獻(xiàn)[13]采用基于DBN的模型結(jié)構(gòu)來(lái)對(duì)交通流進(jìn)行預(yù)測(cè).文獻(xiàn)[14]通過(guò)使用TCN網(wǎng)絡(luò)結(jié)構(gòu)提取數(shù)據(jù)的時(shí)間特征用于交通預(yù)測(cè),取得了較好的應(yīng)用效果.

現(xiàn)有的醫(yī)院流水預(yù)測(cè)方法大多使用ARIMA 模型或簡(jiǎn)單人工神經(jīng)網(wǎng)絡(luò)模型,這些模型只能簡(jiǎn)單地把握數(shù)據(jù)的淺層特征,對(duì)于復(fù)雜結(jié)構(gòu)的流水?dāng)?shù)據(jù),無(wú)法挖掘數(shù)據(jù)的前后大跨度信息,對(duì)數(shù)據(jù)特征的把握不夠全面,導(dǎo)致模型預(yù)測(cè)的準(zhǔn)確率和效率不佳.基于以上分析,為進(jìn)一步提高醫(yī)院流水預(yù)測(cè)模型的準(zhǔn)確率和效率問(wèn)題,針對(duì)流水?dāng)?shù)據(jù)具有長(zhǎng)、短期特征、非線性和非平穩(wěn)性的特點(diǎn),本文提出了一種基于時(shí)域卷積、殘差結(jié)構(gòu)和注意力機(jī)制的時(shí)序預(yù)測(cè)模型(A-TCNN).本文主要的創(chuàng)新點(diǎn)如下:(1)引入時(shí)域卷積提取時(shí)間關(guān)聯(lián)特征,殘差結(jié)構(gòu)加快網(wǎng)絡(luò)收斂以及緩解網(wǎng)絡(luò)深度增加帶來(lái)的梯度消失問(wèn)題,通過(guò)使用不同的殘差時(shí)域卷積模塊分別提取時(shí)間序列的長(zhǎng)、短期特征;(2)引入注意力機(jī)制加強(qiáng)模型中對(duì)輸出影響較重的參數(shù)的權(quán)重;(3)所提算法在實(shí)際醫(yī)院流水?dāng)?shù)據(jù)集進(jìn)行測(cè)試驗(yàn)證,與常規(guī)網(wǎng)絡(luò)對(duì)比,比較多種多步預(yù)測(cè)策略,證明了本文所提模型的有效性.

2 算法理論基礎(chǔ)

2.1 時(shí)域卷積

卷積神經(jīng)網(wǎng)絡(luò)是LeCun 等[15]在1998年提出的一種神經(jīng)網(wǎng)絡(luò)模型,它利用卷積層處理多維圖像輸入,是一種應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域的模型.

卷積層(圖1)是卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ),通過(guò)將輸入圖像與卷積核進(jìn)行卷積運(yùn)算來(lái)提取輸入圖像的局部特征,通過(guò)卷積的權(quán)重共享來(lái)降低參數(shù)的數(shù)量.

圖1 卷積層操作過(guò)程

時(shí)域卷積是一維卷積的一種應(yīng)用,將輸入按照時(shí)間進(jìn)行卷積,即在t時(shí)刻的輸出數(shù)據(jù)不會(huì)依賴t+1以及未來(lái)的時(shí)刻,時(shí)域卷積結(jié)構(gòu)如圖2所示.同時(shí)可以通過(guò)膨脹卷積的方式擴(kuò)大時(shí)域卷積的感受野,時(shí)域膨脹卷積的結(jié)構(gòu)如圖3所示.

圖2 時(shí)域卷積

圖3 時(shí)域膨脹卷積

時(shí)域卷積的計(jì)算公式如式(1)所示.

其中,yt為t(1 ≤t≤n) 時(shí)刻的輸出值,xt-p*(k-1)為t-p*(k-1)時(shí) 刻的輸入值,ωt-p*(k-1),k為神經(jīng)元的權(quán)重,p為膨脹系數(shù),m為卷積核個(gè)數(shù).

2.2 注意力機(jī)制

注意力機(jī)制(Attention Mechanism,AM)[16]通過(guò)構(gòu)建一個(gè)注意力矩陣,使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中關(guān)注重點(diǎn)特征,從而降低其他低影響特征的權(quán)重.其計(jì)算公式如式(2)所示.

其中,Q(Query),K(Key),V(Value)為對(duì)輸入進(jìn)行線性變換得到的3 個(gè)矩陣,dk是Q和K的一個(gè)維度,用于防止Q和K的內(nèi)積過(guò)大.

2.3 多步預(yù)測(cè)策略

時(shí)序預(yù)測(cè)可描述為:給定時(shí)序數(shù)據(jù) [y1,y2,···,yN],預(yù)測(cè)其之后H個(gè)值[yN+1,yN+2,···,yN+H].

常見的時(shí)序預(yù)測(cè)方法是單步預(yù)測(cè)(single),即用長(zhǎng)度d的序列映射其之后的一個(gè)值,但是單步預(yù)測(cè)方法只能預(yù)測(cè)未來(lái)一個(gè)時(shí)刻的值,這時(shí)候需要通過(guò)多步預(yù)測(cè)方法來(lái)達(dá)到長(zhǎng)期預(yù)測(cè)的效果.目前常用的用于多步預(yù)測(cè)的策略有5 種[17]:遞歸(recursive) 策略[18,19]、直接(direct)策略[18,19]、直接-遞歸(DirRec)策略[20]、多輸入多輸出(MIMO)策略[21]和直接-多輸出(DIRMO)策略[22].遞歸策略選擇將前一次預(yù)測(cè)的值當(dāng)做輸入值來(lái)預(yù)測(cè)下一個(gè)值;直接策略對(duì)每一步的預(yù)測(cè)建立一個(gè)模型;直接-遞歸策略將直接策略與遞歸策略相結(jié)合,通過(guò)將上一步預(yù)測(cè)得到的值加入到下一步預(yù)測(cè)的輸入集中擴(kuò)大輸入,即隨著訓(xùn)練模型的增加,輸入數(shù)據(jù)的長(zhǎng)度也將增加;多輸入多輸出策略直接使用多目標(biāo)輸出多步的值;直接-多輸出策略結(jié)合直接策略和多輸入多輸出策略的特點(diǎn),將需要預(yù)測(cè)的H步數(shù)據(jù)長(zhǎng)度分成s段,因此需要訓(xùn)練p=H/s個(gè)模型.各種策略的計(jì)算過(guò)程如表1所示.

表1 多種預(yù)測(cè)策略的數(shù)學(xué)表達(dá)

3 本文算法A-TCNN 網(wǎng)絡(luò)結(jié)構(gòu)及實(shí)現(xiàn)

針對(duì)現(xiàn)有時(shí)序預(yù)測(cè)模型對(duì)非線性、非平穩(wěn)性的數(shù)據(jù)預(yù)測(cè)效果不佳,為進(jìn)一步提高預(yù)測(cè)模型的準(zhǔn)確率和效率問(wèn)題,考慮時(shí)域卷積對(duì)于提取時(shí)間關(guān)聯(lián)特征的有效性和參數(shù)的輕量化,殘差結(jié)構(gòu)能夠加快網(wǎng)絡(luò)收斂以及緩解網(wǎng)絡(luò)深度增加帶來(lái)的梯度消失問(wèn)題,以及注意力機(jī)制能夠加強(qiáng)模型中對(duì)輸出影響較重的參數(shù)的權(quán)重,本文提出了一種基于時(shí)域卷積、殘差結(jié)構(gòu)和注意力機(jī)制的時(shí)序預(yù)測(cè)模型(A-TCNN).模型(如圖4所示)包含殘差時(shí)域卷積層、注意力層、融合層和全連接層.

圖4 A-TCNN 模型結(jié)構(gòu)

第1 層為輸入層,輸入向量為給定長(zhǎng)度的時(shí)間序列數(shù)據(jù):

其中,d為時(shí)間步長(zhǎng).

第2、3 層為殘差時(shí)域卷積層,共4 個(gè)殘差卷積模塊,每個(gè)殘差卷積模塊包含一個(gè)普通卷積Conv和一個(gè)時(shí)域卷積Temporal Conv,時(shí)域卷積采用不同的膨脹系數(shù)p分別用于提取長(zhǎng)、短期的時(shí)序特征:

其中,ωc1,ωc2,ωc3,ωc4為卷積權(quán)重,ωt1,ωt2,ωt3,ωt4為時(shí)域卷積權(quán)重,bc1,bc2,bc3,bc4,bt1,bt2,bt3,bt4為偏置,ReLU為激活函數(shù).

第4 層為注意力層:

其中,ωq1,ωk1,ωv1,ωq2,ωk2,ωv2為注意力權(quán)重,dk1,dk2為Q或K的一個(gè)維度.

第5 層為拼接層,將前一層得到的兩個(gè)輸出對(duì)時(shí)間維度進(jìn)行拼接:

第6 層為全連接層,得到輸出值:

其中,ωy為全連接層權(quán)重,by為偏置.

模型采用多層殘差結(jié)構(gòu)的時(shí)域卷積,能夠有效的對(duì)數(shù)據(jù)的長(zhǎng)期和短期關(guān)系特征進(jìn)行提取;通過(guò)注意力機(jī)制加強(qiáng)參數(shù)的權(quán)重,得到輸入數(shù)據(jù)的特征向量表示;經(jīng)過(guò)全連接層得到精度較高的輸出結(jié)果.

模型選擇以均方根誤差作為目標(biāo)函數(shù),用Adam優(yōu)化算法對(duì)模型參數(shù)進(jìn)行更新.

4 實(shí)驗(yàn)及結(jié)論

4.1 實(shí)驗(yàn)仿真

為驗(yàn)證算法效果和魯棒性,使用杭州市某醫(yī)院2019年全年的實(shí)際流水?dāng)?shù)據(jù)進(jìn)行測(cè)試.原始數(shù)據(jù)為百萬(wàn)數(shù)量級(jí)的每人次消費(fèi)金額,現(xiàn)從門診消費(fèi)金額和全部消費(fèi)金額兩個(gè)角度對(duì)數(shù)據(jù)進(jìn)行整合,得到門診流水和全部流水兩個(gè)數(shù)據(jù)集,兩個(gè)數(shù)據(jù)集均表現(xiàn)為非線性、非平穩(wěn)性,分別對(duì)每個(gè)數(shù)據(jù)集按天進(jìn)行聚合,同時(shí)對(duì)數(shù)據(jù)進(jìn)行窗口滑動(dòng)濾波處理消除隨機(jī)噪聲干擾,選擇前11 個(gè)月的數(shù)據(jù)為訓(xùn)練集,后1 個(gè)月的數(shù)據(jù)為測(cè)試集.選擇時(shí)間步長(zhǎng)d為14,即用14 天的時(shí)間進(jìn)行預(yù)測(cè),單輸出時(shí)預(yù)測(cè)1 天的值(H=1),多輸出時(shí)預(yù)測(cè)30 天的值(H=30),分段輸出時(shí)每段預(yù)測(cè)6 天的值(H=6).門診流水?dāng)?shù)據(jù)集和全部流水?dāng)?shù)據(jù)集各得到285 組結(jié)構(gòu)為14×1的訓(xùn)練集和30 組結(jié)構(gòu)為1 4×1的測(cè)試集.

本文采用ARIMA 模型、MLP 網(wǎng)絡(luò)、LSTM 網(wǎng)絡(luò)、TCNN 網(wǎng)絡(luò)和A-TCNN 網(wǎng)絡(luò)對(duì)上述數(shù)據(jù)進(jìn)行預(yù)測(cè),分別對(duì)5 種模型的單步預(yù)測(cè)和5 種多步預(yù)測(cè)策略的結(jié)果進(jìn)行對(duì)比.其中,MLP 網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)如圖5所示;LSTM 網(wǎng)絡(luò)的結(jié)構(gòu)及參數(shù)如圖6所示;TCNN 網(wǎng)絡(luò)的結(jié)構(gòu)如圖7所示,該網(wǎng)絡(luò)為不添加注意力層的ATCNN 網(wǎng)絡(luò),其余參數(shù)與圖4算法相同.采用均方根誤差(RMSE)和R2分?jǐn)?shù)(R-squared score)進(jìn)行評(píng)價(jià),R2分?jǐn)?shù)越接近1 表示擬合程度越好,兩種評(píng)價(jià)標(biāo)準(zhǔn)的公式如式(18),式(19)所示.在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示.

圖5 MLP 網(wǎng)絡(luò)結(jié)構(gòu)

圖6 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)

圖7 TCNN 網(wǎng)絡(luò)結(jié)構(gòu)

4.2 結(jié)果分析及討論

從表2倒數(shù)第2 行兩個(gè)數(shù)據(jù)集單步預(yù)測(cè)策略的平均指標(biāo)來(lái)看,與MLP 網(wǎng)絡(luò)相比,TCNN 網(wǎng)絡(luò)和ATCNN 網(wǎng)絡(luò)的平均均方根誤差降低和平均R2分?jǐn)?shù)提升效果不明顯;與LSTM 網(wǎng)絡(luò)相比,TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了25.9%,平均R2分?jǐn)?shù)提升了6.6%;A-TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了32.3%,平均R2分?jǐn)?shù)提升了8.2%.

表2 5 種網(wǎng)絡(luò)多種預(yù)測(cè)策略在醫(yī)院流水兩個(gè)數(shù)據(jù)集的測(cè)試結(jié)果對(duì)比

從最后一行兩個(gè)數(shù)據(jù)集多步預(yù)測(cè)策略的平均指標(biāo)來(lái)看,與ARIMA 模型相比,TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了20.8%,平均R2分?jǐn)?shù)提升了10.8%,A-TCNN網(wǎng)絡(luò)的平均均方根誤差降低了30.0%,平均R2分?jǐn)?shù)提升了15.0%;與MLP 網(wǎng)絡(luò)相比,TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了18.2%,平均R2分?jǐn)?shù)提升了9.6%,ATCNN 網(wǎng)絡(luò)的平均均方根誤差降低了27.7%,平均R2分?jǐn)?shù)提升了13.8%;與LSTM 網(wǎng)絡(luò)相比,TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了23.7%,平均R2分?jǐn)?shù)提升了14.9%,A-TCNN 網(wǎng)絡(luò)的平均均方根誤差降低了32.6%,平均R2分?jǐn)?shù)提升了19.2%.

對(duì)比分析5 種網(wǎng)絡(luò)的不同預(yù)測(cè)策略:由于Recursive 策略和DirRec 策略將模型預(yù)測(cè)得到的值應(yīng)用于下一步的預(yù)測(cè),使得每次預(yù)測(cè)的誤差會(huì)累積,因此,隨著預(yù)測(cè)次數(shù)的增加,誤差會(huì)越來(lái)越大,所以這兩種策略的效果比Single 策略和Direct 策略差.同時(shí),Direct 策略和DirRec 策略需要建立多個(gè)模型,因此當(dāng)預(yù)測(cè)步長(zhǎng)較長(zhǎng)時(shí)所花費(fèi)的時(shí)間也成倍增加.MIMO 策略由于使用較小的輸入步長(zhǎng)預(yù)測(cè)較大的輸出步長(zhǎng),使得輸入含有的信息量不足,導(dǎo)致預(yù)測(cè)效果較差.DIRMO 策略是一種較為折中的策略,無(wú)需訓(xùn)練大量模型的同時(shí),也能保證準(zhǔn)確率.縱觀全部結(jié)果可知:在多步預(yù)測(cè)的策略上,基于DIRMO 策略的A-TCNN 網(wǎng)絡(luò)取得最佳預(yù)測(cè)性能,在門診流水?dāng)?shù)據(jù)集上的均方根誤差為0.190,R2分?jǐn)?shù)為0.903;在全部流水?dāng)?shù)據(jù)集上的均方根誤差為0.162,R2分?jǐn)?shù)為0.940.

以上結(jié)果表明,A-TCNN 網(wǎng)絡(luò)使用時(shí)域卷積來(lái)對(duì)醫(yī)院流水?dāng)?shù)據(jù)進(jìn)行處理,能夠有效的提取時(shí)間關(guān)聯(lián)特征,加強(qiáng)模型對(duì)非線性、非平穩(wěn)數(shù)據(jù)的信息挖掘能力,減少參數(shù)的數(shù)量級(jí),以及使用殘差結(jié)構(gòu)能夠加快網(wǎng)絡(luò)的收斂速度.與傳統(tǒng)ARIMA 模型、MLP 網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)相比,預(yù)測(cè)能力和效果得到了明顯的提升;同時(shí)進(jìn)一步引入注意力機(jī)制來(lái)加強(qiáng)影響參數(shù)的權(quán)重,優(yōu)化模型參數(shù),再次增強(qiáng)模型的預(yù)測(cè)能力.

5 結(jié)束語(yǔ)

針對(duì)現(xiàn)有模型對(duì)時(shí)序預(yù)測(cè)的準(zhǔn)確性和效率問(wèn)題,本文提出了一種融合時(shí)域卷積、殘差結(jié)構(gòu)和注意力機(jī)制的預(yù)測(cè)模型,通過(guò)殘差時(shí)域卷積層來(lái)對(duì)時(shí)間序列數(shù)據(jù)的長(zhǎng)、短期特征進(jìn)行提取,同時(shí)引入注意力機(jī)制強(qiáng)化模型參數(shù),進(jìn)一步提升模型的預(yù)測(cè)能力.在實(shí)際醫(yī)院流水?dāng)?shù)據(jù)集上,與傳統(tǒng)ARIMA 模型、MLP 網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)相比,在參數(shù)量上能夠大幅減少,同時(shí)能夠減少模型的訓(xùn)練時(shí)間以及硬件資源的消耗;在預(yù)測(cè)效果上,對(duì)于多種多步預(yù)測(cè)策略都有不同程度的提升,驗(yàn)證了該模型的有效性.該模型能夠有效的對(duì)醫(yī)院流水?dāng)?shù)據(jù)進(jìn)行長(zhǎng)期預(yù)測(cè),有較好的實(shí)際應(yīng)用效果,能夠?yàn)獒t(yī)院的決策提供較好的參考.在未來(lái)研究中,考慮將其他特征(例如天氣、節(jié)假日等)引入輸入中,并優(yōu)化模型結(jié)構(gòu),進(jìn)一步提升模型的預(yù)測(cè)能力和準(zhǔn)確性.