基于LSTM的醫(yī)療設(shè)備故障預(yù)警模型研究

馬 超，張?jiān)迫A

（浙江理工大學(xué) 信息學(xué)院，杭州 310018）

0 引 言

國內(nèi)醫(yī)療行業(yè)迅猛發(fā)展，越來越多的先進(jìn)醫(yī)療設(shè)備被研發(fā)出來，投入到醫(yī)院的臨床應(yīng)用中，為患者的治療做出了積極的貢獻(xiàn)。但與此同時，醫(yī)療設(shè)備故障也屢見不鮮?，F(xiàn)代醫(yī)療設(shè)備大都利用計算機(jī)技術(shù)、放射技術(shù)、自動化技術(shù)和影像處理技術(shù)等，系統(tǒng)龐大，設(shè)計復(fù)雜，通常都需要配有單獨(dú)的設(shè)備機(jī)房，并配有相關(guān)維護(hù)管理人員。設(shè)備管理人員如果能提前發(fā)現(xiàn)設(shè)備存在的隱患并及時處理，能夠避免一系列事故。

近年來，國內(nèi)外學(xué)者針對醫(yī)療設(shè)備的故障預(yù)警做了很多研究。熊剛等人利用單片機(jī)整合了設(shè)備監(jiān)控的各個傳感器的檢測數(shù)據(jù)，通過各傳感點(diǎn)的數(shù)值是否處于正常閾值內(nèi)來決定是否上報警告。徐立坤等人利用基于改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)備的故障預(yù)警研究，基于歷史故障數(shù)據(jù)和粗糙集理論對神經(jīng)結(jié)構(gòu)和算法進(jìn)行優(yōu)化。陳艷等人利用粗糙神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)挖掘技術(shù)研究醫(yī)療設(shè)備故障預(yù)警。

故障的預(yù)警并不是在故障發(fā)生時才發(fā)出警報，而是借助于先前一系列的變化數(shù)據(jù)來推斷后續(xù)的數(shù)據(jù)曲線，從而提早發(fā)現(xiàn)問題數(shù)據(jù)，做出相應(yīng)的警報。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，但在長序列訓(xùn)練中會出現(xiàn)梯度消失和梯度爆炸問題。長短期記憶神經(jīng)網(wǎng)絡(luò)（Long short-term memory，LSTM）在RNN模型的基礎(chǔ)上進(jìn)行的改進(jìn)，增加了門控機(jī)制的設(shè)計，使得其在較長的序列中有更好的表現(xiàn)，有更久的記憶特征，在數(shù)據(jù)預(yù)測方面優(yōu)勢明顯。

本研究采用LSTM-RNN的神經(jīng)網(wǎng)絡(luò)模型對醫(yī)療設(shè)備的故障預(yù)警進(jìn)行研究，在分析了醫(yī)用紅外熱像儀的相關(guān)故障數(shù)據(jù)后，列出了8項(xiàng)故障特征點(diǎn)，采集其數(shù)據(jù)并進(jìn)行預(yù)處理，作為實(shí)驗(yàn)的數(shù)據(jù)集，同時與BP神經(jīng)網(wǎng)絡(luò)、RNN神經(jīng)網(wǎng)絡(luò)預(yù)測模型進(jìn)行實(shí)驗(yàn)對比，驗(yàn)證本模型的高效性。

1 相關(guān)知識

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一種具有循環(huán)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，能夠很好地處理序列變化的數(shù)據(jù)，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。模塊在時刻同時讀取了輸入X和上一個時刻的輸出數(shù)據(jù)h，輸出h并進(jìn)入下一個循環(huán)，通過對數(shù)據(jù)的循環(huán)處理來提取序列中隨時間變化的特征。

圖1 RNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 RNN network structure

1.2 長短期記憶神經(jīng)網(wǎng)絡(luò)

長短期記憶神經(jīng)網(wǎng)絡(luò)（Long short-term memory，LSTM）是一種特殊的RNN。RNN在長序列訓(xùn)練中，梯度隨著距離增加逐漸減弱，整個模型的梯度被近距離的梯度主導(dǎo)，難以學(xué)到遠(yuǎn)距離的依賴關(guān)系。LSTM通過門控設(shè)計，有選擇地傳遞記憶信息，避免了長序列訓(xùn)練中發(fā)生上述問題，在數(shù)據(jù)預(yù)測領(lǐng)域有廣泛的應(yīng)用。

傳統(tǒng)的LSTM在時刻的細(xì)胞單元結(jié)構(gòu)如圖2所示。設(shè)計了3個門來保護(hù)或丟棄細(xì)胞的信息，分別是輸入門（i）、遺忘門（f）和輸出門（o）。圖2中，x表示一個輸入節(jié)點(diǎn)，用來對應(yīng)一個特征參數(shù)，在本文中代表影響紅外熱像儀運(yùn)作的重要特征點(diǎn)，h表示時刻單元的信息輸出向量，C表示時刻記憶細(xì)胞的計算狀態(tài)。

圖2 LSTM單元結(jié)構(gòu)Fig.2 The unit structure of LSTM

LSTM通過3個階段來傳遞信息。對此擬做闡釋分述如下。

（1）第一階段。利用遺忘門丟棄細(xì)胞狀態(tài)中不需要的信息，對此可表示為：

其中，為函數(shù)；W為遺忘門系數(shù)權(quán)重矩陣；h為前一時刻的輸出；x為此刻的輸入；b為遺忘門偏置矩陣。

（2）第二階段。選擇記憶階段，通過輸入門來選擇將要更新的值，對此可表示為：

其中，i為輸入門信息，為函數(shù)；W為輸入門系數(shù)權(quán)重矩陣；h為前一時刻輸出；x為此刻的輸入；b為輸入門偏置矩陣。

創(chuàng)建一個新候選值向量~C，加入到狀態(tài)中，推得的數(shù)學(xué)公式可寫為：

其中，為數(shù)學(xué)函數(shù)；W為權(quán)重矩陣；h為前一時刻輸出；x為此刻的輸入；b為偏置矩陣。

更新細(xì)胞狀態(tài)C，將舊狀態(tài)與遺忘門相乘，確定需要丟棄的信息，并加上輸入門的新候選值，得到最新的狀態(tài)，推得的數(shù)學(xué)公式見如下：

（3）第三階段。是輸出階段。首先對輸入進(jìn)行函數(shù)運(yùn)算，然后對細(xì)胞狀態(tài)進(jìn)行函數(shù)運(yùn)算，并將兩者輸出相乘，得到最終輸出信息h，數(shù)學(xué)公式分別如下：

其中，o為輸出門信息；為函數(shù)；W為輸出門權(quán)重矩陣；h為前一時刻輸出；x為此刻輸入；b為輸出門偏置矩陣。

LSTM通過3個階段門狀態(tài)的控制來傳輸狀態(tài)，選擇記憶有用信息，遺忘無用信息，減少特征丟失，有效避免了長期依賴以及梯度消失的問題，更有利于依據(jù)長期的數(shù)據(jù)進(jìn)行預(yù)測分析。

2 模型構(gòu)建

2.1 輸入層設(shè)計

本文研究的醫(yī)療設(shè)備是醫(yī)用紅外熱像儀，需要確定會導(dǎo)致此類設(shè)備出現(xiàn)故障的主要影響因子作為預(yù)測模型的輸入。結(jié)合此類設(shè)備的運(yùn)行特征以及歷史故障的原因，確定的輸入?yún)?shù)見表1。

表1 模型輸入?yún)?shù)表Tab.1 Model input parameters table

2.2 數(shù)據(jù)預(yù)處理

由于各項(xiàng)數(shù)據(jù)范圍差別很大，隨著訓(xùn)練的迭代，模型難以收斂，梯度下降得比較慢，精度也不高，所以需要對輸入數(shù)據(jù)進(jìn)行預(yù)處理。本文使用數(shù)據(jù)歸一化處理，使得每個特征數(shù)據(jù)的分布都在0～1之間，基本趨于一致，有利于梯度下降，加快模型的收斂速度，方法計算公式為：

其中，為實(shí)際值；表示該項(xiàng)數(shù)據(jù)中的峰值；表示該項(xiàng)數(shù)據(jù)中的最低值。

2.3 模型設(shè)計

本文的預(yù)測模型采用LSTM加全連接層的結(jié)構(gòu)設(shè)計，由一層LSTM輸入層、層LSTM隱藏層和2層全連接網(wǎng)絡(luò)以及一個輸出層組成，模型結(jié)構(gòu)如圖3所示。利用LSTM控制各項(xiàng)特征的長時記憶，并結(jié)合全連接層將LSTM訓(xùn)練得到的輸出向量進(jìn)行維度轉(zhuǎn)換、特征深度融合。采用Adam優(yōu)化器進(jìn)行優(yōu)化，利用梯度的一階矩估計和二階矩估計來改變各個參數(shù)的學(xué)習(xí)率，各個參數(shù)在學(xué)習(xí)率的動態(tài)調(diào)整下逐漸調(diào)到最優(yōu)。

圖3 LSTM模型Fig.3 LSTM model

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本實(shí)驗(yàn)的數(shù)據(jù)集選用某醫(yī)院醫(yī)用紅外熱像儀相關(guān)數(shù)據(jù)，采用傳感器采集以及調(diào)用儀器SDK開發(fā)包程序進(jìn)行采集的方式收集了該設(shè)備8項(xiàng)特征點(diǎn)最近一年的數(shù)據(jù)作為本實(shí)驗(yàn)的訓(xùn)練集和驗(yàn)證集。

3.2 評價指標(biāo)

為了準(zhǔn)確地計算出模型預(yù)測數(shù)據(jù)與實(shí)際數(shù)據(jù)之間的偏差，本實(shí)驗(yàn)選用均方根誤差（）和平均絕對百分比誤差（）來衡量實(shí)驗(yàn)的預(yù)測效果，數(shù)學(xué)定義公式具體如下：

其中，（x）是模型的預(yù)測值，y是實(shí)際值。

3.3 參數(shù)設(shè)置

經(jīng)過多次調(diào)整模型參數(shù)并根據(jù)和的結(jié)果，選擇了最優(yōu)的模型參數(shù)配置，見表2。

表2 參數(shù)設(shè)置表Tab.2 Parameters setting

3.4 實(shí)驗(yàn)結(jié)果

利用訓(xùn)練集數(shù)據(jù)訓(xùn)練后統(tǒng)計的訓(xùn)練集損失結(jié)果如圖4所示。從圖4結(jié)果可知，該模型對數(shù)據(jù)的擬合效果較好，模型的均方根誤差在前幾次迭代中快速降低，然后逐漸緩慢降低。

圖4 模型的訓(xùn)練集損失Fig.4 Training loss of the model

為了驗(yàn)證本實(shí)驗(yàn)?zāi)Ｐ偷挠行裕谕粩?shù)據(jù)集對BP神經(jīng)網(wǎng)絡(luò)、RNN神經(jīng)網(wǎng)絡(luò)等預(yù)測模型進(jìn)行對比實(shí)驗(yàn)，利用和指標(biāo)進(jìn)行評估，具體評價結(jié)果見表3。

表3 預(yù)測模型的評價結(jié)果Tab.3 Evaluation results of prediction model

實(shí)驗(yàn)結(jié)果表明，通過提取醫(yī)用紅外熱像儀的8項(xiàng)特征數(shù)據(jù)，并利用LSTM的模型進(jìn)行訓(xùn)練的擬合效果最佳，值為0.023 5，值為1.69%。相比于BP、RNN等其他的神經(jīng)網(wǎng)絡(luò)預(yù)測模型，LSTM預(yù)測模型的預(yù)測誤差更小，性能更好。

4 結(jié)束語

本文針對現(xiàn)有醫(yī)療設(shè)備故障預(yù)警研究存在的漏報、誤報、不及時報警等問題，提出了基于LSTM的預(yù)警模型。利用LSTM在長時記憶特征的優(yōu)勢對可能影響醫(yī)療設(shè)備正常運(yùn)行的特征數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，給出特征的未來序列預(yù)測，分析設(shè)備可能發(fā)生的故障，達(dá)到故障預(yù)警的目的。通過對采集到的設(shè)備特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本模型的高效預(yù)測性能，對數(shù)據(jù)的擬合效果較好，預(yù)測準(zhǔn)確度明顯高于BP、RNN等預(yù)測模型。該模型可為實(shí)現(xiàn)醫(yī)療設(shè)備的故障預(yù)警提供了參考。