基于順序嵌入結(jié)合關(guān)聯(lián)嵌入的呼吸運(yùn)動預(yù)測

張昆鵬，于佳弘，靳 爽，蘇 哲，徐曉桐，張 華，2，3

南方醫(yī)科大學(xué)1生物醫(yī)學(xué)工程學(xué)院，2廣東省醫(yī)學(xué)圖像處理重點實驗室，3廣東省醫(yī)學(xué)影像與診斷技術(shù)工程實驗室，廣東 廣州 510515

在胸腹部腫瘤放射治療過程中，呼吸運(yùn)動的存在可能會導(dǎo)致射線束照射位置偏離原定計劃靶區(qū)位置［1-3］?？朔粑\(yùn)動的影響，臨床上最先進(jìn)的方法為自適應(yīng)運(yùn)動補(bǔ)償［4-8］。然而，在跟蹤腫瘤治療過程中，加速器放療系統(tǒng)的復(fù)雜性使其不可避免的在檢測到內(nèi)部腫瘤運(yùn)動到治療射線束做出調(diào)整反應(yīng)的過程中存在特定的延遲。為了保證治療射束與運(yùn)動靶區(qū)相對不變的空間位置，可以通過追蹤體表替代運(yùn)動信號和腫瘤內(nèi)部植入物的運(yùn)動信號進(jìn)行運(yùn)動建模，從而預(yù)測相應(yīng)延遲時間后的腫瘤位置［9-11］。

目前學(xué)者已經(jīng)提出了各種呼吸運(yùn)動預(yù)測算法。其中基于回歸分析的算法通過歷史數(shù)據(jù)的線性組合進(jìn)行計算［12］，不能對復(fù)雜的非線性很好的建模預(yù)測。支持向量回歸法對大規(guī)模訓(xùn)練樣本難以實施［13］。Ramrath 等［14］使用擴(kuò)展的卡爾曼濾波模型預(yù)測，該算法相對復(fù)雜，且預(yù)測結(jié)果并未更優(yōu)。記憶學(xué)習(xí)法［15］在小樣本、長延時的條件下會出現(xiàn)“病態(tài)矩陣”，導(dǎo)致誤差過大。近幾年來隨著深度學(xué)習(xí)的發(fā)展，專門用于序列分析建模的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）以及其變體長短記憶神經(jīng)網(wǎng)絡(luò)（LSTM）受到很大的關(guān)注［16-20］。使用LSTM進(jìn)行呼吸運(yùn)動預(yù)測，并取得了不錯的效果［21］。同時卷積神經(jīng)網(wǎng)絡(luò)（CNN）也被應(yīng)用于呼吸運(yùn)動預(yù)測，有學(xué)者提出CNN-driven的預(yù)測模型［22］。呼吸運(yùn)動信號是一個包含前后（AP），上下（SI）和左右（LR）的多元時間序列，然而，現(xiàn)存的方法是各個方向獨立進(jìn)行建模，分別進(jìn)行預(yù)測，并未考慮不同方向的關(guān)聯(lián)，預(yù)測準(zhǔn)確性有待提高。

本文提出基于順序嵌入結(jié)合關(guān)聯(lián)嵌入的深度學(xué)習(xí)模型，首次把各個方向運(yùn)動作為一個整體，通過長短記憶神經(jīng)網(wǎng)絡(luò)（LSTM）和自注意力模塊（Self-Attention）［23-25］充分挖掘運(yùn)動序列的時間依賴和空間關(guān)聯(lián)，各個方向共同進(jìn)行建模預(yù)測，進(jìn)一步提高了預(yù)測準(zhǔn)確性。

1 方法

圖1為對本文提出的模型框架示意圖，包括順序嵌入層、關(guān)聯(lián)嵌入層、預(yù)測層和自回歸模塊。每層的具體結(jié)構(gòu)在以下被闡明。將給定長度的包含上下、左右和前后的呼吸運(yùn)動信號輸入訓(xùn)練好的網(wǎng)絡(luò)模型，便可得到位置預(yù)測。

圖1 模型結(jié)構(gòu)Fig.1 Structure of the prediction model for respiratory motion.A:Overall structure of the network model.B:Long Short-Term Memory neural network.C:Self-attention structure.

1.1 順序嵌入層

在呼吸運(yùn)動預(yù)測任務(wù)中，由于每個方向都存在特定時間動態(tài)模式，因此每個方向的歷史運(yùn)動狀態(tài)對于未來的預(yù)測是極為重要的。在這里，我們使用一個順序嵌入層去捕獲歷史運(yùn)動狀態(tài)的順序依賴。具體的，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)的變體長短記憶神經(jīng)網(wǎng)絡(luò)（LSTM）［26］，如（圖1B）所示，去捕獲歷史運(yùn)動狀態(tài)的順序依賴。LSTM能夠保持對過去更長期的記憶，同時克服長序列訓(xùn)練的梯度消失和梯度爆炸問題。我們把單個方向的歷史運(yùn)動狀態(tài)序列分別輸入LSTM，使用最后一個隱藏狀態(tài)作為這個方向順序嵌入表示，這個過程稱為順序嵌入。

LSTM的功能通過遺忘門，輸入門和輸出門來實現(xiàn)，各個控制門主要由一個sigmoid函數(shù)和點乘操作組成，決定信息傳遞與丟棄。其過程可以通過以下公式表示

遺忘門：選擇忘掉過去某些信息

輸入門：記憶現(xiàn)在的某些信息

輸出門：進(jìn)行輸出

Wi_∈Rh×d,Wh_∈Rh×h,bh_∈Rh代表需要在訓(xùn)練中更新的權(quán)重矩陣和偏差向量，其中d和h代表分別代表輸入維度和隱藏狀態(tài)輸出維度，σ代表sigmoid激活函數(shù)。ft、it和ot分別代表遺忘門、輸入門和輸出門。ct和ht分別代表不同時間步胞體狀態(tài)向量和隱藏狀態(tài)向量。得益于門控設(shè)置和中間記憶狀態(tài)，LSTM具有捕獲時間序列長依賴的能力。

1.2 關(guān)聯(lián)嵌入層

我們通過自注意力機(jī)制［23］，如（圖1C）所示，實現(xiàn)關(guān)聯(lián)嵌入，其基本思想是每個方向的順序嵌入表示會和自身以及其他方向的順序嵌入表示生成注意力值，最后根據(jù)這些注意力值進(jìn)行加權(quán)求和，得到的每個方向表示聚合了不同方向的信息，稱為關(guān)聯(lián)嵌入表示。自注意力的實現(xiàn)由以下公式表示。

f3×n表示3個方向的順序嵌入表示組成的矩陣，n表示嵌入表示的維度。對f3×n進(jìn)行線性變換得到Q、K、V三個矩陣。A是注意力矩陣，(a)i,j表示第i個方向和第j個方向的關(guān)聯(lián)權(quán)值。

1.3 預(yù)測層與自回歸模塊

預(yù)測層由非線性預(yù)測分量和線性預(yù)測分量兩部分組成。將順序嵌入層得到的順序嵌入表示和關(guān)聯(lián)嵌入層得到的關(guān)聯(lián)嵌入表示進(jìn)行串聯(lián)拼接，通過全連接層生成非線性預(yù)測分量。自回歸模塊平行于整個結(jié)構(gòu)，由全連接層構(gòu)成，歷史運(yùn)動信號直接輸入該模塊得到線性預(yù)測分量，使輸出對輸入值的尺度變化更敏感，增加整體預(yù)測的魯棒性。線性預(yù)測分量和非線性預(yù)測分量直接相加得到最終的預(yù)測。

自回歸模塊是通過對歷史信號的各個時間狀態(tài)進(jìn)行加權(quán)求和，是一個線性輸出的過程，因此會隨輸入尺度的變化而明顯變化，可由以下公式表示：

1.4 實驗設(shè)計

1.4.1 實驗數(shù)據(jù)和平臺 數(shù)據(jù)采用德國呂貝克大學(xué)機(jī)器人與認(rèn)知系統(tǒng)研究所［4］（Institute for Robotics and Cognitive System,University of Lubeck,Germany），提供的在線數(shù)據(jù)（signals.rob.uni-luebeck.de）。數(shù)據(jù)包括在CyberKnife治療期間被記錄的304例呼吸運(yùn)動軌跡，每例呼吸運(yùn)動信號平均有60 min的數(shù)據(jù)采集量。同時還包括對7位志愿者分別進(jìn)行5～6 min的體內(nèi)運(yùn)動信號采集，采樣頻率為20 Hz。本研究實驗利用python進(jìn)行編程實現(xiàn)，使用pytorch［27］進(jìn)行模型的構(gòu)建。

1.4.2 模型訓(xùn)練和測試 數(shù)據(jù)預(yù)處理階段我們使用已經(jīng)獲得的在線數(shù)據(jù)，將各個方向的運(yùn)動信號分別減去對應(yīng)的基線值，即運(yùn)動范圍的中值。我們使用“模型預(yù)訓(xùn)練+微調(diào)”的訓(xùn)練模式，使得當(dāng)針對具體病人時能夠適應(yīng)其特有的運(yùn)動模式和空間關(guān)聯(lián)。我們使用CyberKnife治療期間被記錄的304例呼吸運(yùn)動軌跡作為模型預(yù)訓(xùn)練的數(shù)據(jù)集，使用滑動窗口獲得訓(xùn)練數(shù)據(jù)對，包括給定長度的歷史運(yùn)動信號和對應(yīng)延遲間隔的值，進(jìn)行模型的預(yù)訓(xùn)練。我們使用在線數(shù)據(jù)提供的7位志愿者呼吸運(yùn)動信號作為測評樣例數(shù)據(jù)。如圖2，每一位志愿者呼吸運(yùn)動信號的前4/5被用來進(jìn)行模型微調(diào)，其余的部分進(jìn)行測試。歷史運(yùn)動信號長度是一個超參數(shù)，其選擇要在一半的周期長度到1個周期長度之間，呼吸周期一般在3 s左右。在我們的實驗中選擇歷史運(yùn)動信號長度選為32個采樣點，即1.6 s，每個志愿者以20 HZ頻率進(jìn)行5～6 min的信號采樣，對于每一個志愿者可獲得大約4800對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練模型微調(diào)，1200對數(shù)據(jù)進(jìn)行測試。使用訓(xùn)練數(shù)據(jù)進(jìn)行模型的訓(xùn)練，采用小批量隨機(jī)梯度下降，使用adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.0001，使用MSE損失函數(shù)。

圖2 滑動窗口獲得數(shù)據(jù)對及數(shù)據(jù)劃分Fig.2 Data partitioning of the respiratory signals. T represents the signal history length, YT the historical respiratory motion signal,l the length of the delay interval,and yT+l the value of the motion signal at the delay interval.

1.4.3 評價指標(biāo) 為了評估模型的性能，本研究采用了不同的呼吸運(yùn)動預(yù)測方法進(jìn)行比較，分別為線性回歸法、支持向量回歸法和長短記憶神經(jīng)網(wǎng)絡(luò)。延遲時間設(shè)置為150、300、450 ms的幾種情況。

使用平均絕對誤差和相對平方誤差作為本實驗的評價指標(biāo)。

平均絕對誤差（MAE）

相對平方誤差(RSE)

在公式（15）和（16）中t0和t1分別代表當(dāng)前測評樣本測試數(shù)據(jù)的起始和結(jié)束。n表示數(shù)據(jù)的維度，在這里指的是呼吸運(yùn)行信號的3個方向，n為3。

2 結(jié)果

2.1 呼吸運(yùn)動預(yù)測曲線

我們分別選擇兩個代表性樣例進(jìn)行SI、AP和LR方向預(yù)測曲線展示，圖3中樣例1是呼吸運(yùn)動不規(guī)律的代表，受抖動影響較為明顯。從圖3可以看出我們的模型在延遲時間300 ms時，依舊能夠很好地擬合真實呼吸運(yùn)動軌跡。圖4 中樣例3是呼吸運(yùn)動較為平穩(wěn)的代表。圖4可以看出我們的模型在延遲時間300 ms時，基本完美的擬合了真實呼吸運(yùn)動曲線。

圖3 樣例1在延遲時間為300 ms時，SI、AP和LR方向的預(yù)測曲線Fig.3 Prediction curves of SI(A),AP(B)and LR(C)directions of sample 1 with a delay time of 300 ms.

圖4 樣例3在延遲時間為300 ms時，SI、AP和LR方向的預(yù)測曲線Fig.4 Prediction curves of SI(A),AP(B)and LR(C)directions of sample 3 with a delay time of 300 ms.

2.2 延遲偏差定量分析

我們分別計算7例樣本在施加預(yù)測和無預(yù)測的情況下不同延遲時間各個方向的平均絕對偏差，同時計算出其在3D方向的偏差，以及3D偏差減小百分比。如表1所示，我們的模型在各個方向中均能減小延遲偏差。在所有7例樣本不同延遲時間中，最大3D方向偏差減小百分比為80.85%，最小為50.79%，平均為70%。

2.3 對應(yīng)不同延遲時間的預(yù)測效果比較

使用在線數(shù)據(jù)集提供的7例數(shù)據(jù)的內(nèi)部運(yùn)動信號，分別進(jìn)行線性回歸法［12］、支持向量回歸法（SVR）［13］、CNN-driven［22］、Dsanet［28］、LSTM［21］和我們方法的預(yù)測，延遲時間分別設(shè)為150、300、450 ms。計算上述預(yù)測算法預(yù)測結(jié)果的MAE和RSE。由表2和表3可以看出，所有的方法都能實現(xiàn)比無預(yù)測時更小偏差。

2.4 微調(diào)數(shù)據(jù)量對預(yù)測的影響

在比較實驗中我們的微調(diào)數(shù)據(jù)和測試數(shù)據(jù)之比設(shè)置為8∶2。為了進(jìn)一步表明微調(diào)數(shù)據(jù)量對預(yù)測的影響，我們分別設(shè)置微調(diào)數(shù)據(jù)和測試數(shù)據(jù)比為7∶3和6∶4，進(jìn)行訓(xùn)練預(yù)測。計算其在響應(yīng)時間為300 ms下預(yù)測結(jié)果的MAE和RSE（表4、5）。

表4 不同比例在響應(yīng)時間為300 ms時測試的MAE值Table 4 MAEs tested at different scales with a response time of 300 ms

3 討論

傳統(tǒng)的方法以及近些年提出的深度學(xué)習(xí)相關(guān)的呼吸運(yùn)動預(yù)測方法，都獨立地預(yù)測呼吸運(yùn)動的各個方向，需要針對不同方向依次進(jìn)行運(yùn)動曲線擬合或者模型的訓(xùn)練，這樣不僅需要額外的任務(wù)負(fù)擔(dān)，同時忽略了不同方向的空間相關(guān)，預(yù)測準(zhǔn)確性有待提高。在我們的研究中，把單個病人不同方向的運(yùn)動信號看作一個整體，通過LSTM實現(xiàn)順序嵌入，通過自注意力實現(xiàn)關(guān)聯(lián)嵌入，充分捕獲呼吸運(yùn)動信號的時間依賴和空間相關(guān)性，實現(xiàn)各個方向一體化建模預(yù)測，減小了延遲偏差。

Ernst等［12］提出使用基于小波的多尺度自回歸模型進(jìn)行呼吸運(yùn)動預(yù)測，并于其他基于自回歸基礎(chǔ)的模型進(jìn)行比較。在他們的實驗中分別進(jìn)行模擬數(shù)據(jù)和真實數(shù)據(jù)測試，模式數(shù)據(jù)是多個正弦模型的擬合其非常平滑和規(guī)則，真實數(shù)據(jù)受抖動及測量噪聲的影響其信號不規(guī)則和不平滑。他們的實驗結(jié)果表明，在模擬數(shù)據(jù)中基于自回歸的方法能取得理想的預(yù)測效果，但是用于真實數(shù)據(jù)時要先進(jìn)行數(shù)據(jù)的平滑處理，得到的效果也不理想，并且提出的基于小波的多尺度自回歸模型相比于其他的自回歸模型并沒有很大的提升。我們的方法直接應(yīng)用于真實數(shù)據(jù)，如圖3所示，樣例1的呼吸運(yùn)動信號極為不規(guī)律，抖動極為明顯。我們的模型依舊能夠很好的擬合各個方向的運(yùn)動軌跡，同時從表1看出樣例1的3D偏差減小百分比在響應(yīng)時間為150、300、450 ms時分別為50.79%、60.30%、57.40%，有較好減少位置偏差的效果。從表2和表3可以看出在不同樣本不同響應(yīng)時間中我們的模型的評價指標(biāo)也是遠(yuǎn)好于AR。Ernst等［13］又再次提出使用支持向量回歸進(jìn)行呼吸運(yùn)動預(yù)測，并證明其效果優(yōu)于先前的基于自回歸的方法。然而Ernst F等指出支持向量回歸的參數(shù)選擇是困難的，其包含核函數(shù)和對應(yīng)參數(shù)的選擇、懲罰因子的選擇、錯誤不敏感水平選擇和信號歷史長度選擇等，并且參數(shù)的選擇對實驗結(jié)果有較大的影響。我們的模型需要考慮的參數(shù)僅僅是LSTM隱藏層的維度，并且相對固定，在我們的實驗中設(shè)置為36。在我們的實驗中，支持向量回歸使用高斯核，其他參數(shù)選擇默認(rèn)設(shè)置。通過表2和表3看出我的模型預(yù)測效果同樣也優(yōu)于支持向量回歸。近年來隨著深度學(xué)習(xí)的發(fā)展，大量深度學(xué)習(xí)相關(guān)的腫瘤運(yùn)動預(yù)測模式被提出。Zhou D等提出CNN-driven［22］預(yù)測模型，利用CNN強(qiáng)大的特征挖掘能力，對運(yùn)動信號的時間模式特征進(jìn)行充分挖掘，進(jìn)行腫瘤運(yùn)動預(yù)測。由于CNN存在平移不變性以及沒有記憶功能，對于預(yù)測過程中存在的呼吸運(yùn)動基線變化無法做出正確的響應(yīng)，因此在實際腫瘤預(yù)測中是不可靠的。Lin等［21］首次提出使用LSTM進(jìn)行呼吸運(yùn)動預(yù)測，各個方向獨立預(yù)測，并取得較好的預(yù)測效果。我們的模型是在LSTM基礎(chǔ)上加入自注意力模塊引入空間關(guān)聯(lián)，加入自回歸模塊克服LSTM對輸入尺度變化不敏感的問題，實現(xiàn)各個方向一體化進(jìn)行預(yù)測。通過表2和表3可以看出我們的模型預(yù)測效果優(yōu)于LSTM，證明引入空間關(guān)聯(lián)和線性成分對于提升預(yù)測效果有一定的作用，同時通過表1可以看出各個方向的誤差均有減小，3D偏差減少百分比達(dá)到70%以上，我們的模型對于多方向的呼吸運(yùn)動預(yù)測具有良好性能。

表1 在無預(yù)測和預(yù)測情況下各個方向的平均絕對偏差Table 1 Mean absolute deviation in all directions(mm)

表2 不同預(yù)測方法在不同延遲時間測試的MAE值Table 2 Mean absolute deviations(MAEs)tested by different prediction methods at different delay times

表3 不同預(yù)測方法在不同延遲時間測試的RSE值Table 3 RSEs tested by different prediction methods at different delay time

在我們的模型中LSTM隱藏層的維度是最主要的超參數(shù)，直接決定模型的復(fù)雜度。隱藏層的維度設(shè)置過大，模型復(fù)雜度增大，計算負(fù)擔(dān)重，收斂變慢。其設(shè)置小，模型復(fù)雜度變小，特征挖掘和學(xué)習(xí)能力下降。在我們的實驗中隱藏層的維度設(shè)置為36，在保持學(xué)習(xí)能力下，又能保證快速的收斂，是一個輕量級網(wǎng)絡(luò)，有僅6萬多參數(shù)量。在使用GUP的情況下，使用當(dāng)前治療病人3 min左右的采樣數(shù)據(jù)量，在預(yù)訓(xùn)練模型上進(jìn)行微調(diào)，1～2 min內(nèi)便可收斂，同時網(wǎng)絡(luò)生成預(yù)測過程在20 ms之內(nèi)，因此能夠很好的適用于實際放療過程。我們的模型訓(xùn)練使用“預(yù)訓(xùn)練+微調(diào)”的模式，這種模式在最近的深度學(xué)習(xí)相關(guān)的腫瘤運(yùn)動預(yù)測模型［22］被使用。不同的病人呼吸運(yùn)動信號的運(yùn)動模式和空間關(guān)聯(lián)都有一定不同，對預(yù)訓(xùn)練模式的微調(diào)能夠使得模型適應(yīng)當(dāng)前病人具體的呼吸運(yùn)動特性。由表4和表5可以看出，提供更多具體病人的運(yùn)動數(shù)據(jù)進(jìn)行微調(diào)能夠提高預(yù)測準(zhǔn)確性。同時在長時間治療過程中，病人可能出現(xiàn)運(yùn)動模式的漸變過程，可以進(jìn)行實時在線微調(diào)，使其能夠適應(yīng)治療過程中呼吸運(yùn)動模式的變化。

表5 不同比例在響應(yīng)時間為300 ms時測試的RSE值Table 5 RSEs tested at different scales with a response time of 300 ms

綜上，本研究提出的深度學(xué)習(xí)模型相比于線性回歸，支持向量回歸，CNN-driven和LSTM模型能夠?qū)崿F(xiàn)更準(zhǔn)確的預(yù)測效果，并且各個方向一體化建模預(yù)測，在解決精確放療中系統(tǒng)延遲問題有很大的應(yīng)用價值。在實際放療追蹤中，我們的深度學(xué)習(xí)預(yù)測模型可與內(nèi)-外關(guān)聯(lián)模型［29-31］聯(lián)合使用，通過預(yù)測-關(guān)聯(lián)實現(xiàn)外部替代信號到內(nèi)部腫瘤位置的預(yù)測，可以在實際放療追蹤中得到很好的應(yīng)用。