聯(lián)合深度學(xué)習(xí)的通用血流向量成像方法

彭 博，羅婭茹，謝盛華，尹立雪

（1.西南石油大學(xué)計算機科學(xué)學(xué)院，成都 610500；2.四川省醫(yī)學(xué)科學(xué)院·四川省人民醫(yī)院心血管超聲及心功能科，成都 610072；3.超聲心臟電生理學(xué)與生物力學(xué)四川省重點實驗室，成都 610072）

0 引言

心血管疾病是日常生活中嚴(yán)重威脅人體健康的疾病，其發(fā)病率、致死率一直高居首位。根據(jù)世界衛(wèi)生組織（World Health Organization，WHO）的統(tǒng)計，全世界每年大約有1700萬人死于心血管疾病，占全世界死亡人數(shù)的31%。心血管疾病之所以有如此高的致死率，是因為在心血管患病早期通常不會出現(xiàn)明顯的臨床表現(xiàn)。所以心臟疾病的防治關(guān)鍵在于早發(fā)現(xiàn)、早治療。其實，病人在患病早期心臟形態(tài)結(jié)構(gòu)和血流模式已與正常人有所不同，可以通過觀察心臟流體力學(xué)狀態(tài)的變化及時有效反映心臟功能的異常［1］。因此，心臟流體力學(xué)運動狀態(tài)的有效可視化觀察和量化評價有助于心臟功能異常的早期篩查，為心血管疾病的早發(fā)現(xiàn)提供了一種新的技術(shù)手段。

超聲具有無傷、無輻射、實時、價格低廉、操作簡單等優(yōu)點，因此在臨床上已廣泛使用超聲成像技術(shù)進(jìn)行血流可視化觀察及測量，例如連續(xù)多普勒、脈沖多普勒、彩色多普勒等。但是，這些方法只能在一定程度上反映流場的部分信息，不能全面反映流體的運動狀態(tài)。血流向量成像（Vector Flow Mapping，VFM）技術(shù)的出現(xiàn)，突破了常規(guī)多普勒超聲的局限，實現(xiàn)了心臟全流場可視化描述，特別是在左心室運動的可視化觀察和量化評價研究方面被廣泛關(guān)注。VFM 技術(shù)由Ohtsuki 等［2］首次提出，是一種新穎的心功能檢測技術(shù)。Uejima 等［3］使用三維數(shù)值模型進(jìn)行驗證，但是他們的流場速度估計方法存在理論缺陷。Garcia 等［4］提出將室壁運動信息結(jié)合多普勒速度的改進(jìn)方法，得到了有效的左心室流場速度矢量。Itatani 等［5］在Garcia 等［4］研究的基礎(chǔ)上進(jìn)行權(quán)重劃分的改進(jìn)，并通過計算流體動力學(xué)（Computational Fluid Dynamics，CFD）得到驗證。謝盛華等［6］通過擴展流函數(shù)來計算多普勒流量函數(shù)，最終實現(xiàn)了二維平面流體運動的可視化描述。Asami 等［7］通過將VFM 與粒子圖像測速的血流測量值進(jìn)行比較，定性且定量地評估了VFM 在三維左心室血流場中的準(zhǔn)確性。Tanaka等［8］提出了一種稱為后驗VFM準(zhǔn)確度估計的新方法，并提高了VFM 的臨床有效性。Zhuang 等［9］將YOLO 深度學(xué)習(xí)模型與改進(jìn)的塊匹配算法相結(jié)合，對左心室壁進(jìn)行定位和跟蹤，并改進(jìn)權(quán)重函數(shù)，提高了VFM 的準(zhǔn)確性。但由于現(xiàn)有VFM 技術(shù)首先需要依賴于特定超聲設(shè)備獲得原始射頻數(shù)據(jù)，然后再采用商用散斑跟蹤軟件進(jìn)行流場可視化分析，并且在計算過程中需要對左心室壁進(jìn)行手工勾勒，所以其通用性不足，有一定的局限性和不可移植性。

基于Garcia等［4］的研究，本文提出了一種聯(lián)合深度學(xué)習(xí)的通用VFM方法。該方法充分利用彩色多普勒超聲心動圖像彩色血流信息，從數(shù)字圖像處理的角度出發(fā)，聯(lián)合深度學(xué)習(xí)網(wǎng)絡(luò)模型，提取心臟左心室流場信息。相較于現(xiàn)有VFM方法，本文方法主要改進(jìn)包括：1）不依賴特定超聲設(shè)備導(dǎo)出原始射頻信號提取多普勒速度信息，直接利用任意能夠?qū)С霾噬嗥绽粘曅膭訄D的超聲設(shè)備，基于圖像數(shù)據(jù)獲取速度信息，打破了超聲設(shè)備的局限性；2）采用U-Net 模型自動識別左心室壁輪廓，且采用經(jīng)遷移學(xué)習(xí)重新訓(xùn)練的PWC-Net（convolutional neural Networks for optical flow using Pyramid，Warping，and Cost volume）模型［10］對所識別左心室壁進(jìn)行位移估計，減少耗時，提高計算效率。本文方法作為一種完全基于圖像信息的快速通用型VFM 方法，不需要任何供應(yīng)商的技術(shù)支持和專有軟件，可以進(jìn)一步推進(jìn)VFM在臨床工作流程中的應(yīng)用。

1 本文方法

本文提出完全基于二維彩色多普勒超聲心動圖像信息的VFM 方法。該方法使用速度標(biāo)尺提取沿聲束方向的徑向速度代替從特定設(shè)備的原始射頻數(shù)據(jù)獲取多普勒速度作為徑向速度；利用兩個深度學(xué)習(xí)網(wǎng)絡(luò)識別左心室壁位置并獲取室壁速度，根據(jù)左心室前后壁的運動模式與心臟流體運動的關(guān)聯(lián)性，結(jié)合流體力學(xué)中的連續(xù)性方程，以左心室前后壁的切向速度分量作為邊界條件，計算心臟流場各血液質(zhì)點的切向速度分量，最終合成速度流場。本文主要使用速度矢量圖和平面流線圖對左心室流體運動進(jìn)行可視化描述，反映流動趨勢、速度分布特點，以及整體血液流動結(jié)構(gòu)。

1.1 徑向速度的提取

彩色多普勒血流信息包含血流運動的方向信息，即：朝向探頭方向的血流以紅色顯示，背離探頭方向的血流以藍(lán)色顯示。同時彩色多普勒血流信息包含了血流速度的變化信息，即：顏色亮度越大，沿超聲聲束方向的速度越大；顏色亮度越小，沿超聲聲束方向的速度越小。

本文方法中提取彩色血流信息中的多普勒速度是進(jìn)一步研究左心室流體運動的至關(guān)重要的一個步驟。本文將彩色血流信息提取的速度作為徑向速度，成為最終形成的流場中的第一個速度分量。為獲得該速度信息，將彩色多普勒超聲心動圖上生成的速度標(biāo)尺作為度量速度值的標(biāo)準(zhǔn)。通過彩色編碼后每個血液質(zhì)點對應(yīng)的彩色血流信息，搜索彩色多普勒圖像中的血液質(zhì)點在速度標(biāo)尺中的最佳匹配點，本文采用最小二乘法計算兩者的相似程度：

其中：c表示血液質(zhì)點與速度標(biāo)尺中點的相似程度；Rb、Gb、Bb分別代表當(dāng)前計算的血液質(zhì)點的RGB 顏色三分量；Rs、Gs、Bs分別代表速度標(biāo)尺上點的RGB 顏色三分量。這一步主要為了找到當(dāng)前血液質(zhì)點在速度標(biāo)尺中的最優(yōu)匹配點位置，獲取該點在速度標(biāo)尺上的距離參數(shù)。然后，得到徑向速度與距離的分段線性函數(shù)［11］（如圖1）：

圖1 徑向速度與距離的分段函數(shù)示意圖Fig.1 Schematic diagram of piecewise function of radial velocity and distance

式中：d代表最優(yōu)匹配點與速度標(biāo)尺最底端的像素距離；d1代表速度標(biāo)尺藍(lán)色區(qū)域的像素高度；d2代表d1與標(biāo)尺中黑色區(qū)域像素高度和；dmax代表整個速度標(biāo)尺的像素高度；Vmax代表當(dāng)前速度標(biāo)尺測量范圍內(nèi)的最大速度。

通過速度標(biāo)尺獲得的徑向速度值是不光滑的，無法滿足后續(xù)的連續(xù)性方程的求解，為確保有比較穩(wěn)定的積分環(huán)境，使用速度標(biāo)尺求出原始徑向速度后，對徑向速度數(shù)據(jù)進(jìn)行平滑處理。平滑處理的方法包括對徑向速度數(shù)據(jù)進(jìn)行中值濾波和高斯濾波。中值濾波的處理方法如圖2（a）所示：對于當(dāng)前所求血液質(zhì)點的徑向速度，以圖2（a）中實線圈內(nèi)值為例，沿著超聲聲束方向定位該點的前一血液質(zhì)點和后一血液質(zhì)點的徑向速度值；以圖2（a）中兩個虛線圈內(nèi)值為例，獲取三個血液質(zhì)點的中值作為當(dāng)前血液質(zhì)點的徑向速度值。高斯濾波的處理方法如圖2（b）所示：通過二維高斯函數(shù)（見式（3））生成窗口大小為5× 5高斯模板（如圖2（b）中箭頭所示），與當(dāng)前血液質(zhì)點（如圖2（b）中實心方框）為中心的相同窗口大小范圍的徑向速度進(jìn)行卷積計算，計算結(jié)果作為當(dāng)前血液質(zhì)點的徑向速度值，重復(fù)該操作直到完成所有血液質(zhì)點的計算。中值濾波方法可以消除異常的速度值，高斯濾波方法可以消除小規(guī)模的速度波動。

圖2 平滑方法示意圖Fig.2 Schematic diagram of smoothing method

其中：G表示高斯模板矩陣；σ表示標(biāo)準(zhǔn)差，本文設(shè)置為8；(x，y)表示模板的二維位置坐標(biāo)，由于本文設(shè)置模板大小為5× 5，所以x，y∈[-2，-1，0，1，2]。

1.2 左心室流體切向速度的計算

1.2.1 流體力學(xué)中連續(xù)性方程的應(yīng)用

流體力學(xué)已成為心血管生物力學(xué)基礎(chǔ)研究領(lǐng)域的重要研究方向，其中連續(xù)性方程是質(zhì)量守恒定理在流體力學(xué)中的應(yīng)用，即流進(jìn)絕對坐標(biāo)系中任何閉合曲面內(nèi)的質(zhì)量等于從這個曲面流出的質(zhì)量。本文的研究中，將左心室血液看作一種不可壓縮流體，基于二維平面流動假設(shè)下，建立起便于流場分析的極坐標(biāo)系(r，θ)，以超聲虛擬探頭O的位置作為極坐標(biāo)的極點，以水平于超聲探頭的直線OX作為極軸，角度從極軸的左邊線段出發(fā)，取逆時針方向為正方向，規(guī)定左心室前壁的角度為θ-，左心室后壁的角度為θ+，如圖3所示。

圖3 極坐標(biāo)系建立示意圖Fig.3 Schematic diagram of polar coordinate system construction

將彩色多普勒超聲心動圖像提供的沿著超聲聲束方向的單一速度作為流體的徑向速度分量，結(jié)合連續(xù)性方程（式（4）），用于計算流體的切向速度分量。

其中：r表示距離探頭的半徑大小；θ表示極坐標(biāo)下的角度；z表示垂直貫穿于采集的二維彩色多普勒超聲圖像平面的方向；Vr表示極坐標(biāo)平面的徑向速度；Vθ表示極坐標(biāo)平面的切向速度；Vz表示垂直貫穿平面的速度。本文基于二維平面流動假設(shè)，使用長軸切面的超聲心動圖作流場分析，忽略垂直貫穿于極坐標(biāo)平面速度帶來的細(xì)微影響，因此可以將Vz設(shè)置為0，那么式（4）則可以化簡為如下形式：

式（5）中將沿聲束方向的徑向速度（Vr）與切向速度（Vθ）聯(lián)系起來，直觀地表示了通過徑向速度獲得血液質(zhì)點切向速度的計算方法。該公式在左心室區(qū)域內(nèi)進(jìn)行求解，本文中以左心室的前后壁的切向速度作為式（5）的邊界條件參與切向速度的計算，得出方程的兩個解：

其中，Vθ-和Vθ+分別是左心室前壁與左心室后壁的切向速度，積分部分的計算方法已經(jīng)在式（5）中給出。第一個解（式（6））是從左心室前壁起沿第一條積分路徑（圖4 中的左心室前壁與所求血液質(zhì)點虛線相交位置所示）到所求血液質(zhì)點的切向速度積分結(jié)果，第二個解（式（7））是從左心室后壁起沿第二條積分路徑（圖4 中的左心室后壁與所求血液質(zhì)點虛線相交位置所示）到所求血液質(zhì)點的切向速度積分結(jié)果。

圖4 連續(xù)性方程的兩個解Fig.4 Two solutions of continuity equation

1.2.2 權(quán)重函數(shù)的計算

利用權(quán)重函數(shù)w和線性組合連續(xù)性方程的兩個解，可以得到最終的切向速度，計算式如下：

考慮第一個解（式（6））和第二個解（式（7））對于最終血液質(zhì)點的切向速度的貢獻(xiàn)值大小，盡可能地使兩個解在最終切向速度中所占計算比例均勻合理，減小結(jié)果的誤差。采用角度距離比值來定義權(quán)重函數(shù)：

即在極坐標(biāo)系中將血液質(zhì)點與左心室前壁角度差和左心室后壁與左心室前壁角度差的比值作為權(quán)重值。

1.3 左心室壁切向速度的計算

文獻(xiàn)［12-14］研究表明，心室壁心肌運動狀態(tài)與心臟疾病密切相關(guān)，室壁的異常運動將直接導(dǎo)致心腔內(nèi)血液動力學(xué)特征的改變，所以，在研究血液動力學(xué)特征時結(jié)合心室壁的運動是非常有價值的。本文使用時間分辨率重建后的待分析彩色多普勒超聲心動圖像和其相鄰的后一幀彩色多普勒超聲心動圖像，通過U-Net 深度學(xué)習(xí)框架自動識別左心室壁輪廓。再將識別后的左心室壁輪廓，采用重新訓(xùn)練的PWC-Net 模型估計像素位移。最終，使用超聲設(shè)備設(shè)定的時間分辨率和心室壁的位置信息獲得左心室壁的物理切向速度，用來作為連續(xù)性方程的邊界條件。

1.3.1 左心室壁輪廓自動識別方法

現(xiàn)有的左心室血流向量成像技術(shù)研究中，絕大多數(shù)使用臨床醫(yī)生手動勾勒或者手動勾勒結(jié)合自動識別的半自動方法識別左心室壁輪廓［3-4，7-8］，所以往往要依靠醫(yī)生的臨床經(jīng)驗進(jìn)行判斷，具有較強的主觀性；而且這樣的手動方法雖然精確，但是影響了計算效率，且不同醫(yī)生勾勒的左心室壁位置也會存在差異，會對計算的流場結(jié)果造成影響。

本文利用深度學(xué)習(xí)方法實現(xiàn)左心室輪廓的自動分割識別。對于醫(yī)學(xué)圖像，U-Net 模型表現(xiàn)出較好的分割性能。UNet模型［15］是一種編解碼器結(jié)構(gòu)，編解碼器結(jié)構(gòu)的網(wǎng)絡(luò)非常適用于分割。U-Net遵循特定的方法，其中每個下采樣步驟和上采樣步驟都要經(jīng)過兩個3× 3的卷積層，而每個下采樣過程的特征數(shù)量增加一倍，上采樣過程的特征數(shù)量減少一半。具體來說，該模型左半邊為下采樣過程，右半邊為上采樣過程。下采樣過程主要連續(xù)地經(jīng)過3× 3 的卷積層并使用ReLU 激活層，2 × 2 的最大池化層，不斷提取圖像特征直至最高維。上采樣過程通過連續(xù)的2 × 2 的上卷積方式將高維特征向低維映射，并且在映射過程中連接來自下采樣過程中相應(yīng)裁剪的圖像特征，最終得到對圖像中每一個像素點的分類，輸出分割圖像。U-Net模型的訓(xùn)練過程如圖5所示。

圖5 U-Net模型的訓(xùn)練與應(yīng)用過程Fig.5 Training and application process of U-Net model

本文使用用于二維超聲心動圖評估的最大并且公開的全注釋CAMUS 數(shù)據(jù)集［16］。該數(shù)據(jù)集是帶有完整標(biāo)簽注釋的大型數(shù)據(jù)集，其中包含了10 個文件夾，每個文件夾中有50 個患者二維B 模式下的至少一個心動周期的超聲采集序列，舒張末期和收縮末期的兩腔心圖、四腔心圖，以及其對應(yīng)的由三個心臟疾病專家在協(xié)定協(xié)議下標(biāo)注的左心室內(nèi)膜（即左心室壁）、左心室外膜、左心房和背景四種標(biāo)簽。

本文關(guān)注的區(qū)域是左心室壁的區(qū)域，需要識別左心室壁的位置作為連續(xù)性方程的邊界條件。為了提高訓(xùn)練的速度，本文對原始數(shù)據(jù)集的標(biāo)簽進(jìn)行預(yù)處理，只對左心室內(nèi)膜和背景標(biāo)簽作保留，使用U-Net 模型對左心室進(jìn)行二分類的訓(xùn)練。在實際的模型訓(xùn)練過程中，以Keras 為深度學(xué)習(xí)框架，使用8個文件夾下的總共400 個患者的數(shù)據(jù)作為訓(xùn)練集（共1600 張圖像），1 個文件夾下的總共50 個患者的數(shù)據(jù)（共200 張圖像）作為測試集。根據(jù)本文所提出的方法，針對左心室壁輪廓的識別需求，經(jīng)過大量的實驗訓(xùn)練，最終確定訓(xùn)練參數(shù)：為了獲得更高維度的特征圖，在下采樣路徑中使用卷積層和最大池化層，直至特征維數(shù)至16 × 16；使用批量歸一化方法；設(shè)置批尺寸為2；學(xué)習(xí)率設(shè)置為1E-04；使用隨機梯度下降方法作為最優(yōu)化策略；損失函數(shù)為交叉熵和正則化。最終得到左心室壁的分割模型。

1.3.2 PWC-Net光流網(wǎng)絡(luò)計算室壁運動

PWC-Net模型的思想與多尺度光流法非常接近。該模型的結(jié)構(gòu)如圖6 所示。在第i個尺度中，PWC-Net 模型首先通過輸入的兩張圖像I1和I2提取出圖像特征，可以記作fI1i和fI2i，使用先前尺度（即第i-1 尺度）的上采樣位移估算值對fI2i進(jìn)行卷繞，作為運動補償特征，記為。然后，將和fI1i匹配成對后，使用多層卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）估算位移。在CNN 之后，再增加一個可選擇使用的上下文網(wǎng)絡(luò)層（額外的卷積層），用于進(jìn)一步對位移估計值進(jìn)行優(yōu)化。重復(fù)第i尺度的整個訓(xùn)練過程，直到所有尺度均執(zhí)行完該過程為止，最終輸出位移數(shù)據(jù)。

圖6 PWC-Net模型結(jié)構(gòu)Fig.6 Structure of PWC-Net model

由于心臟運動是一個自由形變的非剛性運動過程，原來的PWC-Net 光流網(wǎng)絡(luò)模型的訓(xùn)練是通過自然圖像數(shù)據(jù)完成的，因此本文使用由有限元軟件ANSYS和超聲模擬器Field Ⅱ產(chǎn)生的超聲非剛性運動數(shù)據(jù)集。首先，通過有限元軟件構(gòu)建組織模型并施加載荷模擬超聲探頭擠壓組織的過程，保留產(chǎn)生的位移，并加到壓縮前的組織模型內(nèi)用于獲得壓縮后的圖像；然后，通過Field Ⅱ平臺對壓縮前后的組織模型進(jìn)行超聲模擬成像，獲得壓縮前后的B 型超聲圖像對。模擬產(chǎn)生的超聲數(shù)據(jù)集包括壓縮前后的4 個小球仿體數(shù)據(jù)對和壓縮前后的復(fù)雜乳腺結(jié)構(gòu)數(shù)據(jù)對兩種類型，數(shù)據(jù)集信息如表1所示。

表1 超聲模擬數(shù)據(jù)集概要信息Tab.1 Summary information of ultrasound simulation datasets

使用模擬數(shù)據(jù)保留的位移作為標(biāo)簽，模擬的B 型超聲圖像對作為訓(xùn)練集，對原有的PWC-Net 模型進(jìn)行遷移學(xué)習(xí)得到新的PWC-Net 模型［17］。模型的訓(xùn)練過程中，使用原始PWCNet 模型參數(shù)進(jìn)行初始化，4 個小球仿體數(shù)據(jù)參與模型的第一階段的遷移訓(xùn)練。模型收斂后，使用第一階段獲得的模型初始化PWC-Net，將復(fù)雜乳腺仿體數(shù)據(jù)用于模型的第二階段的遷移訓(xùn)練。模型重要訓(xùn)練參數(shù)信息如表2 所示，其中Slong、Sfine與文獻(xiàn)［18］描述一致：第一階段為粗訓(xùn)練階段，選擇L2 loss作為損失函數(shù)，收斂速度快且具有穩(wěn)定解，控制模型的復(fù)雜程度，一定程度避免過擬合現(xiàn)象；第二階段為精訓(xùn)練階段，選擇L1 loss作為損失函數(shù)，具有更好魯棒性，處理模擬數(shù)據(jù)中的異常值［19］。

表2 PWC-Net模型重要訓(xùn)練參數(shù)信息Tab.2 Important training parameter information of PWC-Net model

本文將裁剪后的當(dāng)前圖像幀的左心室區(qū)域和相鄰的下一圖像幀的對應(yīng)區(qū)域作為輸入圖像，利用重新訓(xùn)練后的PWC-Net模型，最終獲得整個左心室區(qū)域的位移，包括橫向的像素位移值和縱向的像素位移值。然后，使用本文中訓(xùn)練的U-Net模型得到左心室壁位置信息，只保留左心室壁的位移數(shù)據(jù)，并且通過超聲設(shè)備采集時設(shè)置的圖像幀間的時間間隔和所求室壁點在極坐標(biāo)系統(tǒng)上的角度位置，可以獲得左心室壁的物理切向速度。

1.4 本文方法的完整步驟

本文可視化描述方法的流程如圖7所示，具體步驟如下：

圖7 左心室血流場可視化方法流程Fig.7 Flow chart of visualization method of left ventricular blood flow field

輸入 彩色多普勒超聲心動圖像；

輸出 速度矢量圖與流線圖可視化結(jié)果。

步驟1 合理選擇心動周期中的典型階段的圖像，本文選擇兩組實驗圖像，這兩組圖像均處于收縮期階段。裁剪出左心室范圍作為感興趣區(qū)域。

步驟2 使用一維線性插值的方法補充感興趣區(qū)域的空隙處彩色血流信息（見2.2.2節(jié)）。

步驟3 結(jié)合式（2），利用速度標(biāo)尺提取出感興趣區(qū)域的全部血流質(zhì)點的徑向速度分量并作平滑處理。平滑處理包括中值濾波和高斯濾波。

步驟4 使用訓(xùn)練的U-Net 模型自動識別左心室壁位置，并重建圖像序列提高時間分辨率（見2.2.1節(jié)）。

步驟5 利用重新訓(xùn)練的PWC-Net 深度學(xué)習(xí)模型求解左心室壁的切向速度。

步驟6 通過式（5）～（9）的計算，得到左心室區(qū)域內(nèi)所有血液質(zhì)點的切向速度分量。

步驟7 得到徑向速度分量和切向速度分量，即可合成血流速度場。繪制速度矢量圖用來觀察血液速度分布的特點和大小，并在速度矢量圖的繪制基礎(chǔ)上繪制流線圖用以觀察左心室腔內(nèi)的流體的血液結(jié)構(gòu)特征。

2 實驗設(shè)置與評價方法

2.1 數(shù)據(jù)收集

為了驗證本文所提出的聯(lián)合深度學(xué)習(xí)的通用血流向量成像方法，收集不同正常人的多個心動周期的心臟長軸切面的彩色多普勒超聲心動圖。本文的數(shù)據(jù)來源于四川省人民醫(yī)院心血管超聲及心功能科。為觀察正常狀態(tài)下左心室血液動力學(xué)的特征，本文研究一共選取了5 名正常人的超聲心動圖數(shù)據(jù)。超聲數(shù)據(jù)采集設(shè)備為Hitachi Aloka Prosound F75 型彩色多普勒超聲診斷儀，在圖像采集的過程中均采用超聲心動圖標(biāo)準(zhǔn)切面進(jìn)行圖像數(shù)據(jù)的采集。最終導(dǎo)出彩色多普勒超聲圖像進(jìn)行離線分析。

2.2 數(shù)據(jù)處理

2.2.1 重建彩色多普勒超聲心動圖圖像序列

通常情況下，彩色多普勒超聲心動圖時間分辨率不高，圖像幀率大約為30 frame/s，在這種情況下，采集到的圖像相鄰幀之間時間間隔較長，直接導(dǎo)致相鄰圖像幀之間的相關(guān)性不強，最終形成的超聲圖像序列顯然無法滿足后續(xù)的心室壁運動跟蹤計算分析要求。因此，為了獲取心室壁運動信息，必須提高彩色多普勒超聲心動圖的時間分辨率。

本文基于時間超分辨率重建的思想，根據(jù)彩色多普勒超聲心動圖中的心電圖時相位置信息，對多個心動周期圖像按心電圖時相先后順序重新進(jìn)行排序，搜索后續(xù)的心動周期中時相在第一心動周期中對應(yīng)相鄰幀之間的圖像，將搜索到的圖像插入對應(yīng)相鄰幀。直到第一心動周期所有相鄰幀均被后續(xù)心動周期圖像插入，即可將多個心動周期圖像序列合成為時間分辨率提升后的一個心動周期圖像序列，從而實現(xiàn)了提高時間分辨率。

本文利用3 個心動周期的彩色多普勒超聲心動圖圖像序列信息，通過重建得到一個3 倍于原圖像時間分辨率的彩色多普勒心動圖新序列，保證心室壁運動位移估計的計算條件。

2.2.2 彩色血流信息補償

臨床診斷中常規(guī)彩色多普勒超聲心動圖成像技術(shù)基于脈沖多普勒原理，首先利用多普勒中頻移的信號，獲得取樣面積內(nèi)的血流平均速度信息和速度變化信息，然后進(jìn)行彩色多普勒編碼處理，形成的彩色血流信息疊加到二維B 模式的灰階圖像上，構(gòu)成一幅完整的超聲彩色多普勒圖像［20］。在心臟多普勒圖像的采集過程中，心臟左心室某些區(qū)域的血流速度過低會導(dǎo)致編碼后的彩色血流信息暗淡甚至無彩色血流信息。使用速度標(biāo)尺提取徑向速度時，對這些低速區(qū)域不敏感，導(dǎo)致丟失部分的血流的徑向速度細(xì)節(jié)，可能使得最終的流場結(jié)果不連續(xù)。所以，需要在原有的彩色血流信息的基礎(chǔ)上補償原始彩色多普勒心動圖像中部分重要的彩色血流信息，從而獲得更加豐富準(zhǔn)確的流場信息。本文使用一維線性插值方法，利用原始圖像數(shù)據(jù)中已有的彩色血流信息進(jìn)行色彩補償，主要補償區(qū)域為兩種不同顏色的彩色血流信息之間的空隙處。一維線性插值方法的計算式如下：

其中：y代表所求的部分無彩色血流信息或彩色血流信息暗淡的血液質(zhì)點的顏色值；y0、y1分別代表當(dāng)前所求血液質(zhì)點的左右最鄰近的含有彩色血流信息的血液質(zhì)點的顏色值；k代表當(dāng)前所求血液質(zhì)點到左邊鄰近含有血流色彩的血液質(zhì)點的距離與當(dāng)前所求血液質(zhì)點到右邊鄰近含有血流色彩的血液質(zhì)點的距離的比值。

2.3 效果評價

本文實驗選擇心功能分析的舒張期對本文所提方法進(jìn)行驗證。為評估本文方法的有效性，主要使用兩種方法對本文實驗結(jié)果進(jìn)行評價。首先，Hitachi Aloka 提供的VFM 系統(tǒng)工作站作為業(yè)界首個血流向量成像系統(tǒng)，在心功能臨床分析中被廣泛關(guān)注并使用。對比Hitachi Aloka VFM 系統(tǒng)工作站離線分析的左心室血流速度矢量圖和平面流線圖結(jié)果與本文方法得到的結(jié)果的一致性，并將其作為直接評估參考。通過觀察速度矢量圖的速度分布特征、血液流動走向，以及平面流線圖的渦流大小、位置等判斷兩者的一致性程度。其次，將由四川省人民醫(yī)院的兩名具有多年工作經(jīng)驗的超聲醫(yī)生的主觀評價作為評估參考，根據(jù)左心室血液動力學(xué)的特征，判斷本文實驗結(jié)果的合理性和有效性。

3 實驗與結(jié)果分析

3.1 原始圖像彩色信息補充結(jié)果

圖8 為一個正常心臟的超聲心動圖，處于心臟臨床分析的典型時期——舒張期，每組測試圖像的右上角給出了對應(yīng)的彩色血流信息的補充結(jié)果。從兩組測試圖像結(jié)果可以看出，根據(jù)一維線性插值的方法，無顏色區(qū)域補償?shù)牟噬餍畔⒅?，越靠近有顏色區(qū)域的點顏色越亮，速度相較于遠(yuǎn)離有顏色區(qū)域的點大，能夠合理有效地補償出不同流向的血流之間空隙處的部分血流信息。這個補償結(jié)果為后續(xù)的左心室腔內(nèi)的血液流場分析提供了更加完整的信息。

圖8 測試彩色多普勒圖像與色彩補償結(jié)果Fig.8 Test color-Doppler images and color compensation results

3.2 左心室輪廓自動識別結(jié)果

本文使用公開數(shù)據(jù)集中50 個患者組成的測試集對訓(xùn)練后的U-Net 模型進(jìn)行性能評估。使用每一個患者兩腔心圖和四腔心圖的左心室壁的標(biāo)簽（總共200 張）與訓(xùn)練的U-Net 模型預(yù)測的左心室壁位置基于度量指標(biāo)計算平均值。通常針對醫(yī)學(xué)圖像分割模型，常用的度量指標(biāo)包括戴斯相似性系數(shù)DICE、體積重疊誤差（Volumetric Overlap Error，VOE）、相對體積差異（Relative Volume Difference，RVD）、精確性（Precision）和召回率（Recall）等。其中：DICE 表示兩標(biāo)簽結(jié)果相交的面積占總面積的比值大?。籚OE 與DICE 的原理類似，采用兩標(biāo)簽結(jié)果相減的面積占總面積的比值來表示錯誤率；RVD 表示兩標(biāo)簽之間的體積差異；Precision 表示判斷為真的正例占所有判斷為真的樣例的比重；Recall 表示判斷為真的正例占總正例的比率。以上評估值均在0～1。評估模型性能時，DICE、Precision、Recall的值越接近1，則模型性能越好；而VOE、RVD的值越接近0，模型的性能越好。

對200張圖像的5個評估指標(biāo)值進(jìn)行平均值的計算，模型的度量指標(biāo)結(jié)果如表3 所示。從表3 可以看出，DICE、Precision、Recall 值均處于0.9 以上，在較大值范圍內(nèi)；VOE、RVD 值均處于0.04 以下，在較小值范圍內(nèi)，表明本文訓(xùn)練的U-Net模型在左心室壁輪廓分割中性能較好。

表3 U-Net模型評估結(jié)果Tab.3 U-Net model evaluation results

使用訓(xùn)練好的U-Net 模型對圖8 中的彩色多普勒超聲心動圖測試組進(jìn)行左心室壁的分割預(yù)測，圖9（a）對應(yīng)圖8（a）中的左心室壁輪廓，圖9（b）對應(yīng)圖8（b）中的左心室壁輪廓。兩組圖像數(shù)據(jù)顯示，左心室壁輪廓位置合理，分割的輪廓邊緣連續(xù)光滑，并且通過了四川省醫(yī)學(xué)科學(xué)院·四川省人民醫(yī)院心血管超聲及心功能科的醫(yī)生對分割結(jié)果的主觀認(rèn)定?？傮w來說，本文訓(xùn)練的自動分割模型能夠較好地對左心室壁輪廓進(jìn)行識別。

圖9 左心室輪廓自動識別結(jié)果Fig.9 Automatic recognition results of left ventricular contour

3.3 室壁運動追蹤結(jié)果

圖10 為原始的PWC-Net 和重新訓(xùn)練的PWC-Net 模型對彩色多普勒超聲心動圖的左心室區(qū)域的心室壁運動追蹤結(jié)果對比。通過圖10（a）、（b）與圖10（c）、（d）形成橫向位移與縱向位移的對比可以看出，直接使用原始PWC-Net 模型的測試數(shù)據(jù)出現(xiàn)嚴(yán)重分層曲線與噪點，如圖10（a）、（c）中小方框所示，重新訓(xùn)練的PWC-Net 模型的測試結(jié)果則表現(xiàn)得更加穩(wěn)定平滑，預(yù)測結(jié)果具有連續(xù)性，表明重新訓(xùn)練的PWC-Net模型能夠?qū)ψ笮氖冶诘倪\動進(jìn)行準(zhǔn)確估計。

圖10（e）、（f）展示了兩種模型分別由圖10（a）、（c）和圖10（b）、（d）所示位移合成的位移矢量圖。由可視化的運動矢量圖結(jié)果看出，圖10（f）中左心室前壁與后壁均呈現(xiàn)向外擴張的運動趨勢，符合舒張期心室壁的動力學(xué)特征。

圖10 PWC-Net模型的左心室室壁位移估計結(jié)果Fig.10 Left ventricular wall displacement estimation results obtained by PWC-Net model

綜上，位移估計結(jié)果驗證了重新訓(xùn)練的PWC-Net 模型對于心臟的非剛性運動檢測的有效性，并且相較于傳統(tǒng)依賴迭代求解的非剛性配準(zhǔn)運動估計［21］，重新訓(xùn)練的PWC-Net 模型計算幀率可達(dá)到45 frame/s，滿足實時成像的需求。

3.4 血流速度矢量圖

根據(jù)兩組速度矢量圖結(jié)果，可以有效地對左心室腔內(nèi)的血液運動趨勢以及血液流動速度大小的分布進(jìn)行觀察。圖11（a）、（b）對應(yīng)圖8（a）中的速度矢量圖結(jié)果，圖11（c）、（d）對應(yīng)圖8（b）中的速度矢量圖結(jié)果。從圖11（a）的速度矢量圖可以看出，左心室腔內(nèi)的血流速度在流入道一側(cè)較高，血液流向心尖位置碰及心尖段室壁，血液運動方向轉(zhuǎn)向流出道位置。從圖11（c）的速度矢量圖可以看出，該組彩色多普勒心動圖對應(yīng)心動周期的階段，稍晚于圖11（a）的舒張期階段，且相較于圖11（a）的速度矢量，圖11（c）的速度矢量經(jīng)心尖位置后完成大量的血流轉(zhuǎn)向，整體的血液流動速度分布更加遠(yuǎn)離心尖位置，朝著左心室基底段方向靠近，整體速度均勻，并在流入道一側(cè)速度相較于圖11（a）稍降低。

圖11 速度矢量圖結(jié)果對比圖11 Velocity vector map result comparison

將本文提出的血流向量成像方法與Aloka VFM 工作站的后處理分析方法進(jìn)行對比，結(jié)果顯示兩種方法的結(jié)果具有高度的一致性，進(jìn)行實驗的兩組測試圖像中，血流區(qū)域速度流場呈現(xiàn)出合理的血流運動趨勢和血流速度大小分布，能夠有效地觀察到左心室速度分布情況與血流速度的運動走向。

3.5 平面流線圖

在繪制速度矢量圖的基礎(chǔ)上繪制平面流線圖，平面流線圖的繪制結(jié)果有助于更加直觀地觀察左心室血液流動的運動結(jié)構(gòu)模式。圖12（a）、（b）和圖12（c）、（d）分別為對應(yīng)圖8（a）、（b）的平面流線圖結(jié)果。通過流線圖的可視化可以看出，本文的方法能夠清晰地觀察到左心室中的渦流結(jié)構(gòu)。渦流結(jié)構(gòu)是血液動力學(xué)的重要指標(biāo)之一，可以為心臟疾病的輔助診斷提供更加直接的證據(jù)。

從圖12（a）中可以觀察到，在這個心動周期階段成像的血液的渦流狀態(tài)，在靠近流入道一側(cè)的室壁位置出現(xiàn)一個較小的渦流，并在靠近流出道的一側(cè)形成一個較大的渦流結(jié)構(gòu)（箭頭所指處）。這種動力學(xué)特征符合人體心臟運動的特征。這個階段，血流碰撞左心室心尖段的室壁轉(zhuǎn)向，所以形成一個較大的渦流狀態(tài)。

從圖12（c）中可以觀察到，肉眼可見一個大型的渦流充盈整個左心室腔（箭頭所指處），同時在靠近流入道一側(cè)的室壁位置出現(xiàn)一個較小的渦流。從圖12（a）到圖12（c），渦流未消失，并且保持旋轉(zhuǎn)，左心室血液借助渦流的動能進(jìn)行傳遞與轉(zhuǎn)向，為收縮期的到來提供足夠的動能支持。

圖12 平面流線圖結(jié)果對比Fig.12 Plane streamline map result comparison

將圖12（a）與圖12（b）進(jìn)行比較可以看出，血液渦流運動狀態(tài)相似，即本文方法和Aloka VFM 工作站提供的方法均能夠檢測到靠近流出道一側(cè)的較大渦流與靠近流入道一側(cè)的較小渦流。將圖12（c）與圖12（d）進(jìn)行比較可以看出，在彩色區(qū)域都可以觀察到充盈左心室的大型渦流與流入道一側(cè)的小渦流，有相似的血流運動結(jié)構(gòu)和相似的渦流結(jié)構(gòu)。本文方法得到的流線結(jié)果與Aloka VFM 工作站得到的結(jié)果高度一致，并且選擇的實驗圖像結(jié)果表明，本文方法得到的速度矢量圖和平面流線圖結(jié)果能夠有效可視化主要血流區(qū)域的血流動力學(xué)模式的特征。

4 結(jié)語

本文提出了一種心臟功能輔助評價的VFM 方法。本文方法完全基于彩色多普勒超聲心動圖像信息，結(jié)合心臟室壁運動信息和流體力學(xué)連續(xù)性方程，實現(xiàn)心臟流體運動信息的提取和分析計算，從而實現(xiàn)了左心室流體運動的可視化描述。實驗結(jié)果表明，本文所提出的基于彩色多普勒超聲心動圖的分析通用方法，與Aloka VFM 工作站的結(jié)果呈現(xiàn)出一致性，擺脫了超聲設(shè)備的限制，有效實現(xiàn)了左心室流體運動狀態(tài)的可視化描述。該方法能夠更加廣泛地應(yīng)用于臨床診斷中，有較好的應(yīng)用前景。但由于左心室血液流體是一個三維流動狀態(tài)，而本文方法是基于二維平面假設(shè)的，忽略了垂直平面的血流運動影響，會存在一定的差異；同時，本文方法利用速度標(biāo)尺提取速度信息，與原始射頻數(shù)據(jù)獲取速度信息的方法不同，導(dǎo)致了結(jié)果具有細(xì)微差異，未來可以在這些方面做進(jìn)一步的研究。