生成對抗網(wǎng)絡(luò)加速超分辨率超聲定位顯微成像方法研究*

隋怡暉 郭星奕 郁鈞瑾 Alexander A.Solovev 他得安1) 許凱亮1)?

1)(復(fù)旦大學(xué)工程與應(yīng)用技術(shù)研究院,上海 200433)

2)(復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院,生物醫(yī)學(xué)工程中心,上海 200438)

3)(復(fù)旦大學(xué)材料科學(xué)系,上海 200438)

超快超聲定位顯微成像(uULM),突破了傳統(tǒng)超聲衍射極限,可實(shí)現(xiàn)分辨率遠(yuǎn)小于發(fā)射波長的在體深層微血管精準(zhǔn)成像.通過對微血管中數(shù)以萬計(jì)的運(yùn)動(dòng)微泡進(jìn)行中心點(diǎn)定位和軌跡追蹤,uULM 技術(shù)可重建微血管圖像.通常一張uULM 圖像需要數(shù)十秒甚至數(shù)百秒的連續(xù)長程圖像采集,這在一定程度上限制了其更廣泛的臨床應(yīng)用.針對這一挑戰(zhàn),本研究在闡明了超聲衍射極限、超分辨率定位理論方法的基礎(chǔ)上,給出了基于傅里葉環(huán)相關(guān)的分辨率測定原理和實(shí)現(xiàn)方法,并結(jié)合傳統(tǒng)uULM 重建技術(shù),發(fā)展了一種基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)超分辨超聲成像方法,以縮減uULM 對圖像采集時(shí)長的依賴,提高成像速度和成像分辨率.針對大鼠腦的在體數(shù)據(jù)分析結(jié)果表明,基于生成對抗網(wǎng)絡(luò)的超聲定位顯微技術(shù)微血管分辨達(dá)到10 μm,在保持較高超聲成像空間分辨率和圖像飽和度的同時(shí),數(shù)據(jù)采集時(shí)間縮減一半,從而顯著降低了uULM 對圖像數(shù)據(jù)采集時(shí)長的依賴.相關(guān)深度學(xué)習(xí)模型連接軌跡的計(jì)算復(fù)雜度較小,且避免了人工調(diào)參以及軌跡篩選,為加速超分辨率uULM 微血流成像和提升uULM 成像分辨率提供了一種有效的工具.相關(guān)思路與方法對促進(jìn)超分辨率uULM 成像技術(shù)發(fā)展具有一定的借鑒意義.

1 引言

微血管系統(tǒng)分布于各種組織和器官中,起到維持人體內(nèi)各器官生理功能正常運(yùn)行的作用[1].微血管結(jié)構(gòu)或功能改變將損害正常器官功能或?qū)е录膊“l(fā)生,在包括腫瘤、卒中、阿爾茲海默、心血管病、心腦血管病和糖尿病等重大疾病的發(fā)生、發(fā)展過程中起到了至關(guān)重要的作用[2].因此,發(fā)展“精準(zhǔn)而快速”的微血管及血流成像方法,實(shí)現(xiàn)相關(guān)疾病中微血管病變的早期診斷具有重要臨床意義.

目前,臨床在體微血管成像的金標(biāo)準(zhǔn)技術(shù)主要為X 射線計(jì)算機(jī)斷層掃描造影技術(shù)(computed tomography angiography,CTA)和磁共振造影技術(shù)(magnetic resonance angiography,MRA).在造影劑的輔助下,CTA[3]和MRA[4]均能夠穿透深層組織將血管分辨率降低到幾十微米,獲得三維血管影像,但掃描時(shí)間較長,在人體臨床應(yīng)用中仍有較大挑戰(zhàn).近紅外二區(qū)熒光成像[5]和光聲顯微成像[6]有高空間分辨率和高時(shí)間分辨率的優(yōu)點(diǎn).但缺乏足夠的組織穿透力,無法實(shí)現(xiàn)深層腦微血管成像.

超聲具有非侵入性、無輻射的優(yōu)點(diǎn),作為一種不可或缺的臨床影像模態(tài),已被廣泛用于人體各器官成像[7]和經(jīng)顱骨的腦組織成像[8].近年來,先進(jìn)的超快超聲成像技術(shù)可實(shí)時(shí)呈現(xiàn)腦、腎臟、肝臟和脊髓中微小血管的高質(zhì)量圖像[9,10].亦可對腦微血流量變化量成像,進(jìn)而利用神經(jīng)血管耦合機(jī)制,實(shí)現(xiàn)腦功能成像[11].然而,受限于衍射極限,傳統(tǒng)超聲成像的空間分辨率仍限于發(fā)射聲波波長的一半.提高成像頻率可獲得更短的發(fā)射波長,雖然能提升成像空間分辨率,但也會(huì)顯著降低穿透深度[12].當(dāng)前,超快超聲成像技術(shù)仍無法滿足深層微血管的精準(zhǔn)成像需求.

近年來,學(xué)術(shù)界所發(fā)展的超快超聲定位顯微技術(shù)(ultrafast ultrasound localization microscopy,uULM)通過定位和追蹤微泡在微血管中的運(yùn)動(dòng)軌跡,有效地突破了衍射極限,將分辨率提升了十倍左右.利用微泡的高對比度,uULM 可在保證穿透深度的前提下實(shí)現(xiàn)高時(shí)空分辨率的超聲微血流成像[13,14].2015年,Errico等[15]應(yīng)用該技術(shù)實(shí)現(xiàn)了大鼠腦部的微血流成像,分辨率約10 μm.2017年,Lin等[16]利用ULM 技術(shù)識(shí)別大鼠腫瘤血管生成的微血管的形態(tài)特征,并實(shí)現(xiàn)了血管的彎曲度定量分析.2021年,Xu等[17]提出魯棒主成分分析方法用于低信噪比條件下的微泡檢出,進(jìn)而提升了大鼠腦ULM 成像質(zhì)量.2022年,Yu等[18]采用ULM 技術(shù)對大鼠脊髓微血流進(jìn)行成像,最終獲得大鼠脊髓微血管超分辨率圖像,可清晰地看到脊髓上下兩個(gè)界面的動(dòng)脈血管以及內(nèi)部的微血流分布.與此同時(shí),ULM 技術(shù)也不斷地向臨床轉(zhuǎn)化.2021年,Demené等[19]的研究表明,ULM 可以對人腦血管進(jìn)行經(jīng)顱成像,并在功能上表征人腦的血流動(dòng)力學(xué)特征.同年,Huang等[20]利用高幀率的臨床超聲探頭,采用ULM 技術(shù),獲得了人體肝臟、腎和腫瘤的超分辨率血流圖像.

uULM 成像通常需要通過對微泡定位與追蹤來實(shí)現(xiàn),相關(guān)算法直接影響了其成像性能.目前主流的定位算法多基于高斯擬合法或質(zhì)心法的單個(gè)微泡中心定位算法[21].相關(guān)方法要求每幀圖像中微泡數(shù)量較少,微泡間不產(chǎn)生混疊,便于定位,從而有利于識(shí)別單個(gè)微泡的中心位置,這客觀上要求使用較低的微泡濃度.然而,為獲得較為準(zhǔn)確的uULM 成像結(jié)果,需要積累數(shù)百萬計(jì)的血管內(nèi)游動(dòng)的微泡事件,這客觀上導(dǎo)致了較長的數(shù)據(jù)采集時(shí)間.此外,在uULM 重建微泡運(yùn)動(dòng)的軌跡連接步驟中,部分誤判為微泡的噪聲會(huì)導(dǎo)致錯(cuò)誤的連接軌跡[21].通常采用軌跡長度閾值將錯(cuò)誤軌跡濾除,這也帶來了有用軌跡丟失的風(fēng)險(xiǎn),從而降低了圖像的重建飽和度.

近年來,深度學(xué)習(xí)在醫(yī)學(xué)成像領(lǐng)域展現(xiàn)了巨大的潛力,也被廣泛應(yīng)用于uULM 成像,以緩解數(shù)據(jù)采集時(shí)間長的問題[22].Youn等[23]訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)從射頻數(shù)據(jù)中檢測和定位高密度多點(diǎn)目標(biāo),可在較短的時(shí)間內(nèi)檢測更多微泡,以縮短數(shù)據(jù)采集時(shí)間.Sloun等[24]使用卷積神經(jīng)網(wǎng)絡(luò)對高密度微泡進(jìn)行中心定位,證明了深度學(xué)習(xí)可在具有挑戰(zhàn)性的微泡密度下實(shí)現(xiàn)超分辨率成像.Liu等[25]提出了一種改進(jìn)的亞像素卷積神經(jīng)網(wǎng)絡(luò),通過加入殘差網(wǎng)絡(luò),進(jìn)一步提高了網(wǎng)絡(luò)訓(xùn)練效率.

目前的研究仍多聚焦于超聲圖像中高濃度微泡的多目標(biāo)定位問題,在微泡定位跟蹤與微血管重建方面仍有所欠缺,特別是相關(guān)微泡軌跡篩選與平滑操作仍受到較多人為因素影響.本研究中提出了一種基于生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)的深度學(xué)習(xí)超快超聲定位顯微技術(shù)(GAN-uULM),并將U-Net 作為生成器網(wǎng)絡(luò).針對微泡的軌跡連接問題,采用GAN-uULM 實(shí)現(xiàn)定位后的微泡軌跡重建,從而高效獲得微血管圖像.該網(wǎng)絡(luò)通過在體uULM 數(shù)據(jù)集訓(xùn)練,并在大鼠大腦的在體數(shù)據(jù)中進(jìn)行驗(yàn)證.最后,通過對比標(biāo)準(zhǔn)uULM 重建算法結(jié)果,對GAN-uULM 處理得到的大鼠腦微血管圖像的血管飽和度和空間分辨率進(jìn)行了定量分析.

2 基本原理

2.1 衍射極限與超分辨率定位理論

成像區(qū)域內(nèi)的一個(gè)理想物點(diǎn),在超聲成像系統(tǒng)的成像下表現(xiàn)為斑點(diǎn)狀,稱為成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)(point spread function,PSF).可構(gòu)建一個(gè)高斯PSF 物理模型如下式所示

其中z表示理想物點(diǎn)在軸向,即超聲傳播方向上的位置;x表示理想物點(diǎn)在橫向方向上的位置;波長λ=c/f,c為聲速;f為超聲頻率,σz和σx分別是軸向和橫向PSF的方差.超聲圖像可以認(rèn)為是所掃描物體的反射函數(shù)r(x,z)與系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)PSF(x,z)卷積后累加噪聲n(x,z)的結(jié)果,如(2)式所示[23,26]

點(diǎn)擴(kuò)散函數(shù)造成了超聲圖像的模糊,限制了細(xì)小血管的檢測及分離[27].

由于點(diǎn)擴(kuò)散函數(shù)的影響和衍射的限制,超聲成像的分辨率理論上受限在半波長左右,這被稱為“衍射極限”.若多個(gè)散射體間的距離小于該極限,它們的s便會(huì)重疊在一起,變得難以區(qū)分,如圖1(b)所示.提高超聲頻率可以提高分辨率,但是同時(shí)也會(huì)增加信號(hào)衰減,減少穿透深度.

常用超聲微泡尺寸在2—10 μm 之間,遠(yuǎn)小于超聲波長(本文實(shí)驗(yàn)中所用超聲頻率為15.625 MHz,波長約為100 μm),且微泡在時(shí)間和空間上是彼此分離的.因此微泡成像時(shí)同樣表現(xiàn)為點(diǎn)擴(kuò)散函數(shù),通過算法計(jì)算點(diǎn)擴(kuò)散函數(shù)的中心點(diǎn),即可定位微泡,如圖1(c)所示.通過累積成千上萬個(gè)亞波長的微泡定位點(diǎn),便可以獲得分辨率遠(yuǎn)小于發(fā)射波長的超分辨率超聲圖像.對于微血管成像,該方法用超快超聲動(dòng)態(tài)檢測微血管內(nèi)“游走”的超聲微泡,基于微泡點(diǎn)擴(kuò)散函數(shù)擬合獲得微泡中心點(diǎn)坐標(biāo)定位,從而數(shù)十倍地提升顯微成像精度;累積數(shù)以萬計(jì)的超聲微泡運(yùn)動(dòng)軌跡,即可獲得微血管系統(tǒng)的超分辨率圖像.

圖1 超聲成像分辨率及微泡的B-mode 圖像(a)兩微泡間距恰好為半波長;(b)兩微泡間距在半波長內(nèi);(c)實(shí)驗(yàn)測量的微泡點(diǎn)擴(kuò)散函數(shù)及其中心定位(由紅點(diǎn)標(biāo)記)Fig.1.The resolution of ultrasound imaging and a B-mode image of microbubbles:(a)The two sources are exactly half a wavelength apart;(b)the two sources are within a half-wavelength distance;(c)microbubbles appearing as point spread function and their localizations.

2.2 基于傅里葉環(huán)相關(guān)的分辨率測定原理

基于傅里葉環(huán)相關(guān)(Fourier ring correlation,FRC)的方法給uULM 分辨率測定提供了標(biāo)準(zhǔn)方案.該參數(shù)被用于對比標(biāo)準(zhǔn)uULM和GAN-uULM方法的分辨率[28].其原理為,將軌跡數(shù)據(jù)隨機(jī)分成兩子圖像Im1和Im2,計(jì)算兩個(gè)頻譜FI和F2沿等空間頻率環(huán)r的歸一化相關(guān)性,從而獲得分辨率評(píng)價(jià).

其中F為傅里葉變換符號(hào),FIm2(r)?是FIm2(r)的共軛函數(shù).

圖像分辨率為FRC 中低于閾值曲線的空間頻率的倒數(shù).通?？墒褂?σ和1/2 bit 閾值曲線,分別對應(yīng)于高于兩倍等效噪聲水平的相關(guān)和填充半位所需的信息.分辨率被確定為與FRC 曲線的交點(diǎn),若存在兩個(gè)以上交點(diǎn),則選擇與較低分辨率相對應(yīng)的交點(diǎn).

2.3 基于超快超聲成像的微泡提取原理與方法

不同于傳統(tǒng)聚焦超聲成像系統(tǒng)實(shí)行逐行聚焦線性掃描成像方式,基于平面波發(fā)射的超快超聲成像單次發(fā)射即可覆蓋整個(gè)成像區(qū)域,從而極大地提升了成像速度[29].成像幀頻可由傳統(tǒng)超聲的百赫茲發(fā)展到千赫茲甚至上萬赫茲[30].通過波束合成和多角度平面波復(fù)合相干疊加,可有效補(bǔ)償因聲束非聚焦所致的圖像信噪比和分辨率的損失,從而提高成像質(zhì)量[31].近年來,基于超快超聲成像技術(shù)的超快Doppler 成像,為高時(shí)空分辨率的小血管血流動(dòng)力學(xué)成像提供了一種有效的解決方案.超快超聲采集的回波信號(hào),主要由組織信號(hào)、微泡信號(hào)和噪聲信號(hào)組成.由于組織運(yùn)動(dòng)和血流運(yùn)動(dòng)在時(shí)空一致性方面存在顯著差異,基于時(shí)空奇異值分解(singular value decomposition,SVD)的濾波方法可實(shí)現(xiàn)有效的雜波抑制[32].時(shí)空SVD 濾波實(shí)現(xiàn)的基礎(chǔ)主要源自于組織信號(hào)、微泡信號(hào)和噪聲信號(hào)三者的強(qiáng)度差異和靜動(dòng)變化.簡言之,具有高時(shí)空相關(guān)性的靜態(tài)組織信號(hào)對應(yīng)了較大特征值的特征向量,而噪聲則對應(yīng)了較小特征值的特征向量,其余特征值和特征向量則可用于重建動(dòng)態(tài)微泡圖像.

?是大小為(Nx×Nz,Nt)的對角矩陣,對角系數(shù)表示奇異值大小,*代表共軛轉(zhuǎn)置,U和V分別對應(yīng)于S的空間和時(shí)間奇異向量矩陣.奇異值矩陣 ?中的系數(shù)按降序排列,具有更高強(qiáng)度和更高空間相干性的組織信號(hào)集中在低階奇異向量,低強(qiáng)度的噪聲信號(hào)集中在高階奇異向量.可以使用帶通濾波矩陣If去除低階和高階奇異值,濾除組織信號(hào)成分.濾波后的信號(hào)Sf為

If為對角矩陣,前m個(gè)對角元素對應(yīng)了組織信號(hào)成分、后n個(gè)對角元素可視為噪聲信號(hào)成分;若將前m個(gè)和后n個(gè)對角元素均設(shè)為零,其余的對角系數(shù)為1,則可獲得微泡信號(hào)成分.閾值選取會(huì)影響成像結(jié)果的對比度和信噪比,在本研究中,閾值選擇的標(biāo)準(zhǔn)是奇異值曲線的拐點(diǎn)[33].此外,為了保證基于奇異值分解的雜波濾波結(jié)果的最佳,多次選取拐點(diǎn)附近的不同閾值,將SVD 濾波方法所對應(yīng)的參數(shù)調(diào)整到最佳值.

2.4 超聲定位顯微原理

uULM的主要流程如圖2 所示,注射超聲造影劑后,使用超快超聲成像技術(shù)連續(xù)采集數(shù)百秒復(fù)合平面波數(shù)據(jù).對采集到的射頻數(shù)據(jù)進(jìn)行波束合成及同相/正交(in-phase/quadrature,I/Q)解調(diào)后,使用奇異值分解雜波濾波器去除組織和噪聲[33,34],從而得到微泡信號(hào).隨后,采用基于相位相關(guān)[35]的運(yùn)動(dòng)校正方法實(shí)現(xiàn)微泡的位置校準(zhǔn).分別使用徑向?qū)ΨQ(radial symmetry,RS)[36]和Kuhn-Munkres 算法[36]實(shí)現(xiàn)微泡的定位與追蹤,并疊加微泡的運(yùn)動(dòng)軌跡.累積數(shù)百秒數(shù)據(jù)中所有超聲微泡中心的軌跡,經(jīng)由圖像重建可得到超分辨率超聲微血流圖像.

對于圖2 中的步驟(c),利用步驟(b)分離得到的組織信號(hào),采用基于相位相關(guān)的運(yùn)動(dòng)校正方法實(shí)現(xiàn)微泡的位置校準(zhǔn),可以減少呼吸心跳產(chǎn)生的微小運(yùn)動(dòng)對成像質(zhì)量的影響[35].對于兩幀需要校正的組織信號(hào)圖像I1(x,z)和I2(x,z)=I1(x+?x,z+?z),其互相關(guān)表達(dá)式為

圖2 uULM 常規(guī)流程(a)超快超聲數(shù)據(jù)在體采集;(b)雜波濾除;(c)運(yùn)動(dòng)校準(zhǔn);(d)微泡定位;(e)微泡追蹤;(f)超分辨率圖像重建Fig.2.uULM conventional process:(a)In vivo acquisition of ultrafast ultrasound data;(b)clutter filtering;(c)motion correction;(d)microbubble localization;(e)microbubble tracking;(f)super-resolution image reconstruction.

其中F(I2)*是F(I2)的共軛函數(shù),?x,?z為兩幀之間的位移,通過位移即可實(shí)現(xiàn)對微泡位置的校正.

將每個(gè)數(shù)據(jù)塊的參考幀與第一個(gè)數(shù)據(jù)塊的參考幀相關(guān),得到數(shù)據(jù)塊之間的位移,可以實(shí)現(xiàn)各個(gè)數(shù)據(jù)塊之間的運(yùn)動(dòng)校正.

高油玉米施肥，一般施氮素300～380kg/hm2、五氧化二磷 125～160kg/hm2、氧化鉀 75～118kg/hm2。具體施肥方法以一次底肥2次追肥為好，底肥一般施有機(jī)肥15～30t/hm2、五氧化二磷 120～150kg/hm2、氧化鉀 75～118kg/hm2、氮素120～150 kg/hm2、硫酸鋅 15～30kg/hm2。追肥一般在苗期施氮素30～45 kg/hm2，促進(jìn)弱苗生長;拔節(jié)后6d重施穗肥，施氮素150～180kg/hm2。在施肥過程中，注意氮、磷、鉀合理配施，這對提高粒重、胚重，尤其對提高籽粒含油量有顯著作用。磷是提高籽粒含油率的主導(dǎo)因素，基肥要重視磷的施入。

在波束形成后的IQ 圖像中,可借助局部極大值識(shí)別單個(gè)微泡.隨后,使用徑向?qū)ΨQ定位算法實(shí)現(xiàn)對微泡中心的精準(zhǔn)定位[36](圖2(d)).RS 算法利用強(qiáng)度梯度來尋找微泡的中心.由于以其最大值為中心的對稱強(qiáng)度剖面上的每一點(diǎn)的強(qiáng)度梯度總是指向該最大值,將微泡中心至等勢線的距離最小化的方法便可以用來定位微泡.

對定位后的圖像使用基于Kuhn-Munkres 算法的追蹤算法獲得微泡的軌跡[36](圖2(e)).對于每個(gè)微泡,該算法計(jì)算出其與后續(xù)幀中所有微泡的距離.然后,通過最小化總平方距離找到微泡的最佳配對.之后對軌跡進(jìn)行篩選,去除過短或不合理的軌跡,對其余軌跡進(jìn)行插值,以恢復(fù)軌跡中微泡在兩幀之間缺失的數(shù)據(jù)點(diǎn),從而重建出連續(xù)的微血管信號(hào).

2.5 GAN-uULM 模型

生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)[37]在圖像生成領(lǐng)域得到了廣泛的研究和應(yīng)用.它由生成器G 與鑒別器D 兩個(gè)模型組成,兩個(gè)模型交替訓(xùn)練以相互競爭.鑒別器的目標(biāo)是對真實(shí)圖像和生成的“假”圖像進(jìn)行分類,而生成器的目標(biāo)是欺騙鑒別器,使生成的圖像與真實(shí)圖像無法區(qū)分.與其他方法模糊且分辨率低的結(jié)果相比,GAN可以生成清晰可信的圖像,滿足超分辨率成像的需求.圖3 展示了GAN-uULM 模型的總體框架.

2.5.1 基于U-Net 實(shí)現(xiàn)的GAN 網(wǎng)絡(luò)

如圖3 所示,生成器G 采用一個(gè)U-Net 模型,包括一個(gè)編碼器和一個(gè)解碼器.U-Net 網(wǎng)絡(luò)是一種特殊類型的卷積神經(jīng)網(wǎng)絡(luò),已被證明能有效學(xué)習(xí)圖像的多尺度表示和精確的像素級(jí)映射[38].編碼器網(wǎng)絡(luò)中的每個(gè)編碼器層組由一組卷積層、批標(biāo)準(zhǔn)化(batch normalization,BN)和修正線性單元(rectified-linear unit,ReLU)組成,之后是池化操作.編碼器層組重復(fù)四次,以實(shí)現(xiàn)高效的數(shù)據(jù)壓縮.在編碼器網(wǎng)絡(luò)輸出之后,U-Net 網(wǎng)絡(luò)應(yīng)用具有相同數(shù)量的解碼器層組成的解碼器網(wǎng)絡(luò),通過上采樣恢復(fù)高分辨率特征圖.解碼器網(wǎng)絡(luò)是編碼器的反向過程,由上采樣層、卷積層、BN和ReLU 函數(shù)組成.跳躍連接用于將編碼器的輸出特征映射連接到解碼器中每個(gè)對稱塊的輸入特征映射.通過跳躍連接,解碼器可以了解更多關(guān)于輸入的相關(guān)信息.

圖3 GAN-uULM 方法整體框架Fig.3.Overall architecture of the GAN-uULM method.

輸入的微泡圖像采用3×3的卷積核進(jìn)行卷積,并使用dropout[39]優(yōu)化運(yùn)算,避免過擬合.池化操作中,過濾器尺寸均為2×2,進(jìn)行最大池化.在上采樣中對圖像采用2× 2的卷積核進(jìn)行反卷積操作.為測量GAN-uULM 輸出和微泡軌跡圖像之間的差異,使用L1 范數(shù)與多尺度結(jié)構(gòu)相似性指數(shù)(MS-SSIM)[40]的加權(quán)平均值作為損失函數(shù).MSSSIM 容易導(dǎo)致亮度的改變和顏色的偏差,但能保留圖像的邊緣和細(xì)節(jié)信息,而L1 損失函數(shù)能較好地保持亮度和顏色信息:

其中S為輸入的微泡定位圖像;T為相應(yīng)的微泡軌跡圖像;A為網(wǎng)絡(luò)的實(shí)際輸出;E表示期望;pdata(S,T)是訓(xùn)練數(shù)據(jù)集中微泡定位圖像S和微泡軌跡T的聯(lián)合概率密度;M S?SSIM(A,T)是A和T之間的多尺度結(jié)構(gòu)相似性指數(shù);Gσ是高斯平滑核;*表示卷積;|A ?T|是絕對差分圖像(即|A(i,j)?T(i,j)|);ρ∈[0,1]是一個(gè)標(biāo)量權(quán)重,用于平衡MSSSIM和L1 范數(shù)的相對貢獻(xiàn)[41].

2.5.2 鑒別器網(wǎng)絡(luò)

2.5.3 網(wǎng)絡(luò)整體架構(gòu)

在生成對抗網(wǎng)絡(luò)的生成器與鑒別器構(gòu)建中,用U-Net 作為生成器,生成微泡軌跡圖像,然后將微泡軌跡標(biāo)簽圖像與生成器微泡軌跡圖像輸入鑒別網(wǎng)絡(luò)內(nèi)進(jìn)行鑒別,并根據(jù)前述方法進(jìn)行鑒別器模型優(yōu)化.生成器輸出在鑒別器中判別為真實(shí)值,則可證明生成器網(wǎng)絡(luò)的有效性.鑒別器網(wǎng)絡(luò)中提取了生成器微泡軌跡圖像與微泡軌跡標(biāo)簽圖像的特征,根據(jù)特征圖像計(jì)算二者差別,有助于整體模型梯度優(yōu)化.模型總損失函數(shù)LSUM(G)由超分辨率重建誤差LSR(G)和生成性對抗網(wǎng)絡(luò)損失函數(shù)LGAN(G,D)兩部分組成:

其中權(quán)重λ是超參數(shù),對于本文實(shí)驗(yàn),其默認(rèn)值為0.02.

網(wǎng)絡(luò)采用了隨機(jī)旋轉(zhuǎn)、裁剪、平移和彈性變形等數(shù)據(jù)增強(qiáng)方式,并在輸入圖像中添加高斯噪聲,以模擬錯(cuò)誤檢測和非特定標(biāo)記,從而降低過擬合風(fēng)險(xiǎn).因此,在不過度擬合的情況下,只需要少量微泡軌跡圖像即可成功訓(xùn)練.本文使用隨機(jī)梯度下降和Adam 對生成器網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練,批量大小為1,迭代次數(shù)為200000.采用來自Nvidia的Tesla P100 圖形處理單元進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測試.在圖形處理單元上,GAN-uULM 需要數(shù)小時(shí)到數(shù)天的時(shí)間完成訓(xùn)練,但從之前訓(xùn)練過的GANuULM 開始,可以在更短的時(shí)間內(nèi)完成再訓(xùn)練,具體時(shí)長由批量大小和迭代次數(shù)控制.在本研究中,通過法國Langvein 實(shí)驗(yàn)室提供的公開超聲數(shù)據(jù)生成了100 對微泡定位圖像和相應(yīng)的標(biāo)簽,并將其用作訓(xùn)練集[42].經(jīng)過訓(xùn)練后,GAN-uULM 網(wǎng)絡(luò)可以將微泡定位圖像數(shù)據(jù)作為輸入,并在不到一秒鐘的時(shí)間內(nèi)輸出重建的微泡軌跡圖像.

3 實(shí)驗(yàn)設(shè)計(jì)

采用128 陣元的線陣探頭L22-14v,相鄰陣元間距0.1 mm,發(fā)射信號(hào)中心頻率為15.625 MHz.采用5 個(gè)不同角度的平面波(–5°,–2°,0°,+2°,+5°),脈沖重復(fù)頻率為31250 Hz,合成幀率為1000 Hz.Vincent等[42]研究表明重建大鼠腦微血管并獲得可靠的成像質(zhì)量通常需要240 s的采集時(shí)長,對應(yīng)240 個(gè)數(shù)據(jù)塊.因此,實(shí)驗(yàn)共采集292 個(gè)數(shù)據(jù)塊,每個(gè)數(shù)據(jù)塊記錄600 幀.

所有動(dòng)物實(shí)驗(yàn)均經(jīng)復(fù)旦大學(xué)動(dòng)物研究倫理委員會(huì)批準(zhǔn)(批件號(hào):202202020Z).如圖4 所示搭建超快超分辨率超聲成像平臺(tái),該平臺(tái)由超聲探頭、腦立體定位儀、位移平臺(tái)、麻醉機(jī)等部件組成,可實(shí)現(xiàn)基于超快超聲Doppler的三維腦血管成像(空間分辨率約100 μm)和基于超聲定位顯微的大鼠腦微血管成像(空間分辨率<20 μm).實(shí)驗(yàn)在400 g成年雄性Sprague-Dawley 大鼠上進(jìn)行,實(shí)驗(yàn)前對大鼠進(jìn)行開顱手術(shù),下腹腔注射濃度8%的水合氯醛溶液實(shí)現(xiàn)麻醉后,將大鼠頭部置于腦立體定位儀,使用顱鉆打開約10 mm× 10 mm的顱窗,以適應(yīng)超聲換能器陣列的尺寸.為了防止大腦皮層腫脹或過熱,手術(shù)過程中用生理鹽水冷卻顱骨創(chuàng)面.手術(shù)及實(shí)驗(yàn)全程均在動(dòng)物麻醉狀態(tài)下進(jìn)行.

圖4 小動(dòng)物用超快超分辨率超聲腦成像實(shí)驗(yàn)平臺(tái)Fig.4.Ultrafast super-resolution ultrasound brain imaging experimental platform for small animals.

為重建大鼠大腦的血管顯微結(jié)構(gòu),將超聲微泡粉末(SonoVue,Bracco,Milan,Italy)溶解于5 mL生理鹽水中,產(chǎn)生濃度為2× 108個(gè)微泡/毫升的造影劑溶液[16].將該造影劑溶液通過頸靜脈注射,以60 μL/min的恒定速率注射180 μL,注射30 s 后對大鼠大腦冠狀面進(jìn)行超快超聲圖像采集.微泡注射劑量參考0.8 mL/kg的標(biāo)準(zhǔn),由于持續(xù)灌注的方式,注射造影劑后,血管網(wǎng)絡(luò)中微泡的濃度不會(huì)隨時(shí)間而變化[43].由于微泡濃度和注射方式與訓(xùn)練集數(shù)據(jù)采取的方式一致[42],故訓(xùn)練集和實(shí)驗(yàn)所得的測試集數(shù)據(jù)微泡濃度沒有差別.

4 實(shí)驗(yàn)結(jié)果

4.1 超分辨率超聲微血流成像結(jié)果

圖5為使用標(biāo)準(zhǔn)uULM 方法(圖5(a))和GANuULM 方法(圖5(b))所得到的大鼠大腦uULM重建結(jié)果.這兩種方法都以高對比度和亞波長級(jí)分辨率解析了冠狀面大鼠腦微血管.相比于標(biāo)準(zhǔn)uULM方法,GAN-uULM的血管造影提供了更高的對比度,并分辨出標(biāo)準(zhǔn)uULM 方法無法檢測到以及顯示斷續(xù)的小血管(詳見圖5 中放大的區(qū)域).

圖6(a)和(b)分別給出了圖5 中標(biāo)準(zhǔn)uULM和GAN-uULM的局部血管造影特寫圖,可以觀察到GAN-uULM 在200 μm和700 μm 處分別多分辨出一條血管.這說明相比標(biāo)準(zhǔn)的uULM 方法,GAN-uULM 能夠分辨更多的血管,尤其是顯示斷續(xù)的小血管.如圖6(c)所示,從血管橫向強(qiáng)度分布來看,GAN-uULM 方法比標(biāo)準(zhǔn)uULM 方法提供了更好的分辨率.

圖5 大鼠腦超分辨率定位顯微(a)使用標(biāo)準(zhǔn)uULM 方法的血管造影;(b)使用GAN-uULM 方法的血管造影Fig.5.Ultrasound Localization Microscopy in a rat brain:(a)Angiogram reconstruction using the standard uULM method;(b)angiogram reconstruction using the GAN-uULM method.

圖6 全血管造影的局部特寫及其沿白色虛線的強(qiáng)度分布圖.使用標(biāo)準(zhǔn)uULM(a)和GAN-uULM(b)分別對體內(nèi)數(shù)據(jù)集進(jìn)行uULM 血管造影得到的局部放大圖;(c)綠色和藍(lán)色曲線表示沿水平虛線的強(qiáng)度分布圖Fig.6.Zoomed-in regions of interest from the whole angiogram and their intensity profiles along the white dashed line.Magnified regions from uULM Angiograms for an in-vivo dataset using the standard uULM method(a)and the GAN-uULM(b);(c)the intensity profiles along a given horizontal dashed line overlaid in green and blue.

4.2 GAN-uULM 成像參數(shù)分析

4.2.1 血管飽和度

血管飽和度被量化為有血管造影部分和總面積(即有血管造影部分與無血管造影部分面積)的比值.uULM 重建圖像的血管飽和度參數(shù)會(huì)隨著用于重建的數(shù)據(jù)量增加而增加,因而血管飽和度隨重建圖像幀的變化曲線可反映uULM 達(dá)到穩(wěn)定重建所需要的平均采集時(shí)間.高效的重建算法將提供較為陡峭的血管飽和度曲線.圖7 對比了標(biāo)準(zhǔn)uULM重建算法和GAN-uULM 重建方法的血管飽和度隨圖像采集時(shí)長的變化曲線,以分析重建中所使用的數(shù)據(jù)采集持續(xù)時(shí)間對恢復(fù)血管網(wǎng)絡(luò)血管造影的影響.如圖7 所示,當(dāng)使用GAN-uULM 方法時(shí),約一半的采集時(shí)長,即可得到與標(biāo)準(zhǔn)uULM 重建算法相同水平的圖像飽和度.同時(shí),在數(shù)據(jù)采集時(shí)間為292 s(全部采集時(shí)長)時(shí),標(biāo)準(zhǔn)uULM 方法的網(wǎng)絡(luò)填充率僅為33%,GAN-uULM 方法的網(wǎng)絡(luò)填充率為46%,進(jìn)一步驗(yàn)證了GAN-uULM 能夠顯著提升圖像的飽和度.具體地,兩種方法使用不同數(shù)據(jù)采集時(shí)長對應(yīng)的uULM 圖像如圖8 所示.對于GAN-uULM,即使采集時(shí)間壓縮到40 s,依然可以生成與數(shù)據(jù)采集時(shí)間為292 s的標(biāo)準(zhǔn)uULM重建算法所獲結(jié)果相似的血流圖像,保證了血流的連續(xù)性與豐富性.當(dāng)采集時(shí)間為80 s(圖8(c)和圖8(d)),可較為清晰的觀察到GAN-uULM 對遠(yuǎn)場血流有更好的重建能力.

圖7 血管飽和度與累積采集時(shí)長的關(guān)系曲線Fig.7.The relationship curves between vascular saturation and cumulative acquisition time.

圖8 不同采集時(shí)長對應(yīng)的超分辨率血流圖像(a),(b)uULM和GAN-uULM 在采集時(shí)長為40 s 時(shí)的血流圖像;(c),(d)uULM和GAN-uULM 在采集時(shí)長為80 s 時(shí)的血流圖像Fig.8.Super-resolution blood flow images with different cumulative acquisition times:(a),(b)The results of uULM and GANuULM with acquisition time of 40 s;(c),(d)the results of uULM and GAN-uULM with acquisition time of 80 s.

4.2.2 成像分辨率

對292 s 連續(xù)采集的超聲圖像分別采用標(biāo)準(zhǔn)uULM和GAN-uULM 方法重建超分辨率血流圖像,圖9 給出了這兩張圖像基于FRC 曲線的分辨率測量結(jié)果;圖9(a)和圖9(b)將軌跡數(shù)據(jù)隨機(jī)分成兩份,重建出兩個(gè)子圖像.然后將兩個(gè)子圖像作二維傅里葉變換,計(jì)算這兩個(gè)頻譜沿等空間頻率環(huán)的歸一相關(guān)性,如圖9(c)和圖9(d)所示.所得FRC 曲線與1/2 bit(黃色)閾值曲線的兩個(gè)交點(diǎn)被用于測定圖像分辨率,如圖9(e)所示.在本數(shù)據(jù)中,標(biāo)準(zhǔn)uULM 所獲分辨率結(jié)果略優(yōu)于GAN-uULM方法分辨率,總體相當(dāng),分別為7.8 μm和8.9 μm.

圖9 基于FRC 曲線的分辨率測量(a),(b)將重建結(jié)果隨機(jī)拆分的兩個(gè)子圖像;(c),(d)2D FFT 得到頻譜圖;(e)FRC 曲線,FRC 曲線與1/2 bit(黃色)閾值曲線的兩個(gè)交點(diǎn)被用于測定圖像分辨率;(f)分辨率與累積采集時(shí)長的關(guān)系曲線Fig.9.Resolution measurements based on FRC curves:(a),(b)Two sub-images obtained by randomly splitting the reconstruction results;(c),(d)the frequency spectrograms obtained by 2D FFT;(e)the FRC curves,the two intersections of the FRC curves with the 1/2 bit(yellow)threshold curve are used to determine the image resolution;(f)the relationship curves between resolution and cumulative acquisition time.

圖9(f)進(jìn)一步探討了采集時(shí)長與重建分辨率的關(guān)系.采用GAN-uULM 方法,圖像分辨率的數(shù)值總體上較為平衡,隨著采集時(shí)間的增加會(huì)略有改善,即由最初的12.5 μm 下降至8.9 μm;與之相反地,采用標(biāo)準(zhǔn)uULM 方法,圖像分辨率的數(shù)值卻會(huì)隨著采集時(shí)間的增加而“變差”,上升至7.8 μm.該矛盾現(xiàn)象的可能解釋為:在少量圖像幀輸入情況下,標(biāo)準(zhǔn)uULM 方法的圖像飽和度較低,微泡數(shù)量較少使得血管軌跡相對稀疏,因而基于FRC 曲線的分辨率值估計(jì)結(jié)果偏低.隨著飽和度的提升,由微泡軌跡重建得到的血管更加接近真實(shí)血管,分辨率數(shù)值緩慢上升并逐漸向真實(shí)值靠近.這也進(jìn)一步表明,基于傳統(tǒng)的uULM 方法重建結(jié)果,若結(jié)果未收斂,易于給出虛假的高分辨率結(jié)果.

5 討論

超快超聲成像可實(shí)時(shí)呈現(xiàn)高質(zhì)量的血流圖像,但受到衍射極限的限制,當(dāng)超聲波在兩個(gè)物體之間傳播時(shí),只有當(dāng)它們之間的距離超過半個(gè)波長時(shí)才能被區(qū)分開.而微循環(huán)系統(tǒng)中最小的毛細(xì)血管直徑小于10 μm;因此,由于分辨率的限制,傳統(tǒng)超快超聲成像尚無法精細(xì)觀察數(shù)十微米級(jí)的血管網(wǎng)絡(luò)結(jié)構(gòu)細(xì)節(jié).

uULM 突破了傳統(tǒng)超聲分辨率局限,通過累積成千上萬個(gè)亞波長的微泡定位點(diǎn),可獲得分辨率遠(yuǎn)小于發(fā)射波長的超分辨率超聲圖像,從而實(shí)現(xiàn)微血管成像.然而,現(xiàn)有的微泡軌跡連接方法,存在數(shù)據(jù)處理時(shí)間長、參數(shù)調(diào)整繁雜等問題.在Kuhn-Munkres 追蹤算法中,需要根據(jù)實(shí)驗(yàn)數(shù)據(jù)的特點(diǎn)人為設(shè)定微泡間最大連接距離、軌跡內(nèi)允許微泡連續(xù)消失幀數(shù)等參數(shù).在軌跡連接后,還需設(shè)定軌跡長度篩選閾值,將錯(cuò)誤軌跡濾除.相關(guān)調(diào)參操作繁瑣且依賴于使用者的經(jīng)驗(yàn),且易引入人工誤差.為克服以上局限,本文提出了一種GAN-uULM 網(wǎng)絡(luò)用于從定位后的微泡數(shù)據(jù)中恢復(fù)密集的血管圖像.網(wǎng)絡(luò)輸入信號(hào)為微泡中心定位結(jié)果,而相應(yīng)用于血管重建的微泡軌跡圖像被定義為網(wǎng)絡(luò)期望輸出.通過該模型學(xué)習(xí)軌跡圖像和微泡分布之間的映射,直接由微泡定位結(jié)果生成微泡運(yùn)動(dòng)軌跡,并最終實(shí)現(xiàn)uULM 成像.該模型利用了生物圖像結(jié)構(gòu)冗余的特性,允許在不犧牲空間分辨率的情況下減少總幀數(shù)和采集時(shí)間,實(shí)現(xiàn)高效的超分辨率微血管成像.

GAN-uULM 建立在U-net和GAN的基礎(chǔ)上,其中,U-net是一種特殊類型的卷積神經(jīng)網(wǎng)絡(luò),能夠有效地學(xué)習(xí)圖像的多尺度表示和精確的像素級(jí)映射,在該模型中作為GAN的生成器網(wǎng)絡(luò).GAN由輸出合成圖像的生成器網(wǎng)絡(luò)和輸出輸入圖像為真實(shí)圖像或合成圖像的概率的鑒別器網(wǎng)絡(luò)組成,這兩個(gè)網(wǎng)絡(luò)同時(shí)進(jìn)行訓(xùn)練以相互競爭,優(yōu)化成像結(jié)果.在體實(shí)驗(yàn)結(jié)果表明,GAN-uULM 比標(biāo)準(zhǔn)uULM方法具有更好的軌跡連接能力.經(jīng)過訓(xùn)練的模型可以從不完整的微泡軌跡預(yù)測血管的存在(圖6),進(jìn)而將采集時(shí)間縮短一倍(圖7),同時(shí)還具有數(shù)據(jù)處理速度快,數(shù)據(jù)采集時(shí)間短,軌跡連接精度高的特征.此外,在軌跡連接過程中,GAN-uULM 可有效減小計(jì)算復(fù)雜度,避免參數(shù)精細(xì)調(diào)節(jié),減小對人工干預(yù)的依賴性.

通過血管飽和度(圖7)和圖像分辨率(圖9(f))隨采集時(shí)長變化關(guān)系曲線,本研究對比分析標(biāo)準(zhǔn)uULM 重建方法和GAN-uULM 重建方法的性能.值得注意的,如圖7 所示,當(dāng)數(shù)據(jù)累積時(shí)長較小時(shí),標(biāo)準(zhǔn)uULM 方法的重建圖像飽和度較低,在40 s的采集時(shí)長時(shí)僅為11.8%,遠(yuǎn)低于GAN-uULM 方法所獲得的20.4%的血管飽和度值.與之對應(yīng)地,當(dāng)數(shù)據(jù)累積時(shí)長較小時(shí),標(biāo)準(zhǔn)uULM 方法血管軌跡稀疏,采用FRC 曲線進(jìn)行分辨率分析時(shí),會(huì)獲得顯著偏低甚至錯(cuò)誤的分辨率結(jié)果;隨著飽和度增加,標(biāo)準(zhǔn)uULM 方法的分辨率估計(jì)結(jié)果緩慢上升并逐漸接近真實(shí)值.然而,本文提出的GAN-uULM方法可在較少的數(shù)據(jù)累積時(shí)長條件下,獲得較高的血管飽和度和較為穩(wěn)定的分辨率結(jié)果,其最終收斂結(jié)果與標(biāo)準(zhǔn)uULM 方法相當(dāng).大鼠腦血管結(jié)果表明,GAN-uULM 可以分辨直徑小至10 μm的微小血管(圖9(e)).

在uULM 成像過程中,大血管內(nèi)流動(dòng)的微泡數(shù)量多,因此可以在較短的時(shí)間內(nèi)完成大血管重建.隨著大血管重建不斷清晰,成像飽和度快速上升,隨后的微小血管重建速度較慢,需要相對長的數(shù)據(jù)采集時(shí)間才能較好地完成重建[42].因此,需要在成像飽和度與采集時(shí)長之間加以權(quán)衡,雖然可通過損失微血管細(xì)節(jié)從而減少數(shù)據(jù)采集時(shí)長,但是這必然伴隨著成像質(zhì)量的下降和細(xì)節(jié)信息的缺失.此外,提高造影劑濃度,可使得單位時(shí)間內(nèi)微泡數(shù)量增加,促使飽和度曲線收斂加快,進(jìn)而縮短成像時(shí)長.但高濃度微泡會(huì)導(dǎo)致彼此靠近的微泡產(chǎn)生信號(hào)干擾,給算法帶來挑戰(zhàn),因此高濃度微泡下的GAN-uULM的成像效果有待進(jìn)一步深入.

6 結(jié)論

本文提出了一種基于生成對抗網(wǎng)絡(luò)的深度學(xué)習(xí)超分辨超聲成像方法,用于從定位后的運(yùn)動(dòng)微泡數(shù)據(jù)中恢復(fù)密集的血管網(wǎng)絡(luò).實(shí)驗(yàn)結(jié)果表明,與標(biāo)準(zhǔn)uULM 方法相比,GAN-uULM 避免了相對煩瑣的逐幀微泡軌跡連接過程,可在保持超分辨率血管造影精度的同時(shí),縮減重建所需圖像數(shù)量,從而顯著提升成像效率.相關(guān)技術(shù)可在數(shù)十秒的時(shí)間內(nèi)對組織微血流進(jìn)行超分辨率成像,較好地緩解了高空間分辨率和高時(shí)間分辨率之間的矛盾.本文所提出的GAN-uULM 方法,在避免微泡軌跡閾值優(yōu)化篩選的同時(shí),可顯著降低uULM 對數(shù)據(jù)采集時(shí)長需求,相關(guān)方法在超分辨超聲微血流成像方面具有一定應(yīng)用潛力.