磁共振酰胺質(zhì)子轉(zhuǎn)移模態(tài)的膠質(zhì)瘤IDH 基因分型識(shí)別：基于深度學(xué)習(xí)的Dual-Aware框架

楚智欽，屈耀銘，鐘濤，梁淑君，溫志波，張煜

1南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，2廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510515；3南方醫(yī)科大學(xué)珠江醫(yī)院放射科，廣東 廣州510282

腦膠質(zhì)瘤是發(fā)病率最高的中樞神經(jīng)系統(tǒng)原發(fā)惡性腫瘤［1］。2016年世界衛(wèi)生組織在腦膠質(zhì)瘤病理分類(lèi)中首次加入了基因分型［2］，IDH基因分型被確認(rèn)為腦膠質(zhì)瘤分類(lèi)的基礎(chǔ)生物標(biāo)志物，其突變狀態(tài)的準(zhǔn)確識(shí)別關(guān)系到腦膠質(zhì)瘤的確診、治療方案規(guī)劃和預(yù)后判斷［3-6］。在臨床中，對(duì)腦膠質(zhì)瘤標(biāo)本進(jìn)行病理檢測(cè)是基因分型的金標(biāo)準(zhǔn)，但腫瘤標(biāo)本需要通過(guò)穿刺或手術(shù)切除等有創(chuàng)方式獲取，有一定機(jī)率導(dǎo)致患者出現(xiàn)神經(jīng)功能缺損后遺癥，給患者的正常生活造成嚴(yán)重影響［7,8］?，F(xiàn)代影像學(xué)技術(shù)的快速發(fā)展和普及對(duì)臨床中腦膠質(zhì)瘤患者的輔助治療和預(yù)后診斷具有重要意義。

多序列MRI是最常規(guī)的用于輔助分析腦膠質(zhì)瘤的醫(yī)學(xué)影像技術(shù)，其中T1CE模態(tài)圖像在臨床中常被用于腦膠質(zhì)瘤基因分型的影像學(xué)判斷［9］。然而，T1CE模態(tài)需要對(duì)病人進(jìn)行造影劑注射，一方面會(huì)對(duì)患者造成有創(chuàng)性損傷；另一方面，部分對(duì)造影劑過(guò)敏的患者無(wú)法完成增強(qiáng)掃描檢查，造成T1CE模態(tài)的缺失。因此，Zhou等［10］于2003年首次提出基于磁共振APT成像技術(shù)，這是一種無(wú)創(chuàng)的細(xì)胞分子水平磁共振技術(shù)。APT模態(tài)成像對(duì)腫瘤的信號(hào)強(qiáng)度跟腫瘤惡性程度呈正相關(guān)，且IDH野生型的APT信號(hào)強(qiáng)度要高于IDH突變型的APT信號(hào)強(qiáng)度，它的優(yōu)點(diǎn)是無(wú)創(chuàng)檢測(cè)內(nèi)源性，無(wú)需注射外源性對(duì)比劑。Jiang等［11］利用APT成像首次在術(shù)前檢測(cè)膠質(zhì)瘤中IDH的突變狀態(tài)。

當(dāng)前預(yù)測(cè)IDH基因分型的方法主要包括基于影像組學(xué)的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)或兩者的結(jié)合?；谟跋窠M學(xué)機(jī)器學(xué)習(xí)的方法從MR影像中提取高維特征，包括腫瘤強(qiáng)度、形狀、紋理等，然后基于這些特征訓(xùn)練機(jī)器學(xué)習(xí)模型，用于預(yù)測(cè)分子標(biāo)記、腫瘤等級(jí)或患者存活率等［12-14］。近年來(lái)，基于深度學(xué)習(xí)的方法因其可以自動(dòng)提取特征、具有更好的分類(lèi)精度和魯棒性較好等特點(diǎn)，也被用于IDH基因分型預(yù)測(cè)［15-17］。此外，也有將兩者結(jié)合的方法用于IDH基因分型，例如基于放射組學(xué)特征構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，以提高預(yù)測(cè)性能［18-21］。盡管已經(jīng)有眾多用于IDH基因分型的方法，但上述方法大多是基于FLAIR、T1CE、T1、T2模態(tài)構(gòu)建的。因此，本文將根據(jù)APT模態(tài)設(shè)計(jì)深度學(xué)習(xí)框架，驗(yàn)證其在IDH基因分型任務(wù)中的有效性，以替代T1CE模態(tài)實(shí)現(xiàn)無(wú)創(chuàng)的輔助診斷。

此前有關(guān)APT模態(tài)IDH基因分型的研究大都是基于二維數(shù)據(jù)構(gòu)建的，沒(méi)有考慮腫瘤的空間結(jié)構(gòu)［11,22］。在本研究中，我們基于A(yíng)PT模態(tài)的圖像特點(diǎn)，使用三維APT影像數(shù)據(jù)構(gòu)建Dual-Aware深度學(xué)習(xí)框架用于IDH基因分型。針對(duì)不同患者的腫瘤存在形狀、大小各異的情況，而APT模態(tài)的分子成像特性使得腫瘤區(qū)域附近存在一定的衍生區(qū)域。為了充分利用APT圖像信息，我們?cè)O(shè)計(jì)Multi-scale Aware模塊，用于多尺度信息的提取，并采用空間注意力機(jī)制對(duì)其進(jìn)行融合，以增加全局信息優(yōu)化分類(lèi)；針對(duì)APT模態(tài)的腫瘤區(qū)域缺乏明顯的邊緣輪廓這一問(wèn)題，我們?cè)O(shè)計(jì)Edge Aware模塊以增強(qiáng)邊緣特征，進(jìn)一步區(qū)分病變和正常組織區(qū)域，以提高模型對(duì)病變區(qū)域的敏感性。

1 材料和方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自珠江醫(yī)院，共包括118例膠質(zhì)瘤患者的3D MR圖像，其中包括50個(gè)IDH突變型，68個(gè)IDH野生型，每一例患者都采集了三個(gè)模態(tài)的MR圖像，分別是FLAIR模態(tài)、T1CE模態(tài)、APT模態(tài)，其中圖像的平面尺寸分別為432×432、480×480、512×512，切片的數(shù)量為9～30層。所有圖像均以DICOM格式存儲(chǔ)，并由經(jīng)驗(yàn)豐富的放射診斷醫(yī)生使用ITK-SNAP 軟件（http://www.itksnap.org）勾畫(huà)感興趣目標(biāo)區(qū)域（ROI）。

1.2 數(shù)據(jù)預(yù)處理

圖像預(yù)處理的步驟如圖1所示。由于采集參數(shù)設(shè)置不一致，部分病人的不同模態(tài)圖像存在不同尺寸，無(wú)法直接用于深度學(xué)習(xí)分類(lèi)網(wǎng)絡(luò)的訓(xùn)練，需要預(yù)處理手段將圖像數(shù)據(jù)設(shè)置為同樣尺寸。根據(jù)數(shù)據(jù)的尺寸分布特點(diǎn)，文中將平面尺寸統(tǒng)一為480×480，并采用雙線(xiàn)性插值方式進(jìn)行圖像縮放；縱向尺寸大于18層的將上下限切片截去縮小至18層，小于18層的將切片數(shù)向上下兩側(cè)補(bǔ)零層至18層，最終所有圖像的尺寸統(tǒng)一為480×480×18。所有模態(tài)圖像都通過(guò)配準(zhǔn)工具包Advanced normalization tools（ANTs）［23］進(jìn)行剛性配準(zhǔn)，使得所有數(shù)據(jù)處于統(tǒng)一的坐標(biāo)空間，以進(jìn)行后續(xù)實(shí)驗(yàn)。

圖1 圖像預(yù)處理步驟Fig. 1 Preprocessing of theAPT modality,FLAIR modality,and T1CE modality.

對(duì)于整個(gè)3D 腦影像體積而言，膠質(zhì)瘤腫瘤區(qū)域的體積相對(duì)較小，其余的大體積非病灶區(qū)域?qū)DH基因分型而言屬于無(wú)用噪聲，不利于該任務(wù)的深度學(xué)習(xí)框架的訓(xùn)練。因此，本研究遍歷所有病人的腫瘤區(qū)域，確定圖像的邊界從而得到一個(gè)初始的bounding box。遍歷所有病人得一個(gè)最大體積的bounding box，以覆蓋不同尺寸的腫瘤區(qū)域及周邊區(qū)域。最終，根據(jù)所遍歷的膠質(zhì)瘤腫瘤區(qū)域體積，設(shè)置的bounding box 的尺寸為288×288×17，并以此為裁剪目標(biāo)區(qū)域?qū)D像進(jìn)行裁剪，裁剪使用以下的定位算法。

基本定位的算法：（1）確定腫瘤感興趣區(qū)域的初始bounding box的幾何中心坐標(biāo)（x0,y0,z0）；（2）以x坐標(biāo)為例，如果幾何中心的x軸坐標(biāo)x0距離x軸邊界的距離小于288/2，如果其距離x軸左側(cè)較近，則所選取的x坐標(biāo)最終區(qū)域?yàn)閇0,287]，如果其距離x軸正邊界較近，則所選取的x坐標(biāo)最終區(qū)域?yàn)閇192,479]；如果幾何中心的x軸坐標(biāo)x0距離x兩側(cè)邊界的距離大于288/2，則按照中心區(qū)域往兩側(cè)擴(kuò)展，則所選取的x坐標(biāo)的最終區(qū)域?yàn)閇x0-144,x0+143]；（3）坐標(biāo)y、z的確定方式同上。通過(guò)上述算法對(duì)腫瘤區(qū)域進(jìn)行定位后可以得到最終參與構(gòu)建分類(lèi)模型的3D數(shù)據(jù)。此外，所有數(shù)據(jù)已完成歸一化處理以加速模型收斂，提升模型的精度和魯棒性。

1.3 模型

本研究基于A(yíng)PT 模態(tài)圖像特點(diǎn)，構(gòu)建了Dual Aware框架（圖2），包括Edge Aware模塊和Multi-scale Aware模塊。其中Multi-scale Aware模塊針對(duì)腫瘤尺寸多變的特點(diǎn)，深度挖掘多尺度信息，并通過(guò)空間注意力機(jī)制對(duì)多尺度信息進(jìn)行融合，從而增加模型對(duì)不同尺寸腫瘤特征的提取能力；Edge Aware模塊針對(duì)APT模態(tài)腫瘤區(qū)域邊緣不明顯的特點(diǎn)，深度挖掘邊緣信息，從而增加模型對(duì)腫瘤的邊界特征信息的挖掘能力，提高分類(lèi)的精度。

圖2 網(wǎng)絡(luò)框架圖Fig. 2 Frame network.

如圖2所示為本研究所構(gòu)建的Dual Aware框架，該框架以3D 圖像作為輸入，通過(guò)3 個(gè)層級(jí)進(jìn)行特征提取。每個(gè)層級(jí)包含如下結(jié)構(gòu)：首先經(jīng)過(guò)一次卷積、池化和修正線(xiàn)性單元進(jìn)行初步的特征提取；然后輸入至Multi-scale Aware模塊進(jìn)行多尺度特征提取，多尺度特征將通過(guò)空間注意力機(jī)制進(jìn)行信息融合；再輸入至EdgeAware模塊，通過(guò)三個(gè)三維邊緣檢測(cè)卷積算子進(jìn)行邊緣特征的提取，然后進(jìn)行邊緣特征融合。層級(jí)之間的下采樣尺度為1/2和1/4。經(jīng)過(guò)3個(gè)層級(jí)的特征提取后，特征被輸入至卷積、池化和修正線(xiàn)性單元進(jìn)行特征維度控制，最后輸入至全連接層，通過(guò)softmax得到二分類(lèi)的概率，按照最大概率決定分類(lèi)結(jié)果。

下文將詳細(xì)介紹本框架所包含的各個(gè)模塊，其中Multi-scale Aware 模塊及其中 的Attention Module 見(jiàn)1.3.1，EdgeAware模塊中的Edge fusion見(jiàn)1.3.2。

1.3.1 Multi-scaleAware模塊

現(xiàn)實(shí)世界中，觀(guān)測(cè)對(duì)象的不同特征獨(dú)立存在于特定的空間范圍上，在不同的尺度上觀(guān)察，對(duì)象會(huì)有不同的表現(xiàn)形式。在計(jì)算機(jī)視覺(jué)任務(wù)中，深度學(xué)習(xí)模型需要在合適的尺度上提取圖像的特征。然而，由于不同圖像中目標(biāo)對(duì)象的尺寸不一，不可能事先定義一個(gè)最優(yōu)的尺度去分析圖像，因此，需要在多個(gè)尺度下去考慮圖像內(nèi)容。多尺度特征在CNN網(wǎng)絡(luò)中已經(jīng)展現(xiàn)出很好的效果，被廣泛應(yīng)用在自然圖像領(lǐng)域［24,25］，在醫(yī)學(xué)圖像任務(wù)中也錯(cuò)的了不錯(cuò)的結(jié)果［26,27］。

針對(duì)APT模態(tài)中不同患者腫瘤區(qū)域大小形狀各異，且附近存在一定的衍生區(qū)域的特點(diǎn)，我們?cè)谀Ｐ椭袠?gòu)建了Multi-scale Aware 模塊。在Multi-scale Aware模塊中，輸入特征將被下采樣卷積至輸入尺寸的1/2和1/4，然后通過(guò)上采樣卷積恢復(fù)為輸入尺寸，從而完成對(duì)多尺度特征的提取?？紤]到對(duì)多尺度特征直接進(jìn)行逐像素疊加可能會(huì)造成特征信息的冗余，我們引入了3D attention module來(lái)進(jìn)行信息融合。許多研究證明了注意力機(jī)制的有效性［28-30］，與常規(guī)特征融合策略相比，它可以將局部特征與其對(duì)應(yīng)的全局特征進(jìn)行依賴(lài)性權(quán)重計(jì)算，并自適應(yīng)地突出相互依賴(lài)的特征信息，從而選擇性對(duì)來(lái)自不同類(lèi)型輸入的有用信息進(jìn)行加權(quán)，并抑制相應(yīng)的噪聲信號(hào)。在模型中我們構(gòu)建了基于3D的attention module，建立了基于3D的全局依賴(lài)，提高了有效特征的整體權(quán)重。

在圖3中，首先輸入的特征圖X（D×H×W×C）通過(guò)三個(gè)1×1×1的卷積得到三個(gè)特征F1、F2和F3用于權(quán)重計(jì)算，之后三個(gè)特征經(jīng)過(guò)展開(kāi)得到D×H×W×C0的矩陣M1、M2和M3，注意力機(jī)制將使用這三個(gè)矩陣，定義如下：

圖3 Multi-scale模塊中的Attention模塊細(xì)節(jié)Fig. 3 Detail ofAttention module in the Multi-scale module.

其中注意力機(jī)制矩陣A的維度為（D×H×W×C）×（D×H×W×C），輸出的維度是D×H×W×C0。為了方便描述，以矩陣M1中的一個(gè)向量為例，該向量表示某一空間點(diǎn)在C0個(gè)維度中的所有特征值，在注意力模塊中，該向量將按順序與M2T中的所有向量進(jìn)行交互，其中每?jī)蓚€(gè)向量之間的相乘為相應(yīng)的向量產(chǎn)生一個(gè)標(biāo)量權(quán)重。這個(gè)標(biāo)量權(quán)重是一個(gè)加權(quán)和，表示一個(gè)空間點(diǎn)與所有其他點(diǎn)之間的關(guān)系，權(quán)重將通過(guò)softmax 進(jìn)行歸一化。兩個(gè)空間點(diǎn)的特征越相似，表示它們之間存在越大的權(quán)重系數(shù)。對(duì)M1中的所有向量重復(fù)此過(guò)程，最終生成（D×H×W）×（D×H×W）三維空間注意矩陣A。然后，矩陣A和矩陣M3之間將通過(guò)矩陣乘法進(jìn)行特征加權(quán)，從而得到加權(quán)后的輸出特征矩陣，最終該加權(quán)特征矩陣將被折疊為空間注意力加權(quán)特征圖Y。可以看到，每個(gè)位置的結(jié)果特征Y是所有位置的特征權(quán)重。因此，它具有全局上下文信息，并根據(jù)空間注意力圖選擇性地聚合相似的語(yǔ)義特征，有效融合不同類(lèi)型的特征，從而提高語(yǔ)義特征一致性。

1.3.2 Edge Aware模塊 邊緣檢測(cè)可以反映MR圖像的灰度變化，并反映了MR圖像中不同組織之間的邊界，因此對(duì)邊緣進(jìn)行提取可以有效捕捉圖像內(nèi)容的紋理結(jié)構(gòu)，有助于將模型對(duì)特定病變區(qū)域的特征提取。特別是在A(yíng)PT模態(tài)中，腫瘤區(qū)域?qū)Ρ绕渌B(tài)圖像具有更模糊的邊緣輪廓，對(duì)其邊緣信息進(jìn)行預(yù)先挖掘有助于區(qū)分病變和正常組織，有助于更好地描繪異常區(qū)域的輪廓［31,32］，從而提高模型對(duì)腫瘤病變區(qū)域的特征提取能力。

如圖4所示，輸入的特征圖X通過(guò)EdgeAware模塊分別與3個(gè)sobel卷積核Fi、Fj、Fk進(jìn)行卷積，得到3個(gè)邊緣特征圖。3個(gè)邊緣特征圖通過(guò)以下方式合并到一起得到最終的特征圖Y，計(jì)算過(guò)程如下：

圖4 三維sobel算子包括三個(gè)卷積核Fi、Fj、Fk，每一個(gè)卷積核的大小均為3×3×3。三維卷積核中間沒(méi)有標(biāo)注數(shù)字的位置均代表著0Fig. 4 The three-dimensional sobel operator includes 3 convolution kernels Fi,Fj,and Fk,and the size of each convolution kernel is 3×3×3.The positions without numbers in the middle of the three-dimensional convolution kernel represent 0.

如圖5 所示，以輸入模態(tài)的原始圖像為例，經(jīng)過(guò)EdgeAware模塊處理后，病變區(qū)域的邊緣輪廓被有效提取，特別是APT模態(tài)中的代謝變化和生理病理信息，形成了特定的輪廓，有助于模型對(duì)其特殊的邊緣信息和紋理信息的進(jìn)一步挖掘，有助于模型更精確區(qū)分病變和正常組織，從而提升分類(lèi)的精度。

圖5 使用sobel邊緣檢測(cè)前后的影像，左、中、右分別為APT 模態(tài)、FLAIR 模態(tài)、T1CE模態(tài)Fig. 5 Image before and after edge detection with sobel.The left,middle and right are APT modality,FLAIR modality,and T1CE modality,respectively.

1.4 實(shí)驗(yàn)設(shè)置

本研究所使用數(shù)據(jù)共包括118例腦膠質(zhì)瘤患者的3D 多模態(tài)MR圖像，其中包括50例IDH突變型，68例IDH野生型。所有的實(shí)驗(yàn)結(jié)果均采取四折交叉驗(yàn)證，對(duì)4次結(jié)果取平均，從而避免單次驗(yàn)證容易造成的偶然性誤差。數(shù)據(jù)分折的情況如表1所示。

表1 四折交叉驗(yàn)證分折結(jié)果Tab.1 Four-fold cross-validation split results

模型使用11GB Nvidia RTX2080Ti GPU進(jìn)行相關(guān)計(jì)算和構(gòu)建，采用了PyTorch深度學(xué)習(xí)框架。模型訓(xùn)練中，學(xué)習(xí)率設(shè)為10-4，批大小為2，損失函數(shù)為交叉熵，損失函數(shù)的優(yōu)化方法為Adam算法［33］。

模型的圖像輸入尺寸設(shè)定為（288,288,17），每一層級(jí)的特征尺寸n1、n2、n3分別是9×144×144、5×72×72、3×36×36，特征通道數(shù)分別為48，128，192。即整個(gè)框架中圖像和特征在每一層級(jí)的尺度變化為：（2,x,17,288,288）-＞（2,48,9,144,144）-＞（2,128,5,72,72）-＞（2,192,3,36,36），其中x為輸入模態(tài)的維度，當(dāng)輸入模態(tài)為T(mén)1CE和FLAIR時(shí)x為1，當(dāng)輸入模態(tài)為APT時(shí)，因其為RGB彩色圖像，x為3。

2 結(jié)果

為驗(yàn)證所構(gòu)建模塊對(duì)Backbone的改進(jìn)作用，我們基于A(yíng)PT模態(tài)的基因分型設(shè)計(jì)了消融研究（Ablation study）。APT模態(tài)在Backbone及使用不同的Aware模塊改進(jìn)下對(duì)應(yīng)的準(zhǔn)確率、AUC、特異性和敏感性的結(jié)果（表2），其中表中的APT 的結(jié)果為Backbone（即AlexNet），M 為Backbone 基礎(chǔ)上加入了Multi-scale Aware 模塊，E 為Backbone 基礎(chǔ)上加入了Edge Aware模塊，Dual為Backbone基礎(chǔ)上同時(shí)嵌入了兩類(lèi)Aware模塊。表2的結(jié)果顯示，無(wú)論加入了哪種Aware模塊，改進(jìn)后的分類(lèi)模型的分類(lèi)性能均高于Backbone，證明了單個(gè)Aware 模塊對(duì)模型的有效改進(jìn)；在準(zhǔn)確率方面，APT+Multi-scale Aware+Edge Aware的分類(lèi)準(zhǔn)確率最大值、最小值和平均值明顯優(yōu)于其它框架；在A(yíng)UC值方面，APT+Multi-scale Aware+Edge Aware稍微優(yōu)于其它網(wǎng)絡(luò)框架，而APT+Multi-scale Aware 和APT+Edge Aware 基本一致；在特異性方面，APT+Multi-scale Aware+Edge Aware明顯優(yōu)于其他網(wǎng)絡(luò)框架；在敏感性方面，APT+Multi-scale Aware+Edge Aware優(yōu)于其它網(wǎng)絡(luò)框架，而APT+Multi-scaleAware和APT+EdgeAware基本一致。

表2 APT模態(tài)使用Aware模塊分類(lèi)的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results ofAPT modality classification using aware module

此外，為了驗(yàn)證APT模態(tài)對(duì)比其他兩類(lèi)常用模態(tài)（即T1CE和FLAIR模態(tài)）在IDH基因分型任務(wù)中的有效性，我們對(duì)比了三者分別在Backbone和Dual-Aware框架中的性能表現(xiàn)，對(duì)應(yīng)的準(zhǔn)確率、AUC、特異性和敏感性結(jié)果如表3 所示。結(jié)果顯示，盡管在Backbone中，APT模態(tài)對(duì)比T1CE模態(tài)和FLAIR模態(tài)沒(méi)有太大的性能優(yōu)勢(shì)，但是在Dual-Aware框架中，APT模態(tài)的整體性能要高于T1CE模態(tài)和FLAIR模態(tài)。在準(zhǔn)確率方面，APT+Dual-Aware的分類(lèi)準(zhǔn)確率最大值、最小值和平均值明顯優(yōu)于FLAIR模態(tài)和T1CE模態(tài)，T1CE模態(tài)要優(yōu)于FLAIR模態(tài)；在A(yíng)UC值方面，APT+Dual-Aware也明顯優(yōu)于FLAIR模態(tài)和T1CE模態(tài)，而T1CE模態(tài)要優(yōu)于FLAIR模態(tài)；在特異性方面，APT+Dual-Aware明顯優(yōu)于FLAIR模態(tài)和T1CE模態(tài)，而T1CE模態(tài)和FLAIR模態(tài)表現(xiàn)基本一致；在敏感性方面，APT+Dual-Aware優(yōu)于FLAIR模態(tài)，卻略差于T1CE模態(tài)。

表3 APT、T1CE和FLAIR模態(tài)使用Dual-Aware模塊分類(lèi)的實(shí)驗(yàn)結(jié)果Tab.3 Experimental results ofAPT,T1CE and FLAIR modality classification using dual-aware module

3 討論

面對(duì)日益增長(zhǎng)的醫(yī)療需求，人工智能在臨床問(wèn)題中的運(yùn)用得到迅速發(fā)展，為一些臨床問(wèn)題提供了可行的解決方案，有利于提升臨床診斷效率，基于深度學(xué)習(xí)的診斷輔助工具也成為了當(dāng)前臨床研究的熱點(diǎn)。膠質(zhì)瘤臨床治療方案的制定所面臨的最基本的問(wèn)題是相關(guān)基因型的確認(rèn)［34］。目前臨床實(shí)踐中通常使用穿刺或手術(shù)切除等有創(chuàng)的方式獲取病灶組織進(jìn)行基因測(cè)序，檢測(cè)成本相對(duì)較高。現(xiàn)代醫(yī)學(xué)成像技術(shù)和人工智能方法的結(jié)合與發(fā)展，為臨床中實(shí)現(xiàn)無(wú)創(chuàng)的基因分型診斷提供了可能［35］。

相較于其他磁共振成像模態(tài)，基于A(yíng)PT 模態(tài)的IDH基因分型相關(guān)研究相對(duì)較少。然而，我們已經(jīng)了解到APT信號(hào)與IDH基因突變狀態(tài)之間存在相關(guān)性［36］，這與最近的研究使用APT成像預(yù)測(cè)神經(jīng)膠質(zhì)瘤中IDH突變狀態(tài)是一致的［11］。Han等［37］通過(guò)使用影像組學(xué)和支持向量機(jī)等方法進(jìn)一步驗(yàn)證了APT在IDH基因分型的有效性。雖然之前的研究多采用2D APT成像，但我們的研究中采用了3D APT成像序列。在常規(guī)臨床應(yīng)用中，我們通常使用三維數(shù)據(jù)進(jìn)行圖像讀出，與2DAPT成像相比，3D APT能夠更充分地呈現(xiàn)腫瘤的空間信息和全局特征。在一些研究中，ROI是通過(guò)手動(dòng)放置的方式進(jìn)行選取［38,39］，通常是通過(guò)目視檢查將ROI手動(dòng)放置在腫瘤實(shí)體的部分，這種手動(dòng)放置的方式容易導(dǎo)致誤差的出現(xiàn)。本研究通過(guò)醫(yī)生直接勾畫(huà)完整腫瘤的ROI進(jìn)行分析，3D APT成像覆蓋了整個(gè)腫瘤區(qū)域。深度學(xué)習(xí)方法對(duì)于圖像特征的提取更加魯棒，不受病變位置和范圍的影響，因此為我們對(duì)膠質(zhì)瘤的綜合分析提供了可靠的支持。在之前的研究中［11,12,37,39］，大多數(shù)是在特定級(jí)別的膠質(zhì)瘤上進(jìn)行IDH基因分型，而本文則是對(duì)所有膠質(zhì)瘤患者進(jìn)行IDH基因分型，且取得了很好的分類(lèi)性能。

本研究創(chuàng)新地提出了Dual-Aware深度學(xué)習(xí)框架，基于三維APT模態(tài)用于IDH基因分型?？紤]到腫瘤形態(tài)多變的特點(diǎn)，我們構(gòu)建了Multi-scale Aware模塊，使用多尺度信息加上空間注意力機(jī)制對(duì)特征圖進(jìn)行融合，能夠獲得更加豐富的腫瘤多尺度形態(tài)及紋理信息，增加全局信息用于優(yōu)化分類(lèi)，從而提高準(zhǔn)確率。另外，針對(duì)APT模態(tài)的腫瘤區(qū)域缺乏明顯的邊緣輪廓這一局限性，我們構(gòu)建了Edge Aware模塊以增強(qiáng)邊緣特征，進(jìn)一步區(qū)分病變和正常組織區(qū)域，提高了模型對(duì)病變區(qū)域的敏感性。

盡管本研究所構(gòu)建框架在A(yíng)PT模態(tài)的腦膠質(zhì)瘤IDH基因分型任務(wù)中取得了良好的性能，但依然有改進(jìn)空間。進(jìn)一步提升該框架性能可從以下兩個(gè)方面進(jìn)行：（1）數(shù)據(jù)集的擴(kuò)增：深度學(xué)習(xí)方法通常需要多站點(diǎn)、大容量樣本充分訓(xùn)練網(wǎng)絡(luò)，以增加模型的泛化性和魯棒性。本研究所用數(shù)據(jù)集的容量相對(duì)較小，且都來(lái)自同一個(gè)合作醫(yī)院。后續(xù)將從多個(gè)醫(yī)院收集數(shù)據(jù)，以增加數(shù)據(jù)容量，提高數(shù)據(jù)的多樣性。（2）多模態(tài)融合：后續(xù)將嘗試通過(guò)多模態(tài)的信息融合以提升IDH基因分型的預(yù)測(cè)準(zhǔn)確性。

綜上所述，本文基于A(yíng)PT 模態(tài)圖像特點(diǎn)構(gòu)建的Dual-Aware框架驗(yàn)證了APT模態(tài)在膠質(zhì)瘤IDH基因分型中的有效性，有望在臨床上避免對(duì)病人進(jìn)行造影劑的注射，從而幫助醫(yī)生提高臨床實(shí)踐的準(zhǔn)確率和效率。