基于機(jī)器學(xué)習(xí)的椎弓根螺釘釘?shù)莱晥D像評(píng)估方法

馬燁波，邵 杰，楊 桓，黃麒銘，邢文宇，葉長(zhǎng)青，王卓然，楊明雷，陳 鍇，李 博，陳自強(qiáng)*，陳建剛

1. 華東師范大學(xué)上海市多維度信息處理重點(diǎn)實(shí)驗(yàn)室，上海 200241

2. 海軍軍醫(yī)大學(xué)（第二軍醫(yī)大學(xué)）第一附屬醫(yī)院脊柱外科，上海 200433

3. 西交利物浦大學(xué)人工智能與先進(jìn)計(jì)算學(xué)院，蘇州 215028

4. 復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院生物醫(yī)學(xué)工程中心，上海 200433

5. 美的集團(tuán)人工智能創(chuàng)新中心，北京 100015

脊柱內(nèi)固定融合術(shù)是一種常規(guī)的脊柱外科手術(shù)方式，椎弓根螺釘是目前應(yīng)用最為廣泛的內(nèi)固定器械［1］。然而，由于人體的脊柱為復(fù)雜的三維結(jié)構(gòu)且周圍有許多重要組織，包括脊髓、神經(jīng)根、大血管和胸腹部臟器等，手術(shù)過(guò)程中錯(cuò)誤置釘可能引起嚴(yán)重并發(fā)癥，甚至可導(dǎo)致癱瘓和死亡［2］。常規(guī)的手術(shù)方式是醫(yī)師根據(jù)經(jīng)驗(yàn)“徒手”置釘，再使用C 形臂透視進(jìn)行螺釘位置驗(yàn)證，螺釘置入的準(zhǔn)確性完全取決于手術(shù)醫(yī)師的經(jīng)驗(yàn)和對(duì)二維圖像的判讀，具有較大的主觀性和不準(zhǔn)確性［3］。雖然基于CT 的計(jì)算機(jī)輔助導(dǎo)航技術(shù)可以提高螺釘置入的準(zhǔn)確率［4-5］，但存在成本高、操作復(fù)雜、輻射暴露等缺點(diǎn)。

隨著超聲技術(shù)的發(fā)展，有研究者將超聲技術(shù)應(yīng)用于椎弓根螺釘置入手術(shù)中，如超聲圖像融合配準(zhǔn)［6］、釘?shù)缊D像超聲識(shí)別［7］、超聲松質(zhì)骨成像［8］等。與CT 相比，超聲設(shè)備體積小、重量輕、價(jià)格低廉，便于醫(yī)師以更快的速度和更低的成本獲取所需要的信息。前期有較多文獻(xiàn)報(bào)道了使用超聲進(jìn)行椎弓根螺釘釘?shù)劳暾耘凶x的方法［9-11］，然而術(shù)中圖像的判讀需要具備一定超聲診斷經(jīng)驗(yàn)的醫(yī)師進(jìn)行，且較易產(chǎn)生誤判。基于人工智能的計(jì)算機(jī)輔助診斷技術(shù)不僅可以從超聲圖像中識(shí)別出所需的客觀指標(biāo)，代替人眼對(duì)圖像進(jìn)行判讀和識(shí)別，而且能夠在人眼難以判斷的情況下輔助醫(yī)師做出更準(zhǔn)確的判讀。

脊柱椎弓根螺釘釘?shù)拦浅晥D像為判斷釘?shù)赖耐暾蕴峁┝撕芏嘤杏玫奶卣?，這些特征可以在支持向量機(jī)（support vector machine，SVM）模型的幫助下對(duì)超聲圖像進(jìn)行分類。本研究首先采用圖像處理的方式提取在脊柱標(biāo)本上預(yù)建立的椎弓根螺釘釘?shù)赖某晥D像特征，然后基于提取的特征使用SVM 模型對(duì)釘?shù)赖撞渴欠衿茡p進(jìn)行二分類判斷。

1 材料和方法

1.1 材料與儀器 4 例新鮮尸體胸腰椎標(biāo)本由海軍軍醫(yī)大學(xué)（第二軍醫(yī)大學(xué)）基礎(chǔ)醫(yī)學(xué)院解剖學(xué)教研室提供，男、女各2 例，年齡為59～85（73.14±9.87）歲。整個(gè)實(shí)驗(yàn)方案得到了海軍軍醫(yī)大學(xué)（第二軍醫(yī)大學(xué)）第一附屬醫(yī)院倫理委員會(huì)審批。預(yù)建立椎弓根螺釘釘?shù)拦?0 個(gè)，使用20 MHz超聲換能器（型號(hào)UM-S20-17S，直徑1.7 mm，日本Olympus 公司）對(duì)預(yù)建立的釘?shù)赖撞窟M(jìn)行超聲檢查并采集圖像，使用CT 儀（型號(hào)Aquilion ONE，日本Canon 醫(yī)療系統(tǒng)有限公司）對(duì)預(yù)建立的釘?shù)肋M(jìn)行完整性評(píng)估。

1.2 研究方法 整體流程圖見(jiàn)圖1。由3 名具有5 年以上脊柱外科工作經(jīng)驗(yàn)的醫(yī)師（2 名主治醫(yī)師、1 名副主任醫(yī)師），結(jié)合釘?shù)缹?shí)際探測(cè)、CT 圖像和釘?shù)莱晥D像特點(diǎn)對(duì)釘?shù)劳暾院统晥D像進(jìn)行分類。首先由其中2 名主治醫(yī)師各自獨(dú)立完成，如果2 名醫(yī)師意見(jiàn)存在分歧則由副主任醫(yī)師裁決，分類過(guò)程中排除重疊、不清晰的超聲圖像。判斷為釘?shù)劳暾臉颖颈欢x為正樣本，釘?shù)榔茡p的樣本被定義為負(fù)樣本。最終在得到的樣本（1 000 個(gè)正樣本和800 個(gè)負(fù)樣本）中隨機(jī)選取正、負(fù)樣本各400 個(gè)用于實(shí)驗(yàn)，采用五折交叉驗(yàn)證的方法對(duì)樣本進(jìn)行數(shù)據(jù)增強(qiáng)，最終得到樣本集。

采用SVM 模型對(duì)獲得的超聲圖像樣本集進(jìn)行釘?shù)朗欠衿茡p的二分類判斷，其中正樣本如圖2A所示。負(fù)樣本根據(jù)破損程度分為2 級(jí)：（1）容易被誤判為正樣本的負(fù)樣本，即破損不嚴(yán)重的樣本（圖2B）；（2）可以準(zhǔn)確判斷的負(fù)樣本，即破損較為嚴(yán)重的樣本（圖2C）。與破損不嚴(yán)重的負(fù)樣本、正樣本相比，破損較為嚴(yán)重的負(fù)樣本紋理清晰和規(guī)則程度較低，且不易描述；破損不嚴(yán)重的負(fù)樣本與正樣本均有清晰且規(guī)律的紋理，但是在破損不嚴(yán)重的負(fù)樣本中，聲波會(huì)通過(guò)破損的釘?shù)辣谠卺數(shù)劳庑纬陕暡ǚ瓷?，表現(xiàn)為離中央反射區(qū)較遠(yuǎn)的區(qū)域有白色前景（圖2D）。

基于紋理特征分析有可能將破損較為嚴(yán)重的負(fù)樣本與正樣本、破損不嚴(yán)重的負(fù)樣本區(qū)分開，因此首先提取圖像紋理特征作為第一類特征并進(jìn)行初始分類?？紤]到僅使用紋理特征難以區(qū)分破損不嚴(yán)重的負(fù)樣本和正樣本，引入灰度分布分析得到用于區(qū)分前景和背景的閾值T；再做椎弓根螺釘釘?shù)赖耐膱A（直徑為椎弓根螺釘釘?shù)赖闹睆剑?，該同心圓的判別半徑通過(guò)設(shè)計(jì)的損失函數(shù)得到；最后提取同心圓外部圖像的一維統(tǒng)計(jì)特征作為第二類特征并進(jìn)行二次分類。

1.2.1 圖像預(yù)處理 （1）圖像裁剪：為了避免超聲圖像中非樣本超聲影像部分對(duì)后續(xù)處理的影響，同時(shí)減少計(jì)算負(fù)載，將尺寸為1 920 像素×1 080像素的原始超聲圖像（圖3A）利用裁剪函數(shù)裁剪成尺寸為789 像素×761 像素的圖像，僅保留樣本超聲圖像區(qū)域（圖3B）。（2）圖像增強(qiáng)：為了擴(kuò)大圖像中前景和背景的區(qū)分度，使用灰度變換函數(shù)將圖像I中的灰度值映射到圖像J中的新值以實(shí)現(xiàn)圖像增強(qiáng)，表達(dá)式為

其中，I表示要處理的圖像，J表示增強(qiáng)后的圖像。同時(shí)，圖像增強(qiáng)也可以改善圖像質(zhì)量、豐富信息量、增強(qiáng)對(duì)比度、加強(qiáng)圖像判讀和識(shí)別效果（圖3C）。（3）確定圓心位置：在該數(shù)據(jù)集中，所有超聲圖像的設(shè)置均保持一致，因此所有圖像的圓心位置均相同（圖3D、3E），以圖形左上角頂點(diǎn)為坐標(biāo)原點(diǎn)，圓心坐標(biāo)均為（411，381）。

1.2.2 第一類特征提取與初始分類 在第一類特征提取前，需要得到超聲圖像的灰度共生矩陣，大小設(shè)為L(zhǎng)×L，即灰度共生矩陣的灰度級(jí)別為L(zhǎng)。由于超聲圖像的生成角度、灰度級(jí)都會(huì)對(duì)灰度共生矩陣的構(gòu)造產(chǎn)生影響，因此需要先確定灰度共生矩陣的生成角度及灰度級(jí)。（1）生成角度選?。簽榱吮苊庠跇?gòu)造灰度共生矩陣的過(guò)程中丟失紋理特征信息，選取0°、45°、90°、135° 4 個(gè)角度上紋理特征參數(shù)的平均值作為第一類特征提取所需的特征參數(shù)。（2）灰度級(jí)選取：為了保持像素灰度級(jí)不變，同時(shí)減少運(yùn)算量，將灰度歸一化至8 個(gè)量級(jí)。（3）特征參數(shù)選?。和ㄟ^(guò)得到的灰度共生矩陣，提取圖像的紋理特征參數(shù)作為第一類特征參數(shù)。選取角二階矩（angular second moment，ASM）和逆方差（inverse different moment，IDM）描述脊骨超聲圖像的紋理特征，表達(dá)式分別為

其中，P（i，j）是生成的大小為L(zhǎng)×L的灰度共生矩陣中的元素，i、j分別表示灰度共生矩陣中第i行、第j列，L表示灰度共生矩陣的灰度級(jí)別。將ASM 和IDM 作為初始分類模型搭建2 個(gè)特征參數(shù)。

1.2.3 第二類特征提取與二次分類 在第二類特征提取前，首先獲得閾值T以區(qū)分前景和背景；然后做椎弓根螺釘釘?shù)赖耐膱A，該同心圓的半徑通過(guò)損失函數(shù)計(jì)算獲得；最后將同心圓外部圖像的一維統(tǒng)計(jì)特征作為特征參數(shù)進(jìn)行二次分類。（1）閾值T的選?。阂詧D3D、3E 為例介紹閾值T的計(jì)算過(guò)程，圖像中前景部分占圖像的像素比例較低，故對(duì)圖像求解獲得灰度直方圖（圖4A、4B）。Pi（i∈(0, 255)）表示灰度值為i的像素?cái)?shù)量，若i＝255 則表示圖像中灰度值在0～255 之間的所有像素?cái)?shù)量，也等于圖像中的像素總數(shù)，即

其中n表示第n個(gè)樣本。

（2）半徑R的選取：對(duì)于數(shù)據(jù)集中所有的超聲圖像，統(tǒng)計(jì)在以坐標(biāo)（411，381）為圓心、半徑為R的同心圓內(nèi)灰度值超過(guò)閾值T的像素點(diǎn)數(shù)量，以及整張超聲圖像中灰度值超過(guò)閾值T的像素點(diǎn)數(shù)量，計(jì)算兩者的比值，記作Ra（ratio），其中正樣本的比值為Ra+，負(fù)樣本的比值為Ra-，表達(dá)式分別為

其中，i、j分別表示單張圖像中第i行、第j列，x(i,j)表示第i行、第j列個(gè)像素的灰度值，n表示第n個(gè)樣本。取90%作為判定界限，Ra≥90%判定為釘?shù)劳暾?，Ra＜90%則判定為釘?shù)榔茡p，記作I(n)，表達(dá)式為

在該數(shù)據(jù)集的正樣本中有x1個(gè)樣本滿足Ra+≥90%，負(fù)樣本中有x2個(gè)樣本滿足Ra-≥90%，定義損失函數(shù)L及正樣本損失函數(shù)L+、負(fù)樣本損失函數(shù)L-，并調(diào)整半徑R使L+-L-達(dá)到最大值，表達(dá)式分別為

當(dāng)L達(dá)到最大值時(shí)表明此時(shí)的半徑對(duì)該數(shù)據(jù)集釘?shù)劳暾耘袛嗟臏?zhǔn)確度達(dá)到最佳。

（3）一維統(tǒng)計(jì)特征：為了使所有超聲圖像的灰度級(jí)為同一量級(jí)、消除指標(biāo)之間的量綱影響，首先對(duì)超聲圖像進(jìn)行歸一化處理，再提取同心圓外圖像的一維統(tǒng)計(jì)特征作為第二類特征參數(shù)。選取熵、方差、對(duì)比度、能量、平均絕對(duì)偏差5 個(gè)參數(shù)作為一維統(tǒng)計(jì)特征，進(jìn)行二次分類模型的搭建。

1.3 統(tǒng)計(jì)學(xué)處理 采用準(zhǔn)確度、特異度、靈敏度、F1 值、假正率、假負(fù)率對(duì)分類結(jié)果進(jìn)行評(píng)估：準(zhǔn)確度＝（TP+TN）/（TP+TN+FP+FN），特異度＝TN/（FP+TN），靈敏度（召回率）＝TP/（TP+FN），F(xiàn)1 值＝2×精確率×召回率/（精確率+召回率），假正率＝FP/（FP+TN），假負(fù)率＝FN/（TP+FN），其中精確率＝TP/（TP+FP），TP 表示真陽(yáng)性樣本數(shù)，TN 表示真陰性樣本數(shù)，F(xiàn)P表示假陽(yáng)性樣本數(shù)，F(xiàn)N 表示假陰性樣本數(shù)。

2 結(jié) 果

第一類特征提取后初始分類結(jié)果顯示，真陽(yáng)性樣本數(shù)為326，真陰性樣本數(shù)為272，假陽(yáng)性樣本數(shù)為128，假陰性樣本數(shù)為74。五折交叉驗(yàn)證結(jié)果（表1）顯示，初始分類的準(zhǔn)確度為74.75%，特異度為68.00%，靈敏度為81.50%，F(xiàn)1 值為76.35%，假正率為32.00%，假負(fù)率為18.50%。在二次分類前，計(jì)算得到閾值T為37。在不同半徑R下x1、x2、L、L+、L-如圖5 所示，得到最佳半徑R為108 像素。第二類特征提取后二次分類結(jié)果顯示，真陽(yáng)性樣本數(shù)為390，真陰性樣本數(shù)為364，假陽(yáng)性樣本數(shù)為36，假陰性樣本數(shù)為10。五折交叉驗(yàn)證結(jié)果（表1）顯示，二次分類的準(zhǔn)確度為94.25%，特異度為91.00%，靈敏度為97.50%，F(xiàn)1值為94.43%，假正率為9.00%，假負(fù)率為2.50%。

表1 第一類特征提取后初始分類及第二類特征提取后二次分類的五折交叉驗(yàn)證結(jié)果Tab 1 Five-fold cross-validation results of initial classification after type 1 feature extraction and secondary classification after type 2 feature extraction

3 討 論

超聲檢查可實(shí)時(shí)評(píng)估椎弓根螺釘置入手術(shù)過(guò)程中釘?shù)赖耐暾?，能夠及時(shí)發(fā)現(xiàn)破損釘?shù)溃档褪中g(shù)風(fēng)險(xiǎn)，具有較好的應(yīng)用前景。與CT 等醫(yī)學(xué)影像學(xué)技術(shù)相比，超聲檢查操作簡(jiǎn)單、實(shí)時(shí)性更高、無(wú)電離輻射。本研究提出了一種基于超聲圖像智能分析的椎弓根螺釘釘?shù)劳暾栽u(píng)估方法，該方法首先將紋理特征作為第一類特征對(duì)超聲圖像特征進(jìn)行初始分類，篩選出椎弓根螺釘釘?shù)榔茡p嚴(yán)重的超聲圖像，再選取熵、方差、對(duì)比度、能量、平均絕對(duì)偏差5 個(gè)參數(shù)作為第二類特征，對(duì)超聲圖像進(jìn)行二次分類。

實(shí)驗(yàn)結(jié)果表明，在采集的800 個(gè)樣本中，二次分類的總體準(zhǔn)確度為94.25%，特異度為91.00%，靈敏度為97.50%，F(xiàn)1 值為94.43%，假正率為9.00%，假負(fù)率為2.50%。二次分類在初始分類的基礎(chǔ)上，分類準(zhǔn)確度提高了19.5%，具有較好的檢測(cè)性能。分類準(zhǔn)確度提高的原因有以下幾點(diǎn)：（1）初始分類僅通過(guò)紋理特征篩選出椎弓根螺釘釘?shù)榔茡p嚴(yán)重的超聲圖像，但是破損的樣本包括破損嚴(yán)重的樣本和輕微破損的樣本，僅通過(guò)紋理特征分類的準(zhǔn)確度較低；（2）二次分類是在初始分類的基礎(chǔ)上進(jìn)行的，并且將熵、方差、對(duì)比度、能量、平均絕對(duì)偏差5 個(gè)參數(shù)作為第二類特征進(jìn)行分類，由于在圖像中提取了更多的特征，因此有更高的分類準(zhǔn)確度。

在第二類特征提取與二次分類前得到半徑R為108 像素的同心圓，通過(guò)計(jì)算同心圓內(nèi)外灰度值超過(guò)閾值T的像素點(diǎn)數(shù)量的比例是否超過(guò)判定界限90%的方法來(lái)判斷椎弓根螺釘釘?shù)朗欠衿茡p是不可行的，因?yàn)樵摲椒ㄊ窃谝阎倒葆斸數(shù)朗欠衿茡p的情況下得到同心圓的半徑。同時(shí)為了便于計(jì)算機(jī)處理與分類，本研究采用的超聲圖像均來(lái)自釘?shù)赖撞?。同時(shí)，釘?shù)劳膱A的半徑R取108 像素并非一個(gè)標(biāo)準(zhǔn)參數(shù)，而是通過(guò)設(shè)計(jì)的損失函數(shù)得到的最佳值。在理想情況下，該同心圓的半徑與釘?shù)腊霃奖３忠恢?。但是在?shí)際情況下，判定同心圓的半徑與超聲探頭是否達(dá)到洞底、聲波在松質(zhì)骨內(nèi)傳播的距離、超聲設(shè)備發(fā)射的聲波頻率和能量等有關(guān)，且由于不同患者的骨密度不同也會(huì)導(dǎo)致釘?shù)赖木唧w形態(tài)存在差異，從而影響了分類的準(zhǔn)確度。因此，可以通過(guò)對(duì)大量超聲圖像進(jìn)行綜合處理建立一個(gè)半徑的綜合極限值，提高分類準(zhǔn)確度。

在實(shí)際情況下，僅通過(guò)1 張圖像無(wú)法判斷椎弓根螺釘釘?shù)赖撞渴欠衿茡p，需要對(duì)同一例患者的釘?shù)肋M(jìn)行多次不同方向的超聲掃描，再對(duì)多張超聲圖像進(jìn)行多次判斷才能得到一個(gè)準(zhǔn)確的結(jié)果，這點(diǎn)也需要在實(shí)際操作中注意。

本研究有以下局限性：（1）本研究采用的數(shù)據(jù)集包含800 個(gè)樣本，樣本量基本滿足機(jī)器學(xué)習(xí)的要求，但是后續(xù)仍需擴(kuò)大病例數(shù)量及樣本數(shù)量以提高模型的泛化能力，同時(shí)本研究提取的圖像特征只有7 個(gè)，后續(xù)實(shí)驗(yàn)可以通過(guò)增加數(shù)據(jù)量、利用影像組學(xué)提取特征等進(jìn)一步對(duì)特征進(jìn)行降維處理。（2）椎弓根螺釘釘?shù)赖钠茡p情況在不同個(gè)體中表現(xiàn)各不相同，未來(lái)工作中可以利用深度學(xué)習(xí)對(duì)破損等級(jí)進(jìn)行多級(jí)分類。

超聲檢查在椎弓根螺釘置入手術(shù)中給醫(yī)師帶來(lái)了很大幫助，計(jì)算機(jī)自動(dòng)輔助判斷釘?shù)赖耐暾砸卜奖懔顺暭夹g(shù)的臨床應(yīng)用，無(wú)須依賴專業(yè)醫(yī)師對(duì)圖像進(jìn)行判斷和解釋，給超聲圖像判讀經(jīng)驗(yàn)較為欠缺的醫(yī)師帶來(lái)了極大的便利。