基于圖像處理的肺結(jié)節(jié)實(shí)質(zhì)分割專利技術(shù)分析

任洪潮 徐生芹

關(guān)鍵詞 肺結(jié)節(jié) 肺癌 分割

1研究現(xiàn)狀

由于環(huán)境污染日益嚴(yán)重、人們生活節(jié)奏日益加快、工作壓力日益加重，加上不健康的生活方式、不合理的飲食習(xí)慣等諸多因素的影響，肺癌的發(fā)病率和死亡率不斷攀升，其已成為全世界范圍內(nèi)致死率最高的惡性腫瘤之一，嚴(yán)重威脅著人類的生命健康。臨床數(shù)據(jù)表明，I 期肺癌患者術(shù)后5 年生存率高達(dá)80%，而IV 期肺癌患者術(shù)后5 年生存率僅為13%。因此，爭取早發(fā)現(xiàn)、早診斷、早治療是降低肺癌死亡率和提高5年生存率的最有效措施。

CT 圖像有助于臨床醫(yī)生對肺部病灶情況進(jìn)行全面檢查和分析， 從而提高診斷的準(zhǔn)確性。肺結(jié)節(jié)（Pulmonary Nodules）是指肺內(nèi)直徑小于或等于30 mm圓形或者類圓形的病灶，它是肺癌早期的主要表現(xiàn)形式。依據(jù)肺結(jié)節(jié)的直徑大小不同，可以將其分為三類：微小結(jié)節(jié)（直接小于或者等于5 mm）、小結(jié)節(jié)（直徑大于5 mm 且小于10 mm）和結(jié)節(jié)（直徑大于10 mm且小于30 mm）。依據(jù)在CT 下肺結(jié)節(jié)的實(shí)性程度不同，可以將其分為三類： 實(shí)性結(jié)節(jié)（ Solid Nodules，SN）、非實(shí)性結(jié)節(jié)（Nonsolid Nodules， NSN）、亞實(shí)性結(jié)節(jié)（Subsolid Nodules， SSN）[1] 。實(shí)性結(jié)節(jié)大部分表現(xiàn)為邊界清楚、形狀規(guī)則，密度較高，如圖1 （a）所示;非實(shí)性結(jié)節(jié)通常表現(xiàn)為邊界模糊、形態(tài)不規(guī)則，如圖1（b）所示;亞實(shí)性結(jié)節(jié)一般表現(xiàn)為邊界模糊程度較高、形態(tài)不規(guī)則程度較高等特性，如圖1 （c）所示。

計算機(jī)輔助診斷（ Computer?Aided Diagnosis，CAD）已成為必然趨勢。近年來，CAD 逐步成為醫(yī)學(xué)領(lǐng)域中的研究熱點(diǎn)之一，它涉及計算機(jī)科學(xué)、醫(yī)學(xué)影像學(xué)分析、圖像處理與分析以及人工智能與模式識別等諸多領(lǐng)域。它主要使用數(shù)字圖像處理技術(shù)、醫(yī)學(xué)影像技術(shù)等，結(jié)合計算機(jī)強(qiáng)大的計算和分析功能輔助醫(yī)生讀取成千上萬的影像圖像，被贊譽(yù)為醫(yī)生的“第二只眼睛”。

計算機(jī)輔助診斷在肺結(jié)節(jié)診斷方面的關(guān)鍵技術(shù)大致可以分為以下四個部分：肺實(shí)質(zhì)分割、肺結(jié)節(jié)檢測、肺結(jié)節(jié)分割以及肺結(jié)節(jié)良惡性判斷等。目前，大量針對肺實(shí)質(zhì)分割、肺結(jié)節(jié)檢測、肺結(jié)節(jié)分割、肺結(jié)節(jié)診斷等一系列圖像處理、分析和理解算法的研究和應(yīng)用問世，從而推動肺結(jié)節(jié)CAD 系統(tǒng)發(fā)展及其臨床應(yīng)用。其中，肺結(jié)節(jié)分割是CAD 系統(tǒng)的關(guān)鍵環(huán)節(jié)，對于一幅CT 圖像而言，高精度地分割出所有的肺結(jié)節(jié)是肺結(jié)節(jié)檢測和診斷的基礎(chǔ)，是影響CAD 系統(tǒng)診斷性能的關(guān)鍵因素。肺結(jié)節(jié)分割可以分為肺實(shí)質(zhì)分割和肺結(jié)節(jié)分割兩個部分，前者是后者的基礎(chǔ)。分割出完整的肺實(shí)質(zhì)不僅能夠排除肺組織區(qū)域以外的干擾，提高肺結(jié)節(jié)算法的分割效率，還能有效解決粘連胸膜型肺結(jié)節(jié)的分割難題。鑒于CT 圖像中肺組織構(gòu)成完整的區(qū)域，且與周圍組織的灰度差異較為明顯，閾值法成為研究者進(jìn)行肺實(shí)質(zhì)分割的首選。然而，當(dāng)肺部存在粘連胸膜型肺結(jié)節(jié)時，單純采用分割算法進(jìn)行肺實(shí)質(zhì)分割會導(dǎo)致肺部邊緣輪廓凹陷，難以分割出完整的肺部區(qū)域。為此，研究者提出了許多改進(jìn)的肺實(shí)質(zhì)分割算法，以確保提取到完整的肺部組織。

肺實(shí)質(zhì)分割是分割肺結(jié)節(jié)不可或缺的基礎(chǔ)，但肺結(jié)節(jié)分割環(huán)節(jié)的關(guān)鍵在于肺結(jié)節(jié)分割算法的分割性能。目前，常用的肺結(jié)節(jié)分割算法有閾值法、區(qū)域生長法、邊緣檢測法、形態(tài)學(xué)方法、聚類法、人工神經(jīng)網(wǎng)絡(luò)法等。事實(shí)上，許多算法都能實(shí)現(xiàn)對普通肺結(jié)節(jié)的高精度分割，真正的挑戰(zhàn)在于如何高精度的分割出微小型結(jié)節(jié)、磨玻璃結(jié)節(jié)、粘連胸膜型結(jié)節(jié)、粘連血管型結(jié)節(jié)[2]。

此外，深度學(xué)習(xí)也是近年來機(jī)器學(xué)習(xí)領(lǐng)域獲得的關(guān)鍵突破和研究熱點(diǎn)之一，具有強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力，從而有利于解決特征分類問題，并成為當(dāng)前圖像處理和分析領(lǐng)域的研究熱點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)通過卷積層、池化層和全連接層等能夠自己學(xué)習(xí)和提取圖像相關(guān)特征，其被廣泛應(yīng)用于計算機(jī)視覺領(lǐng)域[3] 。

2肺結(jié)節(jié)實(shí)質(zhì)分割專利技術(shù)分析

本文基于肺結(jié)節(jié)計算機(jī)輔助診斷技術(shù)以及常規(guī)的肺部醫(yī)學(xué)圖像的處理流程進(jìn)行相關(guān)的技術(shù)分解（見表1），主要分解為兩個一級分支：預(yù)處理、分割。針對預(yù)處理分支，其主要分解為濾波、校正、圖像增強(qiáng)、圖像融合等二級分支。針對濾波技術(shù)，其分解為空間域?yàn)V波（高斯濾波、平滑濾波）、小波濾波以及其他濾波手段。針對校正手段，其分解為運(yùn)動校正（呼吸校正）、偽影校正和幾何校正（拉伸、平移、旋轉(zhuǎn)）以及其他校正方法。針對病灶分割分支，其分解為閾值分割、區(qū)域分支、邊緣分割、神經(jīng)網(wǎng)絡(luò)分割等技術(shù)手段，其中將閾值分割按常規(guī)技術(shù)手段分解為全局閾值分割、自適應(yīng)閾值分割（范圍閾值的比較）以及其他閾值分割（如最佳閾值分割）等手段。針對區(qū)域分割，其分解為區(qū)域生長、區(qū)域分裂合并（超像素分割）等技術(shù)手段。針對神經(jīng)網(wǎng)絡(luò)的分割算法，基于網(wǎng)絡(luò)模型將其分解為采用多個神經(jīng)網(wǎng)絡(luò)模型和采用單個神經(jīng)網(wǎng)絡(luò)模型的技術(shù)分支。

在一級分支層面，預(yù)處理分支的占比要小于分割分支（見圖2），對上述預(yù)處理分支的限定主要體現(xiàn)在從屬權(quán)利要求中，獨(dú)立權(quán)利要求的限定較少，主要為預(yù)處理分支中的校正方法的相關(guān)申請。分割分支的申請量為468。

在預(yù)處理分支下，濾波和校正占有很大的比重。上述濾波或校正方法大部分被限定至從屬權(quán)利要求中，用于對后續(xù)待檢測或分割圖像的預(yù)處理，小部分的濾波和校正方法被限定至獨(dú)權(quán)中，主要用于針對血管、氣管、骨骼的過濾處理，以降低圖像檢測中假陽性的出現(xiàn)概率。

在病灶分割分支中，閾值分割占有非常大的比重，其主要是采用二值化灰度化圖像進(jìn)行分割，或者使用形態(tài)學(xué)的膨脹腐蝕分割。此外小部分使用自適應(yīng)閾值分割方法。對待分割圖像進(jìn)行簡要分割以便于后續(xù)處理。區(qū)域分割和神經(jīng)網(wǎng)絡(luò)分割法占有一定比例，其中區(qū)域分割方法主要使用基于種子生長的區(qū)域增長分割方法，部分使用超像素分割法;神經(jīng)網(wǎng)絡(luò)分割則大部分使用單神經(jīng)網(wǎng)絡(luò)進(jìn)行分割。

如圖3 所示，圖像的預(yù)處理技術(shù)發(fā)展較早，其開始并不是單純地應(yīng)用于醫(yī)學(xué)領(lǐng)域圖像。而醫(yī)學(xué)圖像的重建相較于常用的攝像圖像的成像原理有著很大的不同，其通常通過檢測輻射光子的能量、位置以及計數(shù)等因數(shù)進(jìn)行相關(guān)圖像的重建，其普遍存在分辨率低和噪聲大的問題。因此，在預(yù)處理階段獲取圖像信號的濾波、增強(qiáng)、校正等對后續(xù)的圖像判斷相當(dāng)重要，本文主要針對胸片影像的處理進(jìn)行相關(guān)檢索，發(fā)現(xiàn)早在20 世紀(jì)末到21 世紀(jì)初就已經(jīng)出現(xiàn)了通過高斯濾波、線性或非線性濾波等空間域?yàn)V波對胸片影像信號進(jìn)行預(yù)處理的方案。2007 年，二進(jìn)制離散小波的頻域?yàn)V波手段問世，而在2018 年則出現(xiàn)了通過多級濾波器進(jìn)行預(yù)處理的手段。上述濾波技術(shù)相關(guān)的專利申請始終貫穿整個時間線，其是在對胸片影像的處理中不可或缺的手段。而對胸片圖像的校正和增強(qiáng)在權(quán)利要求中的限定是在2007 年左右出現(xiàn)的，其通常帶有圖像增強(qiáng)的手段，以便后續(xù)提高輸出圖像的準(zhǔn)確度和分辨率的。gzslib202204022354

圖像分割技術(shù)在肺部病變診斷中至關(guān)重要，如果病灶分割的邊界界定不清晰很容易導(dǎo)致誤診。在早期的申請中，就有通過二值化圖像和灰度閾值進(jìn)行肺部病灶（如肺實(shí)質(zhì)或者肺結(jié)節(jié)）與胸片背景分離的技術(shù)，其通常擁有肺部病灶的特點(diǎn)，如病灶的形狀、透明度等。此后，還出現(xiàn)了基于上述特點(diǎn)的邊緣檢測、基于形狀進(jìn)行肺結(jié)節(jié)過濾、基于形態(tài)學(xué)膨脹和聚類方法進(jìn)行圖像分割的技術(shù)。2003 年前后，分割技術(shù)的相關(guān)申請則引入了統(tǒng)計學(xué)模型（如西門子的聚類算法和橢球體的函數(shù)擬合法）以及出現(xiàn)了機(jī)器學(xué)習(xí)進(jìn)行分割的相關(guān)申請（如西門子的Unet 的神經(jīng)網(wǎng)絡(luò)分割模型）。2007 年之后，則以機(jī)器學(xué)習(xí)進(jìn)行分割的相關(guān)申請為主（見圖4）。

隨著人工智能技術(shù)的發(fā)展，在2010 年后的肺部病變圖像分割技術(shù)中，建立神經(jīng)模型進(jìn)行肺部病灶的分割技術(shù)成為主流。在該階段的專利申請中，出現(xiàn)了通過兩種神經(jīng)網(wǎng)絡(luò)模型結(jié)合分割肺部血管或者氣管、骨骼等分割技術(shù)、基于肺部組織的特性進(jìn)行傳統(tǒng)圖像分割技術(shù)（如全局閾值分割或區(qū)域生長分割與神經(jīng)網(wǎng)絡(luò)模型相結(jié)合的圖像分割技術(shù)）、針對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)的分割技術(shù)等（見圖5）。

從圖6 可以看出，在具體的肺部醫(yī)療圖像檢測應(yīng)用中，肺結(jié)節(jié)的分割占據(jù)了非常大的比重。在分割技術(shù)中，神經(jīng)網(wǎng)絡(luò)的分割算法的相關(guān)申請已經(jīng)超過了傳統(tǒng)的閾值和區(qū)域分割算法。而在神經(jīng)網(wǎng)絡(luò)的分割算法中，以深度卷積神經(jīng)模型為主。此外，不乏采用深度置信網(wǎng)絡(luò)或者對抗網(wǎng)絡(luò)等學(xué)習(xí)模型。在肺部病灶分割方面，還是以區(qū)域分割的技術(shù)為主，如區(qū)域生長分割技術(shù)、超像素分割技術(shù)等;在肺實(shí)質(zhì)、肺葉、肺裂的檢測方面，則通常使用傳統(tǒng)的二值化閾值分割或者形態(tài)學(xué)膨脹腐蝕的技術(shù)手段;在肺氣管或肺血管、骨骼的分割方面，通常以單模型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型為主要的分割過濾或者分類手段。

3重要申請人分析

諸如西門子、飛利浦一直是較為活躍的申請人，且這些申請人在申請數(shù)量以及質(zhì)量方面從始至終占據(jù)較為重要的位置。此外，就總體來看，在申請總量的排名中還有兩類中國企業(yè)，其中一類即知名大公司（如上海聯(lián)影），另一類則是高校、研究院，這兩類企業(yè)在申請的專利數(shù)量以及質(zhì)量方面也有較大的區(qū)別。下文就國外大公司（西門子）和國內(nèi)醫(yī)療器械公司（上海聯(lián)影）進(jìn)行相關(guān)申請人分析。

3.1西門子

西門子的國內(nèi)相關(guān)專利申請的分布見表2

國內(nèi)相關(guān)專利申請采用了肺結(jié)節(jié)的分割算法，包括二值化全局閾值判斷配合形態(tài)學(xué)分割、區(qū)域分割以及深度置信網(wǎng)絡(luò)分割模型、多級神經(jīng)網(wǎng)絡(luò)訓(xùn)練分割模型等手段。

相對于國內(nèi)相關(guān)專利申請，國外相關(guān)專利申請在分割算法上有些許不同（如表3）。西門子在早期申請了距離轉(zhuǎn)換映射算法技術(shù)用于抑制胸片中血管或氣管對肺部病灶判斷的影響，在圖像去噪的中還通過分類器或形狀過濾器多圖像的其他組織進(jìn)行分類和去除，以保留肺組織或者肺結(jié)節(jié)。除了上述相關(guān)專利申請外，還包括針對提取組織后的圖像的增強(qiáng)和校正以及封閉凹面的修復(fù)和偽影校正、結(jié)合校正等相關(guān)專利申請。

3.2上海聯(lián)影

上海聯(lián)影的相關(guān)專利申請分布見表4

國內(nèi)的相關(guān)專利申請主要針對肺結(jié)節(jié)的分割。在肺結(jié)節(jié)的分割技術(shù)中，其主要通過閾值分割和和聚類方法執(zhí)行肺結(jié)節(jié)的分割。閾值分割主要基于于二值化全局分割和形態(tài)學(xué)腐蝕法。上述手段均具備已授權(quán)的相關(guān)專利。

4小結(jié)