劉鵬 李冬寧
(1.天津市第一中心醫(yī)院 天津市 300192 2.天津醫(yī)學(xué)高等專科學(xué)校 天津市 300222)
近年來,機(jī)器深度學(xué)習(xí)技術(shù)研究一直處于科研界的前沿。各行業(yè)開始對圖像和視頻進(jìn)行大數(shù)據(jù)分析,并將其應(yīng)用于各類場景。邊緣檢測是圖像分割、區(qū)域形狀提取、目標(biāo)特征識別等醫(yī)學(xué)影像處理領(lǐng)域的核心。傳統(tǒng)醫(yī)學(xué)影像邊緣檢測方法最高只能達(dá)到整像素級的檢測精度。但隨著醫(yī)學(xué)影像輔助診斷技術(shù)的發(fā)展,對圖像精確檢測分析的要求日趨嚴(yán)苛,實際場景中測量分析精度需求與傳統(tǒng)的像素級邊緣檢測方法矛盾日益凸顯。而在保持醫(yī)學(xué)影像系統(tǒng)硬件固定投資前提下,利用機(jī)器深度學(xué)習(xí)算法進(jìn)行亞像素級邊緣點定位,使影像分辨率得以拆分整像素級單位再行細(xì)分的圖像處理技術(shù),不失為提高影像邊緣檢測精度的另一有效解決路徑。
自然場景圖像檢測由于需要檢測的類別多樣,其檢測目標(biāo)是提高圖像的特征表示能力,以及更快的實時檢測速度[1];而醫(yī)學(xué)影像的檢測目標(biāo)更多是針對諸如結(jié)核、結(jié)節(jié)、腫瘤等某一特定的、細(xì)粒度的類別特征,以獲得更好的圖像邊緣檢測效果。
圖像邊緣即局部顯著亮度變化區(qū)域,其灰度值在狹小緩沖區(qū)域內(nèi)的急劇變化,灰度剖面可視為階躍。醫(yī)學(xué)影像中目標(biāo)團(tuán)塊(Target blob)的邊緣部分集中了標(biāo)識病灶的大量可置信信息,目標(biāo)團(tuán)塊邊緣的提取與病灶認(rèn)定是醫(yī)學(xué)影像分割所依賴的重要特征,對于整個醫(yī)學(xué)影像場景的識別與理解至關(guān)重要,邊緣檢測主要針對于醫(yī)學(xué)影像中灰度變化目標(biāo)團(tuán)塊的定位、度量和檢測[2]。
(1)多模態(tài)性(CT、MRI、PET、超聲);
(2)不確定性。目標(biāo)團(tuán)塊(結(jié)核、結(jié)節(jié)、腫瘤)形狀、尺寸、位置的不確定;
(3)局部效應(yīng)。不同環(huán)境,目標(biāo)外觀差異大;
(4)灰度上的模糊性,噪聲干擾及內(nèi)部組織在成像過程中的相似性。可供識別的目標(biāo)外觀差異?。?/p>
亞像素邊緣點通常存在于影像中漸進(jìn)灰度過渡的區(qū)域,其位置信息可通過多項式擬合方法計算獲取[3]。亞像素定位技術(shù)具有如下應(yīng)用前提條件:
圖1:算法實現(xiàn)過程圖
(1)被檢測目標(biāo)由一系列像素點耦合而成,具備無固定幾何形狀、多級灰度分布與松耦合特征等;
(2)通常,被檢測目標(biāo)類型不同,諸如結(jié)核、結(jié)節(jié)或腫瘤,其各自特征亦不相同。通過對被檢測目標(biāo)圖像運用機(jī)器深度學(xué)習(xí)算法,在識別分析已知的目標(biāo)特征基礎(chǔ)上,通過多級浮點運算對目標(biāo)團(tuán)塊圖像進(jìn)行重定位,最終確定目標(biāo)的準(zhǔn)確位置。在此分析過程中,得到的目標(biāo)定位精度高于整像素級。
這種通過對醫(yī)學(xué)影像運用機(jī)器深度學(xué)習(xí)算法計算分析其中目標(biāo)特征,找尋最符合此特征目標(biāo)位置的方法稱為目標(biāo)影像亞像素定位技術(shù)。
首先該算法在整像素級上確定邊緣點的坐標(biāo)和梯度方向,對邊緣點施以改進(jìn)的數(shù)學(xué)形態(tài)學(xué)梯度算子進(jìn)行粗定位[4];再根據(jù)構(gòu)造邊緣點的參考閾和向量參數(shù)值,對邊緣點施以Zernike 矩算法,通過算法計算進(jìn)行亞像素級的邊緣點重定位,實現(xiàn)目標(biāo)團(tuán)塊的亞像素邊緣檢測。
該影像亞像素邊緣檢測復(fù)合算法,有效汲取數(shù)學(xué)形態(tài)學(xué)梯度算子和Zernike 矩算法二者各自優(yōu)點,兼具精確度更高的亞像素級定位能力和優(yōu)異的抗噪性能。其計算規(guī)模的大幅降低亦使之獲得了相對較高的處理效率,能快速實現(xiàn)醫(yī)學(xué)影像的亞像素邊緣檢測,具備良好的應(yīng)用前景。
(1)醫(yī)學(xué)影像原圖通過開源計算機(jī)視覺庫OpenCV 調(diào)用K-Means 聚類接口進(jìn)行二分類,并得到二值分割圖,以進(jìn)行大尺度圖像區(qū)域分割;
(2)改進(jìn)形態(tài)學(xué)梯度算子處理膨脹圖與腐蝕圖之差[5]。通過OpenCV 調(diào)用卷積核設(shè)定為5x5 的Scharr 梯度濾波器以去除噪聲,凸顯二值圖中目標(biāo)團(tuán)塊邊緣。將粘連區(qū)域拆分,去除連通區(qū)域內(nèi)部空洞。其改進(jìn)形態(tài)學(xué)梯度Scharr 算子結(jié)合了微分與高斯平滑兩種操作,并使用小卷積核以優(yōu)化求解時的梯度角度;
(3)計算圖像梯度。對平滑后的圖像使用Scharr 算子計算水平和豎直兩方向的圖像梯度Tm、Tn。進(jìn)而找到目標(biāo)團(tuán)塊邊緣的梯度和方向,改進(jìn)形態(tài)學(xué)梯度計算公式如下:
(4)掩模后只保留邊緣輪廓內(nèi)數(shù)據(jù);
(5)提取輪廓并以面積為評估對象做篩選;
(6)對于離散的數(shù)字圖像,根據(jù)Zernike 矩的累加公式[6]
計算模板系數(shù);
(7)通過OpenCV 中的Canny 函數(shù)進(jìn)行亞像素邊緣點檢測。掃描整幅圖像像素點進(jìn)行非極大值抑制,去除確非目標(biāo)團(tuán)塊邊緣點[7]。把步驟6 矩乘以角度校正系數(shù),計算距離和灰度差。根據(jù)距離和灰度差參數(shù),設(shè)定符合實際的滯后閾值MinThres、MaxThres。當(dāng)目標(biāo)團(tuán)塊的灰度梯度高于MaxThres 時即認(rèn)定為真邊界,介于兩者之間的像素點若與某個已確定真邊緣點相連,則認(rèn)定該點也為邊緣點。如圖1 所示。
以下為基于OpenCV 的代碼實現(xiàn):
圖2:患者肝臟和腫瘤灰度值的重疊性
圖3:圖像邊緣檢測
實驗數(shù)據(jù)集隨機(jī)抽取我院2016 至2018年影像類型為肝臟腫瘤,總?cè)藬?shù)336 人按3:1 比例,將患者影像數(shù)據(jù)盲選分為訓(xùn)練和測試數(shù)據(jù)兩組?;颊吒闻K影像劃分為三個等級:level1-3 級,肝臟與腫瘤對比度趨0 變化。訓(xùn)練數(shù)據(jù)只選擇level1-2 級,使用Spark Mlib 對輸入數(shù)據(jù)進(jìn)行機(jī)器深度學(xué)習(xí),后續(xù)使用相同的處理方法與模型進(jìn)行腫瘤影像的邊緣檢測。通過影像預(yù)處理,核查算法的有效性和關(guān)聯(lián)規(guī)則的正確性,驗證了患者肝臟和腫瘤灰度值的重疊性。如圖2 所示。
圖像邊緣檢測ROI 操作將真實肝臟分割結(jié)果與原圖做“與”操作,即將肝臟外非目標(biāo)區(qū)域變黑,同時翻轉(zhuǎn)肝臟內(nèi)目標(biāo)區(qū)域顏色,肝臟變灰腫瘤變白,以讓深度學(xué)習(xí)網(wǎng)絡(luò)集中注意力于肝臟內(nèi)部區(qū)域,突出病灶。針對發(fā)現(xiàn)的疑似腫瘤影像進(jìn)行復(fù)勘,驗證近71%的影像存在于測試組中。實驗結(jié)果表明,實驗主要是探討結(jié)構(gòu)效度的評估。通過測試,圖像邊緣檢測誤差客觀存在,但實驗效果總體接近預(yù)期水平,本研究方法可于醫(yī)學(xué)影像基礎(chǔ)上有效發(fā)現(xiàn)潛在肝臟腫瘤患者,因此可得出本研究的有效性與前瞻性。如圖3 所示。
圖像邊緣檢測在影像學(xué)診斷中大有用處。圖像邊緣自識別能幫助醫(yī)生識別和甄別三維的CT 和磁共振數(shù)據(jù)中的病灶部位,減輕影像醫(yī)生的工作量,使之更專注于定量評價治療前后的效果。同時,通過機(jī)器深度學(xué)習(xí)分析海量數(shù)據(jù),在醫(yī)學(xué)影像領(lǐng)域可為我們提供精簡信息并給出分析結(jié)論。深度學(xué)習(xí)的可發(fā)展性有相當(dāng)?shù)耐诰驖摿?,值得大家去探討挑?zhàn)。