摘" 要: 為了解決液基細(xì)胞制染機(jī)的成片效果缺陷識(shí)別問題,補(bǔ)償設(shè)備最終成片率,文中提出一種VMF?UNet模型,模型以UNet為基礎(chǔ)模型,使用VGG16Net的卷積部分替代UNet神經(jīng)網(wǎng)絡(luò)的編碼器部分,加入多尺度高效局部注意力機(jī)制(MELA),引入特征細(xì)化模塊(FRM),解決了圖像過分割、欠分割、成片缺陷區(qū)域邊緣不明顯、UNet模型視野受限的問題。實(shí)驗(yàn)以醫(yī)學(xué)檢驗(yàn)可用性為原則,將顯微鏡下分割的數(shù)據(jù)集標(biāo)準(zhǔn)標(biāo)簽作為“金標(biāo)準(zhǔn)”?;谧越ㄒ夯?xì)胞成片缺陷區(qū)圖像數(shù)據(jù)集的實(shí)驗(yàn)表明,改進(jìn)網(wǎng)絡(luò)在分割時(shí)平均交并比(MIoU)、平均像素精確度(MPA)、[F1]?score與準(zhǔn)確率(Accuracy)分別為:82.73%、93.56%、81.93%、96.10%。實(shí)驗(yàn)結(jié)果證明,VMF?Unet模型對(duì)液基細(xì)胞制染機(jī)成片缺陷區(qū)域分割效果更好,可以有效補(bǔ)償液基細(xì)胞制染機(jī)的最終成片率,為設(shè)備復(fù)處理提供有效依據(jù),提高液基細(xì)胞制染機(jī)的廣泛可應(yīng)用性。
關(guān)鍵詞: 深度學(xué)習(xí); 語義分割; UNet; 注意力機(jī)制; 缺陷檢測(cè); 液基細(xì)胞制染機(jī)
中圖分類號(hào): TN911.73?34; TP391.4" " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼: A" " " " " " " " " 文章編號(hào): 1004?373X(2025)05?0036?07
VMF?UNet based image segmentation of defects in liquid?based"cell preparation staining machine
TIAN Wenhao, WANG Fanrong, QIAO Yihang
(School of Electrical and Electronic Engineering, Hubei University of Technology, Wuhan 430074, China)
Abstract: A VMF?UNet model is proposed to identify the defects in the preparation effect of liquid?based cell preparation staining machine and compensate for its final preparation rate. This model is based on the UNet. The convolutional part of VGG16Net is used to replace the encoder part of UNet neural network. A multi?scale efficient local attention (MELA) mechanism is added and a feature refinement module (FRM) is introduced, which aims to eliminate the image over?segmentation, image under?segmentation, unclear edges of preparation defect areas, and limited field of view of the UNet model. The experiments are based on the principle of medical testing availability. The standard labels of the dataset segmented by the microscope are used as the ″golden standard″. The experiments based on the self?built liquid?based cell preparation defect area image dataset show that the improved network has a mean intersection over union (MIoU), mean pixel accuracy (MPA), [F1]?score, and accuracy rate of 82.73%, 93.56%, 81.93% and 96.10% during segmentation. The experimental results demonstrate that the VMF?UNet model has a better segmentation effect on the preparation defect areas of the liquid?based cell preparation staining machine, and can effectively compensate for the final preparation rate of the machine, providing effective basis for equipment reprocessing and improving its applicability.
Keywords: deep learning; semantic segmentation; UNet; attention mechanism; defect detection; liquid?based cell preparation staining machine
0" 引" 言
在當(dāng)今的醫(yī)療診斷中,醫(yī)學(xué)圖像如計(jì)算機(jī)斷層掃描、核磁共振、超聲等成像技術(shù)發(fā)揮著不可或缺的作用[1]。然而,這些圖像往往受到噪聲、偽影、邊緣模糊等問題的影響,給醫(yī)生的準(zhǔn)確診斷帶來挑戰(zhàn)。醫(yī)學(xué)圖像分割技術(shù)的出現(xiàn),極大地提高了圖像分析的精確性和效率,為醫(yī)生提供了更為可靠的診斷依據(jù)。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理領(lǐng)域的廣泛應(yīng)用,醫(yī)學(xué)圖像分割技術(shù)也迎來了新的突破。新型的網(wǎng)絡(luò)結(jié)構(gòu)和算法不斷優(yōu)化分割效果,提高了分割的準(zhǔn)確性和效率。
在醫(yī)學(xué)圖像的語義分割領(lǐng)域,基于深度學(xué)習(xí)的語義分割方法得到了許多學(xué)者的關(guān)注,UNet神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于醫(yī)學(xué)圖像的分割,該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,可以有效捕捉不同尺度的信息,有效處理不完整目標(biāo)的分割任務(wù),實(shí)現(xiàn)各種組織的位置分布定位,便于提取目標(biāo)。目前UNet神經(jīng)網(wǎng)絡(luò)改進(jìn)大致分為兩個(gè)方面:結(jié)構(gòu)改進(jìn)與非結(jié)構(gòu)改進(jìn)。UNet模型在結(jié)構(gòu)上的改進(jìn)主要包括編碼器、解碼器、跳躍連接以及整體結(jié)構(gòu)的改進(jìn)。許多優(yōu)化任務(wù)都是在現(xiàn)有的模塊之上添加如殘差、Dense、Inception和Attention這些傳統(tǒng)的網(wǎng)絡(luò)模塊,或者將它們?nèi)跒橐惑w,目的就是優(yōu)化網(wǎng)絡(luò)的切割效果。文獻(xiàn)[2]在UNet中對(duì)編碼器子塊引入殘差連接,從而加速收斂。文獻(xiàn)[3]利用殘差塊作為UNet主干,不僅可以構(gòu)建更深層的網(wǎng)絡(luò)而且能夠加速模型收斂。非結(jié)構(gòu)改進(jìn)將改進(jìn)的重點(diǎn)放在決定方法性能和通用性的預(yù)處理、訓(xùn)練、推理、后處理等方面。文獻(xiàn)[4]在分割醫(yī)學(xué)影像時(shí)在UNet網(wǎng)絡(luò)中使用了組歸一化(Group Norm, GN)方法,該方法減小了過小的batch、size對(duì)網(wǎng)絡(luò)性能和準(zhǔn)確性的影響。傳統(tǒng)的UNet網(wǎng)絡(luò)在分割時(shí)容易受到如底色干擾、圖像邊緣不明顯以及模型視野受限等因素的影響,出現(xiàn)過分割以及欠分割的現(xiàn)象,降低了神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確度。
針對(duì)前述問題,本文提出了VMF?UNet(VGG16Net,MELA(Multiscale Efficient Local Attention), and FRM(Feature Refinement Module) based UNet)網(wǎng)絡(luò)以增強(qiáng)分割的準(zhǔn)確性。該網(wǎng)絡(luò)以UNet為基礎(chǔ),插入了FRM模塊,使模型獲得更大的感受野來減少過分割現(xiàn)象,但在一定程度上引發(fā)了過分割現(xiàn)象,其次,利用MELA模塊獲取更深層次的特征,緩解過分割現(xiàn)象,提高分割精度,后續(xù)引入VGG16Net[5]加深了UNet網(wǎng)絡(luò)結(jié)構(gòu),有利于提取細(xì)胞圖像高維特征信息,增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力。
1" 算法原理
1.1" VMF?UNet網(wǎng)絡(luò)模型
UNet網(wǎng)絡(luò)由編碼器和解碼器組成[6],中間通過跳躍連接(Skip?Connection)將兩者連接起來,形狀呈U型,因此得名UNet。編碼器路徑又被稱為主干特征提取網(wǎng)絡(luò),通過連續(xù)的下采樣操作,使圖像尺寸變小,通道數(shù)翻倍,從而獲取圖像的淺層特征信息。解碼器路徑則被稱為加強(qiáng)特征提取網(wǎng)絡(luò),通過連續(xù)的上采樣操作,使圖像尺寸變大,通道數(shù)減半,從而還原圖像尺寸并進(jìn)行分割。在圖像分割任務(wù)中,UNet網(wǎng)絡(luò)通過編碼器路徑對(duì)輸入圖像進(jìn)行下采樣和特征提取,然后通過解碼器路徑對(duì)特征圖進(jìn)行上采樣和分割[7]。跳躍連接將編碼器和解碼器對(duì)應(yīng)層的特征圖進(jìn)行拼接,從而充分利用圖像的上下文信息,提高了分割精度[8]。
VGG16Net所有卷積層均采用了大小為3×3、步長(zhǎng)為2的卷積核,有效減少了網(wǎng)絡(luò)參數(shù),降低了梯度爆炸的風(fēng)險(xiǎn);池化層均采用了2×2的最大池化核,這種小池化核能夠更好地保留圖像的細(xì)節(jié)信息,有助于提升網(wǎng)絡(luò)的性能。將UNet網(wǎng)絡(luò)編碼器的部分替換為VGG16Net的特征提取部分,能夠更好地提取細(xì)胞圖像細(xì)節(jié)和上下文信息,有助于提升網(wǎng)絡(luò)對(duì)細(xì)胞圖像的識(shí)別和理解能力。
在主干特征提取網(wǎng)絡(luò)中,每次卷積后的特征進(jìn)行下采樣前會(huì)經(jīng)過MELA模塊的處理,利用條帶池化、1D卷積和組歸一化特征增強(qiáng)技術(shù),可以提取更深層次的特征,提高細(xì)胞分割的準(zhǔn)確率。在跳躍連接處引入特征細(xì)化模塊(FRM),使得經(jīng)過MELA模塊處理后的信息在通道維度進(jìn)行split操作,被均分為四等分,后續(xù)通過逐層卷積、批歸一化處理(BN)和激活函數(shù)(ReLU)與加強(qiáng)特征網(wǎng)絡(luò)中的上采樣特征完成拼接,最終通過1×1的卷積核將通道還原得到輸出。VMF?UNet網(wǎng)絡(luò)模型圖如圖1所示。
1.2" 改進(jìn)ELA注意力機(jī)制(MELA)
注意力機(jī)制由于能夠有效增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的性能而在計(jì)算機(jī)視覺領(lǐng)域獲得了重要的認(rèn)可,本質(zhì)是對(duì)關(guān)注的目標(biāo)特征信息進(jìn)行增強(qiáng),而忽略背景等無用信息,這使得模型能夠更好地處理復(fù)雜的數(shù)據(jù)和任務(wù)。然而,現(xiàn)有的方法往往難以有效地利用空間信息,或者過于專注注意力機(jī)制減少通道維度或增加神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。
本文引入了一種高效的本地注意力(ELA)方法,實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的結(jié)構(gòu),大幅度改善性能。采用1D卷積和組歸一化(GN)特征增強(qiáng)技術(shù)的結(jié)合,通過有效地編碼兩個(gè)1D位置特征圖而無需降維,同時(shí)允許輕量級(jí)實(shí)現(xiàn),從而實(shí)現(xiàn)感興趣區(qū)域的準(zhǔn)確定位。在UNet主干特征提取網(wǎng)絡(luò)中,經(jīng)過圖像卷積層處理后,部分關(guān)鍵特征在卷積操作中可能會(huì)丟失[9],這種信息丟失直接對(duì)液基細(xì)胞分割的準(zhǔn)確度產(chǎn)生了負(fù)面影響。然而,僅僅依賴單一的ELA模塊來應(yīng)對(duì)這一問題,其效果并不理想。為了更好地分割圖像,獲取更深層次的特征,引入了改進(jìn)ELA機(jī)制(MELA),原理如圖2所示。
MELA先考慮卷積塊的輸出,表示為[RH×W×C],[H]、[W]、[C]分別表示高度、寬度和通道尺寸(即卷積核的數(shù)目)。為了應(yīng)用條帶合并,更大范圍地提取不同的特征,在兩個(gè)空間范圍內(nèi)對(duì)每個(gè)通道執(zhí)行平均池化與最大池化:([H],1)沿著水平方向,(1,[W])沿著垂直方向。得出高度[h]處的第[c]個(gè)通道的輸出表示[10],以及寬度[w]處的第[c]個(gè)通道的輸出表示,如式(1)~式(4)所示:
[ZhcAh=1H0≤i≤HXch,i] (1)
[ZwcAw=1W0≤j≤WXcj,w] (2)
[ZhcMh=1H0≤i≤WXch,i] (3)
[ZwcMw=1W0≤j≤WXcj,w] (4)
基于上述公式獲得的定位信息嵌入,本文的MELA采用了一種新穎的編碼方法來生成精確的位置注意力圖。
通過式(1)~式(4)得到的[Zw]和[Zh]不僅捕獲了全局感官信息,還包含了精確的位置信息。
為了有效利用這些特征,本文設(shè)計(jì)了簡(jiǎn)單的處理方法,應(yīng)用一維卷積來增強(qiáng)水平和垂直方向上的位置信息。隨后,使用組歸一化(GN)方法來處理增強(qiáng)的位置信息,從而得到水平和垂直方向上的位置注意力表示,如式(5)~式(8)所示:
[yhA=σGnFhzAh] (5)
[ywA=σGnFwzAw] (6)
[yhM=σGnFhzMh] (7)
[ywM=σGnFwzMw] (8)
式中:[σ]表示非線性激活函數(shù);[Fh]和[Fw]表示一維卷積。然后,將平均池化的結(jié)果與原輸入點(diǎn)乘,最大池化的結(jié)果與原輸入點(diǎn)乘,最后將二者進(jìn)行add操作得出MELA模塊的最終輸出結(jié)果,可以通過應(yīng)用式(9)獲得MELA模塊的輸出,表示為[Y]。
[Y=xcA×yhA×ywA+xcM×yhM×ywM] (9)
1.3" FRM模塊
在深度神經(jīng)網(wǎng)絡(luò)中,隨著網(wǎng)絡(luò)層數(shù)的增加,梯度在反向傳播過程中可能會(huì)逐漸減小甚至消失,導(dǎo)致網(wǎng)絡(luò)難以訓(xùn)練。跳躍連接通過將輸入信息直接傳遞到后續(xù)層次,允許梯度更容易地反向傳播,從而保持梯度的穩(wěn)定性,使網(wǎng)絡(luò)更容易訓(xùn)練。通過跳躍連接,網(wǎng)絡(luò)可以更好地利用低級(jí)特征,避免信息丟失,從而提高性能和訓(xùn)練速度[11]。為了獲得更大的感受野,防止梯度爆炸,以使每個(gè)解碼器包含其對(duì)應(yīng)編碼器的特征圖,本文在跳躍連接處引入特征細(xì)化模塊(FRM),其原理圖如圖3所示。
在訓(xùn)練過程中,F(xiàn)RM模塊在channel從四個(gè)維度進(jìn)行特征細(xì)化提取,將輸入特征圖[F]沿著通道維度拆分為4個(gè)相同大小的部分,即[f1]、[f2]、[f3]、[f4]。這樣處理的好處是可以保證特征圖通道維度的每個(gè)特征面的完整性。均分的[f1]首先通過殘差連接,與[f2]進(jìn)行add操作得到[F1],之后經(jīng)過3×3大小卷積核與歸一化處理,能夠在捕獲局部特征的同時(shí)保持較低的計(jì)算復(fù)雜度,接著將[F1]作為channel維度[f1]的輸出。之后將特征一的輸出[F1]、特征二的輸入[f2]與特征三的輸入[f3]進(jìn)行add操作,隨后經(jīng)過3×3大小卷積核與歸一化處理,以此類推,在均分的4個(gè)特征均輸出結(jié)果后,進(jìn)行Concat操作,將所有特征拼接在一起,接著進(jìn)行殘差連接,最后用批歸一化算法(Batch Normalization, BN)與激活函數(shù)ReLU對(duì)特征層進(jìn)行優(yōu)化得到特征[F],最終可以達(dá)到融合不同通道信息及提取特定特征的目的,計(jì)算方法如下:
[F1=ΒΝConv3×3(f1+f2)] (10)
[F2=ΒΝConv3×3(f2+F1+f3)] (11)
[F3=ΒΝConv3×3(f3+F2+f4)] (12)
[F4=ΒΝConv3×3(f4+F3)] (13)
[F'=ΒΝConv3×3ReLUConcat[F1,F(xiàn)2,F(xiàn)3,F(xiàn)4]+F] (14)
2" 實(shí)驗(yàn)結(jié)果與分析
2.1" 實(shí)驗(yàn)設(shè)置
針對(duì)液基細(xì)胞制染一體機(jī)成片效果的問題,實(shí)驗(yàn)制備40架液基細(xì)胞玻片,共2 400張成片,其中不合格成片342張,選取缺陷區(qū)域特征明顯的300張不合格成片作為實(shí)驗(yàn)?zāi)P偷臄?shù)據(jù)集,并提取目標(biāo)檢測(cè)區(qū)域。
鑒于液基細(xì)胞成片的區(qū)域面積相對(duì)較小,且部分成片的醫(yī)學(xué)檢驗(yàn)可用性難以通過肉眼直接辨別,遵循醫(yī)學(xué)檢驗(yàn)可用性的原則,利用顯微鏡對(duì)選定的數(shù)據(jù)集進(jìn)行精細(xì)分割,并為其生成了標(biāo)準(zhǔn)的分割標(biāo)簽。為了有效地訓(xùn)練模型,按照9∶1的比例將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集。模型初始學(xué)習(xí)率為0.000 1,batch size為5,epoch為100。
實(shí)驗(yàn)樣本圖像采集過程中,使用的相機(jī)型號(hào)為索尼IMX503,實(shí)驗(yàn)過程使用PyTorch框架,編程語言為 Python,計(jì)算機(jī)型號(hào)為L(zhǎng)enovo Legion Y7000P,CPU型號(hào)為Intel Core i7?13680,GPU型號(hào)為NVDIA GeForce RTX 4060。
2.2" 評(píng)價(jià)標(biāo)準(zhǔn)
為了評(píng)估分割效果,用平均交并比[12](Mean Intersection over Union, MIoU)、平均像素精確度(Mean Pixel Accuracy, MPA)、[F1]?score與準(zhǔn)確率(Accuracy)來評(píng)價(jià)液基細(xì)胞圖像目標(biāo)分割效果[13]。MIoU是圖像分割任務(wù)中常用的一個(gè)評(píng)估指標(biāo),用于衡量模型預(yù)測(cè)結(jié)果與實(shí)際標(biāo)簽之間的相似度。MPA先對(duì)每個(gè)類別計(jì)算像素精確度(Pixel Accuracy, PA),然后再對(duì)所有類別的PA求平均,能夠更全面地反映圖像分割算法對(duì)于不同類別的分割效果,而不僅僅是整體上的精確度。
[MIoU=1k+1i=0kpiij=0kpij+j=0kpji-pii] (15)
[MPA=1k+1i=0kpiii=0kpij] (16)
式中:[pij]和[pji]分別表示預(yù)測(cè)結(jié)果為[i]、實(shí)際結(jié)果為[j]的像素總數(shù)和預(yù)測(cè)結(jié)果為[j]、實(shí)際結(jié)果為[i]的像素總數(shù);[pii]表示預(yù)測(cè)結(jié)果為[i]、真實(shí)結(jié)果也為[i]的像素總數(shù)。
Accuracy表示預(yù)測(cè)正確的標(biāo)簽占所有預(yù)測(cè)樣本的比例;[F1]?Score被定義為精確率和召回率的調(diào)和平均數(shù),能夠更全面地評(píng)估分類模型的性能。
[Accuracy=TP+TNTP+TN+FP+FN] (17)
[F1?score=2TP2TP+FP+FN] (18)
式中:TP表示預(yù)測(cè)結(jié)果與真實(shí)值的交叉集合,為真正例;FP表示預(yù)測(cè)結(jié)果與真實(shí)值無交叉,為假正例;FN表示預(yù)測(cè)錯(cuò)誤,為假反例;TN表示預(yù)測(cè)正確,為真反例[14]。
2.3" 各模塊對(duì)UNet網(wǎng)絡(luò)的影響
為了驗(yàn)證各個(gè)模塊對(duì)UNet網(wǎng)絡(luò)的影響,本文做了5組實(shí)驗(yàn):僅UNet網(wǎng)絡(luò);在UNet中分別加入VGG16Net、MELA、FRM模塊,共計(jì)3組;在UNet中同時(shí)加入3個(gè)組合模塊。結(jié)果如表1、圖4所示。
通過觀察表1可以看出,VGG16Net、MELA、FRM模塊對(duì)UNet神經(jīng)網(wǎng)絡(luò)在性能效果上均有所提升,其中當(dāng)UNet神經(jīng)網(wǎng)絡(luò)中同時(shí)加入VGG16Net、MELA、FRM模塊,網(wǎng)絡(luò)模型的分割效果最佳,提升效果最為明顯,MIoU、MPA、Accuracy、[F1]?score分別為82.73%、93.56%、96.10%、81.93%,相較于原模型,分別提高了6.57%、1.7%、2.66%、7.83%。除此之外,當(dāng)UNet神經(jīng)網(wǎng)絡(luò)中僅加入VGG16Net時(shí),相較于原網(wǎng)絡(luò)其他數(shù)值皆有所提升,但MPA卻降低了,這是因?yàn)槟P透訙?zhǔn)確地對(duì)像素進(jìn)行了分類,減少了誤判,同時(shí)提高了模型的精度和魯棒性。
從圖4可以看出,單獨(dú)的UNet神經(jīng)網(wǎng)絡(luò)在分割液基細(xì)胞過程中出現(xiàn)了邊緣欠分割與過分割的現(xiàn)象。添加FRM模塊后,可以發(fā)現(xiàn)欠分割現(xiàn)象明顯減小,對(duì)細(xì)胞邊緣分割也更為精細(xì),模型分割性能有所提升,但是過分割現(xiàn)象依舊存在,甚至相較于原模型過分割現(xiàn)象加劇。添加MELA、VGG16Net網(wǎng)絡(luò)模塊后,可以更大限度地提取液基細(xì)胞特征信息,獲得更大的感受野,使得過分割現(xiàn)象與欠分割現(xiàn)象有所緩解。全模型分割效果最好,可以學(xué)習(xí)到準(zhǔn)確的缺陷區(qū)域,更為精準(zhǔn)地捕捉到邊緣信息,并且無論是分割完整度,還是分割的準(zhǔn)確率都優(yōu)于其他模塊。
2.4" 不同模型分割性能比較
為了進(jìn)一步驗(yàn)證模型性能,將本文模型與UNet、PSPNet、Triple?UNet、DeepLabv3這四種模型進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2、圖5所示。由表2可知,本文網(wǎng)絡(luò)模型MIoU達(dá)到82.73% ,MPA達(dá)到93.56%,Accuracy達(dá)到96.10% ,[F1]?score達(dá)到81.93%。同時(shí),比PSPNet在MIoU、MPA、Accuracy、[F1]?score分別提高13.6%、19.98%、2.43%、7.37%;比Triple?UNet分別提高12.54%、12.35%、3.73%、16.45%;比DeepLabv3分別提高10.96%、8.57%、3.67%、13.58%。以上數(shù)據(jù)說明,本文提出的模型可以有效捕捉到圖像的細(xì)節(jié)信息,提高UNet神經(jīng)網(wǎng)絡(luò)的分割準(zhǔn)確率,具有較強(qiáng)的魯棒性,在液基細(xì)胞制染一體機(jī)的成片效果識(shí)別方面具有一定優(yōu)勢(shì)。
液基細(xì)胞分割任務(wù)中,過分割和欠分割是決定最終分割結(jié)果的主要因素。通過對(duì)比不同模型分割結(jié)果(見圖5),可以看出:各種模型對(duì)于簡(jiǎn)單細(xì)胞形狀、底色干擾較小的細(xì)胞圖像均具有較好的分割效果;對(duì)于底色干擾較大的細(xì)胞圖像,DeepLabv3出現(xiàn)嚴(yán)重欠分割現(xiàn)象以及輕微邊緣分割模糊的現(xiàn)象,PSPNet易出現(xiàn)邊緣分割模糊的現(xiàn)象,Triple?UNet使用三分支結(jié)構(gòu)捕獲跨維度交互來計(jì)算注意力權(quán)重[15],但仍然可能難以有效地整合全局信息,導(dǎo)致在處理底色干擾較大的細(xì)胞圖像時(shí),容易出現(xiàn)過分割的現(xiàn)象;對(duì)于處理分割區(qū)域較小的細(xì)胞圖像,DeepLabv3由于多次最大池化和全連接層會(huì)易導(dǎo)致空間信息的丟失進(jìn)而出現(xiàn)邊緣分割不清晰的現(xiàn)象[16]。本文模型解決了這些問題,分割出的圖像邊緣更加清晰、圖像更加完整、分割更加準(zhǔn)確,分割結(jié)果與真實(shí)標(biāo)簽最為接近。
3" 結(jié)" 論
針對(duì)液基細(xì)胞制染機(jī)的成片效果缺陷問題,本文設(shè)計(jì)了一種VMF?UNet模型。該模型基于UNet神經(jīng)網(wǎng)絡(luò),選取部分VGG16Net作為主干網(wǎng)絡(luò),并且加入了MELA模塊、FRM模塊,解決了圖像過分割、欠分割、成片缺陷區(qū)域邊緣不明顯、UNet模型視野受限的問題。經(jīng)過不同模塊實(shí)驗(yàn)結(jié)果對(duì)比,證明了各個(gè)模塊的有效性;經(jīng)過與其他模型的實(shí)驗(yàn)結(jié)果對(duì)比,證明了VMF?UNet模型在液基細(xì)胞制染機(jī)的成片效果識(shí)別中具有較高的可用性和優(yōu)越性,能夠有效補(bǔ)償液基細(xì)胞制染機(jī)的最終成片率,并且能夠?yàn)閺?fù)處理提供有效依據(jù),從而提高液基細(xì)胞制染機(jī)的廣泛可應(yīng)用性。
注:本文通訊作者為田文豪。
參考文獻(xiàn)
[1] 張智超,趙景秀,孟靜,等.在體光聲微血管圖像提取方法研究[J].軟件導(dǎo)刊,2017,16(5):179?182.
[2] MILLETARI F, NAVAB N, AHMADI S A. V?Net: Fully convolutional neural networks for volumetric medical image segmentation [C]// 2016 Fourth International Conference on 3D Vision (3DV). New York: IEEE, 2016: 565?571.
[3] DROZDZAL M, VORONTSOV E, CHARTRAND G, et al. The importance of skip connections in biomedical image segmentation [C]// Deep Learning and Data Labeling for Medical Applications: First International Workshop. [S.l.: s.n.], 2016: 179?187.
[4] 黃泳嘉,史再峰,王仲琦,等.基于混合損失函數(shù)的改進(jìn)型U?Net肝部醫(yī)學(xué)影像分割方法[J].激光與光電子學(xué)進(jìn)展,2020,57(22):74?83.
[5] 陳思林,秦倫明,王悉,等.基于VSA?UNet的電氣設(shè)備紫外圖像分割[J].無線電工程,2023,53(1):230?238.
[6] 熊子涵,宋良峰,劉欣,等.基于深度學(xué)習(xí)的熒光顯微性能提升(特邀)[J].紅外與激光工程,2022,51(11):97?114.
[7] 譚大寧,劉瑜,姚力波,等.基于視覺注意力機(jī)制的多源遙感圖像語義分割[J].信號(hào)處理,2022,38(6):1180?1191.
[8] 張歡,仇大偉,馮毅博,等.U?Net模型改進(jìn)及其在醫(yī)學(xué)圖像分割上的研究綜述[J].激光與光電子學(xué)進(jìn)展,2022,59(2):1?17.
[9] 程龍,張靜纓,徐照.混凝土裂縫無損檢測(cè)的改進(jìn)ResNet方法[J].人民長(zhǎng)江,2024,55(9):210?216.
[10] 趙興旺,吳治國,劉超,等.基于CBAM VGG16?UNet語義分割模型的建筑物提取研究[J].齊齊哈爾大學(xué)學(xué)報(bào)(自然科學(xué)版),2024(3):34?40.
[11] 武錦龍,吳虹麒,李浩,等.基于改進(jìn)DeepLabV3+的蕎麥苗期無人機(jī)遙感圖像分割識(shí)別方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2024,55(5):186?195.
[12] 李文舉,張干,崔柳,等.基于坐標(biāo)注意力的輕量級(jí)交通標(biāo)志識(shí)別模型[J].計(jì)算機(jī)應(yīng)用,2023,43(2):608?614.
[13] 張?zhí)壹t,郭徐徐,張穎.LRSAR?Net語義分割模型用于新冠肺炎CT圖片輔助診斷[J].電子與信息學(xué)報(bào),2022,44(1):48?58.
[14] 劉赫,趙天成,劉俊博,等.基于深度殘差UNet網(wǎng)絡(luò)的電氣設(shè)備紅外圖像分割方法[J].紅外技術(shù),2022,44(12):1351?1357.
[15] 石育,王斌,陳超,等.基于視覺SLAM的可交互虛擬車間構(gòu)建方法[J].機(jī)械設(shè)計(jì),2022,39(5):1?9.
[16] 吳彤,李冰鋒,費(fèi)樹岷,等.基于改進(jìn)FCOS算法的架空輸電線路防振錘檢測(cè)[J].電氣工程學(xué)報(bào),2023,18(1):143?152.
基金項(xiàng)目:國家自然科學(xué)基金項(xiàng)目(61903129)
作者簡(jiǎn)介:田文豪(2003—),男,湖北襄陽人,碩士研究生,研究方向?yàn)閳D像處理與電網(wǎng)控制。
汪繁榮(1979—),男,湖北天門人,博士研究生,副教授,研究方向?yàn)殡娋W(wǎng)控制與智能制造。
喬一航(1998—),女,河南平頂山人,碩士研究生,主要從事圖像處理方面的研究。