基于Mask R-CNN的柑橘主葉脈顯微圖像實(shí)例分割模型

翁海勇 李效彬 肖康松 丁若晗 賈良權(quán) 葉大鵬

(1.福建農(nóng)林大學(xué)機(jī)電工程學(xué)院, 福州 350002; 2.福建省農(nóng)業(yè)信息感知技術(shù)重點(diǎn)實(shí)驗(yàn)室, 福州 350002;3.湖州師范學(xué)院信息工程學(xué)院, 湖州 313000)

0 引言

目前,我國(guó)柑橘產(chǎn)量約占世界的33%[1],研究柑橘植株對(duì)生物/非生物脅迫因子的響應(yīng)能夠指導(dǎo)柑橘種植,對(duì)我國(guó)柑橘產(chǎn)業(yè)的提質(zhì)增效具有重要意義。在柑橘的整個(gè)生育期內(nèi),其生長(zhǎng)發(fā)育跨越了亞細(xì)胞-細(xì)胞-器官-植株等多個(gè)尺度[2]。分析不同尺度的性狀特征可從不同角度解析脅迫因子對(duì)柑橘表型的影響。因此,對(duì)柑橘植株特定組織區(qū)域的精確識(shí)別與分割是其表型研究的基礎(chǔ)。在計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等方法支撐下,研究人員已將圖像分割算法應(yīng)用到植株[3]、花[4]、葉片[5]和果實(shí)[6]等不同尺度上的目標(biāo)部位的精確分割中,為植物表型的高通量分析提供了有效的技術(shù)手段。

在顯微尺度下對(duì)植物特定組織或細(xì)胞的精準(zhǔn)分析,有助于高通量地獲取植物解剖表型信息,助力植物遺傳和生理分析[7]。王詩(shī)雅等[8]探究了水淹脅迫對(duì)于大豆生理特性和顯微結(jié)構(gòu)的影響,試驗(yàn)結(jié)果表明隨著水淹脅迫時(shí)間延長(zhǎng),通氣組織面積逐漸增大。陳文妃等[9]研究不同程度干旱脅迫對(duì)黃瓜幼苗中組織和細(xì)胞結(jié)構(gòu)的影響,發(fā)現(xiàn)在干旱脅迫下黃瓜幼苗組織中的根皮層薄壁細(xì)胞、莖木質(zhì)部導(dǎo)管、葉片柵欄組織等發(fā)生變形、萎縮、排列紊亂和表皮破裂等情況,且隨著脅迫程度的增加,結(jié)構(gòu)變化程度逐漸加劇。針對(duì)柑橘,有學(xué)者研究發(fā)現(xiàn),與健康的葉片相比,感染柑橘黃龍病(Citrus Huanglongbing, HLB)葉片的主葉脈韌皮部篩管分子細(xì)胞壁周?chē)闹虚g片層出現(xiàn)了異常腫脹且韌皮部壞死[10]。FOLIMONOVA等[11]、黃鏡浩等[12]從顯微尺度分析了缺硼或鎂對(duì)柑橘葉片中脈維管的組織結(jié)構(gòu)變化影響,結(jié)果發(fā)現(xiàn),在缺鎂條件下葉片中脈的木質(zhì)部、髓部和韌皮部等組織區(qū)域呈現(xiàn)不同的結(jié)構(gòu)變化,缺硼則出現(xiàn)主脈初生韌皮部及纖維鞘外層薄壁細(xì)胞壞死。上述結(jié)果表明,在顯微尺度下能夠?qū)崿F(xiàn)脅迫對(duì)植物顯微結(jié)構(gòu)的影響分析。因此,自動(dòng)、準(zhǔn)確地量化植物顯微結(jié)構(gòu),對(duì)于探究植物的生理功能至關(guān)重要。

近年來(lái),深度學(xué)習(xí)/機(jī)器學(xué)習(xí)結(jié)合顯微成像技術(shù)在植物顯微結(jié)構(gòu)的目標(biāo)檢測(cè)和語(yǔ)義分割場(chǎng)景中表現(xiàn)出巨大應(yīng)用前景。林少丹等[13]利用顯微成像技術(shù)獲取感染柑橘黃龍病葉片主葉脈的顯微圖像,分析了主葉脈橫切面中的韌皮部、木質(zhì)部和髓部等區(qū)域形狀結(jié)構(gòu)變化情況,提出一種增強(qiáng)特征的無(wú)監(jiān)督訓(xùn)練黃龍病檢測(cè)算法(Enhanced Huanglongbing unsupervised pre-trainingdetect transformer,E-HLBUP-DETR),實(shí)現(xiàn)了顯微尺度下柑橘黃龍病的快速識(shí)別。DU等[14]開(kāi)發(fā)了一種基于深度學(xué)習(xí)的維管束表型分析方法,提出利用維管束數(shù)目檢測(cè)精度和尺寸檢測(cè)精度兩個(gè)語(yǔ)義指標(biāo)來(lái)評(píng)估和篩選適合維管束的語(yǔ)義分割網(wǎng)絡(luò),實(shí)現(xiàn)了莖稈表皮、周皮和維管束等結(jié)構(gòu)的智能解析,為探究玉米莖稈微觀結(jié)構(gòu)與生理功能的關(guān)系提供有力技術(shù)支持。LI等[15]開(kāi)發(fā)了一款基于深度學(xué)習(xí)的自動(dòng)定位植物葉片氣孔并分割表皮細(xì)胞的工具(LeafNet),通過(guò)分級(jí)策略,使用深度卷積網(wǎng)絡(luò)識(shí)別氣孔,然后使用區(qū)域合并方法在掩蔽氣孔的圖像上分割鋪面單元,在量化氣孔和鋪面細(xì)胞的不同表型自動(dòng)化分析時(shí)體現(xiàn)其優(yōu)異的性能。LIANG等[16]基于特征金字塔(FPN)、R-CNN等深度學(xué)習(xí)模型研發(fā)了一種低成本、高通量葉片氣孔表型無(wú)損檢測(cè)新技術(shù),為實(shí)現(xiàn)作物葉片氣孔表型高通量檢測(cè)和遺傳機(jī)制解析提供技術(shù)支撐。QIU等[17]設(shè)計(jì)了一種基于顯著性的顯微圖像處理分析方法,引入卷積神經(jīng)網(wǎng)絡(luò)提取表型特征。與人工評(píng)估結(jié)果的相關(guān)系數(shù)可達(dá)0.88,實(shí)現(xiàn)了像素級(jí)別上白粉病侵染的高通量定量分析。張高亮等[18]構(gòu)建了一個(gè)基于改進(jìn)Mask R-CNN網(wǎng)絡(luò)的水稻莖稈切片顯微圖像分割模型,實(shí)現(xiàn)了水稻莖稈切片圖像中大、小維管束區(qū)域的定位、檢測(cè)和分割。

綜上所述,本文擬采用圖像實(shí)例分割結(jié)合人工智能技術(shù),建立基于數(shù)據(jù)驅(qū)動(dòng)的主葉脈實(shí)例分割方法并構(gòu)建深度網(wǎng)絡(luò)模型,以實(shí)現(xiàn)對(duì)柑橘主葉脈橫切面中的韌皮部、木質(zhì)部、髓部和皮層細(xì)胞4種組織區(qū)域復(fù)雜特征的提取并實(shí)現(xiàn)精準(zhǔn)識(shí)別與分割,為生物/非生物脅迫下柑橘主葉脈解剖表型組學(xué)的圖像分析提供新的技術(shù)手段。

1 材料與方法

1.1 柑橘主葉脈顯微圖像采集方法及數(shù)據(jù)集構(gòu)建

本文以柑橘(臍橙)葉片主葉脈為研究對(duì)象。臍橙葉片于2021年11月采集于福建省古田縣三保村。試驗(yàn)前,先將葉片的主葉脈切成條狀,再用冷凍恒溫切片機(jī)(CM 1950 Leica,Leica Microsystems Inc.,Wetzlar,德國(guó))切成厚度為20 μm的橫向切片。從每片葉子的主葉脈中隨機(jī)選取3～4片沒(méi)有碎裂的橫向切片用于顯微圖像采集。使用LEICA光學(xué)顯微鏡(LEICA-Mi8型,Leica Microsystems Inc.,Wetzlar,德國(guó))采集切片50倍(目鏡10×,物鏡 5×)條件下葉片主葉脈的顯微圖像(分辨率為2 560像素×1 920像素),共300幅,并以TIFF文件格式存儲(chǔ)。用Labelme[19]圖像標(biāo)注工具添加髓部(Pith, Pi)、木質(zhì)部(Xylem, X)、韌皮部(Phloem, Ph)和皮層細(xì)胞(Cortical cell, Co)這4種掩膜標(biāo)簽,生成json標(biāo)簽文件,用于生成對(duì)應(yīng)目標(biāo)掩膜信息。使用COCO2017數(shù)據(jù)集格式進(jìn)行訓(xùn)練,因此仿照COCO數(shù)據(jù)庫(kù)自建了一個(gè)柑橘主葉脈橫切面各組織區(qū)域分割數(shù)據(jù)集,將原圖像轉(zhuǎn)換為該數(shù)據(jù)集默認(rèn)的JPG格式,并生成用于分割任務(wù)的COCO格式j(luò)son文件。最后,隨機(jī)將生成后的數(shù)據(jù)集按比例8∶1∶1分為訓(xùn)練集、驗(yàn)證集和測(cè)試集[20]。數(shù)據(jù)獲取過(guò)程如圖1所示。

圖1 柑橘主葉脈顯微圖像采集流程圖

1.2 柑橘主葉脈實(shí)例分割模型

對(duì)柑橘主葉脈各類(lèi)組織區(qū)域的定位與識(shí)別可以通過(guò)目標(biāo)檢測(cè)與圖像分割的手段來(lái)實(shí)現(xiàn)。研究表明,基于實(shí)例分割的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)平均精確率(Average precision, AP)高于目標(biāo)檢測(cè)模型[21-22]。此外,目標(biāo)檢測(cè)是檢測(cè)圖像中目標(biāo)的位置框并給出所對(duì)應(yīng)的標(biāo)簽,而本研究需要識(shí)別的是4個(gè)層層包圍的環(huán)形組織區(qū)域,若只有定位框則不能精確定位到某一組織區(qū)域。語(yǔ)義分割是像素級(jí)別的任務(wù),具體通過(guò)識(shí)別圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的物體語(yǔ)義信息,可將主葉脈中待識(shí)別的感興趣區(qū)域像素都?xì)w為同一類(lèi),但不能具體將髓部、木質(zhì)部、韌皮部和皮層細(xì)胞4類(lèi)組織區(qū)域分開(kāi)。單獨(dú)采用目標(biāo)檢測(cè)或語(yǔ)義分割都不能很好地完成柑橘主葉脈各組織區(qū)域的定位與識(shí)別。因此,本研究選取基于實(shí)例分割技術(shù)的掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Mask region convolutional neural network,Mask R-CNN)框架進(jìn)行柑橘主葉脈實(shí)例分割研究,該框架將目標(biāo)檢測(cè)和語(yǔ)義分割結(jié)合,可對(duì)柑橘主葉脈中待測(cè)區(qū)域進(jìn)行定位、分類(lèi)和分割[23-25]。該模型由特征提取網(wǎng)絡(luò)(Feature extraction network, FEN)、區(qū)域建議網(wǎng)絡(luò)(Regional proposal network, RPN)、2個(gè)感興趣區(qū)域?qū)R層(Region of interest Align, RoI-Align)、全連接層(Fully connected layers)、卷積層(Covn-layers)、目標(biāo)檢測(cè)層和分割層組成。由于柑橘主葉脈的分割任務(wù)要求精度更高,所以在對(duì)齊特征圖坐標(biāo)時(shí),檢測(cè)和分割不共用同一個(gè)RoI-Align,而是引出了另一個(gè)RoI-Align分支,用以獲得更高的分割精度,如圖2所示。

圖2 柑橘主葉脈實(shí)例分割模型

1.2.1柑橘主葉脈不同部位的特征提取

模型特征提取部分主要是由不同的卷積運(yùn)算組成,特征提取為后續(xù)定位、分類(lèi)和分割掩膜的計(jì)算提供基礎(chǔ)。在卷積神經(jīng)網(wǎng)絡(luò)中,增加網(wǎng)絡(luò)的深度可以提升網(wǎng)絡(luò)的性能,但有研究表明,如果簡(jiǎn)單地增加網(wǎng)絡(luò)深度,會(huì)導(dǎo)致梯度爆炸或消失,所以網(wǎng)絡(luò)層數(shù)增加到一定限度,模型的精度不增反降。但隨著ResNet系列網(wǎng)絡(luò)殘差模塊的引入,梯度消失的問(wèn)題得到了有效解決,模型精度得到了提升[26-28]。因此,本研究為了提升特征提取網(wǎng)絡(luò)的性能,主干網(wǎng)絡(luò)選擇具有殘差結(jié)構(gòu)的ResNet50,其殘差模塊可表示為

xi+1=F(xi,Wi)+xi

(1)

xi+2=xi+1+F(xi+1,Wi+1)=

xi+F(xi,Wi)+F(xi+1,Wi+1)

(2)

(3)

(4)

(5)

式中xi——第i層殘差模塊的輸入

Wi——激活函數(shù)l——損失函數(shù)

F(xi,Wi)——?dú)埐钪?/p>

xi+1——第i層的輸出(第i+1層的輸入)

xk——任意第k層(k>i)殘差塊的輸入值

假設(shè)輸入數(shù)據(jù)xi,通過(guò)捷徑鏈接(Shortcut connection)進(jìn)行恒等映射Gixi(Gi在通常情況下為常數(shù)1,此處也設(shè)為1),映射后得到的xi進(jìn)行卷積并通過(guò)激活函數(shù)Wi,得到殘差值為F(xi,Wi)。

由式(1)可推出式(2),通過(guò)遞歸,可得到任意第k層的輸入,用式(3)表示,即第k層的特征為第i層和k層中間所有殘差函數(shù)輸出的總和加上x(chóng)i。式(4)為損失函數(shù)l對(duì)于輸入xi的梯度。由式(3)和式(4)可得式(5),由式(5)可知,任意深層xk的梯度可以傳遞到比其淺的任意層xi,且由于有常數(shù)的存在,因此無(wú)論如何加深網(wǎng)絡(luò),都不會(huì)出現(xiàn)梯度消失現(xiàn)象[4,26]。

模型特征提取部分結(jié)合了特征金字塔(FPN),將特征圖中的深層特征和淺層特征融合,達(dá)到增強(qiáng)特征的效果[29-30]。基于特征金字塔的特征提取網(wǎng)絡(luò)是一種解決多尺度問(wèn)題的網(wǎng)絡(luò),它采用雙金字塔結(jié)構(gòu),如圖3所示。左側(cè)金字塔一般為常規(guī)的特征圖卷積網(wǎng)絡(luò),為了提升模型特征提取性能,采用帶殘差層的ResNet50網(wǎng)絡(luò)作為特征提取主干網(wǎng)絡(luò),Conv2_x、Conv3_x、Conv4_x、Conv5_x為殘差層,特征圖大小隨著殘差層深度加深逐層縮小為上一層的1/2,深度擴(kuò)大為上一層的2倍;中間金字塔則在每層都添加了256個(gè)1×1的卷積核用于統(tǒng)一特征圖的深度,然后從上至下對(duì)卷積后的圖像進(jìn)行反向采樣,通過(guò)將中間上層的特征圖放大2倍,進(jìn)而與下一層左側(cè)的特征圖各像素點(diǎn)進(jìn)行元素相加,在不增加模型參數(shù)的基礎(chǔ)上,增強(qiáng)了金字塔右側(cè)每一層輸出在不同尺度下空間信息和語(yǔ)義信息的預(yù)測(cè)能力。由此可見(jiàn),FPN網(wǎng)絡(luò)有助于模型對(duì)各種尺度的目標(biāo)進(jìn)行識(shí)別。

圖3 基于特征金字塔的特征提取網(wǎng)絡(luò)

1.2.2特征圖處理

經(jīng)過(guò)基于特征金字塔的特征提取網(wǎng)絡(luò)之后,原始圖像被轉(zhuǎn)換為多尺度特征圖,再由區(qū)域建議網(wǎng)絡(luò)(RPN)對(duì)其感興趣區(qū)域(Region of interest,RoI)進(jìn)行篩選,進(jìn)而對(duì)篩選后的 RoI 進(jìn)行池化。本研究采用感興趣區(qū)域?qū)R法(RoI-Align),利用雙線性插值進(jìn)行采樣點(diǎn)坐標(biāo)計(jì)算。與傳統(tǒng)的感興趣區(qū)域池化法(RoI-Pooling)不同的是,該方法保留采樣點(diǎn)坐標(biāo)的小數(shù)值以提高池化精度。因此,本研究在特征圖處理模塊中以感興趣區(qū)域?qū)R法替代感興趣區(qū)域池化法,以期減少特征圖尺度標(biāo)準(zhǔn)化過(guò)程中的精度損失。

1.2.3Mask分支優(yōu)化

相較于目標(biāo)檢測(cè)任務(wù),分割任務(wù)要求的精度更高,所以本研究的模型在對(duì)齊特征圖坐標(biāo)時(shí),檢測(cè)和分割不共用同一個(gè)RoI-Align。在RPN網(wǎng)絡(luò)生成建議框后,將生成的建議框輸入2個(gè)不同的RoI-Align分支中,分別進(jìn)行雙線性插值計(jì)算。其中一個(gè)RoI-Align向檢測(cè)端輸出7×7×256的固定尺寸的特征圖,經(jīng)過(guò)全連接層后得到檢測(cè)框和分類(lèi)信息。另一個(gè)RoI-Align向分割端輸出14×14×256的固定尺寸特征圖,經(jīng)過(guò)全卷積網(wǎng)絡(luò)(Full convolutional network,FCN)后預(yù)測(cè)相應(yīng)的目標(biāo)分割掩膜。Mask分支上的特征圖尺寸是目標(biāo)檢測(cè)分支上特征圖尺寸的2倍,保留了更多的細(xì)節(jié)信息。

1.2.4損失計(jì)算

經(jīng)過(guò)特征圖的處理及特征區(qū)域篩選后,模型預(yù)測(cè)頭部分對(duì)各特征區(qū)域進(jìn)行分類(lèi)、檢測(cè)框和掩膜的損失計(jì)算,研究表明在多個(gè)數(shù)據(jù)集的模型訓(xùn)練中,以分類(lèi)、檢測(cè)框和掩膜三者的損失之和作為模型整體的損失值,均取得很好的效果[23,31]。損失值L計(jì)算公式為

L=Lcls+Lbox+Lmask

(6)

式中Lcls——分類(lèi)損失

Lbox——檢測(cè)框回歸損失

Lmask——分割掩膜損失

1.3 模型訓(xùn)練參數(shù)及評(píng)價(jià)

本試驗(yàn)在Windows 10系統(tǒng)中完成,試驗(yàn)框架為Pytorch,處理器為Intel(R)Core(TM)i7-9700K CPU @ 3.60 GHz 3.60 GHz,內(nèi)存為16 GB,使用NVIDIA 2070super圖形處理器加速運(yùn)算。設(shè)置單GPU同時(shí)處理圖像數(shù)為1,每幅顯微圖像實(shí)例分割的類(lèi)別為Pi、X、Ph和Co 4類(lèi)(不包含背景),模型主要參數(shù)如表1所示。

表1 模型參數(shù)

采用平均精確率(AP)評(píng)估圖像分割模型的性能。AP為以準(zhǔn)確率(Precision)為縱坐標(biāo),召回率(Recall)為橫坐標(biāo)所繪曲線與坐標(biāo)軸所圍區(qū)域的面積。當(dāng)預(yù)測(cè)目標(biāo)與標(biāo)定目標(biāo)的交并比(Intersection over union,IoU)大于所設(shè)定閾值時(shí),判定為預(yù)測(cè)正確,反之為預(yù)測(cè)錯(cuò)誤。AP值越高,模型性能越好。在實(shí)例分割中,對(duì)于每一種類(lèi)別都有對(duì)應(yīng)的AP值,對(duì)于全部目標(biāo)的平均AP稱為平均精確率均值(Mean average precision,mAP)。

2 結(jié)果與分析

2.1 目標(biāo)檢測(cè)和實(shí)例分割效果

經(jīng)試驗(yàn)證明,模型驗(yàn)證到第100個(gè)周期后,損失趨于平穩(wěn)(圖4a)。因此,目標(biāo)檢測(cè)和實(shí)例分割的驗(yàn)證周期也取到第100個(gè)。由圖4b可以看出,模型的學(xué)習(xí)性能良好,且驗(yàn)證的平均精確率可以達(dá)到90%以上,且目標(biāo)檢測(cè)的AP大于圖像分割,可知對(duì)目標(biāo)的定位和分類(lèi)效果優(yōu)于分割。綜上,模型對(duì)圖像中所有種類(lèi)的目標(biāo)檢測(cè)和實(shí)例分割可以達(dá)到較好的效果。

圖4 柑橘主葉脈實(shí)例分割模型驗(yàn)證結(jié)果

改進(jìn)的Mask R-CNN模型對(duì)柑橘主葉脈中的Pi、X、Ph和Co的檢測(cè)和分割的平均評(píng)價(jià)指標(biāo)如表2所示。由表2可知,目標(biāo)檢測(cè)和實(shí)例分割的AP(IoU為0.50)都達(dá)到90%以上。目標(biāo)檢測(cè)在IoU為0.50、0.75、0.50～0.95 3個(gè)評(píng)價(jià)范圍內(nèi)整體的AP較實(shí)例分割更高,為97.7%、83.2%和73.4%。可知該模型對(duì)待檢測(cè)區(qū)域的檢測(cè)框定位和類(lèi)別分類(lèi)的精度比具體分割出特定區(qū)域的精度更高,尤其是在IoU為0.75、0.50～0.95評(píng)價(jià)范圍內(nèi),分割精度與目標(biāo)檢測(cè)精度相差較大。而分割端的結(jié)果是通過(guò)Mask分支得來(lái)的,因此本研究對(duì)Mask分支進(jìn)行改進(jìn),在檢測(cè)端保留原有的RoI-Align層。

表2 柑橘主葉脈中Pi、X、Ph和Co的檢測(cè)和分割mAP

對(duì)于各具體的組織區(qū)域類(lèi)別,當(dāng)IoU為0.50時(shí),檢測(cè)Pi、X、Ph和Co的AP都可達(dá)到90%以上,如表3所示。其中Pi、Ph和Co的檢測(cè)AP達(dá)到100%,由此可知,該模型對(duì)這4個(gè)不同待測(cè)區(qū)域的檢測(cè)框定位與分類(lèi)效果良好;分割Pi、X、Ph和Co的AP最低的也達(dá)到89.8%(X),其余均在90%以上,可知該模型對(duì)各組織區(qū)域具體分割任務(wù)也能取得較好的效果。

表3 各類(lèi)別目標(biāo)檢測(cè)和實(shí)例分割的AP

2.2 模型預(yù)測(cè)效果

隨機(jī)選取2幅未參與訓(xùn)練的圖像進(jìn)行預(yù)測(cè),平均預(yù)測(cè)時(shí)間僅需0.54 s。其預(yù)測(cè)效果如圖5所示,其中,黃色掩膜部分為髓部預(yù)測(cè)區(qū)域,淺藍(lán)色掩膜部分為木質(zhì)部預(yù)測(cè)區(qū)域,淺綠色掩膜部分為韌皮部預(yù)測(cè)區(qū)域,白色掩膜部分為皮層細(xì)胞預(yù)測(cè)區(qū)域。圖5a為圖中只有待測(cè)目標(biāo),無(wú)背景干擾的柑橘主葉脈原圖,圖5b為其分割效果。圖5c中除了待測(cè)目標(biāo)外,還存在其他靠近目標(biāo)且與目標(biāo)類(lèi)似的干擾物(同一載玻片上其他樣本的部分皮層細(xì)胞Co),圖5d為圖5c的分割效果。對(duì)于無(wú)背景干擾的柑橘主葉脈原始圖像,模型可對(duì)其中的Pi、X、Ph和Co 4種組織區(qū)域都能進(jìn)行比較精準(zhǔn)的定位和識(shí)別,類(lèi)別得分都為99%,對(duì)各組織區(qū)域的分割也能取得較好的效果。對(duì)于有背景干擾的柑橘主葉脈原始圖像,模型也可對(duì)其中的Pi、X、Ph和Co 4種組織區(qū)域進(jìn)行精準(zhǔn)的定位和識(shí)別,除了X的類(lèi)別得分為92%外,其余都為99%,對(duì)各組織區(qū)域分割也能取得較好的效果。因此,無(wú)論有無(wú)背景干擾,預(yù)測(cè)區(qū)域均和真實(shí)部位重合度較高。

圖5 模型預(yù)測(cè)效果

2.3 模型改進(jìn)前后對(duì)比

對(duì)比模型Mask分支改進(jìn)前后的分割mAP,如表4所示。改進(jìn)前檢測(cè)和分割端共用一個(gè)RoI-Align,改進(jìn)后的Mask分支利用一個(gè)不同的RoI-Align生成檢測(cè)分支2倍的特征圖?？梢钥闯?改進(jìn)后的Mask分支,在IoU為0.50、0.75、0.50～0.95 3種條件下,平均分割精度均提升1～2個(gè)百分點(diǎn),分別為95.4%、59.0%、56.1%。

表4 Mask分支改進(jìn)前后分割精度對(duì)比

改進(jìn)后的模型,檢測(cè)端保留原有的RoI-Align層,特征圖尺寸與改進(jìn)前相同,改進(jìn)前后檢測(cè)精度對(duì)比如表5所示。由表5可以看出,改進(jìn)Mask分支前后的模型目標(biāo)檢測(cè)效果與改進(jìn)前基本持平,在IoU為0.50、0.50～0.95情況下,改進(jìn)后的模型檢測(cè)mAP略微升高,IoU為0.75時(shí),檢測(cè)mAP略微降低,整體差別不大。由此可知,在Mask分支引出一個(gè)新的RoI-Align幾乎不會(huì)影響檢測(cè)端的效果。

表5 Mask分支改進(jìn)前后檢測(cè)精度對(duì)比

3 結(jié)束語(yǔ)

基于Mask R-CNN框架設(shè)計(jì)了柑橘主葉脈中的髓部、木質(zhì)部、韌皮部和皮層細(xì)胞4種組織區(qū)域的實(shí)例分割方法,并對(duì)Mask分支添加獨(dú)立的感興趣區(qū)域?qū)R層(RoI-Align),進(jìn)行對(duì)比試驗(yàn)。試驗(yàn)結(jié)果表明,改進(jìn)后的Mask R-CNN對(duì)所有目標(biāo)的檢測(cè)mAP(IoU為0.50)達(dá)到97.7%。其中,模型對(duì)髓部、木質(zhì)部、韌皮部和皮層細(xì)胞的分割A(yù)P(IoU為0.50)分別為98.9%、89.8%、95.7%和97.2%。對(duì)4個(gè)部位的mAP(IoU為0.50)可達(dá)95.4%,與未在Mask分支添加RoI-Align的Mask R-CNN相比,準(zhǔn)確率提升1.6個(gè)百分點(diǎn)。結(jié)果表明,Mask R-CNN框架能夠?qū)崿F(xiàn)柑橘主葉脈中的髓部、木質(zhì)部、韌皮部和皮層細(xì)胞4個(gè)組織區(qū)域的實(shí)例分割,研究結(jié)果可為生物/非生物脅迫下柑橘葉片解剖表型組學(xué)的圖像分析提供新的技術(shù)手段。