孫劉杰,劉 麗,王文舉
(上海理工大學(xué) 出版印刷與藝術(shù)設(shè)計(jì)學(xué)院,上海 200093)
數(shù) 字PCR(Digital Polymerase Chain Reaction,d PCR)是一種高靈敏度、高準(zhǔn)確性的核酸絕對(duì)定量技術(shù)[1-3]。因其無(wú)需任何校正就能實(shí)現(xiàn)對(duì)目標(biāo)核酸的絕對(duì)定量,且具有建立標(biāo)準(zhǔn)曲線的獨(dú)立性、高靈敏度和特異性等顯著優(yōu)點(diǎn)。該技術(shù)在食品安全[4-5]、基因表達(dá)[6-8]、生物標(biāo)記物發(fā)現(xiàn)[9-10]和疾病診斷等領(lǐng)域廣泛運(yùn)用。在dPCR中,快速準(zhǔn)確地識(shí)別熒光圖像中的陽(yáng)性點(diǎn)對(duì)于保證檢測(cè)的準(zhǔn)確性至關(guān)重要。
傳統(tǒng)的PCR熒光圖像分析方法主要是通過(guò)分析熒光圖像的閾值關(guān)系[11-12]、目標(biāo)形狀[13]、像素差異[14]、梯度信息等特點(diǎn)來(lái)實(shí)現(xiàn)熒光圖像分割,劉聰?shù)龋?5-16]在低濃度熒光液滴圖像識(shí)別中先后提出了廣義帕累托分布熒光微滴分類(lèi)與改進(jìn)的分水嶺分割算法的熒光微滴識(shí)別方法。后者是基于前者的改進(jìn),主要是利用直方圖均衡化和高斯濾波等預(yù)處理方法后使用局部自適應(yīng)閾值分割提取目標(biāo),降低對(duì)圖像灰度信息的依賴,最后結(jié)合熒光液滴形狀等特點(diǎn)定義微滴黏連度函數(shù),降低了分水嶺分割中的錯(cuò)誤分割比例,實(shí)現(xiàn)了熒光微滴分類(lèi),但識(shí)別率還有待提高。與閾值方法相比,機(jī)器學(xué)習(xí)通過(guò)提取尺度和梯度等特征,將已提取特征及圖像對(duì)應(yīng)標(biāo)簽輸入到如支持向量機(jī)、自適應(yīng)增強(qiáng)(Adaboost)[17]等分類(lèi)器中進(jìn)行訓(xùn)練分類(lèi),實(shí)現(xiàn)熒光圖像目標(biāo)識(shí)別。Zhao等[18]提出了基于種子的聚類(lèi)分割和K-means算法:首先利用融合雙通道的圖像得到核分割結(jié)果,接著提取三組核特征將其中五個(gè)特征經(jīng)過(guò)最小冗余最大相關(guān)選擇后用于隨機(jī)森林分類(lèi)器進(jìn)行訓(xùn)練,最后實(shí)現(xiàn)了較好的熒光圖像細(xì)胞分割;Gadea等[19]使用隨機(jī)森林分類(lèi)器將CHARM與SIFT分別提取到的神經(jīng)元熒光圖像特征進(jìn)行分類(lèi)訓(xùn)練,實(shí)現(xiàn)了高含量熒光顯微圖像神經(jīng)元較好的檢測(cè)效果,但該方法未實(shí)現(xiàn)計(jì)數(shù)功能。由上可知,熒光圖像陽(yáng)性點(diǎn)識(shí)別費(fèi)時(shí)費(fèi)力,無(wú)法完全適應(yīng)大數(shù)據(jù)下的熒光圖像分析任務(wù)。而基于深度學(xué)習(xí)的熒光圖像分析可以進(jìn)行端對(duì)端的學(xué)習(xí),實(shí)現(xiàn)大數(shù)據(jù)下的高通量dPCR熒光圖像處理與分析。近年來(lái),具有層次特征學(xué)習(xí)能力的深度學(xué)習(xí)方法在生物醫(yī)學(xué)圖像分析方面取得了重大突破。主要是通過(guò)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)模型,學(xué)習(xí)熒光圖像的魯棒性和高層次特征表示與語(yǔ)義信息等,實(shí)現(xiàn)熒光圖像細(xì)胞的識(shí)別檢測(cè)。Konfhage等[20]提出一種基于特征金字塔融合的熒光圖像中復(fù)雜真核細(xì)胞的檢測(cè),首先用ResNet訓(xùn)練細(xì)胞核特征,再與減少了層數(shù)的ResNet的Mask R-CNN[21]模型的特征金字塔連接相加融合特征,使用細(xì)胞核信息來(lái)改進(jìn)細(xì)胞檢測(cè)和分割,細(xì)胞核通道用于提高細(xì)胞檢測(cè)和質(zhì)量。
本文提出了一種多特征融合高通量d PCR熒光圖像識(shí)別方法來(lái)實(shí)現(xiàn)高通量dPCR熒光圖像陽(yáng)性點(diǎn)識(shí)別,提高熒光圖像陽(yáng)性點(diǎn)識(shí)別率。首先通過(guò)ResNet與特征金字塔提取熒光圖像特征,再通過(guò)自上而下路徑結(jié)構(gòu)與注意力機(jī)制實(shí)現(xiàn)特征再融合;接著,區(qū)域建議網(wǎng)絡(luò)RPN(Region Proposal Network)使用自適應(yīng)交并比IOU(Intersection-over-Union),計(jì)算陽(yáng)性點(diǎn)包圍框置信度,輸出陽(yáng)性點(diǎn)候選框,然后將RPN得到的候選框使用ROI Align(Region of Interest Align)重新固定尺寸后,輸入至全連接層和全卷積層得到陽(yáng)性點(diǎn)識(shí)別結(jié)果。從實(shí)驗(yàn)結(jié)果可知,本方法具有識(shí)別率高、可靠性強(qiáng)等特點(diǎn),在一定程度上使用有限的標(biāo)記數(shù)據(jù)就能實(shí)現(xiàn)對(duì)高通量d PCR熒光圖像陽(yáng)性點(diǎn)識(shí)別,識(shí)別效果較佳且時(shí)間較短。
本文研究對(duì)象為高通量d PCR基因芯片,在激發(fā)過(guò)程中使用窄帶LED作為激發(fā)光源,經(jīng)過(guò)二向色鏡組的激發(fā)濾光片得到熒光激發(fā)波段的激發(fā)光,并使用準(zhǔn)直透鏡使LED光盡量均勻照射在基因芯片上。激發(fā)光經(jīng)過(guò)二向色鏡進(jìn)入熒光顯微物鏡照射在基因芯片上,熒光染料吸收能量后產(chǎn)生熒光,最后通過(guò)成像適配物鏡將熒光信息在CCD相機(jī)上成像。在成像物鏡與CCD之間放入一塊45°轉(zhuǎn)向反射鏡,在多次拍攝成像過(guò)程中,通過(guò)電控裝置控制基因芯片水平位移臺(tái),順序移動(dòng)基因芯片,獲取完整熒光圖像并進(jìn)行拼接[22],成像原理如圖1所示。
圖1 高通量dPCR熒光圖像成像原理Fig.1 Principle of high-throughput dPCR fluorescence imaging
本文所提出的多特征融合高通量dPCR熒光圖像識(shí)別方法(HDFINet)如圖2所示。第一部分為特征融合,ResNet網(wǎng)絡(luò)提取熒光圖像特征經(jīng)過(guò)金字塔進(jìn)行第一次特征融合,經(jīng)由引入的自上而下的融合路徑,實(shí)現(xiàn)熒光圖像下層特征更有效提取,被上層特征所利用;同時(shí),在自上而下結(jié)構(gòu)中,引入注意力機(jī)制來(lái)分配熒光圖像通道與空間權(quán)重,使特征映射能夠更好地響應(yīng)熒光圖像特征。第二部分的RPN主要實(shí)現(xiàn)陽(yáng)性點(diǎn)目標(biāo)搜尋,為更好搜尋目標(biāo)位置,使用自適應(yīng)IOU來(lái)減少丟失熒光圖像陽(yáng)性點(diǎn)信息的可能性。第三部分為識(shí)別部分,ROI Align將熒光圖像候選區(qū)域中陽(yáng)性點(diǎn)特征重新固定尺寸后,輸入至全連接層和全卷積層,進(jìn)行類(lèi)別與回歸框回歸,輸出陽(yáng)性點(diǎn)識(shí)別結(jié)果,并以不同顏色掩碼表示每個(gè)陽(yáng)性點(diǎn)所包含的像素區(qū)域。
圖2 多特征融合高通量dPCR熒光圖像識(shí)別Fig.2 Multi-feature fusion high-throughput dPCR fluorescence image recognition
ResNet殘差網(wǎng)絡(luò)常用于提取特征,在深度神經(jīng)網(wǎng)絡(luò)中,下層特征通過(guò)幾十個(gè)網(wǎng)絡(luò)層到達(dá)頂層。經(jīng)過(guò)許多層后,網(wǎng)絡(luò)感受野擴(kuò)大,細(xì)節(jié)信息保留較少,即高通量dPCR熒光圖像陽(yáng)性點(diǎn)較為低級(jí)別的信息丟失,如對(duì)比度與亮度和陰性點(diǎn)相差不大的陽(yáng)性點(diǎn),通過(guò)對(duì)下層特征的低級(jí)別信息特征進(jìn)行重提取融合,可有效將陰性點(diǎn)與陽(yáng)性點(diǎn)區(qū)分開(kāi)。常見(jiàn)的結(jié)構(gòu)即為ResNet與特征金字塔(Feature Pyramid Networks,F(xiàn)PN)結(jié)構(gòu),本文為將熒光圖像下層特征層信息融入至上層特征層中,在FPN中引入自上而下的特征融合路徑,通過(guò)注意力機(jī)制對(duì)熒光圖像融合后特征進(jìn)行權(quán)重分配,使特征層更好地響應(yīng)熒光圖像特征。
3.1.1 自上而下路徑結(jié)構(gòu)
本文使用ResNet來(lái)獲得五個(gè)特征級(jí)別的特征層Ci(i=1、2、3、4、5),殘差網(wǎng)絡(luò)獲得的熒光圖像特征經(jīng)自下而上特征融合后得到新的特征層,即Pi(i=2、3、4、5),計(jì)算過(guò)程見(jiàn)公式(1):
其中Up代表大小為2的上采樣,Conv代表卷積核大小為1×1卷積。
通過(guò)引入自上而下的特征融合結(jié)構(gòu),利用來(lái)自較低層的精確定位信號(hào)來(lái)縮短信息路徑并增強(qiáng)特征金字塔,如圖3中藍(lán)色框所示。
圖3 自上而下路徑結(jié)構(gòu)Fig.3 Up-bottom path structure
自上而下的特征融合路徑從P2到P5通過(guò)卷積塊后經(jīng)注意力機(jī)制模塊得到每個(gè)特征級(jí)別Ni(i=2、3、4、5),得到的特征映射大小與相應(yīng)級(jí)別Pi(i=2、3、4、5)的大小相同,N6為N5通過(guò)最大池化后經(jīng)注意力機(jī)制模塊所得,具體計(jì)算見(jiàn)公式(2):
其中ο代表注意力模塊,Conv1代表卷積核大小為1×1卷積。Conv2代表卷積核大小為3×3卷積。
3.1.2 注意力機(jī)制模塊(Attention module,AM)
注意力機(jī)制廣泛應(yīng)用于在圖像分類(lèi)[23]、姿態(tài)估計(jì)[24]與圖像字幕[25]等領(lǐng)域,使網(wǎng)絡(luò)更關(guān)注圖像中的重要信息。熒光圖像中陽(yáng)性點(diǎn)目標(biāo)小而密集,易導(dǎo)致陽(yáng)性點(diǎn)誤識(shí)別以及未識(shí)別,因此在自上而下的特征融合路徑中引入通道與空間注意力機(jī)制[26],通道注意力的作用是增大有效通道權(quán)重,抑制無(wú)效通道權(quán)重,空間注意力在空間上對(duì)特征圖不同位置分配不同權(quán)重,增強(qiáng)特征表達(dá)能力。
特征圖F∈RC*H*W通過(guò)通道注意力產(chǎn)生通道權(quán)重MC∈RC*1*1,通道權(quán)重與特征圖F逐元素相乘,得到新特征圖,由于通道注意力得到的是特征圖的全局信息,為了避免特征圖中局部信息損失,本文將新特征圖與特征圖F求和,得到保留局部信息的特征圖F',特征圖F'經(jīng)過(guò)空間注意力得到空間權(quán)重MS∈R1*H*W,特征圖F與空間權(quán)重逐元素相乘,得到特征圖F'',增強(qiáng)熒光圖像特征表達(dá),如圖4所示,?表示逐元素相乘,GAP表示全局平均池化(Global Average Pooling),MLP表示多層感知機(jī)(Multilayer Perceptron)。注意力模塊計(jì)算見(jiàn)公式(3),通道注意力計(jì)算見(jiàn)公式(4),空間注意力計(jì)算見(jiàn)公式(5),σ表示softmax。
圖4 注意力模塊Fig.4 Attention module
如圖2中RPN部分所示,RPN的主要目的是搜尋熒光圖像陽(yáng)性點(diǎn),通過(guò)交并比IOU的置信度分?jǐn)?shù)大小,判斷陽(yáng)性點(diǎn)候選框與陽(yáng)性點(diǎn)邊界框重合度,IOU值越大說(shuō)明陽(yáng)性點(diǎn)候選框與陽(yáng)性點(diǎn)邊界框重合度越高,識(shí)別分割結(jié)果越精確;但在訓(xùn)練過(guò)程中偏大候選框易因IOU值稍微偏小被忽略,對(duì)于高通量d PCR熒光圖像陽(yáng)性點(diǎn)識(shí)別,偏大陽(yáng)性點(diǎn)候選框能更好地包含被識(shí)別陽(yáng)性點(diǎn)。為了解決部分候選框過(guò)小而導(dǎo)致陽(yáng)性點(diǎn)信息丟失的可能性問(wèn)題,在RPN中引入懲罰系數(shù)λ重新設(shè)定IOU的大小。首先,對(duì)于高通量dPCR熒光圖像陽(yáng)性點(diǎn)識(shí)別,本文更希望候選框能夠涵蓋陽(yáng)性點(diǎn)識(shí)別區(qū)域,本文將候選框相對(duì)大小在原候選框相對(duì)大小基礎(chǔ)上擴(kuò)大5%左右;擴(kuò)大的新候選框盡可能將陽(yáng)性點(diǎn)信息全面保留,從而減少陽(yáng)性點(diǎn)丟失信息的可能性。此外,本文在傳統(tǒng)的IOU標(biāo)準(zhǔn)定義中引入懲罰系數(shù)λ來(lái)重新定義IOU,傳統(tǒng)的IOU標(biāo)準(zhǔn)定義為:
式(6)中S1為候選框,S2為真實(shí)值,對(duì)于區(qū)域S2-S1∩S2即未包含的陽(yáng)性點(diǎn)區(qū)域懲罰力度和S1-S1∩S2的懲罰力度一樣。當(dāng)λ=0時(shí),式(6)與式(7)相同,IOUnew計(jì)算公式定義為:
本文中λ=0.3,自適應(yīng)IOU后的RPN層使得包含更多陽(yáng)性點(diǎn)信息的候選框被保留。
RPN部分將搜尋到的熒光圖像陽(yáng)性點(diǎn)候選框經(jīng)過(guò)置信度排序篩選后輸入進(jìn)ROI Align,ROI Align將熒光圖像候選區(qū)域中陽(yáng)性點(diǎn)特征重新固定尺寸后,輸入至全連接層和全卷積層。這個(gè)過(guò)程分兩步同時(shí)進(jìn)行,第一個(gè)分支由一個(gè)256通道卷積層和兩個(gè)1 024維全連接層組成,卷積核大小為7×7。一個(gè)全連接層用于熒光圖像陽(yáng)性點(diǎn)邊界框回歸,對(duì)陽(yáng)性點(diǎn)進(jìn)行定位,另一個(gè)全連接層對(duì)陽(yáng)性點(diǎn)進(jìn)行概率估計(jì),判斷目標(biāo)是否屬于陽(yáng)性點(diǎn)進(jìn)行分類(lèi)預(yù)測(cè)。第二個(gè)分支由6個(gè)卷積層、一個(gè)2×2反卷積層和一個(gè)上采樣層構(gòu)成,前5個(gè)為256通道卷積層,卷積核大小為14×14,經(jīng)過(guò)反卷積和上采樣后得到一個(gè)28×28大小特征圖。經(jīng)過(guò)卷積和sigmoid函數(shù)進(jìn)行輸出,通過(guò)設(shè)定置信度閾值為0.5得到熒光圖像陽(yáng)性點(diǎn)分割掩碼。最后將熒光圖像陽(yáng)性點(diǎn)識(shí)別結(jié)果輸出。具體過(guò)程如圖5所示:
圖5 熒光圖像陽(yáng)性點(diǎn)識(shí)別Fig.5 Recognition of positive points in fluorescence images
本文使用已標(biāo)注熒光圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。GROIE[27]克服現(xiàn)有ROI(感興趣區(qū)域)提取的局限性,即從FPN中只選擇一個(gè)(最佳)層。提出FPN的所有層都保留有用的信息,引入非局部構(gòu)建塊和注意機(jī)制來(lái)改進(jìn)Mask R-CNN,并在檢測(cè)識(shí)別實(shí)驗(yàn)中取得良好結(jié)果,本文在熒光圖像數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),并將實(shí)驗(yàn)結(jié)果與本文提出的HDFINet進(jìn)行了比較。VarifocalNet(VFNet)[28]引入IOU感知分類(lèi)分?jǐn)?shù)與變焦損失對(duì)大量候選框進(jìn)行精確排序,提升密集物體識(shí)別性能;本文中的熒光圖像陽(yáng)性點(diǎn)分布密集,因此本文在VF-Net中驗(yàn)證了熒光圖像的識(shí)別效果。YOLOv4[29]是 一個(gè)高效、強(qiáng)大的單階段檢測(cè) 模型。為了比較,本文在熒光圖像數(shù)據(jù)集上驗(yàn)證了YOLOv4的效果。此外,本文進(jìn)行了消融研究,選擇Mask R-CNN作為消融研究的基線,以驗(yàn)證所提出的注意力機(jī)制和自上而下路徑結(jié)構(gòu)的有效性。實(shí)驗(yàn)結(jié)果表明,本文提出的方法性能優(yōu)于Mask R-CNN、GROIE、VF-Net、YOLOv4。
為驗(yàn)證文中提出的高通量d PCR熒光圖像陽(yáng)性點(diǎn)識(shí)別網(wǎng)絡(luò)有效性,使用CCD相機(jī)拍攝高通量dPCR熒光圖像,仿真實(shí)驗(yàn)平臺(tái)為Python3.7,所使用計(jì)算機(jī)和配置環(huán)境的硬件參數(shù)為處理器Inter(R)Core(TM)i7-10700K。顯卡芯片NVIDIA GeForce RTX 2070 SUPER,顯卡芯片內(nèi)存8 G。
本文根據(jù)高通量dPCR熒光圖像陽(yáng)性點(diǎn)的形狀與亮度特征,使用霍夫圓檢測(cè)并通過(guò)標(biāo)注者二次篩選實(shí)現(xiàn)熒光圖像陽(yáng)性點(diǎn)的半自動(dòng)標(biāo)注,將標(biāo)注好的圖像轉(zhuǎn)換為COCO注釋格式。在本文實(shí)驗(yàn)中,選擇并使用已標(biāo)注高通量d PCR熒光圖像數(shù)據(jù)集的6 500幅圖像,從數(shù)據(jù)集中隨機(jī)選擇6 000幅圖像作為訓(xùn)練圖像,500幅圖像作為測(cè)試圖像,測(cè)試圖像中共79 119個(gè)陽(yáng)性點(diǎn)。
本文用公式(8)、(9)、(10)作為評(píng)估標(biāo)準(zhǔn)。TPR(True Positive Rate)表示真陽(yáng)性率,PPV(Positive Preditive Value)表示陽(yáng)性預(yù)測(cè)值,TP(True Positive)表示正確識(shí)別的陽(yáng)性點(diǎn)個(gè)數(shù),F(xiàn)P(False Positive)表示誤識(shí)別為陽(yáng)性點(diǎn)的個(gè)數(shù),F(xiàn)N(False Negative)表示未被識(shí)別的陽(yáng)性點(diǎn)個(gè)數(shù)。為全面評(píng)估模型,引入綜合指標(biāo)F1[30]對(duì)TPR和PPV進(jìn)行綜合評(píng)價(jià),用來(lái)衡量模型優(yōu)劣,F(xiàn)1的值越大,說(shuō)明模型識(shí)別能力越好。本文使用F1來(lái)評(píng)估結(jié)果。
4.4.1 消融實(shí)驗(yàn)
本文選擇Mask R-CNN作為消融研究的基線。為了公平比較,所有實(shí)驗(yàn)數(shù)據(jù)和參數(shù)設(shè)置保持不變。Mask R-CNN with B表示加入自上而下結(jié)構(gòu),Mask R-CNN with AM表示加入注意力機(jī)制。如表1消融實(shí)驗(yàn)結(jié)果所示,在Mask RCNN中加入自上而下的結(jié)構(gòu)后,模型指標(biāo)F1提高了0.52%。通過(guò)增加了自上而下的結(jié)構(gòu),縮短了信息路徑,并通過(guò)來(lái)自較低級(jí)別的精確定位信號(hào)增強(qiáng)了特征金字塔。
表1 消融實(shí)驗(yàn)結(jié)果Tab.1 Results of ablation experiment
在Mask R-CNN中隨著對(duì)FPN結(jié)構(gòu)增加通道與空間方向上注意力機(jī)制后,模型指標(biāo)F1提高了0.59%。主要是通道注意力與空間注意力產(chǎn)生具有不同權(quán)重的熒光圖像注意力圖,增強(qiáng)熒光圖像陽(yáng)性點(diǎn)處特征,并減輕熒光圖像背景影響。
此外,通過(guò)對(duì)自上而下的結(jié)構(gòu)增加注意力機(jī)制,即HDFINet,模型指標(biāo)F1提高了0.75%。消融實(shí)驗(yàn)說(shuō)明:引入自上而下結(jié)構(gòu)與注意力機(jī)制能有效提高網(wǎng)絡(luò)的綜合指標(biāo)。圖6是消融實(shí)驗(yàn)結(jié)果圖,顏色表示某一顏色區(qū)域的像素都屬于某一陽(yáng)性點(diǎn),所有陽(yáng)性點(diǎn)顏色都使用不一樣偽彩色掩碼表示。從圖6可知,引入自上而下結(jié)構(gòu)與注意力機(jī)制后的網(wǎng)絡(luò)已經(jīng)全部識(shí)別出陽(yáng)性點(diǎn),而只引入其中一種或不引入,都存在未識(shí)別出來(lái)的陽(yáng)性點(diǎn)或誤識(shí)別,圖中以紅框框出。
圖6 消融實(shí)驗(yàn)結(jié)果圖Fig.6 Ablation experiment results
4.4.2 對(duì)比實(shí)驗(yàn)
在本節(jié)中,本文將提出的方法HDFINet與Mask R-CNN、GROIE、VF-Net和YOLOv4四種方法進(jìn)行了比較。表2顯示了不同方法下識(shí)別結(jié)果的比較,圖7為不同方法下的識(shí)別效果圖,圖中用紅色方框?qū)⑽醋R(shí)別以及誤識(shí)別的部位框出。
表2 不同方法識(shí)別結(jié)果Tab.2 Recognition result of different methods
圖7 不同方法實(shí)驗(yàn)結(jié)果圖Fig.7 Experimental results of different methods
GROIE認(rèn)為FPN的所有層都保留有用的信息,并引入了非局部構(gòu)建塊和注意機(jī)制,然后使用改進(jìn)的Mask R-CNN網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行識(shí)別。GROIE對(duì)熒光圖像陽(yáng)性點(diǎn)的F1指標(biāo)值比本文方法低2.24%,GROIE將FPN所有層的熒光圖像特征信息聚合,引入了非必要的背景和無(wú)關(guān)信息,引起ROI提取效果不佳。VF-Net在COCO數(shù)據(jù)集上實(shí)現(xiàn)了更強(qiáng)的檢測(cè)性能,但在熒光圖像數(shù)據(jù)集上效果不佳,基于無(wú)錨的密集檢測(cè)器對(duì)于熒光圖像數(shù)據(jù)集中小而密集的陽(yáng)性點(diǎn)搜尋結(jié)果較差,F(xiàn)1指標(biāo)值比本文方法低5.26%。YOLOv4為了提升準(zhǔn)確度,加深了網(wǎng)絡(luò)深度,獲得更大的感受野,同時(shí)引入注意力機(jī)制通過(guò)路徑聚合重組特征信息,網(wǎng)絡(luò)層數(shù)加深以及感受野的擴(kuò)大使熒光圖像保留的細(xì)節(jié)信息變少,且熒光圖像中的陽(yáng)性點(diǎn)目標(biāo)小而密集,使得在識(shí)別階段的效果較差且誤檢較高,F(xiàn)1指標(biāo)值比本文方法低2.49%。本文提出的HDFINet網(wǎng)絡(luò)與Mask RCNN相比,F(xiàn)1指標(biāo)值提高0.75%。
本文在基于高通量dPCR熒光圖像陽(yáng)性點(diǎn)特征基礎(chǔ)上,設(shè)計(jì)了多級(jí)特征融合結(jié)構(gòu),通過(guò)在Mask R-CNN中添加注意力機(jī)制和自上而下的結(jié)構(gòu)來(lái)構(gòu)建;添加注意力機(jī)制和自上而下的結(jié)構(gòu)增強(qiáng)了熒光圖像較為低級(jí)結(jié)構(gòu)信息從下層到頂層的傳播,并提出了一種具有較高識(shí)別率的多特征融合高通量d PCR熒光圖像識(shí)別方法(HDFINet)。實(shí)驗(yàn)結(jié)果表明,與基線模型Mask R-CNN相比,有效提高了高通量dPCR熒光圖像陽(yáng)性點(diǎn)識(shí)別率,綜合指標(biāo)F1提高了0.75%。與YOLOv4、VF-Net、GROIE相比,本文方法綜合指標(biāo)F1最高。說(shuō)明本文方法對(duì)高通量熒光圖像的有效性和先進(jìn)性。對(duì)其他熒光圖像分析也具有一定研究參考價(jià)值。