張雪芹,余麗君
(華東理工大學(xué) 信息科學(xué)與工程學(xué)院,上海 200237)
目前,植物物種的分類主要依靠植物專業(yè)領(lǐng)域?qū)<业娜斯づ袆e,導(dǎo)致基于圖像的植物識(shí)別任務(wù)工作量很大而且效率不高。在深度學(xué)習(xí)算法在圖像領(lǐng)域的興起之后,基于計(jì)算機(jī)視覺的自動(dòng)分類得到了很大的發(fā)展。Zhang等[1]采用自底向上的區(qū)域生成法產(chǎn)生待檢測(cè)鳥類目標(biāo)局部可能的候選框,結(jié)合候選區(qū)域之間的幾何約束,基于R-CNN訓(xùn)練3個(gè)檢測(cè)模型分別提取局部特征,采用將3個(gè)模型的全連接層特征級(jí)聯(lián),形成整張圖像的細(xì)粒度特征用于分類。Lin等[2]提出了深度位置對(duì)齊模型對(duì)鳥類目標(biāo)進(jìn)行部件定位、對(duì)齊和分類,提出了閥門連接函數(shù)自適應(yīng)地減小分類和對(duì)齊的誤差。馮等[3]針對(duì)汽車和飛行器采用了基于注意圖分割的分類模型,先用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行預(yù)分類,然后生成注意圖,利用注意圖分割出關(guān)鍵的目標(biāo)區(qū)域,通過對(duì)分割圖提取CNN特征,再進(jìn)行細(xì)粒度分類。Xiao等[4]基于鳥類目標(biāo)構(gòu)建一個(gè)兩級(jí)模型,第一級(jí)模型采用CNN來篩選主要目標(biāo),實(shí)現(xiàn)去噪,第二級(jí)模型利用上一級(jí)模型輸出的去噪后的數(shù)據(jù),重新訓(xùn)練模型,來提取特征進(jìn)行聚類分析和SVM分類。Peng等[5]基于鳥類、汽車和貓狗寵物3種數(shù)據(jù)集,改進(jìn)了兩級(jí)注意力模型分別用于定位物體在圖像中的位置和學(xué)習(xí)局部特征,再利用了空間約束模型用于強(qiáng)調(diào)局部之間的約束。
上述方法主要都是通過采用某些方法確定圖像中關(guān)鍵判定性區(qū)域,去除背景干擾,再執(zhí)行分類任務(wù)。但是這些方法在關(guān)鍵判定性區(qū)域的選擇上,沒有考慮到圖像中目標(biāo)高階語義的重要性,在篩選關(guān)鍵判定性區(qū)域時(shí)存在著較大的目標(biāo)定位的不準(zhǔn)確性和冗余,從而對(duì)后續(xù)特征提取和分類造成疊加誤差,造成分類精度不夠高。目前,基于語義分割的植物花型細(xì)粒度分類上研究還不多,本文將基于DeepLab的方法實(shí)現(xiàn)植物圖像像素級(jí)語義分割,找到圖像中具有判別意義的關(guān)鍵區(qū)域,同時(shí)結(jié)合全局域,采用CNN模型提取語義特征,采用softmax分類器進(jìn)行分類,提高細(xì)粒度分類的精度。
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)已被用于很多圖像分類識(shí)別任務(wù)中[6,7]。典型的CNN模型如圖1所示。AlexNet由卷積層、池化層、全連接層、分類器和ReLU非線性單元構(gòu)成[8]。GoogLeNet是改進(jìn)的網(wǎng)絡(luò)模型,加入的inception模塊可以有效地提取更多特征來提升訓(xùn)練結(jié)果[9]。原始圖像數(shù)據(jù)集經(jīng)輸入層送入網(wǎng)絡(luò),神經(jīng)元自動(dòng)提取圖像的局部和全局特征,由全連接層連接所有的特征得到CNN提取的該圖像的特征表示,將輸出值訓(xùn)練分類器,比如一般常用的softmax分類器等。
圖1 AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)
CNN具有局部感受野、權(quán)值共享和下采樣3種結(jié)構(gòu)特征。通過這些特征來保證輸入信號(hào)目標(biāo)在一定程度上的平移、放縮和扭曲后的不變性?;诰植扛惺芤昂蜋?quán)值共享,在減少權(quán)值矩陣的同時(shí)保證網(wǎng)絡(luò)的學(xué)習(xí)能力不受影響,下采樣提高了模型逐層學(xué)習(xí)全局特征得到高階語義的能力。
1.1.1 前向傳播階段
前向傳播用于迭代更新網(wǎng)絡(luò)的參數(shù),在前向傳播中,特征的運(yùn)算公式為
(1)
其中,y(l)表示第l層的輸出,x(i)是上一層的輸出作為這一層的輸入向量,?表示卷積運(yùn)算,bl是偏置,Wi表示該層包含的卷積核的權(quán)值,m表示輸入特征圖的集合,f(x) 表示非線性激活函數(shù),通常用的是Sigmoid、Tanh和ReLU,以及最新的一些PReLU、Maxout等。
1.1.2 反向傳播階段
在m個(gè)樣本參與的前向傳播過程后,會(huì)輸出對(duì)應(yīng)的每個(gè)類別的預(yù)測(cè)結(jié)果,根據(jù)樣本的標(biāo)簽,即網(wǎng)絡(luò)的期望輸出定義網(wǎng)絡(luò)的優(yōu)化目標(biāo)為
(2)
其中,L(zi) 是定義的網(wǎng)絡(luò)的損失函數(shù),網(wǎng)絡(luò)通過迭代訓(xùn)練最小化損失函數(shù)來降低網(wǎng)絡(luò)的分類誤差,zi是網(wǎng)絡(luò)反向傳播的輸入,在式(1)中的最后一層網(wǎng)絡(luò)的輸出,W表示網(wǎng)絡(luò)的權(quán)值,λ表示對(duì)應(yīng)的歸一項(xiàng)所占的比重。通常網(wǎng)絡(luò)的損失函數(shù)要根據(jù)具體的目標(biāo)函數(shù)來定,在多分類任務(wù)中通常采用Softmax分類器的輸出來最小化交叉熵?fù)p失函數(shù)。Softmax的歸一化后的概率函數(shù)如下
zi=zi-max(z1,z2,…,zm)
(3)
(4)
其中,zi是網(wǎng)絡(luò)對(duì)樣本的預(yù)測(cè)類別,減去最大值來保持計(jì)算的穩(wěn)定性,由于網(wǎng)絡(luò)最后的歸一化所以此操作不會(huì)造成影響,根據(jù)σi(z) 來預(yù)測(cè)zi屬于每個(gè)類別的概率。
定義交叉熵?fù)p失函數(shù)為
L(zi)=-logσi(z)
(5)
利用隨機(jī)梯度下降法來對(duì)式(1)中每一層的參數(shù)W和bl求導(dǎo),更新網(wǎng)絡(luò)的參數(shù)。
語義圖像分割旨在為圖像中的每個(gè)像素生成分類標(biāo)簽。卷積神經(jīng)網(wǎng)絡(luò)雖然在提取局部特征和利用小感受野進(jìn)行良好預(yù)測(cè)方面取得了良好的效果,但它們?nèi)狈萌稚舷挛男畔⒌哪芰?,無法直接建模預(yù)測(cè)之間的相互作用。DeepLab采用全卷積網(wǎng)絡(luò)(fully convolutional networks,F(xiàn)CN)改進(jìn)了標(biāo)準(zhǔn)的卷積操作,利用空洞卷積擴(kuò)展感受野,獲得更多上下文信息,利用完全連接的條件隨機(jī)場(chǎng)優(yōu)化分割邊緣,提高了模型捕獲細(xì)節(jié)的能力[10,11]。
1.2.1 全卷積網(wǎng)絡(luò)
FCN是在CNN的基礎(chǔ)上改進(jìn)得到的,可以實(shí)現(xiàn)對(duì)圖像進(jìn)行像素級(jí)別的分割。它將卷積神經(jīng)網(wǎng)絡(luò)中的全連接層全部換成卷積層,利用反卷積操作對(duì)最后一個(gè)卷積層得到的特征圖進(jìn)行上采樣,最終得到一個(gè)與原圖大小相同的像素級(jí)預(yù)測(cè)。FCN避免了CNN重復(fù)進(jìn)行的池化和下采樣操作導(dǎo)致的特征圖分辨率下降,保留了原始輸入圖像的空間信息。它通過對(duì)上采樣的特征圖進(jìn)行逐像素分類,計(jì)算softmax分類損失,最終獲得像素級(jí)別的分割結(jié)果。
1.2.2 空洞卷積(atrous convolution)
由于圖像分割預(yù)測(cè)是像素級(jí)的輸出,因此FCN中有兩個(gè)關(guān)鍵,一個(gè)是池化減小特征尺寸增大感受野,另一個(gè)是上采樣擴(kuò)大特征尺寸。在先減小再增大尺寸的過程中,造成了空間信息損失。為了解決下采樣帶來的空間信息損失問題,DeepLab采用空洞卷積對(duì)卷積操作進(jìn)行改進(jìn)。
不同于反卷積,空洞卷積不通過上采樣擴(kuò)大特征分辨率,而是通過改變卷積核增大感受野。在空洞卷積中有個(gè)重要的參數(shù)rate,這個(gè)參數(shù)代表了空洞的大小。從原圖角度,所謂空洞就是在原圖上做采樣。采樣的頻率是根據(jù)rate參數(shù)來設(shè)置的,當(dāng)rate為1時(shí)候,就是原圖不丟失任何信息采樣,如圖2(a)所示,此時(shí)卷積操作就是標(biāo)準(zhǔn)的卷積操作,當(dāng)rate>1,比如2的時(shí)候,就是在原圖上每隔(rate-1)個(gè)像素采樣,如圖2(b)所示。采樣后的圖像與kernel做卷積,就變相增大了感受野。如果從kernel角度去看空洞,就是擴(kuò)大kernel的尺寸,在kernel中,相鄰點(diǎn)之間插入rate-1個(gè)零,然后將擴(kuò)大的kernel和原圖做卷積,同樣是增大了感受野。
圖2 空洞卷積
1.2.3 全連接條件隨機(jī)場(chǎng)
條件隨機(jī)場(chǎng)(conditional random field,CRF)方法通常在用于改進(jìn)語義分割效果。CRF方法是一種基于底層圖像像素強(qiáng)度進(jìn)行“平滑”分割的圖模型,在運(yùn)行時(shí)會(huì)將像素強(qiáng)度相似的點(diǎn)標(biāo)記為同一類別。DeepLab中CRF模型采用能量函數(shù)
E(x)=∑iφ(xi)+∑i (6) 其中,變量xi是像素i的標(biāo)簽 φ(xi)=-logP(xi) (7) P(xi) 是由CNN計(jì)算的像素i的輸出標(biāo)簽的分配概率 (8) 滿足 (9) km(fi,fj) 是 (fi,fj) 之間的高斯核,fi像素i的特征向量,由參數(shù)ωm加權(quán)。DeepLab中高斯核采用雙邊位置和顏色作為參考項(xiàng) (10) 其中,前一個(gè)內(nèi)核考慮像素位置p和顏色I(xiàn),后一個(gè)內(nèi)核只取決于像素位置。超參數(shù)σα,σβ,σγ表示高斯核的尺度。二元?jiǎng)莺瘮?shù)表征像素與像素之間的關(guān)系,對(duì)相似的像素,分配的標(biāo)簽也更有可能分配相同的標(biāo)簽,這樣可以細(xì)化邊緣。 本文提出的基于DL-CNN的細(xì)粒度分類方法包括3個(gè)部分: (1)判別關(guān)鍵域生成。通過DeepLab對(duì)植物圖像進(jìn)行像素級(jí)分割,得到圖像中待檢測(cè)植物圖像目標(biāo)及其輪廓區(qū)域,作為待測(cè)目標(biāo)的判別關(guān)鍵域; (2)構(gòu)建訓(xùn)練數(shù)據(jù)集。受限于算法的性能,對(duì)植物圖像進(jìn)行語義分割后,生成的判別關(guān)鍵域不可避免的存在過分割、不連通和不完整等情況。為了減少分割誤差對(duì)后續(xù)分類模型的影響,把由判別關(guān)鍵域圖像與原始圖像混合,構(gòu)成既包含局部信息又包含有全局信息的訓(xùn)練集; (3)基于遷移學(xué)習(xí)訓(xùn)練基于GoogLeNet的分類模型。對(duì)于深度神經(jīng)網(wǎng)絡(luò),采用較小的數(shù)據(jù)集學(xué)習(xí)所有參數(shù)會(huì)導(dǎo)致模型過擬合和梯度彌散問題,本文在ImageNet的基礎(chǔ)上,采用遷移學(xué)習(xí)方式,利用構(gòu)建的混合數(shù)據(jù)集,訓(xùn)練GoogLeNet分類模型。 訓(xùn)練語義分割模型的主要流程如圖3所示,訓(xùn)練分類模型的主要流程如圖4所示。 圖3 DeepLab分割模型訓(xùn)練過程 圖4 CNN分類模型訓(xùn)練過程 算法的主要步驟描述如下: 步驟1 整理分割數(shù)據(jù),將對(duì)應(yīng)的標(biāo)注信息作為標(biāo)簽; 步驟2 輸入植物圖像及其對(duì)應(yīng)的分割標(biāo)注信息,利用多層空洞卷積和池化方法提取每張圖像的得分圖; 步驟3 對(duì)得分圖上采樣得到與原圖尺寸相同的圖像像素分類結(jié)果; 步驟4 使用全連接CRF利用底層細(xì)節(jié)信息對(duì)分割圖進(jìn)行優(yōu)化; 步驟5 輸入驗(yàn)證圖像,對(duì)DeepLab模型參數(shù)進(jìn)行優(yōu)化,得到最優(yōu)分割模型; 步驟6 利用DeepLab模型得到一對(duì)一映射的分割處理結(jié)果圖; 步驟7 對(duì)照分割處理結(jié)果圖,處理原始圖像得到的圖像判別關(guān)鍵域; 步驟8 將圖像判別關(guān)鍵域與原始數(shù)據(jù)集混合,得到新的分類訓(xùn)練數(shù)據(jù)集; 步驟9 基于GoogLeNet訓(xùn)練得到分類模型; 步驟10 輸入測(cè)試圖像,統(tǒng)計(jì)模型分類top-1的準(zhǔn)確度。 本文實(shí)驗(yàn)中采用的分割數(shù)據(jù)集來源于從百度爬蟲的植物圖片和Oxford 17中隨機(jī)挑選的圖片,總共1273張,記為MyData數(shù)據(jù)集。通過手工分割標(biāo)注,得到1273張標(biāo)注圖。將MyData拆分為訓(xùn)練集600張,驗(yàn)證集423張,測(cè)試集250張。分類數(shù)據(jù)集采用牛津大學(xué)公開植物圖像數(shù)據(jù)集Oxford 17和Oxford 102,Oxford 17共有17類植物,每個(gè)類別各有80張圖片,總1360張圖片數(shù)據(jù)集。Oxford 102中有102類植物圖像,每個(gè)類別分別包含40張~258張圖片,總共8189張圖片。分類訓(xùn)練過程中,訓(xùn)練集與驗(yàn)證集圖片數(shù)量比例采用3∶1。所有圖片均經(jīng)過重新處理為256*256尺寸大小。 本文實(shí)驗(yàn)的分割和分類訓(xùn)練過程均在基于GPU的并行計(jì)算條件下進(jìn)行。操作系統(tǒng)為Ubuntu16.04,運(yùn)行內(nèi)存8 G,GeForce1060,顯存6 G,CUDA 8.0,cudnn 5.0,caffe。 (1)圖像分割指標(biāo) 像素精度PA(pixel accuracy) (11) 假設(shè)共有k+1類(背景算一類),Pij表示本屬于類i但被預(yù)測(cè)為類j的像素?cái)?shù)量,Pji表示本屬于類j但被預(yù)測(cè)為類i的像素?cái)?shù)量,Pii表示被正確預(yù)測(cè)的數(shù)量。 均像素精度MPA(mean pixel accuracy) (12) 均交并比MIoU(mean intersection over union) (13) (2)圖像分類指標(biāo) top-N正確率是指圖像識(shí)別算法給出前N個(gè)答案中有一個(gè)是正確的概率。本文選取top-1作為此次分類任務(wù)的評(píng)價(jià)指標(biāo)。 3.3.1 實(shí)驗(yàn)一 本實(shí)驗(yàn)的目的是尋找分割模型的最優(yōu)參數(shù)。實(shí)驗(yàn)采用MyData數(shù)據(jù)集,實(shí)驗(yàn)對(duì)DeepLab分割模型中最重要的兩個(gè)參數(shù)batch_size和weight_decay進(jìn)行調(diào)優(yōu)。其余參數(shù)采用默認(rèn)值(Base_lr為0.001,Lr_policy為poly, power=0.9)。 實(shí)驗(yàn)首先固定weight_decay為0.0005,尋找batch_size的最優(yōu)參數(shù),實(shí)驗(yàn)結(jié)果如表1所示可以看出,當(dāng)batch_size為8時(shí)分割指標(biāo)最好。其次,固定batch_size為8,尋找weight_decay的最優(yōu)參數(shù),實(shí)驗(yàn)結(jié)果見表2。 表1 不同batch_size下的分割指標(biāo) 表2 batch size固定,不同weight_decay下的分割指標(biāo) 可見,當(dāng)batch_size為8,weight_decay為0.0005時(shí)達(dá)到了PA為0.98、MPA為0.98、MIoU為 0.96,達(dá)到最優(yōu)的分割準(zhǔn)確率。 3.3.2 實(shí)驗(yàn)二 本實(shí)驗(yàn)用于驗(yàn)證文中所基于DL-CNN的細(xì)粒度方法的有效性。實(shí)驗(yàn)將比較判別域構(gòu)成的5種方式,以及兩種分類模型。 5種判別域構(gòu)建方法: (1)oriData:采用原始圖像作為全局判別域; (2)segData:根據(jù)分割圖,對(duì)相應(yīng)的原始圖像做一對(duì)一像素級(jí)映射,得到只保留前景目標(biāo)、背景均全黑的圖像,構(gòu)成局部關(guān)鍵判別域; (3)KeyobjData:根據(jù)像素級(jí)分割圖,選取最小外接矩形的方法對(duì)原圖進(jìn)行框選和裁剪,得到局部關(guān)鍵判別域。和處理方式(2)相比,采用該方法得到的裁剪圖會(huì)包含前景目標(biāo)以及前景目標(biāo)邊緣處的少部分背景,但是可以減少過分割和由于不連通造成的分割誤差; (4)SegData_oriData:將segData與oriData數(shù)據(jù)集混合,得到既含有圖像局部判別關(guān)鍵域,又包含全局判別域的雙判別域; (5)Keyobj_oriData:將KeyobjData與oriData數(shù)據(jù)集混合,得到既含有圖像判別關(guān)鍵域,又包含全局判別域的雙判別域。 采用oriData、segData和KeyobjData得到的判別域圖像示例見表3??梢钥闯?,序號(hào)為A的花得到了正常分割,B則出現(xiàn)了過分割,C由于花型比較分散,出現(xiàn)了不連通和缺失,D為花型較小的簇類花型,出現(xiàn)了缺失和欠分割。 表3 圖像示例 同時(shí),實(shí)驗(yàn)采用Oxford 17和Oxford 102兩個(gè)數(shù)據(jù)集,比較了AlexNet和GoogLeNet兩種分類模型,在4種判別域構(gòu)成方案下的top-1分類準(zhǔn)確度見表4。 表4 模型Top-1分類結(jié)果/% 可以看到,基于GoogLeNet的分類模型總體檢測(cè)精度高于基于AlexNet的分類模型。采用segData方案得到的局部關(guān)鍵判別域用于分類,top-1精度低于采用原圖作為全局判別域的分類結(jié)果,這是由于分割過程中出現(xiàn)的分割誤差(如過分割、由于植物花型分散不連通造成分割后花型部分丟失等造成的)。采用KeyobjData方案得到的局部關(guān)鍵判別域用于分類,在GoogLeNet模型下,top-1精度略高于采用原圖作為全局判別域的分類結(jié)果。采用本文提出的雙判別域用于分類,在GoogLeNet模型下,相對(duì)于采用原圖作為全局判別域的分類結(jié)果,top-1精度在Oxford 17和Oxford 102分別提高2.74%和4.26%。 表5給出了分類檢測(cè)中單幀圖像的處理時(shí)間,可以看到基于GoogLeNet,在Oxford 17數(shù)據(jù)集上,單張圖像的檢測(cè)時(shí)間僅為27 ms,在Oxford 102數(shù)據(jù)集上,單張圖像的檢測(cè)時(shí)間僅為15.8 ms。 表5 分類中單張圖像的處理時(shí)間/s 3.3.3 實(shí)驗(yàn)三 本實(shí)驗(yàn)用于驗(yàn)證文中所提方法在類別更加相似的植物圖像上的有效性。實(shí)驗(yàn)選取了18種不同的菊花,來自于互聯(lián)網(wǎng),總共1352張。菊花類別序號(hào)、類別名稱和圖片數(shù)量信息如下:1萬壽菊(99)、2矢車菊(65)、3日光菊(74)、4金盞菊(72)、5瓜葉菊(99)、6大麗菊(59)、7波斯菊(71)、8金光菊(98)、9禮花菊(84)、10雛菊(141),11乒乓菊(74),12幌菊(19),13杭菊(40),14芙蓉菊(45),15荷蘭菊(63),16蛇目菊(75),17金絲皇菊(39),18麥稈菊(135)。括號(hào)內(nèi)的數(shù)字為圖片數(shù)量,實(shí)驗(yàn)中按3∶1劃分為訓(xùn)練集和測(cè)試集。 實(shí)驗(yàn)結(jié)果見表6和表7。 表6 菊類圖像的分類結(jié)果/% 表7 GoogLeNet模型下每個(gè)類別分類的結(jié)果 從表6可以看出,本文提出的方案對(duì)相似植物仍然能夠以較高的準(zhǔn)確率實(shí)現(xiàn)細(xì)分。從表7可以看出,除大麗菊和幌菊識(shí)別準(zhǔn)確率較低外,其余種類top-1識(shí)別率都在90%以上。分析原因,其中,幌菊識(shí)別率低的主要原因是訓(xùn)練樣本較少,只有12張。大麗菊識(shí)別率低主要因?yàn)橛?xùn)練樣本圖像中的花型都很大,占據(jù)了畫面的主要部分,因此提取的局部判別域和全局判別域基本沒有差異,因此改進(jìn)效果不明顯。 3.3.4 實(shí)驗(yàn)四 本實(shí)驗(yàn)用于驗(yàn)證本文方法與SIFT+K-means+SVM、GrabCut+CNN的其它植物分類方法比較下的有效性。 SIFT+K-means+SVM方法對(duì)讀取的原始圖像提取SIFT特征點(diǎn)進(jìn)行K-means聚類,然后訓(xùn)練SVM,在測(cè)試集上得出分類精度。GrabCut是一種基于圖論的圖像分割方法,利用了K-means聚類、高斯混合模型建模和最大流最小割算法,對(duì)使用GrabCut分割得到的圖像前景圖經(jīng)過AlexNet和GoogLeNet訓(xùn)練,得到的分類結(jié)果見表8。 表8 本文方法與SIFT+K-means+SVM、 GrabCut+CNN的分類結(jié)果/% 由表8,對(duì)比SIFT+KMeans+SVM和GrabCut+CNN的方法可以看出,本文DL-CNN方法在提高分類精度上效果更加明顯,驗(yàn)證了本文算法的有效性。 目前,基于語義分割的植物花型細(xì)粒度分類上研究還不多。本文針對(duì)植物圖像進(jìn)行分類,具有重要的應(yīng)用價(jià)值。針對(duì)植物圖像分類中準(zhǔn)確率不高的問題,提出了一種基于判別關(guān)鍵域和深度學(xué)習(xí)的植物圖像細(xì)粒度分類方法(DL-CNN)。該方法通過對(duì)圖像進(jìn)行語義分割,獲得待測(cè)目標(biāo)的判別關(guān)鍵域。同時(shí)為了減小分割誤差對(duì)分類誤差的影響,提出構(gòu)建包含待測(cè)目標(biāo)全局和局部判別域的分類訓(xùn)練數(shù)據(jù)集,采用卷積神經(jīng)網(wǎng)絡(luò)提取特征,softmax分類器進(jìn)行分類。在Oxford 17和Oxford 102兩個(gè)公開數(shù)據(jù)集以及植物子類數(shù)據(jù)集上,均取得了較高的top-1識(shí)別準(zhǔn)確率。2 基于DL-CNN的細(xì)粒度分類方法
3 實(shí)驗(yàn)數(shù)據(jù)與分析
3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境
3.2 評(píng)價(jià)指標(biāo)
3.3 實(shí)驗(yàn)結(jié)果與分析
4 結(jié)束語
計(jì)算機(jī)工程與設(shè)計(jì)2020年3期