陳楚漢,鐘蘇苑,鐘楊生,王先燕,代 芬
(1.華南農(nóng)業(yè)大學(xué)電子工程學(xué)院,廣東 廣州 510642;2.廣東省蠶業(yè)技術(shù)推廣中心,廣東 廣州 510640;3.華南農(nóng)業(yè)大學(xué)動(dòng)物科學(xué)學(xué)院,廣東 廣州 510642)
【研究意義】蠶繭雌雄鑒別是蠶繭雜交育種的重要環(huán)節(jié)。從熟蠶上蔟到蠶蛹化蛾共約14 d,蠶種場(chǎng)一般在第8 天進(jìn)行削繭鑒蛹辨別雌雄,削繭鑒蛹時(shí)間只有4~5 d,在短時(shí)間內(nèi)完成該環(huán)節(jié)任務(wù)需要大量人工,勞動(dòng)成本高。因此,研究蠶蛹性別自動(dòng)鑒定具有重要的實(shí)踐意義?!厩叭搜芯窟M(jìn)展】目前關(guān)于蠶蛹性別自動(dòng)鑒定的方法有熒光蠶繭辨性(Fluorescent cocoon sex identification,FCSI)、磁共振成像(Magnetic resonance imaging,MRI)、X 射線(xiàn)成像技術(shù)等[1],但這些方法成本高、速度慢,不適于在實(shí)際生產(chǎn)中推廣。龔攀等[2]用871A 和7532 兩個(gè)品種的蠶蛹圖像進(jìn)行了識(shí)別試驗(yàn),每一品種取 50 個(gè)樣本進(jìn)行訓(xùn)練、50 個(gè)樣本進(jìn)行測(cè)試,BP 網(wǎng)絡(luò)訓(xùn)練收斂,準(zhǔn)確率分別為98%和96%。然而計(jì)算機(jī)視覺(jué)的方法需要削開(kāi)繭殼,并將蠶蛹腹部置于相機(jī)鏡頭位置,檢測(cè)速度太慢而無(wú)法滿(mǎn)足實(shí)際生產(chǎn)需求。近紅外光譜分析技術(shù)在蠶繭雌雄檢測(cè)的應(yīng)用上有良好效果[3-5],基于近紅外漫透射光譜信息的蠶繭無(wú)損雌雄檢測(cè)[6-7],不需要削繭取蛹進(jìn)行判別即可實(shí)現(xiàn)實(shí)時(shí)檢測(cè)和無(wú)損檢測(cè)。
【本研究切入點(diǎn)】由于近紅外光譜分析技術(shù)具有成本低、速度快、無(wú)損樣品等優(yōu)點(diǎn),因此適用于農(nóng)產(chǎn)品檢測(cè)領(lǐng)域[8-10]。近紅外光譜數(shù)據(jù)是一維數(shù)據(jù),傳統(tǒng)機(jī)器學(xué)習(xí)方法分析一維數(shù)據(jù)有良好效果[11-12],例如支持向量機(jī)(Support vector machine,SVM)、梯度提升決策樹(shù)(Gradient boosting decision tree,GBDT)等方法。但是傳統(tǒng)機(jī)器學(xué)習(xí)方法需要特定的光譜預(yù)處理方法,例如主成分分析(Principal component analysis,PCA),光譜修正、基線(xiàn)校正、平滑和歸一化等方法。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)具有非常強(qiáng)的數(shù)據(jù)擬合能力,可學(xué)習(xí)到泛化能力更強(qiáng)的特征表達(dá)[13],一般應(yīng)用在計(jì)算機(jī)視覺(jué)領(lǐng)域,近年來(lái)也有許多人將CNN應(yīng)用于近紅外光譜分析[14-15],在不使用預(yù)處理方法的情況下,CNN也能取得良好的效果[16]。遷移學(xué)習(xí)即一種學(xué)習(xí)對(duì)另一種學(xué)習(xí)的影響,它廣泛存在于知識(shí)、技能、態(tài)度和行為規(guī)范的學(xué)習(xí)中。在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言識(shí)別和人類(lèi)行為識(shí)別等不同領(lǐng)域[17-18],遷移學(xué)習(xí)都取得了良好效果。
【擬解決的關(guān)鍵問(wèn)題】目前基于近紅外光譜的蠶繭檢測(cè)技術(shù)存在以下問(wèn)題:第一,各地繭場(chǎng)的環(huán)境不同,各地采集蠶繭的近紅外光譜也有差異;第二,蠶繭品種不同,各個(gè)品種采集蠶繭的近紅外光譜也有差異;第三,不同型號(hào)光譜儀采集蠶繭的近紅外光譜也有差異。因此要建立一個(gè)較好的分類(lèi)模型,理論上要采用不同光譜儀采集大量不同品種的樣本光譜并且對(duì)樣本進(jìn)行標(biāo)記,顯然這在實(shí)際中是不可能完成的。為了解決以上問(wèn)題,本研究使用大量數(shù)據(jù)建立一個(gè)良好的源域模型,將目標(biāo)域數(shù)據(jù)集分成30%~70%的訓(xùn)練集,間隔為10%,用目標(biāo)域數(shù)據(jù)集的訓(xùn)練集分別微調(diào)源域模型和建立SVM和RF兩種模型,并對(duì)比分析目標(biāo)域測(cè)試集準(zhǔn)確率。為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)提取特征的能力,對(duì)源域模型中間層輸出進(jìn)行可視化分析,將目標(biāo)域數(shù)據(jù)集輸入到源域模型中,獲取中間層輸出,用中間層輸出分別建立SVM和RF兩種模型,并對(duì)比分析測(cè)試集準(zhǔn)確率。
樣本漫透射光譜的采集采用自行研制的種繭自動(dòng)分選樣機(jī)完成,蠶繭雌雄快速無(wú)損檢測(cè)系統(tǒng)如圖1所示,檢測(cè)步驟如下:
(1)自動(dòng)分選樣機(jī)將蠶繭逐個(gè)送到蠶繭檢測(cè)工位。
(2)光源(100 W鹵燈泡)從上向下照射蠶繭,積分球在蠶繭下面采集蠶繭的漫透射光,通過(guò)600μm光纖連接光譜儀。
(3)光譜儀通過(guò)USB線(xiàn)將樣機(jī)采集的光譜數(shù)據(jù)傳輸給電腦端,電腦端保存數(shù)據(jù)。
圖1 蠶繭雌雄快速無(wú)損檢測(cè)系統(tǒng)Fig.1 Fast and nondestructive system of sex detection of silkworm
海洋光譜儀部件采用NirQuest512型便攜式光纖光譜儀,OTO光譜儀部件采用SW2540型便攜式光纖光譜儀。檢測(cè)范圍:903~1599 nm,光譜儀設(shè)置積分時(shí)間為200 ms,平均次數(shù)為4以提高數(shù)據(jù)的穩(wěn)定性,平滑寬度為4以匹配系統(tǒng)的分辨率。
供試的家蠶種繭樣本來(lái)自于廣東省蠶業(yè)推廣中心。按照試驗(yàn)設(shè)計(jì)要求將所有樣本分成4個(gè)數(shù)據(jù)集(表1)。根據(jù)蠶蛹的腹部第8、9 腹節(jié)外部特征,削繭取蛹進(jìn)行雌雄辨別,對(duì)難以判別的則解剖蠶蛹的腹部,以是否有卵來(lái)判別雌雄。
表1 數(shù)據(jù)集信息Table 1 Details of data sets
本研究采集的是蠶繭的近紅外漫透射光譜,其中近紅外光譜的透射率計(jì)算公式如下:
式中,R為漫透射光譜,Iraw為原始光譜,Ireference為參照光譜(在采光口不放任何樣本的情況下采集的光譜),Iblack為暗電流光譜(遮擋采光口后采集的光譜)。每次采集環(huán)境亮度發(fā)生明顯改變都需要重新采集1次參考光譜和暗電流光譜。
CNN不需要任何預(yù)處理方法。使用SVM和RF時(shí),為了減少噪聲對(duì)模型產(chǎn)生的影響,對(duì)原始光譜進(jìn)行標(biāo)準(zhǔn)歸一化處理和卷積平滑濾波(Savitzky-Golay smoothing,SG)處理。標(biāo)準(zhǔn)歸一化公式如下:
式中,X為原始光譜,μ為原始光譜均值,σ為原始光譜的方差。
近紅外光譜波長(zhǎng)k處經(jīng)濾波后的平均值為:
式中,hi為平滑系數(shù),ω為平滑窗口,H為歸一化因子,。本研究使用的SG濾波器的多項(xiàng)式階次為2,平滑窗口大小為15。
在同種條件下,樣本的近紅外光譜的譜峰波長(zhǎng)一致,而因?yàn)樵O(shè)備或樣本品種不同,譜峰波長(zhǎng)會(huì)略有差別。本研究針對(duì)遷移學(xué)習(xí)的問(wèn)題著重對(duì)樣本的平均近紅外光譜進(jìn)行研究,圖2 為4 個(gè)數(shù)據(jù)集的近紅外平均光譜。Dataset1 的平均近紅外光譜有5 個(gè)譜峰,峰值波長(zhǎng)分別為918、970、1084、1186、1269 nm;Dataset2 的平均近紅外光譜有5 個(gè)譜峰,峰值波長(zhǎng)分別為913、973、1084、1186、1262 nm;Dataset3 的平均近紅外光譜有5 個(gè)譜峰,峰值波長(zhǎng)分別為917、962、1088、1186、1267 nm;Dataset4 的平均近紅外光譜有5 個(gè)譜峰,峰值波長(zhǎng)分別為917、962、1088、1186、1267 nm。
圖2 4 個(gè)數(shù)據(jù)集的平均光譜Fig.2 Mean spectra of 4 data sets
Dataset1 和Dataset2 的近紅外光譜均由海洋光譜儀采集,它們的峰值波長(zhǎng)非常接近,樣本品種分別為9 芙和7 湘,9 芙的平均光譜透射率高于7 湘的。Dataset3 和Dataset4 的近紅外光譜均由OTO 光譜儀采集,它們的峰值波長(zhǎng)一致,而它們的樣本品種分別為7 夏和932,在波長(zhǎng)為1397 nm 之前,932 的平均光譜透射率高于7 夏的,在1397 nm 之后7 夏的平均光譜透射率則高于932的。上述結(jié)果表明海洋光譜儀和OTO 光譜儀采集的不同品種樣本間近紅外光譜峰值十分接近,但不同儀器信噪比不同,不同品種的透射率也不同。
1.5.1 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 本研究設(shè)計(jì)出一個(gè)基于keras 框架的卷積神經(jīng)網(wǎng)絡(luò),CNN 結(jié)構(gòu)如圖3 所示。該網(wǎng)絡(luò)有1 個(gè)卷積層和2 個(gè)全連接層。CNN 的卷積層有16 個(gè)filters,kernel size 大小為50,strides 為25,激活函數(shù)為relu。第1 個(gè)全連接層神經(jīng)元個(gè)數(shù)為20,激活函數(shù)為relu,最后一層全連接層為分類(lèi)層,激活函數(shù)為softmax。
圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of convolutional neural network
通常卷積神經(jīng)網(wǎng)絡(luò)中的池化層或者匯合層(pooling)起到特征降維作用和一定程度的防過(guò)擬合作用,并不是卷積神經(jīng)網(wǎng)絡(luò)必需的操作,近期有研究表明構(gòu)建只含卷積操作的網(wǎng)絡(luò)可以達(dá)到甚至超過(guò)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(卷積層、池化層的交替)的分類(lèi)精度。在本試驗(yàn)中,輸入的數(shù)據(jù)通過(guò)卷積之后,特征數(shù)量較少,因此降采樣降維并不必要,直接省去池化層。批量歸一化層(Batch normalization,BN)不僅極大提升了訓(xùn)練速度,收斂過(guò)程大大加快,還能增加分類(lèi)準(zhǔn)確率[19]。relu激活函數(shù)可以防止過(guò)擬合;壓縮數(shù)據(jù),去除冗余;強(qiáng)化特征,減小誤差;加快收斂速度。Categorical_crossentropy損失函數(shù),當(dāng)誤差大時(shí),權(quán)重更新快;當(dāng)誤差小時(shí),權(quán)重更新慢。除了最后一層分類(lèi)層的激活函數(shù)是softmax,其他層激活函數(shù)都是relu。
模型訓(xùn)練使用隨機(jī)梯度下降(Stochastic gradient descent,SGD)最優(yōu)化函數(shù),正則化系數(shù)設(shè)置為0.001,采用衰減的學(xué)習(xí)率,當(dāng)epoch 為0~39 時(shí),學(xué)習(xí)率為0.001;當(dāng)epoch 為40~59 時(shí),學(xué)習(xí)率為0.0001;當(dāng)epoch ≥60 時(shí),學(xué)習(xí)率為0.00001。
1.5.2 遷移學(xué)習(xí) 遷移學(xué)習(xí)是接受預(yù)訓(xùn)練模型(由其他人在大數(shù)據(jù)集上訓(xùn)練過(guò)的網(wǎng)絡(luò)的權(quán)重和參數(shù))并用自己的數(shù)據(jù)集對(duì)模型進(jìn)行“微調(diào)”的過(guò)程[20]。在自然圖像上,神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的第一層特征不是特定于某個(gè)數(shù)據(jù)集或任務(wù),而是通用的[21]。因此本研究設(shè)計(jì)的遷移學(xué)習(xí)模型,將預(yù)訓(xùn)練網(wǎng)絡(luò)的第一層卷積層凍結(jié),再用目標(biāo)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。深度遷移學(xué)習(xí)預(yù)測(cè)模型如圖4所示,試驗(yàn)步驟如下所示:
(1)根據(jù)試驗(yàn)內(nèi)容準(zhǔn)備好預(yù)訓(xùn)練數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集。
(2)將預(yù)訓(xùn)練數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集分別分成60%訓(xùn)練集和40%測(cè)試集。
(3)使用源域的訓(xùn)練集進(jìn)行訓(xùn)練,對(duì)測(cè)試集數(shù)據(jù)準(zhǔn)確率進(jìn)行評(píng)估。
(4)若預(yù)訓(xùn)練網(wǎng)絡(luò)表現(xiàn)好,則保存網(wǎng)絡(luò),否則重新訓(xùn)練。
(5)凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)的卷積層。
(6)用目標(biāo)數(shù)據(jù)集的訓(xùn)練集對(duì)凍結(jié)后的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行“微調(diào)”。
(7)獲得經(jīng)過(guò)遷移學(xué)習(xí)后的目標(biāo)網(wǎng)絡(luò),并對(duì)目標(biāo)數(shù)據(jù)集的測(cè)試集進(jìn)行準(zhǔn)確率評(píng)估。
1.5.3 試驗(yàn)結(jié)果計(jì)算與試驗(yàn)環(huán)境 所有試驗(yàn)重復(fù)50 次得出結(jié)果,然后再分別求平均值和標(biāo)準(zhǔn)差,得出的結(jié)果是平均值加上或減去3 倍的標(biāo)準(zhǔn)差,置信度為99.73%,測(cè)試集的準(zhǔn)確率(A)為:
圖4 深度遷移學(xué)習(xí)預(yù)測(cè)模型流程Fig.4 Flowchart of prediction model of deep transfer learning
式中,T為測(cè)試集分類(lèi)正確的數(shù)量,F(xiàn)為測(cè)試集分類(lèi)錯(cuò)誤的數(shù)量。
所有試驗(yàn)均是在計(jì)算機(jī)上(Intel Core i5-4200,2.8 GHz CPU 和12 GB 內(nèi)存)用anaconda(python 版本3.7.1,tensorflow 版本1.14.0)進(jìn)行。
Dataset1分為60%的訓(xùn)練集和40%的測(cè)試集,用訓(xùn)練集訓(xùn)練源域模型,重復(fù)50次訓(xùn)練,訓(xùn)練集準(zhǔn)確率為99.41(±0.30)%,測(cè)試集準(zhǔn)確率為99.56(±0.22)%。圖5為源域數(shù)據(jù)集訓(xùn)練集和測(cè)試集的精度和損失圖,訓(xùn)練迭代次數(shù)達(dá)到60次后,模型達(dá)到最優(yōu)。為了選取較好的源域模型,重復(fù)試驗(yàn),選取最優(yōu)的模型作為遷移學(xué)習(xí)源域模型。
圖5 源域模型精度和損失結(jié)果Fig.5 Result of accuracy and loss of source domain model
將目標(biāo)域數(shù)據(jù)集Dataset2、Dataset3 和Dataset4 輸入到源域模型中,獲取中間層輸出(CNN 倒數(shù)第2 層的輸出,輸出大小為20),中間層輸出如圖6 所示,其中紅色為雌樣本,綠色為雄樣本。從圖6 可以看出,中間層輸出具有明顯的可分性。為了驗(yàn)證卷積神經(jīng)網(wǎng)絡(luò)提取特征的能力,用中間層輸出分別建立SVM 和RF 兩種模型,由于中間層輸出已經(jīng)具有可分性,不需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,訓(xùn)練集占目標(biāo)數(shù)據(jù)集的30%~70%,得出測(cè)試集結(jié)果如表2 所示。中間層輸出建立的模型準(zhǔn)確率都在90%以上,其中SVM的效果優(yōu)于RF。結(jié)果表明,源域模型的卷積層具有很好的特征提取能力。
圖6 3 個(gè)目標(biāo)域數(shù)據(jù)集的源域模型中間層輸出Fig.6 Middle layer outputs of source domain model of three target domain data sets
表2 使用源域模型中間層輸出建模Table 2 Modeling by the middle layer output of source domain model
凍結(jié)源域模型的卷積層,把目標(biāo)數(shù)據(jù)集Dataset2 的30%~70%作為訓(xùn)練集,用訓(xùn)練集微調(diào)源域CNN 網(wǎng)絡(luò),得到遷移學(xué)習(xí)后目標(biāo)域CNN 模型。同時(shí),用訓(xùn)練集重新訓(xùn)練獨(dú)立的CNN、SVM和RF3 種模型,然后比較遷移學(xué)習(xí)后目標(biāo)域CNN模型和重新訓(xùn)練的獨(dú)立模型的測(cè)試集準(zhǔn)確率。由表3 可知,在訓(xùn)練集占總數(shù)據(jù)集比例為0.7 時(shí),使用獨(dú)立CNN 建模測(cè)試集準(zhǔn)確率只有58.87%,而SVM 和RF 的測(cè)試集準(zhǔn)確率分別為92.49%和80.93%,表明數(shù)據(jù)量較少的情況下使用傳統(tǒng)機(jī)器學(xué)習(xí)的方法優(yōu)于CNN。在訓(xùn)練集占總數(shù)據(jù)集比例為0.3 時(shí),遷移學(xué)習(xí)后目標(biāo)域CNN 模型測(cè)試集準(zhǔn)確率為96.17%,而SVM 和RF 準(zhǔn)確率分別為76.82%和72.23%,表明在數(shù)據(jù)量較少的情況下,遷移學(xué)習(xí)后目標(biāo)域CNN 模型要優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型。本研究結(jié)果證明了在不同品種情況下遷移學(xué)習(xí)的可行性。
凍結(jié)源域模型的卷積層,把目標(biāo)數(shù)據(jù)集Dataset3 和Dataset4 的30%~70%作為訓(xùn)練集,用訓(xùn)練集微調(diào)源域CNN 網(wǎng)絡(luò),得到遷移學(xué)習(xí)后目標(biāo)域CNN 模型。同時(shí),用訓(xùn)練集重新訓(xùn)練獨(dú)立的CNN、SVM 和RF 3 種模型,然后比較遷移學(xué)習(xí)后目標(biāo)域CNN 模型和重新訓(xùn)練的獨(dú)立模型的測(cè)試集準(zhǔn)確率。由表4、表5 可知,遷移學(xué)習(xí)后CNN 模型準(zhǔn)確率都在97%以上,而重新訓(xùn)練的獨(dú)立CNN準(zhǔn)確率只有50%以上,這是由于訓(xùn)練數(shù)據(jù)太少,造成獨(dú)立的CNN 擬合不足。傳統(tǒng)機(jī)器學(xué)習(xí)相對(duì)CNN 網(wǎng)絡(luò)對(duì)樣本數(shù)量的要求要少一些,但是傳統(tǒng)機(jī)器學(xué)習(xí)方法需要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。由表4、表5 可知,SVM 的準(zhǔn)確率為90%以上,RF 準(zhǔn)確率在73%~81%之間,兩種方法都比遷移學(xué)習(xí)后目標(biāo)域CNN 模型準(zhǔn)確率低,造成這一結(jié)果原因之一是樣本數(shù)量少,而且沒(méi)有使用輸入數(shù)據(jù)預(yù)處理。在訓(xùn)練數(shù)據(jù)較少的情況下,使用遷移學(xué)習(xí)可以解決訓(xùn)練樣本不足的問(wèn)題。上述結(jié)果證明了在不同品種、不同光譜儀的情況下遷移學(xué)習(xí)的可行性。
表3 4 種模型使用Dataset 2 建模準(zhǔn)確率Table 3 Modeling accuracy of 4 models with Dataset 2(%)
表4 4 種模型使用Dataset 3 建模準(zhǔn)確率Table 4 Modeling accuracy of 4 models with Dataset 3(%)
表5 4 種模型使用Dataset 4 建模準(zhǔn)確率Table 5 Modeling accuracy of 4 models with Dataset 4(%)
實(shí)現(xiàn)快速家蠶雌雄鑒別有重要的實(shí)踐意義,一方面家蠶雌雄鑒別是品種選育的重要環(huán)節(jié),另一方面可以合理利用和分配雌雄蛹資源。目前,家蠶品種選育朝著多元化的方向發(fā)展[22],也就是說(shuō)家蠶品種也呈多樣性,這就增加了家蠶性別自定鑒別的難度。偏最小二乘法判別分析(Partial least squares discrimination analysis,Pls-da),SVM和RF等傳統(tǒng)機(jī)器學(xué)習(xí)方法常用于近紅外光譜分析中,且具有良好效果,然而由于近紅外光譜數(shù)據(jù)存在噪聲或者數(shù)據(jù)分布不均等問(wèn)題,使用傳統(tǒng)近機(jī)器學(xué)習(xí)方法需要使用特定的光譜預(yù)處理方法。劉燕德等[23]使用近紅外光譜對(duì)葉片可溶性糖進(jìn)行分析,使用了不同的數(shù)據(jù)預(yù)處理方法對(duì)模型進(jìn)行優(yōu)化。由于蠶繭品種和光譜儀器型號(hào)的多樣性,蠶繭的近紅外光譜數(shù)據(jù)也具有多樣性,因此構(gòu)建一個(gè)泛化能力較強(qiáng)的分類(lèi)模型十分困難。在基于近紅外光譜分析的家蠶自動(dòng)鑒別中,一般采用監(jiān)督學(xué)習(xí)的方式,需要專(zhuān)業(yè)人員對(duì)數(shù)據(jù)進(jìn)行標(biāo)注,而且對(duì)數(shù)據(jù)標(biāo)注工作量大。利用近紅外光譜技術(shù)對(duì)同一品種的蠶蛹進(jìn)行準(zhǔn)確的性別鑒別是一種有效的方法,然而由于采集條件或品種變化導(dǎo)致模型效果變差。針對(duì)不同品種間光譜數(shù)據(jù)的差異而造成模型效果變差的問(wèn)題,Xie等[24]等使用半監(jiān)督學(xué)習(xí)的方法,通過(guò)預(yù)標(biāo)記的方式,選取較為可靠的新品種數(shù)據(jù)更新訓(xùn)練原始模型,提高了模型在不同品種之間的泛化能力。但使用傳統(tǒng)機(jī)器學(xué)習(xí)方法需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,不同的光譜數(shù)據(jù)的預(yù)處理方法可能不一樣。卷積神經(jīng)網(wǎng)絡(luò)具有良好的提取特征能力,使用卷積神經(jīng)網(wǎng)絡(luò)能夠提取出不同光譜儀采集的不同品種蠶繭的近紅外光譜數(shù)據(jù)的共同特征。本研究首次使用不同光譜儀的家蠶近紅外光譜數(shù)據(jù)進(jìn)行分析,同時(shí)通過(guò)遷移學(xué)習(xí),使用少量數(shù)據(jù)“微調(diào)”預(yù)訓(xùn)練網(wǎng)絡(luò),可以得到一個(gè)效果較好的目標(biāo)域模型,從而減少了重新搭建一個(gè)蠶繭雌雄分類(lèi)模型的成本。
目前設(shè)計(jì)一個(gè)能提取所有數(shù)據(jù)分布特征的卷積神經(jīng)網(wǎng)絡(luò)較為困難。后續(xù)研究我們將使用更多的不同品種和不同光譜儀型號(hào)的家蠶近紅外光譜數(shù)據(jù)進(jìn)行試驗(yàn),同時(shí)在網(wǎng)絡(luò)中加入深度可分離卷積等結(jié)構(gòu)對(duì)模型進(jìn)行優(yōu)化,以期在實(shí)際生產(chǎn)中得到應(yīng)用。
本研究分析了基于近紅外光譜的家蠶種繭雌雄鑒別模型在多設(shè)備和多品種間的遷移,得出以下結(jié)論:
(1)用1700 個(gè)9 芙樣本(NirQuest512 光譜儀)構(gòu)建的CNN 源域模型,家蠶種繭雌雄分辨準(zhǔn)確率達(dá)到99%以上。結(jié)果表明使用大量數(shù)據(jù)構(gòu)建的CNN 模型具有很好的雌雄分辨能力。
(2)為了驗(yàn)證卷積層提取雌雄特征的能力,將目標(biāo)域數(shù)據(jù)集Dataset2、Dataset3 和Dataset4 輸入到源域模型中,獲取中間層輸出,并將中間層輸出分成不同比例的訓(xùn)練集和測(cè)試集,然后用中間層輸出的訓(xùn)練集作為輸入訓(xùn)練SVM 和RF 模型,不同訓(xùn)練集比例建模比較,SVM 和RF 模型的測(cè)試集準(zhǔn)確率分別為92%和90%以上。結(jié)合上述結(jié)果,通過(guò)可視化分析表明卷積層能很好地提取雌雄特征。
(3)用不同訓(xùn)練集比例的數(shù)據(jù)分別建立遷移學(xué)習(xí)CNN、獨(dú)立CNN、SVM 和RF 模型,通過(guò)試驗(yàn)比較發(fā)現(xiàn),在數(shù)據(jù)量較少的情況下,遷移學(xué)習(xí)后CNN 模型效果最優(yōu),傳統(tǒng)機(jī)器學(xué)習(xí)方法次之,深度CNN 模型最差。結(jié)果表明,通過(guò)遷移學(xué)習(xí)能夠快速建立一個(gè)針對(duì)不同品種蠶繭或不同光譜儀的雌雄鑒別模型。