基于短時(shí)傅里葉光譜與數(shù)據(jù)融合的土壤成分含量預(yù)測(cè)

任慧東,鞠 薇,程志友,張夢(mèng)思

(1.安徽大學(xué) 電子信息工程學(xué)院,安徽 合肥 230601;2.安徽大學(xué) 互聯(lián)網(wǎng)學(xué)院,安徽 合肥 230601)

土壤肥力是土壤質(zhì)量的體現(xiàn),土壤養(yǎng)分、機(jī)械組成、酸堿度(potential of hydrogen,簡(jiǎn)稱(chēng)p H)是衡量土壤肥力的重要指標(biāo)[1-2].傳統(tǒng)的化學(xué)計(jì)量學(xué)方法成本高、過(guò)程煩瑣,而近紅外(near-infrared,簡(jiǎn)稱(chēng)NIR)光譜分析技術(shù)利用待測(cè)樣品的光譜矩陣進(jìn)行建模,具有快速、非破壞、無(wú)污染等優(yōu)點(diǎn),已廣泛應(yīng)用于農(nóng)業(yè)、食品、藥物、化工等領(lǐng)域[3-4].在農(nóng)業(yè)生產(chǎn)領(lǐng)域,土壤養(yǎng)分、酸堿度的檢測(cè)結(jié)果可指導(dǎo)施肥策略,提升作物產(chǎn)量和品質(zhì)[5].

目前,國(guó)內(nèi)外對(duì)土壤成分的光譜回歸建模,具有光譜來(lái)源單一、樣本少的特點(diǎn).科研人員對(duì)數(shù)據(jù)量大、光譜來(lái)源多樣的土壤光譜數(shù)據(jù)的研究較少.由于土壤成分復(fù)雜及土壤近紅外光譜含有較多噪聲,因此在土壤近紅外光譜回歸建模前需對(duì)光譜進(jìn)行預(yù)處理.通過(guò)預(yù)處理的光譜建立回歸模型,可獲得更高的預(yù)測(cè)精度.傳統(tǒng)的土壤光譜建模,主要使用偏最小二乘回歸(partial least squares regression,簡(jiǎn)稱(chēng)PLSR)[6]、支持向量回歸(support vector regression,簡(jiǎn)稱(chēng)SVR)[7]等機(jī)器學(xué)習(xí)方法.機(jī)器學(xué)習(xí)雖有速度快的優(yōu)勢(shì),但其預(yù)測(cè)精度已被以卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,簡(jiǎn)稱(chēng)CNN)為主的深度學(xué)習(xí)模型超越.文獻(xiàn)[8]使用1維卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)了土壤pH、有機(jī)碳(organic carbon,簡(jiǎn)稱(chēng)OC)和鈣含量,其平均誤差相對(duì)于受限玻爾茲曼機(jī)更小.文獻(xiàn)[9]使用CNN 從原始頻譜中提取局部特征,通過(guò)循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特征序列的依賴(lài)關(guān)系,建立了基于CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)的土壤光譜模型,該模型的決定系數(shù)均優(yōu)于PLSR(partial least squares regression),SVR(support vector regression)等傳統(tǒng)模型.文獻(xiàn)[10]采用主成分分析將原始光譜降維,通過(guò)長(zhǎng)短期記憶網(wǎng)絡(luò)建立回歸模型,對(duì)OC含量的預(yù)測(cè)明顯優(yōu)于PLSR模型.光譜神經(jīng)網(wǎng)絡(luò)建模主要使用1維光譜,有研究人員提出將光譜從1維數(shù)據(jù)轉(zhuǎn)化為2維數(shù)據(jù),以獲得更豐富的特征.文獻(xiàn)[11]利用短時(shí)傅里葉變換(short-time Fourier transform,簡(jiǎn)稱(chēng)STFT)將1維光譜數(shù)據(jù)轉(zhuǎn)化為2維數(shù)據(jù),據(jù)此構(gòu)建了土壤成分的2維卷積神經(jīng)網(wǎng)絡(luò)模型,證明了時(shí)頻分析在光譜建模中的有效性.文獻(xiàn)[12]使用2維等高線(xiàn)圖表征同步相關(guān)譜和異步相關(guān)譜,將1維光譜轉(zhuǎn)化為2維相關(guān)光譜,突出了小峰和弱峰.文獻(xiàn)[13]基于2維相關(guān)光譜技術(shù)提出了小米含水率的PLSR預(yù)測(cè)模型,相對(duì)于1維PLSR模型獲得了更高的預(yù)測(cè)精度.考慮到不同成分對(duì)近紅外光譜散射的影響,文獻(xiàn)[14]在建模時(shí)使用多元回歸預(yù)測(cè)多個(gè)成分含量,證實(shí)了不同土壤成分的吸收峰間有隱性關(guān)聯(lián).文獻(xiàn)[15]將對(duì)NIR光譜和中紅外光譜的數(shù)據(jù)進(jìn)行融合,通過(guò)融合光譜構(gòu)建CNN 模型,融合光譜的預(yù)測(cè)精度優(yōu)于NIR光譜和中紅外光譜的預(yù)測(cè)精度.文獻(xiàn)[16]通過(guò)原始光譜及其預(yù)處理光譜構(gòu)建集成學(xué)習(xí)模型,發(fā)現(xiàn)不同近紅外預(yù)處理光譜間具有互補(bǔ)性.該文擬提出Inception 層短時(shí)傅里葉變換卷積神經(jīng)網(wǎng)絡(luò)(inception short-time Fourier transform convolutional neural network,簡(jiǎn)稱(chēng)I-STFT-CNN)單一光譜模型,然后提出2 個(gè)融合光譜模型II-STFT-CNN(indirect inception short-time Fourier transform convolutional neural network)和CI-STFT-CNN(cascade inception short-time Fourier transform convolutional neural network),最后對(duì)這些光譜模型的性能參數(shù)進(jìn)行比較.

1 方 法

1.1 預(yù)處理和模型

1.1.1 光譜預(yù)處理

光譜儀測(cè)得的土壤近紅外光譜易受土壤粒徑及含水量等因素的影響,因此需對(duì)光譜進(jìn)行如下預(yù)處理.

(1)標(biāo)準(zhǔn)正態(tài)變量(standard normal variational transform,簡(jiǎn)稱(chēng)SNV)變換.對(duì)每條土壤光譜進(jìn)行標(biāo)準(zhǔn)化,以最小化因土壤粒徑不均及顆粒表面散射等原因造成的光譜波動(dòng)與偏移.波長(zhǎng)i的SNV 變換預(yù)處理后的光譜反射率為

其中:Xi為波長(zhǎng)i的原始光譜反射率，為波長(zhǎng)i的原始光譜平均反射率,σ(Xi)為波長(zhǎng)i的原始光譜反射率標(biāo)準(zhǔn)差.

(2)SG(Savitzky-Golag)平滑.SG平滑通過(guò)鄰域平均增強(qiáng)光譜的平滑性,減少噪聲的干擾.經(jīng)SG平滑后的光譜反射率列向量為

其中:X為光譜反射率列向量;T為平滑矩陣,其表達(dá)式為

其中:(t-n)為波長(zhǎng)序號(hào),k為平滑多項(xiàng)式的階數(shù).

1.1.2 單一光譜模型

基于光譜前后波長(zhǎng)特征峰的隱性關(guān)聯(lián)特性,該文提出I-STFT-CNN單一光譜模型.

Inception層的結(jié)構(gòu)如圖1所示.將上層網(wǎng)絡(luò)輸出的特征Previous layer輸入4個(gè)通道.通道1將輸入此通道的特征與大小為1×1的卷積核做卷積,改變通道數(shù);通道2將輸入此通道的特征與大小為3×3的卷積核做卷積,提取輸入特征中大小為3×3的區(qū)域特征;通道3將輸入此通道的特征與大小為5×5的卷積核做卷積,提取輸入特征中大小為5×5的區(qū)域特征;通道4首先將輸入此通道的特征最大池化,其次將特征降維,最后將其與1×1的卷積核做卷積,改變通道數(shù).4個(gè)通道輸出的特征通過(guò)補(bǔ)零在尺度上保持一致,將這些特征在維度上進(jìn)行合并后作為Inception層的輸出.通過(guò)4個(gè)通道不同尺度特征的提取,Inception層輸出的特征中包含了光譜不同空間尺度特征隱含的關(guān)聯(lián)特征,有助于提高模型的精度.

圖1 Inception層的結(jié)構(gòu)

該文提出的單一光譜I-STFT-CNN模型結(jié)構(gòu)如圖2所示.近紅外光譜經(jīng)STFT(窗函數(shù)為Hann、窗長(zhǎng)為100、重疊率為50%、采樣頻率為1)轉(zhuǎn)化為大小為51×85的2維數(shù)據(jù),將其作為模型輸入.卷積層和全連接層均后接ReLu激活函數(shù).經(jīng)4層卷積層、1層Inception層提取特征后,使用Flatten將特征展平,然后經(jīng)3層全連接層輸出土壤成分含量的預(yù)測(cè)值.

圖2 單一光譜I-STFT-CNN模型的結(jié)構(gòu)

1.1.3 融合光譜模型

SNV變換對(duì)Raw光譜進(jìn)行預(yù)處理后的光譜稱(chēng)為SNV光譜,SG平滑對(duì)Raw光譜進(jìn)行預(yù)處理后的光譜稱(chēng)為SG光譜.該文分別通過(guò)擴(kuò)展和級(jí)聯(lián)對(duì)3種光譜(SNV,SG 及Raw 光譜)進(jìn)行融合,提出2個(gè)融合光譜模型,分別記為II-STFT-CNN和CI-STFT-CNN,二者具體的模型結(jié)構(gòu)如圖3所示.II-STFTCNN先分別對(duì)3種光譜進(jìn)行STFT變換得到3個(gè)大小為51×85的數(shù)據(jù),再將其整合成大小為51×85×3的融合光譜.CI-STFT-CNN先將3種光譜級(jí)聯(lián),后對(duì)級(jí)聯(lián)光譜進(jìn)行STFT變換得到大小為51×253的融合光譜.

圖3 融合光譜模型的結(jié)構(gòu)

1.2 性能參數(shù)

決定系數(shù)表述模型的預(yù)測(cè)值與真實(shí)值的擬合程度,其計(jì)算公式為

均方根誤差描述模型對(duì)極端值的擬合能力,其表達(dá)式為

RM越小,模型對(duì)極端值的擬合效果越好.

相對(duì)分析誤差描述模型的檢測(cè)能力,其表達(dá)式為

其中:S為預(yù)測(cè)值和真實(shí)值間的標(biāo)準(zhǔn)差.RP＜1.4時(shí)模型對(duì)數(shù)據(jù)的預(yù)測(cè)能力差,1.4＜RP＜2時(shí)模型對(duì)數(shù)據(jù)預(yù)測(cè)能力強(qiáng),RP＞2時(shí)模型對(duì)數(shù)據(jù)的預(yù)測(cè)能力很強(qiáng).

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

該文使用的數(shù)據(jù)集為歐盟統(tǒng)計(jì)局2009—2011年采集的土壤利用及覆蓋統(tǒng)計(jì)調(diào)查(land use/cover area frame statistical survey,簡(jiǎn)稱(chēng)LUCAS)數(shù)據(jù)集.LUCAS數(shù)據(jù)集包含歐盟27國(guó)共17 939條土壤光譜和成分參數(shù)數(shù)據(jù).土壤樣本分為礦物質(zhì)和腐殖質(zhì)兩類(lèi),包括耕地、林地和草地等多種土壤類(lèi)型.LUCAS土壤光譜是通過(guò)近紅外光譜分析儀FOSS XDS測(cè)量得到的,該光譜儀的測(cè)量范圍為400～2 500 nm,分辨率為0.5 nm.將數(shù)據(jù)集按7∶3的比例分為訓(xùn)練集和測(cè)試集,訓(xùn)練集和測(cè)試集的相關(guān)數(shù)據(jù)如表1所示.在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型時(shí)將訓(xùn)練集以7∶3的比例分為校正集和驗(yàn)證集,校正集用于訓(xùn)練模型,驗(yàn)證集用于選擇最優(yōu)模型.

表1 訓(xùn)練集和測(cè)試集的相關(guān)數(shù)據(jù)

2.2 原始光譜與預(yù)處理光譜

隨機(jī)從LUCAS數(shù)據(jù)集中抽取1條土壤近紅外光譜,畫(huà)出其SNV,Raw及SG光譜,如圖4所示.從圖4可看出:SG光譜和Raw 光譜幾乎重合,SG 平滑僅消除了細(xì)微噪聲,對(duì)光譜的整體走勢(shì)無(wú)影響;SNV 光譜和Raw光譜二者存在較大差異,消除散射影響后,SNV光譜中450,1 400,1 900,2 250 nm 波長(zhǎng)附近的波峰放大更明顯.

圖4 原始光譜和預(yù)處理光譜

2.3 不同單一光譜模型的性能參數(shù)對(duì)比

將單一光譜I-STFT-CNN 模型中的Inception層換為卷積層后的模型(其余參數(shù)不變),記為STFT-CNN,將其作為對(duì)比對(duì)象之一.訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型使用的學(xué)習(xí)器為Adam,學(xué)習(xí)率為0.000 1,Batch size為32,Epoch為300.傳統(tǒng)的單一光譜模型中使用最廣泛的模型為PLSR和SVR.對(duì)4種單一光譜模型(SVR,PLSR,STFT-CNN,I-STFT-CNN)決定系數(shù)進(jìn)行對(duì)比,結(jié)果如表2所示.

表2 4種單一光譜模型的決定系數(shù)對(duì)比

由表2可知,相對(duì)于SVR,PLSR和STFT-CNN 模型,該文提出的單一光譜I-STFT-CNN 模型的決定系數(shù)最高,表明I-STFT-CNN模型具有更高的預(yù)測(cè)精度.

2.4 單一光譜與融合光譜模型的性能參數(shù)對(duì)比

由上節(jié)可知,I-STFT-CNN 模型的土壤成分參數(shù)預(yù)測(cè)精度比SVR,PLSR 更高,故該節(jié)只需將ISTFT-CNN模型與兩種融合光譜模型進(jìn)行對(duì)比.表3為單一光譜I-STFT-CNN 模型與融合光譜IISTFT-CNN和CI-STFT-CNN模型的性能參數(shù)對(duì)比.

表3 單一光譜與融合光譜模型的性能參數(shù)對(duì)比

由表3可知,單一光譜I-STFT-CNN模型相對(duì)于兩種融合光譜模型,其決定系數(shù)更小、均方根誤差更大、相對(duì)分析誤差更小,表明融合光譜模型的預(yù)測(cè)精度優(yōu)于單一光譜模型,這是由于融合光譜數(shù)據(jù)具有更多特征;級(jí)聯(lián)融合CI-STFT-CNN 模型與通道融合II-STFT-CNN 模型的有機(jī)碳含量的均方根誤差相同,除此之外,級(jí)聯(lián)融合CI-STFT-CNN 模型的各項(xiàng)性能參數(shù)均優(yōu)于通道融合II-STFT-CNN 模型,表明級(jí)聯(lián)融合效果優(yōu)于通道融合,這是由于梯度反向傳播時(shí),級(jí)聯(lián)光譜間的關(guān)聯(lián)特征位于前級(jí),更容易跳出局部最優(yōu)解.

3 結(jié)束語(yǔ)

該文提出了單一光譜I-STFT-CNN 模型,以及2個(gè)融合光譜模型II-STFT-CNN 和CI-STFTCNN.對(duì)這些光譜模型的性能參數(shù)進(jìn)行比較,結(jié)果表明:相對(duì)于SVR,PLSR和STFT-CNN 模型,該文提出的單一光譜I-STFT-CNN 模型具有更高的預(yù)測(cè)精度;融合光譜模型的性能優(yōu)于單一光譜模型;融合模型中,級(jí)聯(lián)融合CI-STFT-CNN 模型的性能優(yōu)于通道融合II-STFT-CNN 模型.因此,該文提出的CI-STFT-CNN模型的預(yù)測(cè)精度最高.