便攜式短波近紅外光譜儀器檢測土壤總氮含量研究

章海亮，何 勇

1. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，浙江 杭州 310058 2. 華東交通大學(xué)軌道交通學(xué)院，江西 南昌 330013

便攜式短波近紅外光譜儀器檢測土壤總氮含量研究

章海亮1，2，何 勇1*

1. 浙江大學(xué)生物系統(tǒng)工程與食品科學(xué)學(xué)院，浙江 杭州 310058 2. 華東交通大學(xué)軌道交通學(xué)院，江西 南昌 330013

基于便攜式短波近紅外光譜技術(shù)檢測了土壤總氮含量。采集浙江省文城地區(qū)農(nóng)田土壤樣本243個，將土壤樣本分為三組，一組未經(jīng)過粉碎、過篩等處理，一組做過2 mm篩處理，一組過0.5 mm篩過處理，采用usb4000便攜式光譜獲取土壤光譜數(shù)據(jù)，結(jié)合(savitzky-golay, SG)平滑算法，波長壓縮算法和小波變換對原始數(shù)據(jù)進(jìn)行預(yù)處理，然后采用競爭性自適應(yīng)重加權(quán)、隨機(jī)青蛙和連續(xù)投影算法進(jìn)行特征波長選擇。基于全光譜建立了偏最小二乘回歸和基于特征波長建立了極限學(xué)習(xí)機(jī)和LS-SVM模型。結(jié)果表明過篩處理后的樣本模型結(jié)果優(yōu)于未過篩的樣本模型結(jié)果，過0.5 mm篩處理的土壤樣本模型預(yù)測結(jié)果略優(yōu)于過2 mm篩處理的土壤樣本模型預(yù)測結(jié)果，最優(yōu)預(yù)測集的決定系數(shù)為0.63，預(yù)測均方根誤差為0.007 9，剩余預(yù)測偏差為1.58。表明便攜式儀器檢測土壤總氮含量，經(jīng)過過篩處理的土壤樣品檢測結(jié)果優(yōu)于未過篩土壤樣品檢測結(jié)果，建議土壤樣品檢測總氮含量時需經(jīng)過過篩處理，這樣得到的結(jié)果較為理想，在此基礎(chǔ)上采用性能較好的光譜儀器采集數(shù)據(jù)，以減小原始光譜噪聲。

便攜式短波近紅外光譜；土壤總氮；LS-SVM

引 言

我國目前“測土配方施肥”多采用傳統(tǒng)化學(xué)測試方法獲取土壤養(yǎng)分含量信息，傳統(tǒng)的土壤總氮含量測定基于化學(xué)分析方法，比較費時和繁瑣，測量周期長，過程復(fù)雜，成本高，大大限制了“測土配方施肥”推廣和社會經(jīng)濟(jì)發(fā)展,難以滿足快速監(jiān)測土壤總氮含量的需求。土壤總氮含量是鑒別土壤肥力的一樣重要指標(biāo)，也是作物生長發(fā)育所必需的營養(yǎng)元素，因此，快速測定土壤的總氮含量，對于農(nóng)業(yè)和環(huán)境保護(hù)都很有意義。近紅外外光譜檢測技術(shù)由于其快速、無損和不污染環(huán)境等優(yōu)點[1-2]，在土壤養(yǎng)分含量檢測中得到了大量應(yīng)用[3-5]。本工作通過采用便攜式近紅外光譜儀器測定土壤樣品總氮含量，以期達(dá)到在實際生產(chǎn)中應(yīng)用的目的。

1 實驗部分

1.1 樣本采集和劃分

采集浙江省鹽城地區(qū)某一農(nóng)田區(qū)域肥力比較均勻的土壤243份，分為三組，一組未經(jīng)過粉碎、過篩等處理，一組做過2 mm篩處理，一組過0.5 mm篩過處，在室溫條件下放置24 h，土壤總氮采用干燒法測量[6]。對于不過篩處理土壤樣品簡單處理如下：從田間采集到的土壤樣品，去除土壤中作物、石塊、雜物等干擾因素，自然條件下晾干處理，然后將土壤樣品進(jìn)行破碎，挑除顆粒較大的土塊，得到顆粒直徑不大于4～5 mm的土壤樣品，倒入圓形透明玻璃培養(yǎng)皿中，撫平表面和壓實土壤，光纖探頭至樣本垂直距離約為1厘米。對于過篩土壤樣品處理如下：把取回的土壤樣本拿回實驗室經(jīng)晾干、磨細(xì)、分別通過2和0.5 mm的篩子和烘干水分等處理。合適的校正集選擇方法能增強(qiáng)模型的預(yù)測能力，SPXY樣本劃分方法用于本研究中。162個樣本用于模型校正，81個樣本用于模型預(yù)測集，表1為土壤樣本總氮含量統(tǒng)計分析結(jié)果。

USB4000光譜儀波長范圍200～1 100 nm，采集光譜數(shù)據(jù)前，關(guān)掉室內(nèi)日光燈，減少日光燈對光譜信號的影響，為使光源保持穩(wěn)定，鹵素?zé)艄庠粗辽兕A(yù)熱15 min左右。

1.2 光譜噪聲去除

采用SG平滑[7]，波長壓縮(reduce，RD)和小波變換Min: minimal value; Max: maximum value; SD: standard deviation(wavelet transform, WT)[8]等算法對光譜進(jìn)行處理，并對三種去噪聲算法進(jìn)行比較，SG平滑和RD在Unscramble 9.7軟件自帶算法完成處理，WT去噪聲算法由Matlab 2010a軟件的小波工具箱完成。Savitzky-Golay卷積平滑算法在對原始光譜進(jìn)行處理時，不再使用簡單的平均，通過采用最小二乘擬合系數(shù)建立濾波函數(shù)，對移動窗口內(nèi)的波長點數(shù)據(jù)進(jìn)行多項式最小二乘擬合。RD算法依據(jù)信號自身尺度特征將信號壓縮，非常適合一階微分和二階微分后續(xù)處理，通過對連續(xù)15個波長反射率取均值作為一個有效波長，進(jìn)行壓縮處理以達(dá)到消除噪聲和降低光譜維度雙重目的，數(shù)據(jù)量是原始光譜數(shù)據(jù)量的十五分之一。WT是一種時頻分析法，其中連續(xù)小波變換是一種基于給定小波基函數(shù)的積分變換。

Table 1 Sample statistic of calibration and prediction data of sample sets

1.3 特征波長選擇算法

原始光譜數(shù)據(jù)量大容易造成計算量大和模型復(fù)雜，同時存在冗余和大量的共線性信息，對光譜分析及建模產(chǎn)生干擾和影響[9]。采用CARS算法(competitive adaptive reweighted sampling)[10]、random frog算法和連續(xù)投影算法(successive projections algorithm, SPA)[11]選擇特征波長，減少數(shù)據(jù)共線性和數(shù)據(jù)冗余，簡化模型和減少運(yùn)算量。CARS基于十折交叉驗證，選擇N個偏最小二乘子集模型預(yù)測均方根誤差最小的子集，該子集為最優(yōu)變量組合。依據(jù)交互驗證選出交互驗證均方根誤差最小的變量子集，該子集所包含的變量即為最優(yōu)特征波長變量組合。random frog是一種較新的特征波長選擇算法，由Li等[12]提出并用于基因變量的選擇。random frog是一種類似于可逆跳轉(zhuǎn)馬爾可夫鏈蒙特卡洛的算法，計算每個變量的被選擇概率，從而進(jìn)行重要變量的選擇。SPA可以從光譜矩陣中選擇無共線性和無冗余的特征波長組合，在簡化模型復(fù)雜度的同時提高建模的運(yùn)行速度和效率，本工作設(shè)置選擇特征波長數(shù)的范圍為5～60。

1.4 建模分析方法

基于全譜建立偏最小二乘回歸(PLS)分析模型，分別基于選擇的特征波長建立極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)模型以及LS-SVM分析模型。PLS是最為常用的化學(xué)計量學(xué)建模方法。同時考慮光譜矩陣X和樣本理化值Y，建立預(yù)測模型，通過降維獲取潛在變量，消除光譜無用的變量。ELM是一種簡單有效的單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，原理圖詳見圖1。

偏最小二乘支持向量機(jī)[13]建模時利用了徑向基函數(shù)的內(nèi)核，參數(shù)γ和σ2的最優(yōu)組合被選中，預(yù)測均方根誤差(RMSEC)建模時交叉驗證獲得穩(wěn)定值。LS-SVM建模過程是一個不斷尋優(yōu)過程，搜索最優(yōu)變量遵從特定的尋優(yōu)機(jī)制和算法。

Fig.1 Schematic diagram of ELM

2 結(jié)果與討論

2.1 光譜提取與分析

未過篩和過篩(2 mm)獲取的土壤光譜如圖2所示。比較發(fā)現(xiàn)，圖2(a)中未經(jīng)過篩處理土壤樣品光譜曲線的噪聲大于圖2(b)中光譜曲線，說明土壤樣品過篩與不過篩處理對土壤光譜噪聲影響非常顯著，且過篩后的土壤光譜反射率也明顯大于未過篩的土壤光譜反射率。

Fig.2 Spectra of soil samples

2.2 特征波長選擇

分別基于CARS，random frog和SPA算法選擇土壤總氮的相關(guān)特征波長，詳見表2所示。從表2可知，CARS所選擇的土壤總氮特征波長的個數(shù)要多于random frog和SPA算法。SPA提取的土壤總氮特征波長按貢獻(xiàn)值的大小排序，數(shù)量少，含有最低限度冗余，避免了信息重疊和共線性問題發(fā)生。random frog確定特征變量是通過頻率值的大小來選擇，要說明的一點random frog算法每次運(yùn)行的結(jié)果稍有不同，因此為減小隨機(jī)因素的影響，針對土壤總氮特征波長的選擇，分別運(yùn)行random frog算法10次，統(tǒng)計了10次運(yùn)行結(jié)果的均值。橫坐標(biāo)是波長變量，縱坐標(biāo)是被選概率，概率的大小用來評價變量的重要性，概率越大的變量其重要性越大。將所有變量按被選概率排序，以0.15為閾值，分別選出概率最大的前19個、37個、37個變量作為未過篩、過2 mm孔徑篩和過0.5 mm孔徑篩的特征波長，見表2。

Table 2 Number of characteristic wavelengths collected by CARS, random frog and SPA

2.3 基于全波長的PLS模型

為了較好評價PLS模型檢測土壤總氮含量便攜式儀器的性能，將對SG，RD和WT三種光譜預(yù)處理方法后建立的PLS模型相比較，結(jié)果如表3所示。

由表3，比較過篩和未過篩全譜波長建立的PLS模型可知，過篩后PLS建模效果要優(yōu)于未過篩PLS建模效果。過篩0.5 mm后基于SG平滑預(yù)處理去噪聲的光譜效果最好。預(yù)測集的決定系數(shù)為0.62，均方根預(yù)測誤差為0.008 2，剩余預(yù)測偏差為1.57。WT分析雖然較好的消除了部分光譜噪聲，但也去除了部分有用光譜信息，導(dǎo)致PLS預(yù)測效果最低，其預(yù)測集的決定系數(shù)為0.60，均方根預(yù)測誤差為0.008 3，剩余預(yù)測偏差為1.51。故后文提取特征波長的分析在SG平滑預(yù)處理去噪聲后的基礎(chǔ)上進(jìn)行。

2.4 基于特征波長的ELM模型

基于CARS，random frog和SPA藤征波長選擇算法得到的特征波長的ELM模型的計算結(jié)果如表4所示。

Table 3 Results of PLS models

Table 4 Results of ELM models

從表4可知，采用SPA提取的特征波長建立的ELM模型的效果最好，預(yù)測集的決定系數(shù)為0.60，均方根預(yù)測誤差為0.008 3，剩余預(yù)測偏差為1.51。采用CARS選擇的特征波長取得了相對較差效果，預(yù)測集的決定系數(shù)為0.57，均方根預(yù)測誤差為0.008 9，剩余預(yù)測偏差為1.41。比較基于CARS和random frog算法提取的特征波長建立的ELM模型可知，基于random frog提取特征波長的ELM模型效果要優(yōu)于基于CARS提取特征波長的結(jié)果，究其原因，CARS選擇的特征波長包含有用信息的同時還含有噪聲信息，沒有達(dá)到最優(yōu)選擇。

2.5 基于特征波長的LS-SVM模型

LS-SVM模型預(yù)測效果見表5。從表5的結(jié)果可知，采用SPA提取的特征波長建立的LS-SVM 模型優(yōu)于其他兩種方法選擇的特征波長建立LS-SVM模型的預(yù)測結(jié)果，類似于ELM模型方法，采用CARS提取特征波長建立的LS-SVM 模型同樣取得了相對較差的預(yù)測結(jié)果?；赟PA的LS-SVM模型的預(yù)測結(jié)果優(yōu)于其他模型是由于SPA選擇的特征波長達(dá)到最優(yōu)，沒有冗余信息，而其他方法選擇的特征波長或多或少包含一些冗余信息，致使模型的預(yù)測能力下降。

2.6 PLS模型，ELM模型和LS-SVM模型的比較

過篩后基于SPA算法提取的特征波長建立的模型都取得了最優(yōu)的效果。未過篩土壤樣品基于CARS，random frog和SPA算法提取的特征波長建立的模型中，PLS模型、ELM模型和LS-SVM模型的效果都較差。過篩0.5 mm后土壤樣品基于SPA算法提取的特征波長建立的LS-SVM模型取得了最佳預(yù)測結(jié)果，其LS-SVM模型預(yù)測集的決定系數(shù)為0.63，均方根預(yù)測誤差為0.007 9，剩余預(yù)測偏差為1.58，略優(yōu)于過篩2 mm的相應(yīng)結(jié)果。LS-SVM模型是一種非線性建模方法，考慮到了模型建立過程中的非線性因素，如土壤水分、顏色和顆粒大小等非線性影響因素，提高了模型的預(yù)測精度。在所有模型中，ELM模型的預(yù)測效果最差，LS-SVM模型的效果最優(yōu)。

圖3為過篩0.5 mm孔徑，基于LS-SVM土壤總氮建模集和預(yù)測集模型檢測結(jié)果。

Fig.3 Model result of soil TN calibration and prediction set

3 結(jié) 論

基于光譜技術(shù)對過篩和未過篩土壤樣品檢測總氮含量進(jìn)行了研究，用SG，RD和WT對原始光譜數(shù)據(jù)進(jìn)行去除噪聲處理?；谌庾V建立了PLS模型。結(jié)果表明采用SG預(yù)處理算法最優(yōu)，建立的全譜PLS模型優(yōu)于RD和WT算法去噪聲處理后建立的全譜PLS模型，在SG平滑基礎(chǔ)上，同時采用CARS算法、random frog算法和SPA算法提取特征波長，并基于特征波長建立ELM和LS-SVM預(yù)測模型，獲得了較高的預(yù)測精度。過篩處理后土壤基于SPA選擇的特征波長建立的LS-SVM模型取得了最佳效果，LS-SVM模型預(yù)測集的R2為0.63，RMSEP為0.007 9，RPD為1.58。表明由于土壤過篩和未過篩的土壤光譜噪聲不同，致使檢測結(jié)果各異，經(jīng)過過篩處理的土壤樣品檢測結(jié)果優(yōu)于未過篩土壤樣品檢測結(jié)果，未過篩處理的土壤樣品采用便攜式儀器檢測結(jié)果不理想，建議土壤樣品檢測總氮含量時需經(jīng)過過篩處理，過2 mm和過0.5 mm結(jié)果相差不大，為取得更為理想的檢測結(jié)果，建議采用性能較好的光譜儀器采集數(shù)據(jù)，以減小原始光譜噪聲。

[1] Wu D, Nie P C, He Y, et al. Food and Bioprocess Technology, 2012, 5(4): 1402.

[2] Liu F, He Y, Wang L, et al. Food and Bioprocess Technology, 2011, 4(8): 1331.

[3] Vohland M, Ludwig M, Thiele-Bruhn S, et al. Geoderma, 2014, 223-225: 88.

[4] Pietrzykowski M, Chodak M. Ecological Engineering, 2014, 62: 115.

[5] Kuang B Y, Mouazen A M. Biosystems Engineering, 2013, 114(3): 249.

[6] BAO Shi-dan(鮑士旦). Soil Agriculturalization Analysis(土壤農(nóng)化分析). Beijing: China Agriculture Press(北京: 中國農(nóng)業(yè)出版社), 1990. 30.

[7] Chen H Z, Pan T, Chen J M, et al. Chemometrics and Intelligent Laboratory Systems, 2011, 107(1): 139.

[8] Peng J, Shen H, He S W, et al. Environmental Earth Sciences, 2013, 69(1): 279.

[9] ZHANG Chu, LIU Fei, KONG Wen-wen, et al(張 初，劉 飛，孔汶汶, 等). Transactions of the Chinese Society of Agricultural Engineering(農(nóng)業(yè)工程學(xué)報), 2013，(20): 270.

[10] SUN Tong, XU Wen-li, LIN Jin-long, et al(孫 通，許文麗，林金龍，等). Spectroscopy and Spectral Anlysis(光譜學(xué)與光譜分析), 2012, 32(12): 3229.

[11] Martin M P, Orton T G, Lacarce E, et al. Geoderma, 2014, 223-225: 97.

[12] Li H D. X Q S L. Analytica Chimica Acta, 2012, 740(1): 20.

[13] Shao Y N, Zhao C J, Bao Y D, et al. Food and Bioprocess Technology, 2012, 5(1): 100.

*Corresponding author

Measurement of Soil Total N Based on Portable Short Wave NIR Spectroscopy Technology

ZHANG Hai-liang1，2, HE Yong1*

1. College of Biosystems Engineering and Food Science, Zhejiang University, Hangzhou 310058, China

2. School of Railway Jiaotong, East China Jiaotong University，Nanchang 330013，China

Near infrared spectroscopy analysis as a reliable, rapid, little sample preparation requirement, low-cost, convenient, nondestructive and green technique becomes more and more important in the area of soil nutrition measurement. Near infrared spectroscopy are highly sensitive to C—H, O—H and N—H bonds of soil components such as total nitrogen (TN) making their use in the agricultural and environmental sciences particularly appropriate. The analytical abilities of near infrared spectroscopy depend on the repetitive and broad absorption of light by C—H, O—H and N—H bonds. A total of 243 soil samples were collected from wencheng, Zhejiang province. Raw spectra and wavelength-reduced spectra with 3 different pretreatment methods (Savitzky-Golay smoothing (SG), Reduce (RD), and Wavelet Transform (WT)) were compared to determine the optimal wavelength range and pretreatment method for analysis. Spectral variable selection is an important strategy in spectrum modeling analysis, because it tends to parsimonious data representation and can lead to multivariate models with better performance. In order to simply calibration models, the preprocessed spectra were then used to select sensitive wavelengths by competitive adaptive reweighted sampling (CARS), Random frog and Successive Projections Algorithm (SPA) methods. Different numbers of sensitive wavelengths were selected by different variable selection methods with Wavelet Transform (WT) preprocessing method. Partial least squares (PLS) was used to build models with the full spectra, and Extreme Learning Machine (ELM) and LS-SVM were applied to build models with the selected wavelength variables. The overall results showed that PLS and LS-SVM models performed better than ELM models, and the LS-SVM models with the selected wavelengths based on SPA obtained the best results with the determination coefficient (R2), RMSEP and RPD were 0.63, 0.007 9 and 1.58 for prediction set. The results indicated that it was feasible to use portable short wave near-infrared spectral technology to predict soil total nitrogen and wavelengths selection could be very useful to reduce redundancy of spectra.

Portable short wave NIR spectra; Soil total nitrogen; LS-SVM

Sep. 14, 2014; accepted Dec. 11, 2014)

2014-09-14，

2014-12-11

國家自然科學(xué)基金項目(61134011)和江西省科技支持項目(2014BDH80021)資助

章海亮, 1977年生, 華東交通大學(xué)軌道交通學(xué)院副教授 e-mail: hailiang.zhang@163.com *通訊聯(lián)系人 e-mail: yhe@zju.edu.cn

O433.5

A

10.3964/j.issn.1000-0593(2016)01-0091-05