基于CARS-SAA的土壤銨態(tài)氮含量高光譜反演

湯能肖志云王生富

(1.內(nèi)蒙古工業(yè)大學(xué)電力學(xué)院，內(nèi)蒙古 呼和浩特 010080；2.內(nèi)蒙古自治區(qū)機(jī)電控制重點(diǎn)實驗室，內(nèi)蒙古 呼和浩特 010051；3.內(nèi)蒙古自治區(qū)農(nóng)村牧區(qū)社會事業(yè)發(fā)展中心，內(nèi)蒙古 呼和浩特 010020)

銨態(tài)氮是植物生長發(fā)育必需的營養(yǎng)元素，在土壤微生物的作用下進(jìn)行硝化作用轉(zhuǎn)化成硝態(tài)氮素，進(jìn)而增強(qiáng)氮素在土壤中的移動性，更好地被植物根系吸收，在植物的生長過程中起關(guān)鍵作用。故而銨態(tài)氮含量指標(biāo)被廣泛用于土壤養(yǎng)分供應(yīng)能力的分析中[1-3]。隨著科學(xué)技術(shù)的迅猛發(fā)展，高光譜技術(shù)為高效快速檢測土壤屬性提供了新的技術(shù)和方法[4]。針對高光譜成像技術(shù)的特征變量篩選問題，大量學(xué)者已進(jìn)行了眾多相關(guān)研究。李江波等[5]利用競爭性自適應(yīng)重加權(quán)算法(CARS)、遺傳算法(GA)和蒙特卡羅無信息變量消除算法(MC-UVE)對光譜特征變量進(jìn)行篩選，并建立偏最小二乘(PLS)預(yù)測模型，結(jié)果表明，CARS-PLS預(yù)測模型的精度最高且篩選變量最少。Fan等[6]選擇競爭性自適應(yīng)重加權(quán)算法CARS選取特征變量后，再選取連續(xù)投影法(SPA)進(jìn)一步篩選有效特征變量，在簡化預(yù)測模型的同時更提升了模型預(yù)測精度。孫宇樂等[7]對土壤光譜用微波雷達(dá)四極化后采用相關(guān)分析法過濾篩選土壤屬性特征變量取得較好的效果。朱淑鑫等[8]在研究土壤速效鉀時，就光譜數(shù)據(jù)冗余、維度過高問題，將K均值法與連續(xù)投影算法耦合篩選光譜特征變量，有效提取了建模精度較好的特征變量。齊海軍等[9]通過對平滑后的光譜數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)正態(tài)變換來消除土壤顆粒、表面散射、光程變化對光譜曲線的影響，根據(jù)變量投影重要性篩選出后續(xù)較好的建模特征變量。李焱等[10]通過提取特征變量，以多元逐步線性回歸和偏最小二乘回歸建模，發(fā)現(xiàn)采取二階微分變換后，以偏最小二乘回歸建模R2達(dá)到了0.96最佳。劉九材等[11]利用高光譜技術(shù)進(jìn)行蘋果品種鑒定并分析不同的特征變量篩選算法，研究表明，模擬退火算法能夠有效地篩選出特征變量。周偉等[12]提取糧蟲特征時采取模擬退火算法能精準(zhǔn)篩選最優(yōu)特征，驗證其特征篩選的可行性。

因此，為進(jìn)一步探究土壤高光譜特征變量的優(yōu)選方法，以建立優(yōu)化的土壤銨態(tài)氮預(yù)測模型，本文分別采用CARS、SAA以及CARS-SAA進(jìn)行特征變量篩選，并利用PLSR和RF相結(jié)合的模型，建立土壤銨態(tài)氮的預(yù)測模型?？焖儆行У貙犹坠鄥^(qū)土壤銨態(tài)氮含量進(jìn)行預(yù)測，為實現(xiàn)土壤銨態(tài)氮的高光譜技術(shù)在線檢測奠定理論基礎(chǔ)。

1 材料與方法

1.1 研究區(qū)概況

五原縣位于內(nèi)蒙古自治區(qū)巴彥淖爾市，東臨包頭，西接臨河，南隔黃河，北依陰山。地處河套灌區(qū)腹地沉積了較厚的肥美土質(zhì)。氣候偏向中溫帶大陸性氣候，適合農(nóng)作物及各種植被的生長。雖然部分土地鹽堿化，但不影響耐堿作物如葵花、高粱等作物生長[13]。實驗研究區(qū)位于五原縣隆興昌鎮(zhèn)農(nóng)業(yè)生產(chǎn)基地,如圖1所示，主要以種植向日葵、玉米、高粱等農(nóng)作物為主，是內(nèi)蒙古地區(qū)農(nóng)業(yè)高產(chǎn)高效的實驗基地。

圖1 研究區(qū)位圖

1.2 土壤樣本采集與測定

土壤樣本通過前往河套灌區(qū)野外實地調(diào)查取樣，根據(jù)研究區(qū)域耕種面積，本次共采集土壤樣本70份，采集土壤時采用網(wǎng)格布局法，每個采樣點(diǎn)間距為5m，每份土壤采樣深度為15cm,每個土壤樣本采集重量為100g。將土壤裝進(jìn)保鮮密封袋內(nèi)帶回，經(jīng)過篩去除草根、碎石等雜質(zhì)，每個土壤樣本分為2份分別不同處理。

1份利用土壤養(yǎng)分分析儀采用化學(xué)方法來測定土壤銨態(tài)氮含量的真實含量數(shù)據(jù)。將土壤用研缽研磨后再用篩子過篩放置于直徑8cm、深2cm的四周涂黑的玻璃皿中，每個土壤玻璃皿樣本中選取3個區(qū)域測量得出實測銨態(tài)氮含量。采用SPXY算法將70個土壤樣本中的52個樣本劃為建模集，其余18個樣本劃分為驗證集，劃分結(jié)果如表1所示。

表1 土壤樣本集銨態(tài)氮含量統(tǒng)計

另1份則采用實驗室配備的一款產(chǎn)自芬蘭的便攜式高光譜相機(jī)Specim IQ進(jìn)行河套灌區(qū)土壤樣本的高光譜數(shù)據(jù)測定，該高光譜相機(jī)的測定波長范圍為400～1000nm，光譜分辨率為3nm，在光譜維度上記錄的光譜波段數(shù)量為204個。測定土壤前利用標(biāo)準(zhǔn)白板進(jìn)行校準(zhǔn)和調(diào)整，白板校正可以消除環(huán)境不匹配的問題。同時采集過程中為了減少外界環(huán)境對測定結(jié)果的影響，測定全程在密閉無外界干擾的環(huán)境下進(jìn)行。將裝有土壤的涂黑的玻璃皿放在中間實驗臺上，以50W鹵素?zé)魹闇y定光源，傾斜45°角，距離土樣表層75cm進(jìn)行照射，用高光譜相機(jī)進(jìn)行拍攝。實驗室高光譜拍攝系統(tǒng)如圖2所示。

圖2 室內(nèi)拍攝系統(tǒng)

將拍攝到的土壤高光譜圖像用ENVI 5.3軟件標(biāo)記出在之前測量銨態(tài)氮真實值的3個區(qū)域作為感興趣區(qū)域(Region of interest，ROI)，與用土壤養(yǎng)分分析儀測量的真實值一一對應(yīng)。70個樣本共計提取出210條光譜曲線。

1.3 土壤光譜預(yù)處理

為消除實驗土壤樣本間散射導(dǎo)致的基線偏移和減少平滑對有用信息的影響，同時也為了便于尋找和提取土壤銨態(tài)氮的高光譜敏感特征變量，本文對采集到的土壤樣本的原始反射光譜曲線進(jìn)行Savitzky-Golay平滑，多元散射校正(MSC)，微分變換以及組合處理的土壤光譜數(shù)據(jù)預(yù)處理[14]。

1.4 特征變量篩選

1.4.1 CARS特征變量篩選

CARS是一種可以用來選取特征變量的算法，是由PLC模型回歸系數(shù)、蒙特卡洛采樣法相結(jié)合得出，CARS模擬“適者生存”的原則，進(jìn)行自適應(yīng)加權(quán)采樣的同時剔除PLS模型中回歸系數(shù)絕對值權(quán)重較小的點(diǎn)，保留權(quán)重較大的點(diǎn)建構(gòu)起新的子集，在新的子集的基礎(chǔ)上建立PLS模型，經(jīng)進(jìn)行一系列計算后，選定PLS模型交互驗證均方根誤差(RMSECV)最小的子集中的波長作為特征波長，詳細(xì)過程如下[16]。

選用蒙特卡羅采樣法，每次隨機(jī)抽取樣本的80%作為建模集，余下樣本作為驗證集，進(jìn)行PLS模型的建構(gòu)。對蒙特卡洛的采樣次數(shù)(N)，必須預(yù)先進(jìn)行設(shè)定。在N次采樣過程中，需依次記錄PLS模型中回歸系數(shù)的絕對值權(quán)重。

(1)

式中，m為單次采樣中余下的變量數(shù)；|bi|為第i個變量的回歸系數(shù)絕對值；|wi|為第i個變量的回歸系數(shù)絕對值權(quán)重。

利用指數(shù)衰減函數(shù)強(qiáng)行去除回歸系數(shù)絕對值權(quán)重較小的波長。在第i次基于蒙特卡洛采樣建立PLS模型時，根據(jù)指數(shù)衰減函數(shù)得到保留的波長點(diǎn)的比例Ri：

Ri=ue-ki

(2)

式中，u和k是常數(shù)，可以按照以下2種情況計算。

在首次采樣并進(jìn)行相應(yīng)計算時，各波長都參與了建模分析，故而留下的波長點(diǎn)的比例為1。

在第N次采樣完成并進(jìn)行計算時，參與PLS建模的波長僅有2個，因而保留的波長點(diǎn)的比例為2/n，n對應(yīng)的是原始波長點(diǎn)數(shù)。由此可知，u和k的計算公式:

(3)

(4)

每次采樣時，都是采用自適應(yīng)加權(quán)采樣(ARS)在上一次采樣時的變量數(shù)中選擇相應(yīng)數(shù)量的波長變量，進(jìn)行PLS建模，計算交叉驗證均方差。

完成N次采樣后，得到N組候選的特征波長子集，以及對應(yīng)的選擇交叉驗證均方差值，選擇交叉驗證均方差值最小值所對應(yīng)的波長變量子集為特征波長。

1.4.2 SAA特征變量篩選

SAA在諸多領(lǐng)域都得了突出的應(yīng)用，然而在近紅外高光譜技術(shù)中運(yùn)用還較罕見。此算法的優(yōu)點(diǎn)在以一定概率接收差解用于跳出局部最優(yōu)解，達(dá)到全局最優(yōu)解，完成高光譜特征變量的篩選。這是一種模擬固體降溫過程中內(nèi)部變化規(guī)律進(jìn)行優(yōu)化的方法。模擬退火算法收斂速度取決于起始溫度T0、終止溫度Tf，馬爾可夫鏈長度LK等，故而對控制算法進(jìn)程的參數(shù)需做到合理選擇，確保在有限時間內(nèi)算法能夠返回一個近似最優(yōu)解是非常關(guān)鍵的[17]。

退火過程由冷卻進(jìn)度表控制。目的是使得系統(tǒng)能夠盡量保持平衡，在有限時間內(nèi)，確保算法能夠逼近最優(yōu)解。參數(shù)具體有第k個馬爾科夫鏈的長度LK，控制溫度參數(shù)初值T0和終值Tf，以及在k個溫度控制的參數(shù)值Tk。若經(jīng)LK次計算后，得到的解的概率分布與T=Tk時的分布高度接近，則反映出模擬退火算法達(dá)到準(zhǔn)平衡。由此能夠得出,在T有著足夠大數(shù)值的情形下，該算法能夠立刻實現(xiàn)準(zhǔn)平衡，其中變量Tk衰減量越大，則相應(yīng)花費(fèi)越長的LK才可恢復(fù)準(zhǔn)平衡，因而如果選取小的衰減量，能夠有效避免過長。此外，在收斂性、執(zhí)行效率方面，也是算法實際需要考量的[18]。綜上，最后設(shè)置T0=100℃；Tk=0.95T，Tf=1℃，Lk=50為本次實驗SAA特征變量篩選的參數(shù)。然而將土壤高光譜數(shù)據(jù)采用SAA特征變量篩選，雖然簡化了建模的復(fù)雜度，但拍攝的土壤高光譜數(shù)據(jù)量巨大導(dǎo)致模擬退火算法產(chǎn)生的計算量大，在實際處理花費(fèi)的時間較長。

1.4.3 CARS-SAA特征變量篩選

因CARS選擇后仍有著較多數(shù)量的特征變量，且蒙特卡羅采樣過程表現(xiàn)出一定的隨機(jī)性，故而CARS篩選的特征變量并非具有固定性，可能未完全消除無關(guān)變量，建立的模型結(jié)果不穩(wěn)定[16]。而SAA篩選特征變量雖然簡化了建模復(fù)雜度，提高模型精度，但由于高光譜數(shù)據(jù)存在大量冗余信息數(shù)據(jù)量大，導(dǎo)致SAA在特征變量選取時就會相應(yīng)地增加算法搜索時間從而使得計算量非常大，需要花費(fèi)較長時間。

由此本文提出利用SAA對CARS提取的特征變量再次進(jìn)行變量篩選處理，降低因為CARS產(chǎn)生的隨機(jī)性問題，將篩選的特征變量更加優(yōu)化使與銨態(tài)氮含量有關(guān)的信息變量被篩選的概率得到提升，不僅穩(wěn)定預(yù)測模型精度，還解決了SAA單獨(dú)使用過程中其計算量繁瑣，運(yùn)算時間緩慢的問題。

1.5 建模方法與評價

為避免使用單一的模型反演導(dǎo)致訓(xùn)練數(shù)據(jù)中的某些相關(guān)信息變量缺失以及避免單個模型預(yù)測效果不佳的風(fēng)險，本研究采用了偏最小二乘回歸與隨機(jī)森林回歸的結(jié)合模型(PLSR-RF、RF-PLSR)，2種模型相結(jié)合可以擴(kuò)大假設(shè)空間，使數(shù)據(jù)之間在模型中包含盡可能多的真實性，進(jìn)而提高了模型對數(shù)據(jù)的逼近能力，達(dá)到更高的預(yù)測精度[19]。

在模型精度上選用均方根誤差(RMSE)、決定系數(shù)(R2)、相對分析誤差(RPD)進(jìn)行評價，RMSE越小，R2越接近1，模型越穩(wěn)定[19]。如果RPD≥2，意味著模型的估測能力較好；如果1.4≤RPD<2.0，意味著模型能夠粗略估測樣本含量；如果RPD<1.4，意味著模型預(yù)測能力極差，無法估測樣品含量[20]。

2 結(jié)果與分析

2.1 光譜預(yù)處理

由于高光譜拍攝相機(jī)本身以及采集系統(tǒng)所在外部環(huán)境的影響，采集到的高光譜信息會出現(xiàn)噪聲、基線漂移等現(xiàn)象，光譜預(yù)處理可消除不利因素的影響。如圖3所示，對采集到的原始光譜曲線，故而需使用SG平滑、多元散射校正(MSC)、平滑一階微分變換(SG-FD)等多種方法進(jìn)行預(yù)處理，并分別建立PLSR-RF、RF-PLSR模型，經(jīng)后續(xù)建模效果對比后發(fā)現(xiàn)，在預(yù)處理效果上，SG-FD有著最佳表現(xiàn)，故而后續(xù)均基于SG-FD方法進(jìn)行預(yù)處理。

圖3 土壤原始光譜曲線

SG-FD預(yù)處理后的光譜反射率曲線如圖4所示，可知因銨態(tài)氮含量不同，光譜曲線的等級差異及基線漂移和背景干擾均得以有效消除，并放大光譜曲線的細(xì)節(jié)特征。

圖4 SG-FD變換光譜曲線

2.2 CARS-SAA特征變量篩選

基于CARS進(jìn)行特征變量的篩選，能夠使得光譜變量間的高度共線性問題得到改善，從而使得預(yù)測模型具有更高的速度和精度[21]。如圖5所示。

圖5 CARS關(guān)鍵變量選擇

能夠發(fā)現(xiàn)優(yōu)選變量的數(shù)量均隨迭代次數(shù)的增加呈指數(shù)減少，其交叉驗證均方差值整體呈現(xiàn)先減后升的趨勢，運(yùn)行次數(shù)增加，相應(yīng)有著越少的變量數(shù)被選出，前9次采樣有明顯減少，此后趨平穩(wěn)。在前9次采樣中，整體上交叉驗證均方差值呈逐步降低，反映出篩選過程中剔除的變量并不會影響到銨態(tài)氮去除量，而第9次采樣迭代以后，交叉驗證均方差值出現(xiàn)回升，反映出反射率光譜中有大量添加與銨態(tài)氮無關(guān)的噪聲或信息，從而導(dǎo)致交叉驗證均方差值上升。在第9次采樣時，交叉驗證均方差值最小，也就是選擇的子集最優(yōu)。CARS最終選擇出40個特征變量，將篩選的特征變量顯示在一條原始光譜曲線上的分布如圖6所示。

圖6 CARS特征變量分布圖

提取后得到的40個特征變量作為SAA的輸入，再進(jìn)一步利用SAA對高光譜數(shù)據(jù)波長再次。本次實驗所采用的SAA在退火過程中以一定的概率接受惡化解時，能夠記住當(dāng)前最優(yōu)解，保證優(yōu)化過程中最優(yōu)解不會因為接受惡化解而退化。最終從高光譜數(shù)據(jù)的204個波數(shù)點(diǎn)中優(yōu)選出519.25nm、622.26nm、678.71nm、714.55nm、810.86nm、886.84nm、889.90nm、892.95nm、917.42nm、935.81nm共10個特征變量，僅占全光譜波長變量的4.9%，和單純用SAA提取特征變量過程相比，大大減少了計算量。特征變量如圖7所示，集中在620～680nm、880nm～900nm附近。CARS-SAA特征變量篩選不僅消除無關(guān)的變量并減少變量之間的共線性，提高預(yù)測模型的精度及速度，同時將CARS篩選的特征變量利用SAA進(jìn)一步優(yōu)化使篩選有用信息變量的概率增大穩(wěn)定了預(yù)測模型精度,也避免了SAA算法其計算量大的問題。

圖7 CARS-SAA特征變量分布圖

2.3 模型建立與分析

以全光譜(full-spectra，F(xiàn)S)、CARS、SAA和CARS-SAA篩選的量作為模型的輸入自變量，銨態(tài)氮含量作為因變量分別建立PLSR-RF、RF-PLSR回歸模型并計算模型評價指標(biāo)，模型預(yù)測結(jié)果如表2所示。從表2可以看出，不同的篩選變量方法以及不同的建模方法，其精度有一定的差異。從模型評價指標(biāo)可知，將全光譜直接進(jìn)行建模效果并不是很好，其驗證集決定系數(shù)R2均未超過0.5，RMSE值均超過3.4mg·kg-1，RPD值范圍在1.4～2.0，表示該模型可以對土壤銨態(tài)氮含量進(jìn)行粗略估測。

表2 銨態(tài)氮含量回歸模型

單獨(dú)使用CARS和SAA篩選方法建立的模型與全光譜建立的模型相比精度和穩(wěn)定性有了很大的提升，其中以SAA-PLSR-RF模型最佳，其驗證集決定系數(shù)R2為0.856，RMSE值為1.924mg·kg-1，RPD值為2.632，已經(jīng)具有較好預(yù)測土壤銨態(tài)氮含量的能力。將2種篩選變量方法結(jié)合后通過建模分析發(fā)現(xiàn)，CARS-SAA篩選變量后建立的PLSR-RF模型精度達(dá)到了最高，其驗證集決定系數(shù)R2為0.902，RMSE值為1.583mg·kg-1，RPD值為3.198，具有最佳的預(yù)測土壤銨態(tài)氮含量的能力。

為了進(jìn)一步觀察土壤銨態(tài)氮的模型反演效果，選擇采用CARS-SAA篩選方法建立的預(yù)測效果最好的模型為例，繪制模型的土壤銨態(tài)氮驗證集的實測值與預(yù)測值的1∶1散點(diǎn)圖。如圖8、圖9所示。從圖8、圖9可以看出，CARS-SAA-PLSR-RF更接近1∶1線，模型預(yù)測精度最高。綜上所述，CARS-SAA是一種有效的高光譜數(shù)據(jù)特征變量篩選方法，利用該方法結(jié)合PLSR-RF可以準(zhǔn)確預(yù)測土壤銨態(tài)氮含量，同時提高檢測的實時性。

圖8 CARS-SAA-RF-PLSR散點(diǎn)圖

圖9 CARS-SAA-PLSR-RF散點(diǎn)圖

3 結(jié)論

以內(nèi)蒙古自治區(qū)巴彥淖爾市五原縣的河套灌區(qū)糧食生產(chǎn)基地為實驗研究區(qū)，以70個土壤樣本的銨態(tài)氮含量為研究對象，使用實測的高光譜土壤數(shù)據(jù)和土壤銨態(tài)氮含量，經(jīng)預(yù)處理后采用CARS、SAA和CARS-SAA方法對土壤高光譜全波長進(jìn)行特征變量的篩選，并分別構(gòu)建PLSR-RF和RF-PLSR模型，研究表明,在預(yù)測精度上基于CARA-SAA建立的模型與單個篩選方法相比較有著更優(yōu)表現(xiàn)，能夠得出CARS可使得變量集更少存在共線性問題，并能夠保留強(qiáng)信息變量，但是CARS篩選后，仍有干擾或無關(guān)信息變量存在的可能性，因而在預(yù)測精度上模型仍具有提高的空間。對CARS篩選后獲取的變量，進(jìn)行SAA篩選，在預(yù)測精度得以保證的前提下，縮減變量數(shù)，并有效避免變量篩選過程中的計算量大、復(fù)雜度較高且運(yùn)算時間長的問題。結(jié)合PLSR-RF建立的模型，在預(yù)測效果上有著良好表現(xiàn)，故而能夠認(rèn)定CARS-SAA是一種有效的高光譜數(shù)據(jù)特征變量篩選方法，CARS-SAA-PLSR-RF模型可以快速有效地對河套灌區(qū)土壤銨態(tài)氮含量進(jìn)行預(yù)測，為高光譜在線檢測提供了理論依據(jù)，也為后續(xù)對土壤及其他成分含量的分析帶來新的研究思路和方法。