基于高光譜技術的一種TPC-TELM模型應用于土壤重金屬含量反演研究

徐厚生，王繼春

（沈陽建筑大學理學部，沈陽 110168）

隨著經濟的不斷發(fā)展，土壤環(huán)境退化逐漸嚴重，土壤肥力逐漸下降，土壤重金屬污染問題十分嚴重。土壤中的重金屬污染對于環(huán)境保護、土壤復墾和人類安全都會產生巨大影響[1]。砷是一種毒性很強的重金屬元素，對生態(tài)系統(tǒng)和人類健康都有重要的潛在威脅，因此，對重金屬元素砷進行反演研究，這對于生態(tài)恢復和環(huán)境保護都有著重要意義。傳統(tǒng)的土壤重金屬含量的檢測研究是通過現(xiàn)場采樣，然后通過實驗室復雜的化學處理獲得，十分繁瑣，且花費高昂。因此，找到快速、準確地對土壤重金屬含量進行估計的方法十分重要。近些年，很多學者利用可見光-近紅外光譜，結合機器學習建模方法進行土壤屬性（如重金屬、鹽分、有機碳等）的濃度估計[2-4]。由于土壤光譜數(shù)據(jù)的復雜性高，包含大量冗余信息。為更好的提取，一些學者對其進行多種不同的預處理方法。整數(shù)階微分處理、小波變換和連續(xù)投影法等都是常用的預處理方法[5-6]。這些方法多是在單個波段上進行信息處理，忽略了波段間的相互作用。三波段光譜指數(shù)在三維層面上處理數(shù)據(jù)，考慮了3個波段間的相互作用[7]。相對于全譜數(shù)據(jù)，通過構建三波段光譜指數(shù)可以更好地提取有效的光譜特征，提升模型的建模精度[8]。

在過去的這些年里，已經開發(fā)了許多分類回歸方法，如貝葉斯決策理論、支持向量機（SVM）、人工神經網絡（ANN）和模糊方法及其變體等。在這些方法中，前饋神經網絡（FNN）自從引入著名的反向傳播（BP）算法以來得到了很好的研究和廣泛使用。傳統(tǒng)的BP算法本質上是參數(shù)優(yōu)化的一階梯度方法，存在收斂慢和局部最小問題。研究人員提出了各種方法來提高訓練FNN 的效率或最優(yōu)性，如二階優(yōu)化方法、子集選擇方法或全局優(yōu)化方法。盡管與BP 算法相比，訓練速度更快或泛化性能更好，但大多數(shù)這些方法仍然容易陷入局部最優(yōu)解中。極限學習機（extreme learning machine，ELM）被提出用于訓練單隱藏層前饋神經網絡（SLFN）。在極限學習機中，隱藏節(jié)點是通過隨機策略獲得的，無需迭代調優(yōu)，輸出權重可以通過摩爾-彭羅斯廣義逆分析獲得。實際上，極限學習機中的隱含層節(jié)點也不需要迭代學習。唯一需要學習的自由參數(shù)是隱藏層和輸出層之間的連接權重和閾值。與傳統(tǒng)的前饋神經網絡學習方法相比，極限學習機具有很好的泛化性能，并且傾向于達到全局最佳狀態(tài)。理論研究表明，即使使用隨機生成的隱含層權值和閾值，極限學習機也能保持單隱藏層前饋神經網絡的通用逼近能力。使用常用的激活函數(shù)，極限學習機可以實現(xiàn)傳統(tǒng)前饋神經網絡的幾乎最優(yōu)的泛化邊界。與傳統(tǒng)的前饋神經網絡算法相比，ELM 在效率和泛化性能方面的優(yōu)勢已經在不同領域的廣泛問題上得到了證明。多種經典的回歸方法已經被應用于土壤屬性檢測，并獲得了優(yōu)越的預測能力，如隨機森林、反饋傳播網絡、極限學習機和最小二乘回歸等方法[9-10]。其中極限學習機模型，由于其很快的運行速度和良好的預測性能，自提出以來得到廣泛發(fā)展[11-14]。一些學者利用可見光-近紅外光與改進極限學習機模型相結合獲得了高精度的土壤鹽分含量檢測模型[15]。利用極限學習機模型與一階微分相結合進行數(shù)據(jù)挖掘，可用于檢測土壤中重金屬元素含量[16]。

粒子群優(yōu)化算法（PSO）是一種智能優(yōu)化算法。該優(yōu)化算法具有很強的全局搜索能力，被應用于多個領域[17]。粒子群優(yōu)化算法基于代理或粒子的數(shù)量，并試圖在問題空間的最佳探索中模擬其社會行為。粒子群優(yōu)化算法源自對鳥類捕食行為的研究。與遺傳算法類似，PSO 也是一種基于迭代的優(yōu)化工具。它首先初始化系統(tǒng)中的一組隨機解，將每個個體作為n維空間中沒有重量或體積的粒子，然后通過迭代搜索最優(yōu)值，使解空間中的粒子跟隨最優(yōu)粒子進行搜索。其中，每個粒子都有一個目標函數(shù)來評估其適應度值以及確定其在飛行中的方向和位移的速度。在每次迭代中，每個粒子都會通過跟蹤兩個最優(yōu)值來更新其適應度值和速度。一個最優(yōu)值是粒子本身發(fā)現(xiàn)的歷史最優(yōu)值，稱為單個最優(yōu)；另一個最優(yōu)值是整個群體發(fā)現(xiàn)的最優(yōu)值，稱為全局最優(yōu)。這個過程重復到最后一代，然后將最優(yōu)粒子解碼為優(yōu)化問題的近似解。粒子群優(yōu)化算法具有搜索速度快、收斂性好和易于實現(xiàn)等優(yōu)點，在多個領域得到了廣泛的應用。一些學者將PSO 與ELM 模型相結合構建混合模型，并結合近紅外光譜進行研究，表現(xiàn)出了巨大潛力[18-19]。但粒子群優(yōu)化算法也有其一定的缺點，特別是在解決復雜問題時，如后期分集性能差、演化速度降低、優(yōu)化精度不理想等。盡管粒子群優(yōu)化算法幾乎沒有需要調整的參數(shù)，但參數(shù)設置不當可能會使算法陷入早熟和局部最優(yōu)等問題。本研究在其模型基礎上，針對其局部搜索能力弱、容易陷入局部最優(yōu)解的缺點，引入了一種交叉策略。一些群智能算法容易陷入局部最優(yōu)的一個重要原因是種群中的幾個維度停滯不前。通過合適的交叉策略可以實現(xiàn)個體不同維度之間的高質量信息的交換，增強模型的探索能力，提出了基于三波段光譜指數(shù)和交叉粒子群算法的雙隱含層極限學習機混合模型（TPC-TELM）。

1 材料與方法

1.1 數(shù)據(jù)獲取

本研究區(qū)域位于中國吉林省的鹽堿地。這里的鹽堿地因鹽分重、堿化度高，使農作物難以正常生長。該地屬于溫帶大陸性季風氣候，四季分明。域內半數(shù)以上耕地為鹽堿地。該地區(qū)具有土壤退化程度高、面積大和治理困難等特點。

在研究區(qū)域內，通過均勻分布的原則選擇采樣點，獲取土壤樣芯。在每個采樣點采取五點采樣法進行樣本采集。將采集后的樣本放入貼有樣本標簽的密封塑料袋中。使用便攜式GPS獲得每個采樣點地理坐標。采樣結束后進行實驗室處理。首先將樣本烘干，去除石塊、植物殘留物等雜質后，研磨為粉狀，為保證顆粒均勻，減少試驗數(shù)據(jù)誤差，過100 目篩。然后對獲得的土壤數(shù)據(jù)進行實驗室處理。實驗室處理過程分為光譜處理和化學處理兩個過程。通過光譜處理得到土壤的光譜數(shù)據(jù)，作為模型輸入?；瘜W處理得到土壤樣品的重金屬砷含量，作為模型的輸出。光譜試驗所采用的光譜儀是美國的SVC HR-1024便攜式地物光譜儀。光譜試驗獲得的光譜范圍為350～2 500 nm。并得到該波段范圍的可見光-近紅外光數(shù)據(jù)。內置存儲器為500 scans（掃），通道數(shù)為1 024。由于兩個邊緣波段噪聲量大，將其去除，最后選擇400～2 400 nm范圍波段進行研究。

1.2 三波段光譜指數(shù)

三波段光譜指數(shù)（TSI）將研究從一維層面擴展到了三維層面，能更好地提取敏感光譜特征，減小冗余信息[20]。本研究共使用了4種三波段光譜指數(shù)[21]，式(1)～式(4)。Ri為光譜反射率。然后利用相關系數(shù)法，計算每個三波段光譜指數(shù)與砷含量之間的相關系數(shù)（r）。挑選出相關系數(shù)絕對值最大的波段組合參數(shù)。

1.3 雙隱含層極限學習機

與傳統(tǒng)理論需要調整前饋神經網絡的所有參數(shù)以最小化函數(shù)不同，極限學習機理論中隱含層節(jié)點學習參數(shù)可以隨機分配，并且可以通過使用最小二乘法求解系統(tǒng)來解析確定網絡輸出權重。無需耗時的學習迭代即可高效完成訓練，并且實現(xiàn)良好的泛化性能?；旧?，極限學習機在兩個主要階段訓練：隨機特征映射階段和參數(shù)求解階段。在第一階段，極限學習機隨機初始化隱藏層，將輸入數(shù)據(jù)映射到特征空間（稱為極限學習機特征空間）。通過一些非線性映射函數(shù)。隨機特征映射階段與許多現(xiàn)有的學習算法不同，如SVM。它使用內核函數(shù)進行特征映射或者深度神經網絡，使用受限玻爾茲曼機（RBM）或自動編碼器/自動解碼器進行特征學習。極限學習機中的非線性映射函數(shù)可以是任何非線性分段連續(xù)函數(shù)。在極限學習機中，隱含層節(jié)點參數(shù)根據(jù)連續(xù)概率分布隨機生成，而不是多次迭代訓練。與傳統(tǒng)的反饋傳播神經網絡模型相比，效率顯著提升。ELM 具有的3 個突出的性能特點為：（1）泛化性能。大多數(shù)前饋神經網絡提出的算法在首次提出時不會考慮泛化性能。極限學習機旨在通過達到最小的訓練誤差和最小的輸出權重范數(shù)來達到更好的泛化性能。(2)通用近似能力。ELM 學習算法滿足通用近似功能。(3)沒有隱含層節(jié)點的“迭代調優(yōu)”學習。ELM 理論認為隱含層節(jié)點對學習很重要，但是隱藏節(jié)點不需要調優(yōu)。無需迭代調整隱藏節(jié)點即可完成學習。從學習能力（如通用逼近能力、分類能力）角度來看，極限學習機理論適用于實際應用中使用的幾乎所有類型的隱含層神經元。SLFN的隱含層神經元可以根據(jù)任何連續(xù)采樣概率分布隨機生成，并且這種隱藏神經元可以獨立于訓練樣本及其學習環(huán)境。ELM學習框架還考慮了學習穩(wěn)定性和泛化性能。在傳統(tǒng)的單隱含層極限學習機的基礎上，XIAO等[22]增加一個新的隱含層，并提出雙隱含層極限學習機（two hidden layer extreme learning machine,TELM）。雙隱含層極限學習機主要是求解第二隱含層的權值和閾值參數(shù)。雙隱含層極限學習機網絡還保留了單層極限學習機泛化能力強、運算速度快等優(yōu)點。圖1為TELM結構圖，模型輸入為X，實際輸出矩陣為T。

圖1 TELM結構圖Figure 1 Structure of TELM

首先將雙隱含層極限學習機的兩個隱含層看作為一層,隱含層的連接權重W1和閾值B1通過隨機策略在[0,1]范圍內獲取，g(x)為激活函數(shù)。

隱含層輸出為：

輸出權重矩陣β為:

然后，在網絡中再加入一個新的隱含層，得到兩個隱含層的結構，第二隱含層的預測輸出為：

1.4 粒子群優(yōu)化算法

1995年，EBERHART 和KENNEDY 開發(fā)了粒子群優(yōu)化（PSO）算法[20]，這是一個基于隨機優(yōu)化策略的元啟發(fā)式算法，其靈感來自一群鳥類、一群魚類、一群蜜蜂的社會行為，甚至有時是人類的社會行為。粒子群優(yōu)化算法模擬以下場景：一群鳥正在只包含一塊食物的區(qū)域尋找食物。沒有鳥知道食物在哪里，它們只知道與食物的距離。因此，找到食物的最佳方法是搜索離食物最近的區(qū)域。在粒子群優(yōu)化算法中，上述場景中的每只鳥都是一個粒子，代表優(yōu)化問題的潛在解決方案。它具有由目標函數(shù)計算的適應度值來測量其質量，并通過一個速度來確定飛行的方向和位移。盡管PSO在隨機解的群體初始化和連續(xù)幾代中尋找全局最優(yōu)方面與遺傳算法（GA）相似，但粒子群優(yōu)化算法不會經歷突變等過程，粒子會跟隨當前最優(yōu)粒子在問題空間中移動。其基本概念是對于每個時刻，每個粒子（也稱為潛在解）的速度在其人員最佳和全局最佳位置之間變化。在數(shù)學上，粒子群在搜索空間上隨機初始化并移動。

粒子群優(yōu)化算法實現(xiàn)過程如下：一個種群中，由多個粒子組成，并擴展到N維空間，粒子i在N維空間的坐標為：Xi=(Xi1,Xi2,…,XiN)，其飛行速度為：Vi=(Vi1,Vi2,…,ViN)，存在一個目標函數(shù)決定每個粒子的適應度值，其中i={1,2,…,m}。

在每一次的迭代過程中，每個粒子都需要用到其本身經歷的最好的位置Pbesti=(Pbesti1,Pbesti2,…,Pbestiv)以及整個群體所經過的最好的位置Gbesti=()Gbesti1,Gbesti2,…,Gbestiv，并通過式（12）和式（13）改變每個粒子的速度和位置。

式中：k為當前迭代次數(shù)；c1和c2分別為學習因子；ω為慣性權重。

由于雙隱含層極限學習機的第一隱含層參數(shù)是通過隨機策略獲得的，導致模型的不穩(wěn)定性。通過粒子群算法的搜索功能，將TELM 模型的第一隱含層參數(shù)作為粒子群優(yōu)化算法中的粒子，對雙隱含層極限學習機的第一隱含層參數(shù)進行尋優(yōu)，構建了基于粒子群優(yōu)化的雙隱含層極限學習機混合模型（PSO-TELM），可以獲得泛化能力更強、穩(wěn)定性更高的模型。其中，適應度函數(shù)選擇雙隱含層極限學習機的均方根誤差。

1.5 TPC-TELM

約束優(yōu)化是工程和工業(yè)中很多問題的重要組成部分。大多數(shù)現(xiàn)實世界的優(yōu)化問題都有不同類型的約束，這些約束會改變搜索空間的形狀。在過去的幾十年中，已經設計并應用了各種各樣的元啟發(fā)式算法來解決約束優(yōu)化問題。粒子群優(yōu)化算法是一種典型的用于解決約束優(yōu)化問題的元啟發(fā)式算法。由于存在各種類型的約束及其目標函數(shù)之間的相互關系，這些類型的問題通常具有混合的、連續(xù)的或離散的非線性目標函數(shù)和非線性約束。作為傳統(tǒng)數(shù)學方法的替代方案，元啟發(fā)式優(yōu)化技術已被用于獲得全局或近全局最優(yōu)解。由于它們能夠在準確的時間探索和檢測搜索空間中的有希望的區(qū)域，因此這些方法非常適合全局搜索。此外，這些方法減輕了對用于數(shù)學優(yōu)化方法的函數(shù)和變量的需求。雖然這些是近似方法，即它們的解是好的，但不一定是最優(yōu)的，采用概率轉移規(guī)則而不是確定性規(guī)則。因此，研究人員專注于在合理時間內尋求良好建設性解決方案的啟發(fā)式技術。在PSO-TELM 中，由于其易于陷入局部最優(yōu)點的缺點，在此基礎上引入了新的交叉策略，增強其搜索能力，幫助其擺脫局部最優(yōu)。通過三波段光譜指數(shù)處理原始數(shù)據(jù)，并在PSO-TELM 中引入新的交叉策略，提出了基于三波段光譜指數(shù)和交叉粒子群算法的雙隱含層極限學習機混合模型（TPC-TELM）。

研究表明，一些進化算法容易陷入局部最優(yōu)的一個重要原因是種群中的幾個維度停滯不前導致的。通過在不同維度之間的信息交換幫助停滯的維度逃離局部最小值，來搜索到更多新的位置。通過調節(jié)父種群的幾個整體維度來搜索到更多新的位置。在粒子群的個體兩個不同維度之間進行交叉操作。dm和dn是第i個個體的兩個維度，r1為（0,1）范圍內的隨機數(shù)。則其垂直交叉的后代為：

2 結果與分析

將本研究提出的TPC-TELM 模型與ELM、TELM 和PSO-TELM 模型進行比較，同時引入均方根誤差（RMSE）和皮爾遜相關系數(shù)（r）作為重要的性能指標，來衡量模型的性能。均方根誤差值越小，說明模型預測精度越高，相關系數(shù)取值范圍為[0,1],越趨近于1，預測輸出與期望輸出（通過實驗室化學處理得到的土壤砷元素含量）相關性越強。首先將本研究提出的TPC-TELM 模型與傳統(tǒng)的TELM 模型進行對比，將數(shù)據(jù)集按照3∶1進行隨機劃分為訓練集和測試集，繪制了如圖2的TELM，TPC-TELM 與期望輸出對比圖。由圖2 可知，藍色的星形點為期望輸出點，圓形點為兩個模型的預測輸出點。當星形點和預測值點重合時，說明在該點，模型的擬合程度達到了百分之百。由圖2可知，預測輸出點與期望輸出點非常接近。TPC-TELM 的預測輸出整體與期望輸出更接近。TELM 的波動大，TPC-TELM 的預測的穩(wěn)定性更高。

圖2 TELM，TPC-TELM與期望輸出對比Figure 2 Comparison of the fit of TELM and TPC-TELM

將本研究提出的TPC-TELM 與ELM、TELM、PSOTELM 相對比，得到表1。由表1 可知，ELM 模型的RMSE最大，r值最小。PSO-TELM 模型通過對引入PSO對第一隱含層進行尋優(yōu)，預測性能相對于TELM 獲得了一定提升。本研究提出的TPC-TELM 模型獲得最優(yōu)的性能指標。

表1 4種模型性能Table 1 Performance of four models

為更全面地比較模型性能，繪制圖3的箱式圖。由圖3 可知，橫坐標為4 種模型，縱坐標為預測誤差。圖3中最上面和最下面的線為誤差的最大值和最小值，箱式圖的上方和下方線段分別為第3、第4 分位和第1、第4 分位值。箱子中間的紅線為中位數(shù)，通過箱式圖可看出誤差的分布情況和分散程度。ELM 和TELM 的預測誤差跨度大，離散程度高。PSO-TELM 與TPC-TELM模型的誤差整體較小，且集中，其中TPC-TELM 模型的誤差最集中，并且誤差中位數(shù)（紅色線）最低。綜合以上分析，說明本研究提出的TPC-TELM 模型具有最優(yōu)的性能。

3 討論與結論

土壤重金屬含量反演研究的難點之一就是對光譜采取合適的預處理方法處理原始光譜。由于土壤重金屬的光譜響應較弱，所以需要采取合適的特征提取方法。目前，常用的一些預處理方法包括一階導數(shù)和SG平滑處理等。HONG 等[21]利用三波段光譜指數(shù)對土壤有機質進行反演研究，解釋了多波段組合方式對于光譜特征提取的巨大潛力。過去的研究多是利用單個波段的數(shù)學變換提取光譜特征，研究發(fā)現(xiàn)通過多個波段之間的不同排列組合方式，可以很有效地提取優(yōu)質的光譜特征。本研究利用三波段光譜指數(shù)用于土壤重金屬含量的反演研究。試驗表明，通過合適的光譜組合，結合相關系數(shù)法可以有效地提取最優(yōu)的光譜參數(shù)，增強光譜特征。機器學習算法已經和高光譜技術結合廣泛應用于多領域屬性的檢測研究，并逐漸取代傳統(tǒng)方式。XIAO 等[22]利用ELM 模型應用于煤炭含量研究。本研究針對極限學習機模型第一隱含層參數(shù)隨機導致的模型不穩(wěn)定進行改進，引入PSO算法進行參數(shù)優(yōu)化，并引入新的交叉策略，獲得TPC-TELM 模型，將改進模型與ELM 和TELM 等模型進行對比，改進模型的多項性能指標都達到最優(yōu)。

本研究利用可見光-近紅外數(shù)據(jù)與機器學習相結合，用于土壤重金屬元素As 含量的反演研究。對于原始光譜數(shù)據(jù)，利用三波段光譜指數(shù)分析多個波段之間的相互聯(lián)系，提取優(yōu)質光譜特征。將粒子群優(yōu)化算法引入到雙層極限學習機模型中，用于獲取最優(yōu)隱含層參數(shù)，并針對該模型易于陷入局部最優(yōu)的特點，引入新的交叉策略，增強模型的探索能力。通過大量試驗對比，發(fā)現(xiàn)TPC-TELM 模型的RMSE 最小，為0.680 9，r值最大，為0.865 6，說明本研究提出的改進模型獲得最優(yōu)的性能指標。將提出的TPC-TELM 模型與單隱含層極限學習機、雙隱含層極限學習機等經典模型進行對比分析，通過大量對比試驗說明TPC-TELM 具有最優(yōu)的性能指標。本研究提出了一種快速準確反演砷含量的估計方法，對環(huán)境保護和生態(tài)恢復有重要意義。