光譜數(shù)據(jù)預(yù)處理對潮間帶沉積物氮LSSVM模型的影響研究

呂美蓉，任國興，2，李雪瑩，范萍萍，劉 杰，孫中梁，侯廣利，劉 巖*

1. 齊魯工業(yè)大學(xué)(山東省科學(xué)院)海洋儀器儀表研究所，山東省海洋監(jiān)測儀器裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，國家海洋監(jiān)測設(shè)備工程技術(shù)研究中心，山東 青島 266100 2. 中國海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100

引 言

可見-近紅外光譜法具有快速、 便捷等優(yōu)點(diǎn)，已廣泛應(yīng)用于土壤/沉積物氮含量估算[1]。盡管采用光譜法預(yù)測氮含量的研究比較多，但是以往主要針對土壤或湖泊沉積物，未有潮間帶沉積物氮含量的預(yù)測研究。潮間帶是海陸交替的過渡地帶之一，人類活動(dòng)造成大量氮元素被輸送到潮間帶地區(qū)，并最終蓄積在沉積物中。在一定的條件下(溫度、 pH值、 氧化還原電位等)，沉積物中蓄積的氮元素會通過一系列物理、 化學(xué)和生物過程釋放到水體中，影響著潮間帶及近岸水域環(huán)境[2]。因此定量化快速監(jiān)測潮間帶沉積物氮含量具有重要的意義。

由于土壤/沉積物成分復(fù)雜，而且在光譜采集過程中往往受到儀器、 環(huán)境等干擾，因此光譜信息中包含了大量的噪音和冗余信息。采用原光譜數(shù)據(jù)建模，不但計(jì)算復(fù)雜，而且模型預(yù)測精度低。有必要探尋一種方法，在保留有用光譜信息的同時(shí)，去除噪聲，剔除冗余信息，為氮含量估算提供良好的數(shù)據(jù)基礎(chǔ)。光譜變換、 特征波長提取是兩個(gè)重要的去除噪音和冗余信息的方法。光譜變換不僅可以去噪，而且可以減少光譜信息的重疊度，集聚與加強(qiáng)有用的光譜信息[3]。特征波長提取可以剔除冗余變量，保留相關(guān)信息變量[4]。然而以往的研究主要對比研究不同的光譜數(shù)據(jù)變換方法，光譜特征波長提取方法的對比研究以及二者的組合研究較少。有必要研究特征波長提取方法及其與光譜變換方法的組合，優(yōu)選最佳的光譜數(shù)據(jù)預(yù)處理方法，以期實(shí)現(xiàn)最優(yōu)的去噪、 去冗余信息效果。

支持向量機(jī)(support vector machine，SVM)是一種無監(jiān)督式學(xué)習(xí)算法，學(xué)習(xí)泛化能力很強(qiáng)。其中，最小二乘支持向量機(jī)(least square support vector machine，LSSVM)是一種改進(jìn)的支持向量機(jī)模型，采用最小二乘線性系統(tǒng)作為損失函數(shù)，代替?zhèn)鹘y(tǒng)SVM采用的二次規(guī)劃方法，進(jìn)一步簡化了計(jì)算復(fù)雜性，并提高了預(yù)測結(jié)果的準(zhǔn)確性[5]。本研究在潮間帶沉積物光譜采集的基礎(chǔ)上，組合運(yùn)用4種光譜變換方法(多元散射矯正、 標(biāo)準(zhǔn)正態(tài)變換、 一階微分、 二階微分)和3種特征波長提取方法(連續(xù)投影算法、 無信息變量消除法、 遺傳算法)以去除光譜噪音，挖掘沉積物氮敏感波長，突出相關(guān)光譜特征。通過比較沉積物氮的LSSVM模型精度，評價(jià)光譜預(yù)處理組合方法的效果，以期為潮間帶沉積物氮的光譜速測提供研究基礎(chǔ)和參考。

1 實(shí)驗(yàn)部分

1.1 沉積物樣品采集

于青島嶗山區(qū)會場附近海洋潮間帶采集了197份沉積物樣品，采樣深度為0～10 cm。每個(gè)采樣點(diǎn)之間至少間隔10 m。采集的潮間帶沉積物主要由黏土和粉砂組成。將采集的樣品自然風(fēng)干，研磨、 過60目篩，用于光譜采集和化學(xué)分析。

1.2 分析測定方法

沉積物氮含量采用過高氯酸-硫酸消化法測定[6]，以此作為光譜建模的標(biāo)準(zhǔn)值。光譜反射率測定采用海洋光學(xué)QE65000光譜儀，光譜采樣間隔為1 nm，積分時(shí)間600 ms，譜區(qū)范圍200～1 100 nm。取3～5 g沉積物樣品放在自制樣品盒中，輕輕刮平，采用45°視場角光纖探頭進(jìn)行光譜采集。每個(gè)土壤樣品采集5次光譜反射率，取平均值。為減少噪聲影響，剔除信噪比較低的邊緣波段，保留230～970 nm的光譜數(shù)據(jù)。

1.3 數(shù)據(jù)處理

1.3.1 光譜預(yù)處理

采用多元散射校正(multiplicative scatter correction，MSC)、 標(biāo)準(zhǔn)正態(tài)變換(standardized normal variation，SVN)、 一階微分和二階微分進(jìn)行沉積物光譜數(shù)據(jù)變換。采用連續(xù)投影算法(successive projections algorithm，SPA)、 無信息變量消除法(uninformative variable elimination，UVE)和遺傳算法(genetic algorithm，GA)進(jìn)行特征波長提取。

1.3.2 模型建立

采用Kennard-Stone(KS)方法對197個(gè)沉積物樣品進(jìn)行分類。采用最小二乘支持向量機(jī)法(least squares support veotormaohine，LSSVM)進(jìn)行建模。

1.3.3 模型檢驗(yàn)

模型檢驗(yàn)采用決定系數(shù)(R2)、 誤差均方根(RMSEC)和剩余估計(jì)偏差(RPD)為評價(jià)參數(shù)。當(dāng)R2越大，RMSEC越小，表示模型的精度越好。此外，當(dāng)RPD<1.0時(shí)，表明模型預(yù)測能力很差，模型不可靠；當(dāng)1.0

2 結(jié)果與討論

2.1 光譜數(shù)據(jù)變換

圖1顯示了潮間帶沉積物氮含量與光譜反射率的正相關(guān)性。從圖中可以看出，隨著波長增加，原光譜反射率與氮含量的相關(guān)系數(shù)呈現(xiàn)先增加后降低的趨勢，其中350～620 nm波段的相關(guān)系數(shù)較高，位于0.40～0.55之間，最敏感的波長出現(xiàn)在503 nm處，相關(guān)性為0.55。經(jīng)過一階微分和二階微分光譜變換后，整個(gè)波段的相關(guān)系數(shù)起伏非常大，連續(xù)性差，且與原光譜相比，大多數(shù)波長的相關(guān)系數(shù)降低了。經(jīng)過多元散射校正(MSC)和標(biāo)準(zhǔn)正態(tài)變換(SVN)光譜變換后，相關(guān)性從230～325 nm波段范圍呈現(xiàn)上升趨勢，在330～425 nm波段范圍呈現(xiàn)急劇下降又急劇上升的趨，之后從425～554 nm波段范圍內(nèi)繼續(xù)升高，但增加幅度較為平緩，到554 nm處相關(guān)性曲線再次呈現(xiàn)下降—上升—再下降的趨勢。相對于原光譜，除355和740 nm左右，其他波段的相關(guān)系數(shù)都增加了。這暗示著，MSC或SVN可以降低內(nèi)外部環(huán)境因子的干擾，將原本湮沒在原光譜數(shù)據(jù)中的一些微弱的沉積物氮特征光譜信息挖掘出來。

圖1 潮間帶沉積物氮含量與光譜反射率的正相關(guān)性Fig.1 Positive correlation between nitrogen content and spectral reflectivity of sediment in intertidal zone

從表1可以看出，光譜變換對模型的建模精度影響不大。無論光譜變換與否，模型的建模集R2都很高(>0.99)，RMSEC都很低(<0.02)。但是，光譜變換對模型的預(yù)測精度影響較大。基于原光譜構(gòu)建的模型檢驗(yàn)集R2，RMSEC和RPD分別為0.83，0.13和2.37。經(jīng)過一階微分和二階微分光譜變換后，模型的檢驗(yàn)集R2極大的降低了，分別為0.62和0.51，且RPD都小于1.4，這可能與一階微分和二階微分降低了光譜反射率與氮含量的相關(guān)性有關(guān)。但是，MSC和SVN均提高了模型的檢驗(yàn)集R2，降低了RMSEC，且RPD都高于2.5，這暗示著MSC和SVN均可以強(qiáng)化沉積物氮的相關(guān)信息，提高模型預(yù)測精度。

表1 光譜變換和特征波長提取對潮間帶沉積物氮LSSVM模型精度的影響Table 1 Effect of spectral transformation and characteristic wavelength extraction on the accuracy of LSSVM model of nitrogen in intertidal sediments

2.2 特征波長提取

識別有用的特征波長，剔除無關(guān)的特征波長，突出潮間帶沉積物氮的光譜信息非常重要。但是，不恰當(dāng)?shù)牟ㄩL提取，反而會造成有用光譜信息損失，不利于模型精度的提高。表1顯示了3種特征波長提取方法對LSSVM模型精度的影響。結(jié)果表明，連續(xù)投影算法(SPA)、 無信息變量消除法(UVE)和遺傳算法(GA)三種特征波長提取方法都降低了模型的建模精度，這可能是因?yàn)樘卣鞑ㄩL提取減少了建模變量。但是，這三種特征波長提取方法對模型預(yù)測精度的影響并不一致。SPA稍微降低模型的預(yù)測精度。而UVE增加了模型的預(yù)測精度，檢驗(yàn)集R2，RMSEC和RPD分別為0.89，0.12，2.70，表明UVE能更加充分、 準(zhǔn)確地挖掘光譜信息，使模型更加穩(wěn)定，預(yù)測誤差更小。從圖2看，SPA提取了24個(gè)特征波長，主要集中在830～970 nm波段間，而UVE提取了72個(gè)波長，且分布范圍廣。此外，遺傳算法極大的降低了模型的預(yù)測精度，檢驗(yàn)集R2，RMSEC和RPD僅為0.39，0.24和1.28，即基于GA建立的模型預(yù)測能力非常差，分析認(rèn)為GA在運(yùn)行過程中容易陷入了局部極小化。從表2中可以看出GA提取的特征波長約為900 nm，且提取的特征波長僅有17個(gè)。

2.3 光譜數(shù)據(jù)變換與特征波長提取組合

從表1中可以看出，在無特征波長提取的情況下或在GA特征波長提取的情況下，MSC和SVN光譜變換都增加了模型的預(yù)測精度。但是，在SPA或UVE特征波長提取的情況下，MSC和SVN光譜變換對模型的預(yù)測精度影響不大。此外，在無特征波長提取以及SPA特征波長提取的情況下，一階微分和二階微分都極大的降低了模型的預(yù)測精度。而在UVE特征波長提取的情況下，一階微分和二階微分對模型預(yù)測精度的影響幅度有所減弱。在GA特征波長提取的情況下，一階微分對模型預(yù)測精度影響不大，二階微分極大的降低了模型預(yù)測精度。

在無光譜變換、 一階微分和二階微分光譜變換的情況下，UVE特征波長提取都提高了模型的預(yù)測精度；而在MSC和SNV光譜變換的情況下，UVE特征波長提取對模型的預(yù)測精度影響不大。在無光譜變換、 MSC、 SNV和一階微分光譜變換的情況下，SPA都降低了模型的預(yù)測精度；但在二階微分光譜變換的情況下，SPA對模型預(yù)測精度影響不大。在無光譜變換、 MSC、 二階微分光譜變換的情況下，GA極大的降低了模型預(yù)測精度；而在一階微分、 SNV光譜變換的情況下，GA對模型預(yù)測精度的影響幅度有所減輕。

盡管在無光譜變換或在MSC，SNV和一階微分光譜變換的情況下，SPA對模型精度的影響趨勢基本一致。然而，經(jīng)過光譜變換后，SPA提取的特征波長點(diǎn)發(fā)生變化(圖2)。未經(jīng)過光譜變換時(shí)，SPA提取的特征波主要集中在850～970 nm之間；經(jīng)過MSC光譜變換后，SPA提取的特征波長主要在750～800和940～960 nm；經(jīng)過SVN光譜變換后，SPA提取的特征波長主要在650～800和940～970 nm。有意思的是，無論是無光譜變換還是經(jīng)過光譜變換，SPA提取的特征波長區(qū)域與圖1中高相關(guān)性區(qū)域并不對應(yīng)，這暗示著合適的建模波長并不只是高相關(guān)性波長。經(jīng)過一階微分和二階微分光譜變換后，SPA提取的特征波長在全波段都有分布，與未經(jīng)過光譜變換提取的特征波長區(qū)別明顯。另外，經(jīng)MSC光譜變換后，UVE提取的特征波長數(shù)量極大幅度降低了；經(jīng)SVN光譜變換后，UVE提取的特征波長較為聚集，主要集中在320和710 nm附近，但特征波長點(diǎn)的這些變化并沒有影響模型精度。此外，經(jīng)一階微分和二階微分光譜變換后，UVE提取的特征波長數(shù)量極大的增加了，這可能是模型精度增加的一個(gè)重要原因。最后，無論光譜變換與否，GA提取的特征波長數(shù)量均較少，且主要分布于900 nm左右。尤其是經(jīng)過二階微分光譜變換后，GA提取的特征波長的數(shù)量僅為1個(gè)，這可能是模型精度降低的一個(gè)關(guān)鍵原因。

圖2 提取的潮間帶沉積物氮特征波長點(diǎn)Fig.2 Extracted characteristic wavelength points of intertidal sediment nitrogen

相對于無光譜變換和無特征波長提取預(yù)處理，僅MSC光譜變換，或僅SVN光譜變換，或僅UVE特征波長提取，或MSC與UVE結(jié)合，或SVN與UVE結(jié)合都能提高模型的預(yù)測精度。但是，相對于單獨(dú)運(yùn)用UVE特征波長提取方法或單獨(dú)運(yùn)用MSC及SVN光譜變換方法，組合運(yùn)用UVE特征波長提取方法和MSC或SVN光譜變換方法并沒有提高模型的預(yù)測精度。

3 結(jié) 論

復(fù)雜的沉積物成分以及測試環(huán)境都會對目標(biāo)光譜產(chǎn)生影響，而光譜變換可消除部分影響。周清等[8]認(rèn)為導(dǎo)數(shù)變換可以去除部分線性或接近線性的背景值干擾，降低低頻噪聲對光譜的影響，突顯細(xì)微信息差異。楊紅飛等[9]認(rèn)為光譜數(shù)據(jù)歸一化比值處理可增強(qiáng)光譜與檢測目標(biāo)之間的相關(guān)性，突出光譜敏感波段，提高模型預(yù)測精度和穩(wěn)定性。研究發(fā)現(xiàn)，MSC或SVN可改變光譜反射率與氮含量的相關(guān)性，釋放被掩蓋的有用光譜信息，提升模型預(yù)測精度。而一階微分和二階微分則降低了光譜反射率與氮含量的相關(guān)性。對光譜數(shù)據(jù)進(jìn)行微分變換時(shí)，光譜反射率變化小，則微分值接近于零，光譜反射率變化較大，則微分值較大。因此，微分有利于限制低頻背景光譜的影響，但會放大高頻噪聲的干擾，這可能是本研究微分降低光譜反射率與氮含量相關(guān)性的重要原因。

本研究發(fā)現(xiàn)，采用全部的波長點(diǎn)建模，比選擇部分波長點(diǎn)建模更能夠提高模型的建模精度。但是，并不是采用的波長點(diǎn)數(shù)量越多，越有利于模型的預(yù)測精度。UVE可以有效地挖掘出有用的光譜信息，剔除無關(guān)信息，提高模型預(yù)測精度。類似的，梁夢醒等[10]也表示，采用UVE優(yōu)選敏感波長后，模型的準(zhǔn)確性更高。有意思的是，UVE提取的特征波長與氮含量高相關(guān)性的波長并不是對應(yīng)的，這可能是因?yàn)?，合適的特征波長并非僅包括高相關(guān)性波長，無吸收或吸收較弱的波長也可以作為特征波長，用來矯正散射等影響。本研究還發(fā)現(xiàn)，并非所有的特征波長提取方法都能夠增加模型的預(yù)測精度。遺傳算法降低了潮間帶沉積物氮的模型預(yù)測精度，推測可能是因?yàn)檫z傳算法導(dǎo)致變量過少而影響了模型的預(yù)測能力。

由于光譜變換能夠提取微弱的光譜變化，突出有用的光譜信息，更有利于特征波長的選擇，因此推測光譜變換和特征波長提取組合將提高LSSVM模型精度；部分光譜變換與特征波長提取組合比單獨(dú)運(yùn)用特征波長提取更有利于模型預(yù)測精度，比如在無光譜變換的情況下，GA極大的降低了模型預(yù)測精度；而在SNV光譜變換的情況下，GA對模型預(yù)測精度的影響幅度有所減輕。研究結(jié)果中，UVE是效果最優(yōu)的特征波長提取方法，MSC和SVN是效果最優(yōu)的光譜變換方法，但是，相對于單獨(dú)運(yùn)用UVE特征波長提取方法或單獨(dú)運(yùn)用MSC以及SVN光譜變換方法，組合運(yùn)用UVE特征波長提取方法和MSC或SVN光譜變換方法并沒有提高模型的預(yù)測精度，這與預(yù)想并不一致。推測可能是組合預(yù)處理反而造成了光譜數(shù)據(jù)的過度處理，并不能夠增加信噪比和模型精度。