一種基于EWMA-PCA的水質(zhì)光譜數(shù)據(jù)標(biāo)準(zhǔn)化方法研究

周思寒，胡新宇，湯 斌，3*，趙明富，李奉笑，汪仁杰，肖棋森，肖 渝

1. 重慶理工大學(xué)現(xiàn)代光電檢測(cè)技術(shù)與儀器重點(diǎn)實(shí)驗(yàn)室，重慶 400054 2. 重慶理工大學(xué)光纖傳感與光電檢測(cè)重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400054 3. 重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400044

引 言

傳統(tǒng)的化學(xué)方法水質(zhì)檢測(cè)精度高，但檢測(cè)周期較長(zhǎng)、需專業(yè)人員操作、所使用化學(xué)試劑容易產(chǎn)生二次污染[1-2]。近年來(lái)，紫外-可見(jiàn)光譜法廣泛應(yīng)用于水質(zhì)檢測(cè)中，其具有快速、無(wú)二次污染、指紋檢測(cè)、可污染溯源等優(yōu)點(diǎn)，已成為水質(zhì)檢測(cè)領(lǐng)域的研究熱點(diǎn)[2]。在紫外-可見(jiàn)光譜法水質(zhì)檢測(cè)系統(tǒng)中，為了提高整個(gè)檢測(cè)系統(tǒng)的精度及穩(wěn)定性，對(duì)數(shù)據(jù)的光譜探測(cè)單元提出更高要求。不同儀器生產(chǎn)廠家制作工藝不同，同一廠家產(chǎn)品批次不同，以及檢測(cè)設(shè)備老化程度不同等影響因素，對(duì)同一樣本檢測(cè)結(jié)果會(huì)出現(xiàn)差異。在一臺(tái)儀器(稱源機(jī)，Master)建立的模型，將無(wú)法適用于另一臺(tái)儀器(稱目標(biāo)機(jī)，Slave)。引起該模型“失效”的原因主要是樣本與各儀器響應(yīng)函數(shù)不同所引起的量測(cè)信號(hào)不一致。因此，實(shí)際監(jiān)測(cè)環(huán)境需針對(duì)不同監(jiān)測(cè)點(diǎn)、不同光譜儀所測(cè)得的紫外-可見(jiàn)水質(zhì)光譜數(shù)據(jù)分別建模，會(huì)導(dǎo)致效率低下，模型維護(hù)成本增加，而模型傳遞能夠有效解決上述問(wèn)題。

國(guó)內(nèi)外學(xué)者對(duì)拉曼光譜、高光譜、近紅外光譜中的模型傳遞問(wèn)題有著廣泛深入的研究[3]。如結(jié)合標(biāo)準(zhǔn)正態(tài)變換，利用分段直接標(biāo)準(zhǔn)化實(shí)現(xiàn)拉曼光譜模型傳遞；有研究[4]實(shí)現(xiàn)被測(cè)物的拉曼光譜的預(yù)測(cè)模型在同類物種之間傳遞。陳奕云等[5]運(yùn)用直接標(biāo)準(zhǔn)化對(duì)濕土的高光譜進(jìn)行校正；翁海勇等[6]利用直接標(biāo)準(zhǔn)化算法進(jìn)行圖像校正，以此研究柑橘潰瘍病高光譜模型普適性差、預(yù)測(cè)精度低的問(wèn)題。張曉羽等[7]提出基于穩(wěn)定競(jìng)爭(zhēng)自適應(yīng)重加權(quán)采樣的無(wú)標(biāo)模型傳遞方法，提高谷物脂肪含量與蛋白質(zhì)含量的近紅外光譜預(yù)測(cè)精度；徐惠榮等[8]采用直接標(biāo)準(zhǔn)化算法，基于平均光譜差值進(jìn)行模型轉(zhuǎn)換，降低了皇冠梨糖度的預(yù)測(cè)均方差根誤差；有報(bào)道[9]采用FIR算法實(shí)現(xiàn)土壤的近紅外模型在不同測(cè)試條件下的傳遞；Qin等[10]研究了煙葉總糖的均相粉末模型轉(zhuǎn)移和混合模型方法；有報(bào)道提出SSCW(screening stable and consistent wavelength)波長(zhǎng)優(yōu)化方法，篩選出對(duì)儀器而言光譜信號(hào)一致性好且穩(wěn)定的波長(zhǎng)，以實(shí)現(xiàn)近紅外光譜模型的無(wú)標(biāo)樣傳遞；賈一飛等[11]提出斜率截距校正結(jié)合正交信號(hào)校正，實(shí)現(xiàn)近紅外定量模型傳遞。上述方法能夠較好地實(shí)現(xiàn)拉曼光譜、高光譜、近紅外光譜的模型傳遞，并提高了對(duì)應(yīng)的分析精度。

解決模型傳遞的有效方法是將儀器或數(shù)據(jù)標(biāo)準(zhǔn)化。針對(duì)現(xiàn)有的光譜標(biāo)準(zhǔn)化方法中，鮮有對(duì)紫外-可見(jiàn)吸收光譜的應(yīng)用研究，且在近紅外光譜標(biāo)準(zhǔn)化中，未考慮實(shí)驗(yàn)過(guò)程中產(chǎn)生的噪聲對(duì)特征峰偏移的影響，以及不同型號(hào)的儀器對(duì)相同樣本數(shù)據(jù)測(cè)得的量程制定范圍的不同。本工作對(duì)水質(zhì)檢測(cè)儀器的標(biāo)準(zhǔn)化工作開(kāi)展研究，采用基于EWMA-PCA的歸一化算法處理水質(zhì)光譜數(shù)據(jù)，對(duì)提高模型傳遞的利用率，提高水質(zhì)檢測(cè)精度，以及水質(zhì)檢測(cè)儀器的標(biāo)準(zhǔn)化工作具有十分重要的意義。

1 實(shí)驗(yàn)部分

1.1 樣品及光譜數(shù)據(jù)采集

實(shí)驗(yàn)采用三種典型的應(yīng)用于水質(zhì)光譜檢測(cè)的光譜儀進(jìn)行樣品的檢測(cè)，分別為：濱松C10082CAH光譜儀，海洋Maya2000Pro光譜儀以及奧譜天成ATP2000光譜儀，其中濱松C10082CAH光譜儀，測(cè)量波段200～800 nm，共測(cè)量2 048個(gè)點(diǎn)；海洋Maya2000Pro光譜儀，測(cè)量波段200～1 100 nm，共測(cè)量2 068個(gè)點(diǎn)；奧譜天成ATP2000光譜儀，測(cè)量波段200～1 100 nm，共測(cè)量2 048個(gè)點(diǎn)水質(zhì)檢測(cè)系統(tǒng)如圖1所示。為了驗(yàn)證算法的有效性，實(shí)驗(yàn)除光譜儀不同外，其余實(shí)驗(yàn)環(huán)境及試驗(yàn)設(shè)備均相同：采用相同的光源(型號(hào)為Ocean optics DH-2000-BAL)，設(shè)計(jì)相同的光路(光學(xué)支架型號(hào)為Ocean optics ACH-CUV-VA R)，光程為9.5 cm，采用海洋抗紫外光纖(型號(hào)為Ocean optics lnc S/N OOS-004354-05)。實(shí)驗(yàn)所用8組樣本溶液，均為用化學(xué)法配備的不同濃度的鄰苯二甲酸氫鉀溶液，并以其作為標(biāo)準(zhǔn)濃度的化學(xué)耗氧量(COD)溶液以供實(shí)驗(yàn)測(cè)量使用，其濃度分別為20，40，60，120，160，200，400和800 mg·L-1。

每個(gè)樣本經(jīng)光譜儀采集軟件多次測(cè)量后取平均。圖2(a)為濱松C10082CAH光譜儀所測(cè)光譜圖，在20～800 mg·L-1范圍內(nèi)，第一個(gè)特征峰吸光度范圍在2.4～3.25之間，波段范圍在230～255 nm之間，第二個(gè)特征峰吸光度范圍在0.4～3.1之間，波段在280 nm附近；圖2(b)為海洋Maya2000Pro光譜儀所測(cè)光譜圖，在20～800 mg·L-1范圍內(nèi)，第一個(gè)特征峰吸光度范圍在1.3～2.2之間，波段范圍在235～260 nm，第二個(gè)特征峰吸光度范圍在0.2～2之間，波段范圍在270～300 nm之間；圖2(c)為奧譜天成ATP2000光譜儀所測(cè)光譜圖，在20～800 mg·L-1范圍內(nèi)，第一個(gè)特征峰吸光度范圍在1.3～2.4之間，波段范圍在230～255 nm之間，第二個(gè)特征峰吸光度范圍在0.3～2.3之間，波段范圍在275～300 nm之間。

圖1 紫外-可見(jiàn)光譜法水質(zhì)檢測(cè)系統(tǒng)框圖Fig.1 UV-Visible spectrum water quality detection system block diagram

圖2 三個(gè)光譜儀下測(cè)得的8個(gè)標(biāo)準(zhǔn)樣本溶液的光譜圖(a)：濱松C10082CAH光譜儀；(b)：海洋Maya200Pro光譜儀；(c)：奧譜天成ATP2000光譜儀Fig.2 Spectra of 8 standard sample solutions measured under three spectrometers(a) Hamamatsu C10082CAH spectrometer；(b)：Ocean Maya 200Pro spectrometer；(c)：Optosky ATP2000 spectrometer

1.2 EWMA-PCA標(biāo)準(zhǔn)化算法原理

首先利用EWMA對(duì)樣本水質(zhì)光譜數(shù)據(jù)濾波，并對(duì)數(shù)據(jù)進(jìn)行降維提取主成分；再利用直接標(biāo)準(zhǔn)化算法對(duì)源機(jī)與目標(biāo)機(jī)兩組數(shù)據(jù)進(jìn)行矩陣變換，最后進(jìn)行Z-score標(biāo)準(zhǔn)化與歸一化數(shù)據(jù)處理。

EWMA(exponentially weighted moving-average)是一種指數(shù)加權(quán)平均移動(dòng)算法。該算法可平滑短期波動(dòng)，保留波形長(zhǎng)期發(fā)展趨勢(shì)，引入權(quán)重因子對(duì)數(shù)據(jù)進(jìn)行最大似然估計(jì)，尋找以較高概率產(chǎn)生觀察紫外-可見(jiàn)水質(zhì)光譜數(shù)據(jù)的系統(tǒng)發(fā)生樹，最大概率情況復(fù)原理論紫外-可見(jiàn)水質(zhì)光譜數(shù)據(jù)。

EWMA(N)=λY(N)+(1-λ)EWMA(N-1)

i=1, 2, …,n

(1)

式(1)中，EWMA(N)為波段點(diǎn)N處的光譜數(shù)據(jù)估計(jì)值；Y(N)為波段點(diǎn)N處的光譜數(shù)據(jù)的測(cè)量值；λ為權(quán)重因子，0<λ<1，且隨著波長(zhǎng)點(diǎn)N的數(shù)目增加而指數(shù)遞減；n為所測(cè)量的波長(zhǎng)點(diǎn)N的個(gè)數(shù)總和。

考慮到實(shí)驗(yàn)所采取的光譜儀采樣點(diǎn)非同步設(shè)置，采用三次多項(xiàng)式插值以獲得相同波長(zhǎng)點(diǎn)的吸光度值。波長(zhǎng)范圍選用三臺(tái)光譜儀測(cè)量范圍的交集。設(shè)三臺(tái)光譜儀的測(cè)量波段范圍分別為L(zhǎng)1=[b1,b2]，L2=[m1,m2]，L3=[a1,a2]。比較范圍值，若b1m2>a2，則波長(zhǎng)測(cè)量范圍取[b1,a2]，即在[b1,a2]波長(zhǎng)范圍內(nèi)進(jìn)行插值處理，以取得相同波長(zhǎng)點(diǎn)的吸光度值。直接標(biāo)準(zhǔn)化原理：將源機(jī)插值后的矩陣定義為Am，目標(biāo)機(jī)插值后得到的矩陣定義為At，通過(guò)轉(zhuǎn)換矩陣F建立起Am與At兩組矩陣的聯(lián)系。

Am=AtF

(2)

(3)

(4)

(5)

2 結(jié)果與討論

實(shí)驗(yàn)中3個(gè)光譜儀測(cè)得的八組待測(cè)鄰苯二甲酸氫鉀溶液的水質(zhì)光譜數(shù)據(jù)，圖3(a)對(duì)應(yīng)20 mg·L-1的樣本溶液，圖3(b)對(duì)應(yīng)40 mg·L-1的樣本溶液，圖3(c)對(duì)應(yīng)60 mg·L-1的樣本溶液，圖3(d)對(duì)應(yīng)120 mg·L-1的樣本溶液，圖3(e)對(duì)應(yīng)160 mg·L-1的樣本溶液，圖3(f)對(duì)應(yīng)200 mg·L-1的樣本溶液，圖3(g)對(duì)應(yīng)化學(xué)耗氧量COD 400 mg·L-1的樣本溶液, 圖3(h)對(duì)應(yīng)800 mg·L-1的樣本溶液。

從整體波形趨勢(shì)來(lái)看，對(duì)于8組樣本溶液，三種光譜儀測(cè)得的原始光譜數(shù)據(jù)在210～300 nm范圍內(nèi)吸光度比較高，且在此范圍內(nèi)波形變化趨勢(shì)明顯：對(duì)于濃度160 mg·L-1及其以下的樣本溶液中，可見(jiàn)兩個(gè)明顯的特征峰，波段在250與280 nm左右的范圍內(nèi)，對(duì)于濃度在400 nm·L-1以上的樣本溶液，清晰可見(jiàn)，在300 nm處新增第三特征峰(對(duì)于濃度在200 mg·L-1的溶液，Maya2000Pro光譜儀與ATP2000光譜儀并無(wú)明顯吸收峰，分析原因可能是由于三臺(tái)光譜儀的儀器狀態(tài)如檢測(cè)精度不同等造成的)；在315～430 nm范圍內(nèi)吸光度值變化幅度較小。對(duì)同一樣本溶液而言，三種光譜儀仍有不同：對(duì)于第一特征峰，C10082CAH光譜儀測(cè)得的吸光度值可達(dá)到2.4～3.25；但Maya2000Pro光譜儀與ATP2000光譜儀所測(cè)得的第一特征峰的吸光度值只在1.3～2.2與1.3～2.4，且對(duì)于同一樣本溶液吸光度值差異更明顯，如圖3(a) COD 20 mg·L-1的樣本溶液，C10082CAH光譜儀測(cè)得的吸光度可達(dá)到2.4，但Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值僅可達(dá)到1.3；對(duì)于第二特征峰，C10082CAH測(cè)得到的吸光度值可達(dá)到0.4～3.1，Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值分別在0.2～2與0.3～2.3，且對(duì)應(yīng)波段亦有不同。同時(shí)差異性對(duì)于同一樣本溶液吸光度值更明顯，如圖3(c) COD 60 mg·L-1，C10082CAH光譜儀測(cè)得的吸光度值遠(yuǎn)大于1.5，但Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值遠(yuǎn)小于1，且Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得的吸光度值也有差距。正是由于對(duì)于同一樣本溶液吸光度值差異較大，且出現(xiàn)波形趨勢(shì)不同的情況[如圖3(f) COD 200 mg·L-1]，對(duì)于單一樣本數(shù)據(jù)的準(zhǔn)確度而言，需要對(duì)水質(zhì)光譜數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化及歸一化，從而實(shí)現(xiàn)對(duì)儀器標(biāo)準(zhǔn)化，才能為后續(xù)穩(wěn)定數(shù)據(jù)處理提供依據(jù)，實(shí)現(xiàn)模型傳遞。

圖3 八組鄰苯二甲酸氫鉀溶液的水質(zhì)光譜數(shù)據(jù)(a)：COD 20 mg·L-1；(b)：COD 40 mg·L-1；(c)：COD 60 mg·L-1；(d)：COD120 mg·L-1；(e)：COD 160 mg·L-1；(f)：COD 200 mg·L-1；(g)：COD 400 mg·L-1；(h)：COD 800 mg·L-1Fig.3 Water quality spectral data of 8 groups of potassium hydrogen phthalate solution(a)：COD 20 mg·L-1；(b)：COD 40 mg·L-1；(c)：COD 60 mg·L-1；(d)：COD120 mg·L-1；(e)：COD 160 mg·L-1；(f)：COD 200 mg·L-1；(g)：COD 400 mg·L-1；(h)：COD 801 mg·L-1

標(biāo)準(zhǔn)化的評(píng)價(jià)指標(biāo)采用傳統(tǒng)意義上的相關(guān)系數(shù)與方差進(jìn)行比較。同時(shí)，由于第一特征峰特征明顯，具有能夠代表此段待標(biāo)準(zhǔn)化的水質(zhì)吸收光譜數(shù)據(jù)的特性，因此提出第一特征峰偏移量的評(píng)價(jià)指標(biāo)(以下均稱波峰偏移量，Peak offset，Po)，用以評(píng)價(jià)該方法的優(yōu)劣性。對(duì)于源機(jī)和目標(biāo)機(jī)所測(cè)得的同一水質(zhì)樣本溶液，由于實(shí)驗(yàn)過(guò)程中易產(chǎn)生噪聲，對(duì)于實(shí)驗(yàn)所測(cè)得的水質(zhì)光譜數(shù)據(jù)的第一特征峰的峰值對(duì)應(yīng)波段的判斷往往會(huì)存在一個(gè)區(qū)間值，即由于噪聲的干擾，極大波峰值不止一個(gè)，而在去噪的過(guò)程中，有時(shí)候亦會(huì)去除真實(shí)的波峰值，而由其鄰近或較遠(yuǎn)的波段的吸光度的值代替，因此，在數(shù)據(jù)處理過(guò)程中，保證特征峰不偏移或偏移較小往往顯得很重要。

波峰偏移量Po定義如式(6)

(6)

實(shí)驗(yàn)結(jié)果分別如圖4所示，實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)如表1，表2和表3所示，其中圖4(a)對(duì)應(yīng)組1: 此組實(shí)驗(yàn)中，C10082CAH光譜儀為源機(jī)，Maya2000Pro光譜儀為目標(biāo)機(jī)；圖4(b)對(duì)應(yīng)組2: 此組實(shí)驗(yàn)中，C10082CAH光譜儀為源機(jī)，ATP2000光譜儀為目標(biāo)機(jī)；圖4(c)對(duì)應(yīng)組3: 此組實(shí)驗(yàn)中，Maya2000Pro光譜儀為源機(jī)，ATP2000光譜儀為目標(biāo)機(jī)。

圖4 三組比對(duì)實(shí)驗(yàn)測(cè)得各濃度水質(zhì)吸收光譜標(biāo)準(zhǔn)化數(shù)據(jù)(a): 對(duì)應(yīng)組1；(b): 對(duì)應(yīng)組2；(c): 對(duì)應(yīng)組

為了更直觀展示實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果，將表1，2，3繪制成圖5。從表1，2，3可以看出，3組儀器對(duì)應(yīng)的八組樣本溶液的紫外-可見(jiàn)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化指標(biāo)評(píng)價(jià)中，除表1中20 mg·L-1相關(guān)系數(shù)保持不變外，表2，表3濃度分布從20～800 mg·L-1，標(biāo)準(zhǔn)化數(shù)據(jù)的相關(guān)系數(shù)較原始數(shù)據(jù)的相關(guān)系數(shù)均增加，從圖5(a)中可明顯看出，標(biāo)準(zhǔn)化后的值高于標(biāo)準(zhǔn)化之前的值，即兩曲線的相關(guān)系數(shù)提高，即該算法標(biāo)準(zhǔn)化使得曲線的相似度提高；從方差指標(biāo)來(lái)看，濃度分布從20～800 mg·L-1，8組樣本溶液的水質(zhì)數(shù)據(jù)，標(biāo)準(zhǔn)化后較標(biāo)準(zhǔn)化前方差大幅降低，從圖5(b)中可明顯看出，表明該算法標(biāo)準(zhǔn)化使得兩曲線間方差減小，則兩曲線對(duì)應(yīng)波段點(diǎn)數(shù)據(jù)波動(dòng)減小，即標(biāo)準(zhǔn)化效果越好；從波峰偏移量來(lái)分析，8組樣本溶液在三組對(duì)比實(shí)驗(yàn)中，波峰偏移量均約為1，從圖5(c)中可明顯看出，比對(duì)組實(shí)驗(yàn)1中，與1之間的誤差在0.002 8%～0.073 6%，比對(duì)組2，與1之間的誤差在0.000 5%～0.054%，比對(duì)組3，與1之間的誤差在0.004%～0.045%，誤差較小，說(shuō)明該標(biāo)準(zhǔn)化算法在進(jìn)行曲線標(biāo)準(zhǔn)化時(shí)，未犧牲曲線特征。經(jīng)計(jì)算，采用基于EWMA-PCA的歸一化算法標(biāo)準(zhǔn)化后，相關(guān)系數(shù)可達(dá)到99.576 5%，方差可達(dá)到0.082 3%，波峰偏移量可降低至0.000 5%，以上三個(gè)數(shù)據(jù)均表明該算法在C10082CAH光譜儀與Maya2000Pro光譜儀、C10082CAH光譜儀與ATP2000光譜儀、Maya2000Pro光譜儀與ATP2000光譜儀三組儀器及數(shù)據(jù)標(biāo)準(zhǔn)化過(guò)程中呈良性發(fā)展，該標(biāo)準(zhǔn)化算法有效，且表現(xiàn)較好。

表1 C10082CAH光譜儀與Maya2000Pro光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 1 Standardized evaluation of water absorption spectrum data measured by C10082CAH and Maya2000Pro spectrometer

表2 C10082CAH光譜儀與ATP2000光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 2 Standardized evaluation of water absorption spectrum data measured by C10082CAH spectrometer and ATP2000 spectrometer

表3 Maya2000Pro光譜儀與ATP2000光譜儀測(cè)得水質(zhì)吸收光譜數(shù)據(jù)標(biāo)準(zhǔn)化評(píng)價(jià)Table 3 Standardized evaluation of water absorption spectrum data measured by Maya2000Pro and ATP2000 spectrometer

圖5 三組比對(duì)實(shí)驗(yàn)測(cè)得各濃度水質(zhì)吸收光譜標(biāo)準(zhǔn)化評(píng)價(jià)(a)：相關(guān)系數(shù)；(b)：方差；(c)：峰的偏移量

3 結(jié) 論

通過(guò)八組溶液，3組光譜儀的對(duì)比實(shí)驗(yàn)，探討了基于EWMA-PCA的歸一化算法在水質(zhì)光譜數(shù)據(jù)標(biāo)準(zhǔn)化中的應(yīng)用研究，并提出相關(guān)系數(shù)、方差、波峰偏移量等指標(biāo)，用以評(píng)價(jià)標(biāo)準(zhǔn)化結(jié)果。研究的主要結(jié)論是：基于EWMA-PCA的歸一化算法在標(biāo)準(zhǔn)化過(guò)程中，控制波峰波段特征不變的同時(shí)很大程度上提高波形相似度，降低數(shù)據(jù)波動(dòng)，減小兩波形間方差；且將該算法應(yīng)用于3臺(tái)不同的光譜儀中，效果顯著，證明該算法的有效性及適應(yīng)性。