基于蒙特卡洛法紅棗光譜水分模型研究

石魯珍，陳 杰，張樹(shù)艷，張景川，3

(1.塔里木大學(xué)信息工程學(xué)院，新疆阿拉爾 843300； 2.南疆農(nóng)業(yè)信息化研究中心，新疆阿拉爾 843300；3.塔里木大學(xué)機(jī)械電氣化工程學(xué)院，新疆阿拉爾 843300)

紅棗是新疆南疆地區(qū)主要的經(jīng)濟(jì)作物，含有多種微量元素和營(yíng)養(yǎng)物質(zhì)，近些年紅棗產(chǎn)業(yè)有了較快的發(fā)展。含水量是紅棗重要的測(cè)量指標(biāo)，在收購(gòu)的過(guò)程中紅棗含水量達(dá)不到加工企業(yè)的標(biāo)準(zhǔn)，企業(yè)將不予以收購(gòu)，或者低于市場(chǎng)價(jià)格進(jìn)行收購(gòu)，因?yàn)榧t棗在加工過(guò)程中需要含水量相接近。收購(gòu)到加工企業(yè)的紅棗在加工貯藏時(shí)，含水量更是重要的測(cè)量指標(biāo)。清洗、烘干、包裝每個(gè)環(huán)節(jié)對(duì)水分的控制非常嚴(yán)格，包裝是紅棗成品上市的最后一關(guān)，紅棗含水量決定其口感，通常認(rèn)為含水量為20%左右的紅棗口感最佳，因此，只有快速、準(zhǔn)確地測(cè)量紅棗含水量，才能合理評(píng)價(jià)紅棗品質(zhì)，提高農(nóng)戶的收入，提升加工企業(yè)的產(chǎn)品質(zhì)量和經(jīng)濟(jì)效益[1]。

近紅外光譜(NIR)技術(shù)作為一種有效的分析測(cè)試手段，目前已經(jīng)廣泛運(yùn)用于食品[2]、飼料[3]、煙草[4]、石油[5]等領(lǐng)域化學(xué)性質(zhì)的測(cè)定。偏最小二乘(PLS)法是近紅外光譜定量分析中運(yùn)用最多的多元統(tǒng)計(jì)方法。PLS模型可以很方便地對(duì)化學(xué)值預(yù)測(cè)，模型的質(zhì)量對(duì)預(yù)測(cè)結(jié)果影響很大。所以建立一個(gè)高質(zhì)量的模型非常關(guān)鍵，不同的預(yù)處理方法和波長(zhǎng)變量選擇對(duì)模型的質(zhì)量影響很大，如預(yù)處理方法正交信號(hào)校正(OSC)、凈分析信號(hào)(NAS)和小波變換(WT)[6]等，波長(zhǎng)變量選擇方法無(wú)信息變量消除(UVE)[7]、連續(xù)投影(SPA)[8]、遺傳算法和間隔偏最小二乘法[9]等，這些方法已經(jīng)廣泛應(yīng)用于近紅外定量分析中，并發(fā)揮了重要作用。除了光譜數(shù)據(jù)預(yù)處理、波長(zhǎng)變量選擇方法，奇異樣本識(shí)別更重要，奇異樣本對(duì)模型質(zhì)量有很大的影響。常用的奇異樣本識(shí)別方法有馬氏距離、濃度殘差、光譜殘差[10]等，這些奇異樣本識(shí)別方法對(duì)于單個(gè)奇異樣本識(shí)別方法效果很好，但是對(duì)于樣本集中奇異樣本較多時(shí)，其識(shí)別效果往往不是很理想。本研究利用蒙特卡洛交叉驗(yàn)證(MCCV)[11-14]中奇異樣本的統(tǒng)計(jì)規(guī)律來(lái)識(shí)別奇異樣本，并比較幾種常見(jiàn)的預(yù)處理方法和波數(shù)選擇方法，來(lái)建立預(yù)測(cè)性較好的紅棗水分近紅外定量分析模型。

1 材料與方法

1.1 材料與儀器

試驗(yàn)所用灰棗樣本：產(chǎn)自新疆阿拉爾市農(nóng)一師10團(tuán)，采摘時(shí)間為2016年10月份，采摘后放置冷庫(kù)中保存，冷庫(kù)溫度為1～5 ℃。傅里葉變換型近紅外光譜儀Antaris Ⅱ(賽默飛世爾，美國(guó))，波數(shù)范圍：10 000～4 000 cm-1，信噪比：15 000 ∶1，分辨率設(shè)置為8 cm-1，光譜點(diǎn)數(shù)為1557點(diǎn)，光譜掃描次數(shù)為32次。ME104E分析天平(梅特勒，瑞士)，最大稱量值：120 g，精度：0.1 mg。

1.2 光譜采集

先將灰棗從冷庫(kù)中取出，在實(shí)驗(yàn)室放置4 h，目的是讓灰棗溫度與室內(nèi)溫度相同。近紅外光譜儀Antaris Ⅱ開(kāi)機(jī)預(yù)熱 1 h，開(kāi)始采集灰棗近紅外光譜，采集方式是：采集灰棗赤道部位每間隔120°位置，每個(gè)灰棗采集3次光譜，將3條光譜進(jìn)行平均作為該灰棗的近紅外光譜，圖1為151個(gè)灰棗的近紅外光譜。為了保持光譜檢測(cè)的無(wú)損特性，所有紅棗樣本均是整果(連皮帶肉)采集其近紅外光譜[15-16]。

1.3 紅棗水分測(cè)定方法

將紅棗去皮，取果肉約3 g，放入ME104E分析天平稱質(zhì)量，精確到0.000 1 g，記為m1，然后放入電熱鼓風(fēng)干燥箱內(nèi)烘干，溫度設(shè)置溫度為70 ℃。每隔4 h稱質(zhì)量1次，至質(zhì)量變化小于0.001 g時(shí)從烘箱中取出，并放入干燥器內(nèi)冷卻至室溫，稱質(zhì)量直至恒質(zhì)量記為m2。紅棗含水率W按下式計(jì)算：

式中：m1為稱取紅棗果肉樣品烘干前質(zhì)量，g；m2為稱取紅棗果肉樣品烘干后質(zhì)量，g。

MATLAB R2012a(Mathworks，USA)用于算法的實(shí)現(xiàn)，光譜采集軟件為Result(Thermo Fisher Scientific，USA)。

2 結(jié)果與分析

2.1 蒙特卡洛交叉驗(yàn)證(MCCV)剔除異常樣本

在近紅外定量分析[17-18]中，哪個(gè)樣本是奇異樣本是未知的，但是可以根據(jù)正常樣本與異常樣本的差異性，建立大量的定量模型，然后通過(guò)統(tǒng)計(jì)參數(shù)把奇異樣本選擇出來(lái)，這就是基于蒙特卡羅交叉驗(yàn)證(MCCV)的一類奇異樣本識(shí)別方法。利用MCCV隨機(jī)劃分校正集與預(yù)測(cè)集，如果奇異樣本在校正集中，整個(gè)模型的質(zhì)量將受到影響；相反，如果奇異樣本在預(yù)測(cè)集中，僅此樣本的預(yù)測(cè)結(jié)果受到影響。盡管這種情況對(duì)預(yù)測(cè)結(jié)果都有影響，但效果明顯不同。本研究就利用奇異樣本出現(xiàn)在校正集或預(yù)測(cè)集時(shí)模型預(yù)測(cè)誤差的差異，通過(guò)MCCV及統(tǒng)計(jì)分析來(lái)進(jìn)行奇異樣本的識(shí)別。根據(jù)預(yù)測(cè)集中奇異樣本的預(yù)測(cè)殘差會(huì)明顯大于正常樣本的預(yù)測(cè)殘差也提出了一種基于MCCV的奇異樣本識(shí)別方法。基于MCCV的奇異樣本識(shí)別方法充分利用統(tǒng)計(jì)學(xué)的性質(zhì)，能夠在一定程度上降低由掩蔽效應(yīng)帶來(lái)的風(fēng)險(xiǎn)，檢出光譜陣和性質(zhì)陣方向的奇異點(diǎn)，有望在奇異樣本檢測(cè)中得到更廣泛的應(yīng)用[11]。

算法具體步驟：(1)用PLS確定最佳主成分?jǐn)?shù)；(2)用蒙特卡洛隨機(jī)取樣法取80%的樣本做校正集建立PLS回歸模型，剩余部分做預(yù)測(cè)集；(3)循環(huán)2 000次，得到各樣本的1組預(yù)測(cè)殘差；(4)求各樣本預(yù)測(cè)殘差的均值與方差，并作圖；(5)如樣本偏離主體，則從校正集中剔除。圖1是151個(gè)紅棗樣本利用MCCV的奇異樣本識(shí)別方法計(jì)算出的殘差均值和殘差方差，將均值小于-5、大于5的樣本，方差大于1的樣品進(jìn)行剔除。剔除異常樣本共12個(gè)，編號(hào)分別是第5、16、63、93、95、98、105、116、136、140、143、147。

2.2 校正樣本選擇

校正樣本集的選擇比較關(guān)鍵，通常校正集的樣本光譜性質(zhì)和濃度范圍應(yīng)包括驗(yàn)證集的光譜性質(zhì)和濃度范圍，且分布均勻，這里用SPXY(sample set partitioning based on joint x-y distances)[12]法對(duì)樣品進(jìn)行選擇。將剩余的139個(gè)紅棗樣本分成2組，一組是校正集用來(lái)建立校正模型，另一組是驗(yàn)證集用來(lái)測(cè)試模型的準(zhǔn)確性和穩(wěn)健性。如表1中所示，校正集y值范圍大于驗(yàn)證集的范圍。因此，樣品分布在校正集和驗(yàn)證集是適當(dāng)?shù)摹?/p>

表1 校正集和驗(yàn)證集樣品水分含量參考測(cè)量值

2.3 光譜數(shù)據(jù)預(yù)處理

在近紅外進(jìn)行建模的過(guò)程中，光譜的預(yù)處理是必不可少的，在近紅外定量分析與定性分析中是非常關(guān)鍵的一步，經(jīng)過(guò)適當(dāng)?shù)慕t外預(yù)處理方法可有效提高模型的適用性能力。合理的預(yù)處理方法可有效過(guò)濾近紅外光譜中的噪聲信息，保留有效信息，從而降低近紅外定量模型的復(fù)雜度，提高近紅外模型的可用性。表2是選用不同的光譜預(yù)處理方法，波數(shù)用全譜建立的模型結(jié)果。從表2中可以看出一階導(dǎo)數(shù)得到的模型有最小驗(yàn)證標(biāo)準(zhǔn)偏差(SEP)，所以預(yù)處理方法選擇一階導(dǎo)數(shù)。

表2 不同預(yù)處理方法得到的模型結(jié)果

導(dǎo)數(shù)(微分)可以消除樣品光譜的基線漂移、增強(qiáng)譜帶的特征信息并克服譜帶重疊，是最為常用的光譜數(shù)據(jù)預(yù)處理方法。一階導(dǎo)數(shù)可以去除同波數(shù)無(wú)關(guān)的基線漂移。圖2-a是紅棗原始光譜圖，圖2-b是經(jīng)過(guò)一階導(dǎo)數(shù)處理后的光譜圖。

2.4 波數(shù)變量選擇

2.4.1 相關(guān)系數(shù)法 相關(guān)系數(shù)法是計(jì)算校正集光譜矩陣中每個(gè)波數(shù)點(diǎn)對(duì)應(yīng)的吸光度向量與樣品組分濃度向量的相關(guān)系數(shù)，然后得出每個(gè)波數(shù)點(diǎn)變量對(duì)應(yīng)的相關(guān)系數(shù)。將相關(guān)系數(shù)排序，選擇合適的閾值，保留相關(guān)系數(shù)大于該閾值的波數(shù)點(diǎn)，進(jìn)而建立多元校正模型[6]。相關(guān)系數(shù)r由下式計(jì)算：

圖3是校正集紅棗含水量與波數(shù)的相關(guān)系數(shù)圖，藍(lán)線為相關(guān)系數(shù)，紅線是所選擇的閾值，綠色五角星為所選擇的波數(shù)點(diǎn)，從圖3中可以看出紅棗含水量與波數(shù)有較好的相關(guān)性，閾值選擇0.6(取絕對(duì)值，大于0.6和小于-0.6的波數(shù)被選擇)，共選擇波數(shù)變量311個(gè)。

2.4.2 競(jìng)爭(zhēng)性自適應(yīng)加權(quán)取樣(CARS)法 競(jìng)爭(zhēng)性自適應(yīng)權(quán)重取樣(competitive adaptive reweighted sampling，CARS)選擇波數(shù)的方法是基于回歸系數(shù)的權(quán)重，衡量波數(shù)被選中的重要評(píng)價(jià)指標(biāo)是回歸系數(shù)絕對(duì)值的大小，采用交互驗(yàn)證選擇偏最小二乘模型交互驗(yàn)證均方根誤差最小的子集，選擇出與目標(biāo)值對(duì)應(yīng)的最優(yōu)波數(shù)組合，逐個(gè)將絕對(duì)值大的回歸系數(shù)對(duì)應(yīng)的波數(shù)點(diǎn)保留，保留方式采用指數(shù)衰減函數(shù)來(lái)計(jì)算。

CARS算法實(shí)現(xiàn)步驟是：首先，運(yùn)用蒙特卡洛方法循環(huán)N次，每次從數(shù)據(jù)樣本中隨機(jī)抽取一定數(shù)量(通常取總樣本數(shù)的80%)的樣本作為建模集建立偏最小二乘模型；然后，利用指數(shù)衰減函數(shù)去掉回歸系數(shù)絕對(duì)值相對(duì)較小的波數(shù)點(diǎn)，第i次循環(huán)時(shí)，保留波數(shù)點(diǎn)的概率為：

ri=ae-ki。

這里a與k為常數(shù)，a與k的計(jì)算公式如下：

可以看出，第1次采樣時(shí)，所有的m個(gè)變量都被用于建模，故r1=1；運(yùn)行第N次采樣時(shí)，僅2個(gè)波數(shù)被使用，故rN=2/m。

圖4是用CARS方法選擇波數(shù)變量圖，其采樣次數(shù)為 1 000 次，PLS主成分?jǐn)?shù)選擇10，共選擇78個(gè)波數(shù)變量。

2.4.3 模型比較 將相關(guān)系數(shù)法、CARS法得到的PLS模型與全譜建的PLS模型進(jìn)行比較，結(jié)果如表3所示。對(duì)于全譜PLS模型，共選用1 557個(gè)變量來(lái)建立校正模型，這 1 557 個(gè)變量有很多和紅棗含水量不相關(guān)，這些變量稱為“無(wú)信息變量”。如果模型中含有“無(wú)信息變量”，會(huì)增加PLS主因子數(shù)，從表3中可以看出該模型的PLS主因子數(shù)是9個(gè)，較另外2個(gè)模型主因子數(shù)要多。過(guò)多的PLS主因子數(shù)會(huì)導(dǎo)致模型過(guò)擬合，通過(guò)獨(dú)立的樣品來(lái)測(cè)試時(shí)，過(guò)擬合模型會(huì)給出不好的預(yù)測(cè)結(jié)果，從表3可以看出，雖然全譜得到的校正標(biāo)準(zhǔn)偏差(SEC)和校正相關(guān)系數(shù)(RC)要好于其他2個(gè)模型，但是預(yù)測(cè)標(biāo)準(zhǔn)偏差(SEP)大于另外2個(gè)模型，預(yù)測(cè)相關(guān)系數(shù)(RP)低于另外2個(gè)模型。

對(duì)于相關(guān)系數(shù)法得到的PLS模型，和全譜PLS模型相比主成分?jǐn)?shù)降到了8個(gè)，預(yù)測(cè)標(biāo)準(zhǔn)偏差(SEP)和預(yù)測(cè)相關(guān)系數(shù)(RP)也都好于全譜模型，這時(shí)因?yàn)橄嚓P(guān)系數(shù)法選擇的波數(shù)變量數(shù)要小于全譜1 557個(gè)，大大減少了“無(wú)信息變量”。

對(duì)于CARS法得到的PLS模型，模型的主因子數(shù)為7個(gè)，“無(wú)信息變量”得到進(jìn)一步降低，模型變得更加簡(jiǎn)潔和穩(wěn)定。從模型的預(yù)測(cè)結(jié)果上看預(yù)測(cè)標(biāo)準(zhǔn)偏差(SEP)和預(yù)測(cè)相關(guān)系數(shù)(RP)在所以模型中是最好的。

表3 選擇不同波數(shù)得到偏最小二乘模型結(jié)果

3 結(jié)論

蒙特卡洛交叉驗(yàn)證(MCCV)能夠有效地識(shí)別奇異樣本。利用一階導(dǎo)數(shù)對(duì)紅棗原始近紅外光譜進(jìn)行處理，可以很好地提取有用的信息，去除同波數(shù)無(wú)關(guān)的基線漂移。CARS方法選擇的波數(shù)變量建立PLS模型，與全譜模型相比，不僅提高了模型的預(yù)測(cè)準(zhǔn)確性，而且還大大減少了建模波數(shù)變量數(shù)，使模型簡(jiǎn)化，減少建模所用時(shí)間，所選取的波數(shù)變量能夠有效地反映紅棗含水量的信息，建立的模型穩(wěn)定性強(qiáng)。