流形學(xué)習(xí)方法及近紅外透射光譜的新疆冰糖心紅富士水心鑒別

郭俊先，馬永杰，郭志明，黃 華，史 勇，周 軍

1. 新疆農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，新疆 烏魯木齊 830052 2. 江蘇大學(xué)食品與生物工程學(xué)院，江蘇 鎮(zhèn)江 212013 3. 新疆農(nóng)業(yè)大學(xué)數(shù)理學(xué)院，新疆 烏魯木齊 830052

引 言

蘋果水心病，又叫蘋果蜜病、 糖化病，在眾多蘋果產(chǎn)區(qū)是一種常見的果實生理病害[1]。水心病的產(chǎn)生與鈣含量的缺失有關(guān)，高鈣果實水心病發(fā)生率要低于低鈣果實[2]。由于蘋果水心病主要產(chǎn)生于果心部位，故，水心病果在染病情況下一般無法直接用肉眼察覺，除非染病情況非常嚴(yán)重，已經(jīng)在蘋果表面形成水漬狀白斑[3]。正是因為鈣含量的缺失導(dǎo)致水心病果由于山梨糖醇的累積使其擁有得天獨厚的味覺優(yōu)勢，這已經(jīng)日趨成為商家提高蘋果商品價格的一個賣點，新疆阿克蘇冰糖心紅富士蘋果更是以此聞名于國內(nèi)市場，但這也僅限于水心含量較低的病果；嚴(yán)重的水心病果會隨著儲藏時間的增加從而霉變、 褐變、 甚至黑心，這在一定程度上影響到蘋果的質(zhì)量和銷售鏈各環(huán)節(jié)人員的經(jīng)濟(jì)收入。

截止目前，蘋果水心病的無損檢測已經(jīng)吸引了一大批國內(nèi)外學(xué)者對其進(jìn)行相關(guān)研究，并且都取得了一定的成果。包括計算機(jī)視覺、 電子鼻、 電學(xué)特征法、 密度法、 核磁共振、 色彩像素、 X光、 熱成像在內(nèi)的多種方法[4]。但是受限于成本、 反應(yīng)時間、 甚至識別率不可靠的問題，并沒有得到廣泛的應(yīng)用。國內(nèi)目前的水心病檢測還是以人力經(jīng)驗分類為主，準(zhǔn)確率及可靠性都不能得到確切保證。因此，急需無損、 可靠、 快捷的方法對摘后蘋果進(jìn)行水心鑒別、 分類儲存、 銷售，進(jìn)而提高蘋果的經(jīng)濟(jì)價值。

近紅外光譜技術(shù)是近年來無損檢測的熱門技術(shù)。廣泛應(yīng)用于農(nóng)產(chǎn)品、 化工、 藥材、 木材、 醫(yī)學(xué)領(lǐng)域的定性、 定量分析，由于分析速度快、 不破壞樣本等優(yōu)點受到了眾多專家學(xué)者的青睞[5]。但是近紅外光譜波段數(shù)量較大、 波段間的相關(guān)性較高，一定程度上存在數(shù)據(jù)冗余等問題。因此數(shù)據(jù)降維也一直是近紅外光譜數(shù)據(jù)分析的必經(jīng)流程之一，常用的線性降維方法有主成分分析、 獨立成分分析等。但由于線性降維算法在降維后不能很好保持復(fù)雜結(jié)構(gòu)高維數(shù)據(jù)的完整信息，所以產(chǎn)生了對非線性降維的需求，也就有了從數(shù)學(xué)拓?fù)涑霭l(fā)的流形映射，這是因為大部分現(xiàn)實中非線性結(jié)構(gòu)都可以看做是流形結(jié)構(gòu)[6]；流形學(xué)習(xí)是近年來發(fā)展起來的一種非線性數(shù)據(jù)降維方式，其主要思想是將高維的數(shù)據(jù)映射到低維，并且在數(shù)據(jù)降維的同時能夠表征近紅外光譜數(shù)據(jù)的某些本質(zhì)結(jié)構(gòu)特征[7]。目前主要的流形學(xué)習(xí)算法有多維尺度分析(MDS)[8]、 分布鄰域嵌入(SNE)[9]、 對稱分布鄰域嵌入(SymSNE)[10]、 t分布鄰域嵌入(t-SNE)[11]、 拉普拉斯映射(LE)[12]、 等距特征映射(isomap)[13]、 地標(biāo)等距映射(landmark isomap)[14]、 局部線性嵌入(LLE)[15]、 擴(kuò)散映射(diffusion maps)[16]等。以上研究結(jié)果雖然預(yù)示了利用近紅外光譜技術(shù)結(jié)合流形學(xué)習(xí)方法應(yīng)用于檢測蘋果內(nèi)部水心存在與否的可能性，但是利用近紅外透射光譜結(jié)合多種流形學(xué)習(xí)方法對蘋果水心的鑒別研究還未有相關(guān)報道。

以新疆冰糖心紅富士好果與水心病疑似病果為研究對象，采集其近紅外透射光譜，結(jié)合化學(xué)計量學(xué)建模方法及流形學(xué)習(xí)方法。第一，探究在多元散射校正、 標(biāo)準(zhǔn)正態(tài)變量變換、 二階求導(dǎo)、 一階求導(dǎo)、 歸一化、 卷積平滑法、 均值中心化、 移動平均平滑、 直接差分二階求導(dǎo)以及直接差分一階求導(dǎo)等10種光譜預(yù)處理方法下全波長建模的性能，從中篩選最優(yōu)預(yù)處理方法；第二、 以最優(yōu)預(yù)處理方法下的光譜數(shù)據(jù)集作為自變量，結(jié)合多維尺度分析(MDS)、 分布鄰域嵌入(SNE)等9種流形學(xué)習(xí)方法進(jìn)行非線性數(shù)據(jù)降維，分別對比其在馬氏距離判別(MD)、 K最近鄰法(KNN)、 二次判別分析(QDA)、 貝葉斯判別(BD)模式識別模型下水心鑒別的性能，從中挑選最優(yōu)模型建立近紅外透射光譜結(jié)合非線性流形學(xué)習(xí)方法的蘋果水心病預(yù)測模型，為開發(fā)水心快速無損檢測設(shè)備提供新思路。

1 實驗部分

1.1 材料

樣本“新疆冰糖心紅富士”好果與疑似水心病果于2018年3月6日購買于新疆烏魯木齊市北園春水果批發(fā)市場。由經(jīng)驗豐富的果商對同批次同品牌蘋果拆箱挑選大小尺寸均勻、 無明顯損傷的正常果及疑似病果共計230個，裝箱轉(zhuǎn)運(yùn)至實驗室后開箱平鋪、 室溫20 ℃靜置24 h，擦凈蘋果表面浮土并檢查損傷情況并逐個編號、 剔除受損的蘋果共計13個，其余217枚參與數(shù)據(jù)采集。

1.2 設(shè)備

近紅外透射光譜采集系統(tǒng)來自江蘇大學(xué)食品與生物工程學(xué)院無損檢測重點實驗室，如圖1所示，采集系統(tǒng)由蘋果托架、 配套小型風(fēng)扇的光源套件(JCR12V 100 W鹵鎢燈)、 近紅外光譜儀(USB2000+，Ocean Optics，USA)、 大芯徑雙包層石英光纖(標(biāo)準(zhǔn)SMA905接口)、 機(jī)架、 暗箱與計算機(jī)等組成。光纖探頭一端連接近紅外透射光譜儀，另一端安裝于果托圓心正下方，實現(xiàn)對透射光譜的高效采集。

圖1 近紅外透射光譜采集系統(tǒng)Fig.1 Near-infrared transmission spectrum acquisition system

1.3 方法

1.3.1 近紅外透射光譜的采集

近紅外透射光譜數(shù)據(jù)采集由配套軟件SpectraSuite (Ocean Optics，USA)實現(xiàn)，后續(xù)數(shù)據(jù)處理使用Matlab 2014b(MathWorks，USA)，繪圖使用OriginPro 8(OriginLab，USA)。

USB2000+光譜儀使用前預(yù)熱約1 h，之后通過測試采樣設(shè)置SpectraSuite軟件界面參數(shù)，確定樣品光譜的采集參數(shù)為：平均次數(shù)3；平滑度5；積分時間120 ms；波段數(shù)512。采集光譜時，將蘋果按圖示置于光譜采集儀器的果托上，注意蘋果與底部果托之間不能留有光縫，確保光纖接收光信號的點完全屏蔽光源，使其只能接收到透過蘋果的光。等待軟件界面顯示的光譜穩(wěn)定且在微小時間內(nèi)不再發(fā)生變化時，保存光譜；然后將蘋果順時針旋轉(zhuǎn)120°，保存光譜之后再次將蘋果順時針旋轉(zhuǎn)120°并保存光譜，最終將三次獲得光譜的平均值作為該樣本的光譜數(shù)據(jù)。共計采集217個蘋果近紅外透射光譜信息。每測量10個樣本就需要保存一次該時刻的暗光譜用于后續(xù)光譜校正，這是為了避免由于USB2000+光纖光譜儀預(yù)熱不充分導(dǎo)致暗光譜所產(chǎn)生的試驗誤差。

1.3.2 光譜校正處理

光譜采集過程中，由于攝像頭中的暗電流噪聲以及蘋果表面不均勻性會對光譜數(shù)據(jù)產(chǎn)生一定的噪聲影響，因此需要對獲得的光譜數(shù)據(jù)按照式(1)進(jìn)行校正

(1)

式(1)中：R為校正后的光譜；I0為原始采集光譜；ID為擰上鏡頭蓋采集的全黑暗光譜；IW為全反射光譜。

1.3.3 蘋果分類

光譜采集后，沿赤道面橫向剖切并記錄水心狀況，經(jīng)統(tǒng)計共有水心病果97個，正常蘋果120個。將所有采集后的近紅外透射光譜數(shù)據(jù)用SPXY方法將樣本按照3∶1的比例分為校正集與預(yù)測集。其中校正集為72個水心蘋果與90個正常蘋果，預(yù)測集為25個水心蘋果與30個正常蘋果。

1.4 數(shù)據(jù)處理

①將SpectraSuite軟件獲得的原始近紅外光譜信息導(dǎo)入matlab 2014b軟件進(jìn)行黑白校正；②隨后將校正過的光譜信息作為輸入變量對其進(jìn)行數(shù)據(jù)中心化、 移動平均平滑等多種光譜預(yù)處理；③再將經(jīng)過預(yù)處理后的光譜建立全波長模式識別模型，從中篩選最優(yōu)光譜預(yù)處理方法；④將最優(yōu)光譜預(yù)處理后提取的光譜數(shù)據(jù)應(yīng)用多種流形學(xué)習(xí)方法進(jìn)行數(shù)據(jù)降維；⑤將數(shù)據(jù)降維后的結(jié)果分別用于模式識別。

2 結(jié)果與討論

2.1 光譜數(shù)據(jù)預(yù)處理與篩選

正常新疆冰糖心紅富士蘋果與水心病果經(jīng)黑白校正的所有原始光譜見圖2，其形狀、 趨勢相似，肉眼幾乎無法辨別。并且原始光譜數(shù)據(jù)的獲取除了包含樣本自身有用的化學(xué)信息外，常常伴隨著其他無關(guān)信息，如樣本背景、 雜散光、 以及設(shè)備自身的干擾。因此，旨在消除光譜無關(guān)信息的光譜預(yù)處理方法變得尤為重要。為了消除以上干擾，同時也為排除其他不確定干擾及篩選最優(yōu)預(yù)處理方式；分別采用10種預(yù)處理方法對原始光譜進(jìn)行預(yù)處理，隨后將預(yù)處理后的數(shù)據(jù)作為建模集進(jìn)行全光譜模式識別建模研究。結(jié)果如表1。

圖2 正常蘋果與水心病果的近紅外透射光譜Fig.2 Near-infrared transmission spectra of healthy and watercore apples

表1 全光譜下多種預(yù)處理方法結(jié)合多種模式識別方法建模的蘋果類型識別率Table 1 Recognition rate of apple type with multiple preprocessing and multiple pattern recognition under full spectra

由表1可見，預(yù)處理在一些情況下會起到“促進(jìn)”建模的過程，有時也會“抑制”。模式識別方法亦是如此，不同的方法也會因為原理不同得到相左的效果。預(yù)處理方法最優(yōu)的是多元散射校正，模式識別方法中較好的是馬氏距離判別、 K最近鄰法及二次判別分析。圖中MSC-KNN模型的校正集與預(yù)測集的成功率為93.2%與87.2%，達(dá)到了較優(yōu)的識別效果，但是由于全光譜建模耗時長、 變量復(fù)雜并且不穩(wěn)定等缺點，所以并不能直接應(yīng)用于生產(chǎn)實際中，于是需要將經(jīng)過最優(yōu)預(yù)處理方法，即多元散射校正處理后的光譜經(jīng)流形學(xué)習(xí)方法數(shù)據(jù)降維后再結(jié)合本試驗匹配較優(yōu)的模式識別方法(即MD，KNN，QDA)進(jìn)行建模分析。

2.2 基于流形學(xué)習(xí)方法的數(shù)據(jù)降維

為了對比各種流形學(xué)習(xí)方法對數(shù)據(jù)降維的效果。將經(jīng)過多元散射校正預(yù)處理后的光譜數(shù)據(jù)集結(jié)合流形學(xué)習(xí)方法進(jìn)行數(shù)據(jù)降維，輸出維度確定為3，繪制多種流形學(xué)習(xí)方法下提取的三維特征散點圖如圖3所示。

圖3可見：綠色為水心病果、 藍(lán)色為正常蘋果。流形學(xué)習(xí)方法在前三個主成分下的降維效果各有特點；圖3(a)，(b)，(i)，(l)將正常蘋果與水心病果幾乎完全分開，只是在空間上看起來有重疊；并且圖3(a)與(l)有相似的降維效果，這與成超[17]所得結(jié)果一致；圖3(c)和(g)在空間中產(chǎn)生了流形狀曲線，并且在水心分類上產(chǎn)生了較好的結(jié)果；圖3(d)與(e)不僅沒有將正常蘋果與水心病果很好分開，相比常規(guī)PCA方法使數(shù)據(jù)變得更加混淆，對于本試驗來說并不是合適的數(shù)據(jù)降維方法；圖3(f)很好地將水心病果與正常蘋果分開，說明相對于SNE方法，t-SNE既能獲得原始高維數(shù)據(jù)的重要信息，同時也能很好地揭示全局簇結(jié)構(gòu)；圖3(h)雖然也將兩類樣本成功分開，但是水心病果在圖中重合太多，并不能直觀看出聚類分布；圖3(j)與(k)也能很好地將兩類蘋果分開?？v觀圖3，發(fā)現(xiàn)大部分小圖中的綠色區(qū)域(即水心病果)都呈散開趨勢，推測這或許與水心病果的水心大小存在差異有一定聯(lián)系。

圖3 多種流形學(xué)習(xí)方法下數(shù)據(jù)降維的3D可視化圖Fig.3 3D visualization of dimension reduction under various manifold learning methods

上述經(jīng)流形學(xué)習(xí)方法數(shù)據(jù)降維的結(jié)果都被用來結(jié)合經(jīng)前段測試后與本試驗匹配較優(yōu)的模式識別方法(即MD，KNN，QDA)進(jìn)行建模分析；在分析中0與1被分別用來代表水心病果與正常蘋果。本次分析的目的在于從中找出最高效、 最簡單、 最快捷的基于流形學(xué)習(xí)方法與近紅外透射光譜的水心鑒別模型，結(jié)果如表2；本次分析數(shù)據(jù)只考慮主成分?jǐn)?shù)目與不同流形學(xué)習(xí)方法對蘋果識別率的影響，故為了消除其他干擾對建模的影響，其他參數(shù)均不做任何改變。(經(jīng)優(yōu)選后確定KNN中K全部取5)

參照圖3分析結(jié)果，馬氏距離判別分析下最優(yōu)模型為MSC-Diffusion Maps-MD，校正集與預(yù)測集識別率分別為91.3%與90.9%。這與圖3經(jīng)多種流形學(xué)習(xí)方法數(shù)據(jù)降維后的3D可視化圖結(jié)果吻合。K最近鄰法方法下最優(yōu)模型為MSC-Landmark Isomap-KNN，校正集識別率為97.5%，預(yù)測集為96.3%。在二次線性判別分析方法下，最優(yōu)模型為MSC-t-SNE-QDA，校正集與預(yù)測集蘋果類型的識別率分別為95%與90.9%。由表2同時獲悉，SNE，SymSNE并不適合應(yīng)用于本試驗的數(shù)據(jù)降維，這也與本文2.2節(jié) “基于流形學(xué)習(xí)方法的數(shù)據(jù)降維” 的內(nèi)容相符。

表2 多種流形學(xué)習(xí)數(shù)據(jù)降維方法結(jié)合多種模式識別方法建模的蘋果類型識別率Table 2 Recognition rate of apple type with multiple manifold learning dimension reducing algorithm and multiple pattern recognition

研究以新疆冰糖心紅富士為試材，數(shù)據(jù)采集后切開檢驗水心病果占比僅為44.7%，證明人工對水心篩選并不可行；經(jīng)過本試驗的分析，結(jié)合流形學(xué)習(xí)方法能夠很好地提高水心識別率，正確率達(dá)到了96.3%。從表2獲悉，MSC-Diffusion Maps-KNN與MSC-t-SNE-KNN雖然都能成功將水心病果與正常蘋果分開，預(yù)測集識別率達(dá)到90.9%，但是需要19個主成分的共同參與，推測正是因水心病果光譜與正常蘋果光譜之間存在難以區(qū)分的差異性，所以導(dǎo)致需要多個主成分參與建模分析才能獲取較優(yōu)識別率。雖然基于流形學(xué)習(xí)方法與近紅外透射光譜的新疆冰糖心紅富士水心鑒別達(dá)到了成功率96.3%的鑒別效果，但是在圖3(a)，(c)，(j)，(k)與(l)中發(fā)現(xiàn)了正常蘋果成功聚類、 水心病果呈現(xiàn)局部分散的問題，推測這可能與試驗階段沒有考慮蘋果水心大小對透射光譜的影響有關(guān)，在后續(xù)的試驗與研究中，有望開展關(guān)于水心病果中水心大小預(yù)測的定量分析研究。

3 結(jié) 論

利用近紅外透射光譜結(jié)合流形學(xué)習(xí)非線性數(shù)據(jù)降維方法與多種光譜預(yù)處理及多種模式識別方法同時對新疆冰糖心紅富士進(jìn)行水心分鑒，得到如下結(jié)論。

(1)對采集后經(jīng)黑白校正后的光譜數(shù)據(jù)用多元散射校正、 標(biāo)準(zhǔn)正態(tài)變量變換、 二階求導(dǎo)、 一階求導(dǎo)、 歸一化、 卷積平滑法、 均值中心化、 移動平均平滑、 直接差分二階求導(dǎo)以及直接差分一階求導(dǎo)進(jìn)行光譜預(yù)處理；隨后對所有光譜預(yù)處理后的數(shù)據(jù)做全波長建模分析，比較得出多元散射校正是最優(yōu)預(yù)處理方法；其很好地消除了顆粒分布不均勻及散射對重要信息的影響，提高光譜信噪比。

(2)結(jié)合多維尺度分析(MDS)、 分布鄰域嵌入(SNE)、 對稱分布鄰域嵌入(SymSNE)、 t分布鄰域嵌入(t-SNE)、 拉普拉斯映射(LE)、 等距特征映射(Isomap)、 地標(biāo)等距映射(Landmark Isomap)、 局部線性嵌入(LLE)、 擴(kuò)散映射(DM)等流形學(xué)習(xí)算法對經(jīng)多元散射校正預(yù)處理后的數(shù)據(jù)集做數(shù)據(jù)降維處理，比較得出地標(biāo)等距映射是最優(yōu)數(shù)據(jù)降維方法，其在數(shù)據(jù)降維的同時很好地保留了數(shù)據(jù)原始的本構(gòu)特征。

(3)對所有經(jīng)過流形學(xué)習(xí)方法數(shù)據(jù)降維后的自變量分別建立馬氏距離判別、 K最近鄰法、 二次判別分析的模式識別模型，比較得出MSC-Landmark Isomap-KNN是最優(yōu)模型，校正集識別率為97.5%，預(yù)測集識別率為96.3%。

本方法為蘋果水心鑒別提供技術(shù)支持，可以有效地對蘋果進(jìn)行水心鑒別、 分類儲存并銷售，進(jìn)而提高蘋果的經(jīng)濟(jì)價值，為開發(fā)新型蘋果水心病檢測設(shè)備提供新思路。