拉曼光譜結(jié)合WGANGP-ResNet算法鑒別病原菌種類

孟星志, 劉亞秋, 劉麗娜

東北林業(yè)大學(xué)信息與計算機(jī)工程學(xué)院, 黑龍江 哈爾濱 150040

引 言

近年來, 電子設(shè)備盛行造成許多眼部傷害, 使眼部更容易遭受細(xì)菌的感染。 長期以來, 我國對于眼科病原菌的鑒別工作主要是在分子層面上[1], 利用眼外傷或眼部炎癥的樣本以及一些醫(yī)學(xué)環(huán)境的標(biāo)本進(jìn)行細(xì)菌培養(yǎng), 根據(jù)其形態(tài)特征、 生化形狀表現(xiàn)以及相關(guān)免疫反應(yīng)來進(jìn)行鑒別。 這些方法大多涉及復(fù)雜的取樣過程, 并具有破壞性。 因此, 迫切需要一種適用于臨床簡單快捷的病原菌鑒別方法。

拉曼光譜[2]是應(yīng)用于分子結(jié)構(gòu)研究的一種分析方法, 它的出現(xiàn)彌補(bǔ)了紅外光譜在非極性分子檢測上的缺陷, 它提供的圖譜分辨率高, 峰形尖銳, 并具有便攜、 快速且無損的檢測優(yōu)點, 在食品[3]、 材料[4]、 考古[5]等多個領(lǐng)域均有廣泛應(yīng)用。 同樣在醫(yī)學(xué)領(lǐng)域, SERS適用于尿液、 血液、 組織液等臨床樣品, 在單細(xì)胞精度獲取藥敏表型圖譜, 其圖譜含有豐富真實的細(xì)菌生化信息[6]。 SERS只需少量病原菌生物樣品, 即可進(jìn)行無標(biāo)記、 非接觸、 無損的原位檢測, 且無需前置處理, 降低了操作難度, 提高臨床檢測速度, 已被用作細(xì)菌種類鑒別的“化學(xué)指紋圖譜”。

機(jī)器學(xué)習(xí)結(jié)合拉曼光譜進(jìn)行物質(zhì)定性分析已成為目前光譜分析中的常用方法[7-8], 然而, 數(shù)據(jù)預(yù)處理步驟繁瑣、 性能較差、 泛化能力有限依然是多數(shù)光譜分類方法的普遍問題。 CNN已成功地應(yīng)用于計算機(jī)視覺、 語音識別等領(lǐng)域。 它可直接從原始數(shù)據(jù)中提取隱秘的特征, 無需復(fù)雜數(shù)據(jù)預(yù)處理。 Ho等證明ResNet可以準(zhǔn)確地對低信噪比的拉曼光譜進(jìn)行分類[9]。 但是這種相對深層的網(wǎng)絡(luò)更需要通過大量樣本數(shù)據(jù)學(xué)習(xí)。

數(shù)據(jù)增強(qiáng)方法可有效擴(kuò)充小數(shù)量級樣本使深度學(xué)習(xí)算法更廣泛的使用。 與傳統(tǒng)數(shù)據(jù)增強(qiáng)方法如偏移法, 隨機(jī)線性疊加等相比, 基于生成式對抗網(wǎng)絡(luò)(GAN)方法[10]生成的光譜能夠更好的保留原始特征。 Yu等證實GAN可以有效產(chǎn)生與真實光譜相似的數(shù)據(jù)[11], 李靈巧等驗證GAN擴(kuò)充的數(shù)據(jù)集可有效提高分類模型精度[12], 但GAN訓(xùn)練不穩(wěn)定, 時常出現(xiàn)模式崩塌等問題, 而本文改進(jìn)的WGAN-GP[13]可有效解決此問題。

本文提出一種利用SERS與WGAN-GP和ResNet結(jié)合進(jìn)行病原菌鑒別的新方法。 SERS可以在秒或毫秒級別對顯微鏡下的少量病原菌進(jìn)行拉曼光譜采集, 并將采集到的數(shù)據(jù)放入WGAN-GP中生成大量光譜數(shù)據(jù), 再使用擴(kuò)充數(shù)據(jù)集訓(xùn)練ResNet, 生成分類模型, 為實現(xiàn)滿足臨床需求的病原菌快速檢測打下基礎(chǔ)。

1 實驗部分

1.1 數(shù)據(jù)采集與處理

實驗采集的五種眼科病原菌分別是銅綠假單胞菌(Pae 45)、 金黃色葡萄球菌(Sau 386)、 YG 175、 YG 194、 淋病奈瑟菌(N.gonorrhoeae)。 均是導(dǎo)致常見眼科疾病的病原菌, 并且均來自于自然實驗環(huán)境下的菌株。

實驗使用的拉曼光譜儀為生物檢測級別的智能型共聚焦拉曼光譜儀HOOKW P300, 激發(fā)光源波長為785 nm, 積分設(shè)為5 s, 積分次數(shù)設(shè)為自動, 激發(fā)功率最大強(qiáng)度為6 mW, 采用1 200 gr·mm-1光柵, 光譜范圍均為441～1 808 cm-1。 每種病原菌有100個樣本, 每個樣本采集3次光譜數(shù)據(jù)取平均值, 共采取500個拉曼光譜數(shù)據(jù)。 圖1為五種拉曼光譜數(shù)據(jù)歸一化后的圖像。

圖1 五種眼科病原菌的拉曼光譜圖像

五種光譜圖形狀十分相似。 為匹配機(jī)器學(xué)習(xí)算法, 對全部光譜數(shù)據(jù)采用去除宇宙射線, SG平滑濾波, airPLS基線校正, PCA數(shù)據(jù)降維, 歸一化進(jìn)行數(shù)據(jù)預(yù)處理, 而經(jīng)過驗證, 運用卷積的深度學(xué)習(xí)網(wǎng)絡(luò)對只進(jìn)行歸一化處理的原始數(shù)據(jù)具有更優(yōu)分類性能。

1.2 ResNet模型建立與訓(xùn)練

分類網(wǎng)絡(luò)改編自ResNet模型, 使簡單網(wǎng)絡(luò)成為ResNet的主要結(jié)構(gòu)是層之間的殘差連接, 分為恒等映射(identity)投影映射(projection)。 包含一個殘差連接的幾層網(wǎng)絡(luò)合并為一個殘差塊, 圖2顯示了本文所改進(jìn)的殘差塊(Residual block), 而源自輸入并連接到殘差塊末端的彎曲箭頭就是殘差連接。

圖2 殘差結(jié)構(gòu)中的殘差塊

將殘差塊中的卷積層、 BN層和最大池化層的2D結(jié)構(gòu)改為1D, 使之適用于一維光譜數(shù)據(jù)。 經(jīng)反復(fù)實驗, 最終將經(jīng)典殘差結(jié)構(gòu)數(shù)量由3、 4、 6、 3縮減到1、 1、 1、 1, 為了提高模型泛化能力, 實驗中在平均池化層(Avgpool)后按照0.2的比例將部分神經(jīng)元隨機(jī)舍棄(Dropout)。 全連接層的輸出張量(out_features)設(shè)為樣本類別數(shù)5。 具體網(wǎng)絡(luò)結(jié)構(gòu)如表1。

表1 ResNet1D結(jié)構(gòu)

訓(xùn)練參數(shù)初始輸入特征層的in_channel調(diào)整為32, batch_size為16。 采用Adam優(yōu)化器, 學(xué)習(xí)率設(shè)為0.000 2, 迭代訓(xùn)練次數(shù)為30次。 殘差網(wǎng)絡(luò)在訓(xùn)練過程中可以視為一個整體, 無需手動干預(yù), 自動迭代求得模型最優(yōu)解。 損失函數(shù)采用預(yù)測值和真實值的交叉熵, 數(shù)學(xué)描述如式(1)

(1)

式(1)中,z=[z0, …,zC-1]是一個概率分布,zi表示樣本為第i類的概率,C表示該樣本的標(biāo)簽, 當(dāng)訓(xùn)練越準(zhǔn)確其真實標(biāo)簽的概率就越大, 即z[C]越大, loss值越小。 從而模型的魯棒性就越好。

1.3 WGAN-GP模型建立與訓(xùn)練

WGAN-GP的原理與GAN類似, 都是基于生成網(wǎng)絡(luò)(G)與判別網(wǎng)絡(luò)(D)的相互博弈來優(yōu)化模型進(jìn)而生成理想數(shù)據(jù)。 WGAN致力于最小化生成的數(shù)據(jù)分布和實際數(shù)據(jù)分布之間的Wasserstein距離。 這種技術(shù)比GAN使用的KL散度或JS散度提供了更高的穩(wěn)定性。 WGAN-GP通過使用梯度懲罰項(Gradient Penalty)替代權(quán)重裁剪來改進(jìn)WGAN, 以鼓勵判別器梯度滿足1-Lipschitz約束[13], 數(shù)學(xué)描述如式(2)。

生成網(wǎng)絡(luò)主要由一個卷積核為1*64的一維轉(zhuǎn)置卷積(ConvTranspose1d)和4個上采樣塊組成, 每個上采樣塊包含一個1*4轉(zhuǎn)置卷積和一個BatchNorm1d, 使用ReLU和Tanh激活函數(shù), 具體網(wǎng)絡(luò)參數(shù)如表2。

表2 生成網(wǎng)絡(luò)參數(shù)

表3 判別網(wǎng)絡(luò)參數(shù)

判別網(wǎng)絡(luò)由4個鑒別塊和一個大小為64的全局卷積組, 由于梯度懲罰項(Gradient Penalty)是對每個樣本獨立地施加梯度懲罰, 而BN層會使同一batch中的輸入擁有相同的均值和方差, 無法正確求出每個輸入樣本的梯度。 因此, 判別塊中使用LN層(LayerNorm)替換BN層, LN在特征維度進(jìn)行歸一化, 對不同的輸入樣本有不同的均值和方差。 使用LeakyReLU激活函數(shù)。

隨著訓(xùn)練次數(shù)的增加, D的判別能力會得到提高, 從而迫使G生成更真實的數(shù)據(jù), 經(jīng)過反復(fù)博弈, 最終達(dá)到納什平衡[14], 具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3。

圖3 改進(jìn)的WGAN-GP網(wǎng)絡(luò)結(jié)構(gòu)示意圖

WGAN-GP的生成器中高斯噪音初始長度設(shè)為100。 判別器激活函數(shù)中l(wèi)eak斜度設(shè)為0.2。 選用RMSprop優(yōu)化器, 參數(shù)設(shè)置為0.000 1。 batch_size調(diào)整為16。 判別器訓(xùn)練2次后生成器訓(xùn)練1次, 可使訓(xùn)練效果達(dá)到最佳, 迭代200個epoch, 設(shè)置為每50次保存一次生成數(shù)據(jù)至本地, 并自動繪制前8個新生成光譜數(shù)據(jù)的圖像, 用以查看當(dāng)前數(shù)據(jù)生成情況。 將五種拉曼光譜數(shù)據(jù)分別輸入WGAN-GP模型, 最終每種樣本分別生成200個, 總計1 000個生成數(shù)據(jù)。

整個模型的訓(xùn)練, 首先對判別器進(jìn)行2次訓(xùn)練給定判別參數(shù), 生成器輸入為100個服從正態(tài)分布的隨機(jī)噪聲z, 經(jīng)由轉(zhuǎn)置卷積進(jìn)行特征提取和生成, 并將特征層的長度不斷放大, 最終與真實數(shù)據(jù)長度相同, 即生成與真實數(shù)據(jù)分布相似的數(shù)據(jù)。 將真實樣本和生成樣本形成聯(lián)合分布, 采樣后兩者作差, 將得到的Wasserstein距離與梯度懲罰項加權(quán)合并, 得到判別器loss, 再根據(jù)loss對生成器進(jìn)行訓(xùn)練, 如此循環(huán)。 其公式描述如式(2)

xr=tx+(1-t)G(z) 0≤t≤1

(2)

如上文算法描述,D盡可能拉大真假樣本分?jǐn)?shù)差距, 希望梯度和變化幅度越大越好, 而G反之。 其中λ為梯度懲罰參數(shù), 可以用來調(diào)節(jié)懲罰力度,t為[0.1]之間的一個隨機(jī)數(shù), 用來使一對真假樣本分別按t的比例加和來生成, 再將xr代入最終得到WGAN-GP的損失函數(shù)。

2 結(jié)果與討論

本實驗分為前、 中、 后三個部分。 前階段分別使用KNN、 CNN、 ResNet對未進(jìn)行數(shù)據(jù)擴(kuò)充的原始光譜數(shù)據(jù)集中進(jìn)行檢測分類; 中期分別使用偏移法、 DCGAN、 WGAN-GP進(jìn)行數(shù)據(jù)增強(qiáng), 并篩選出合格的生成數(shù)據(jù)對原訓(xùn)練集進(jìn)行擴(kuò)充, 得到三種方法擴(kuò)充后的數(shù)據(jù)集; 最后階段再次使用ResNet模型對不同擴(kuò)充數(shù)據(jù)集進(jìn)行分類。

2.1 原數(shù)據(jù)集分類結(jié)果分析

經(jīng)反復(fù)對比實驗, 最終決定按7∶3的比例將五種病原菌拉曼光譜隨機(jī)劃分訓(xùn)練集和測試集, 即每種target各選取70個數(shù)據(jù), 共350個樣本數(shù)據(jù)作為訓(xùn)練集, 其余每種target30個數(shù)據(jù), 共150個樣本數(shù)據(jù)作為測試集。 使用KNN、 CNN、 ResNet三種機(jī)器學(xué)習(xí)算法對五種原始數(shù)據(jù)集進(jìn)行分類, 準(zhǔn)確率如表4。

表4 原始數(shù)據(jù)集分類準(zhǔn)確率對比

由表4可知ResNet模型分類準(zhǔn)確率最高, 相比于淺層CNN模型和傳統(tǒng)機(jī)器學(xué)習(xí)具有更強(qiáng)的特征提取和分類能力, 并且可以省去特征提取環(huán)節(jié), 因此選用ResNet作為最終的光譜分類模型。

2.2 數(shù)據(jù)增強(qiáng)模型訓(xùn)練結(jié)果分析

分別使用偏移法、 DCGAN和WGAN-GP生成每種樣本各200個生成數(shù)據(jù)。 如圖4所示, 對于每個樣本, 生成光譜和真實光譜的平均光譜, 可以達(dá)到肉眼無法分辨的程度。 其中灰色陰影部分是由生成的最大值和最小值形成的面積。

圖4 生成光譜與真實光譜的平均光譜對比

由于是對一維拉曼光譜數(shù)據(jù)進(jìn)行重塑, 因此不宜使用SSIM、 PSNR等常用圖像評價指標(biāo)。 由于單獨使用ResNet模型已達(dá)到96%的準(zhǔn)確率, 借鑒對抗生成原理, 直接使用訓(xùn)練好的ResNet模型來進(jìn)行篩選, 并且選取分類正確且相似度95%以上的作為合格數(shù)據(jù), 表5為三種數(shù)據(jù)增強(qiáng)方法各自的生成數(shù)據(jù)合格量。

表5 數(shù)據(jù)增強(qiáng)合格數(shù)據(jù)量

由表5可以看出WGAN-GP模型的訓(xùn)練精度要優(yōu)于DCGAN, 且遠(yuǎn)好于傳統(tǒng)數(shù)據(jù)增強(qiáng)方法。 傳統(tǒng)方法數(shù)據(jù)的特征丟失嚴(yán)重, 數(shù)據(jù)的有效性低, 導(dǎo)致大部分生成數(shù)據(jù)并不屬于其原類別。 DCGAN模型訓(xùn)練不穩(wěn)定, 隨樣本特征明顯程度波動, 且實驗過程中多次出現(xiàn)模式崩塌現(xiàn)象, 導(dǎo)致生成數(shù)據(jù)全部為噪聲。

結(jié)果表明, WGAN-GP可用于病原菌拉曼光譜的數(shù)據(jù)增強(qiáng), 且較好的保留了原光譜的有效信息。 同時大幅節(jié)省了光譜采集時間, 專業(yè)的研究人員收集1 000個拉曼光譜大約需要10 h, 而應(yīng)用此方法生成光譜可以在1小時內(nèi)完成。

2.3 擴(kuò)充數(shù)據(jù)集分類結(jié)果分析

經(jīng)過多次實驗, 最終在合格樣本中選取每種樣本各100個, 放入訓(xùn)練集, 而測試集不變。 如此可保證測試集全部為真實且未參與訓(xùn)練的數(shù)據(jù), 從而保證模型對真實樣本分類結(jié)果的可靠性。 分別將三種光譜數(shù)據(jù)增強(qiáng)方法擴(kuò)充的訓(xùn)練集替換ResNet中原有的訓(xùn)練集, 再依次進(jìn)行訓(xùn)練, 此時, 訓(xùn)練集與測試集的比例為8.5∶1.5, 總計1 000個數(shù)據(jù)。 圖5包含ResNet結(jié)合三種數(shù)據(jù)增強(qiáng)方法分類準(zhǔn)確率對比。

圖5 訓(xùn)練集和測試集的分類準(zhǔn)確率對比圖

偏移法由于生成數(shù)據(jù)有效性與類別準(zhǔn)確性不匹配的問題, 導(dǎo)致分類準(zhǔn)確性反而降低。 基于WGAN-GP方法擴(kuò)充的數(shù)據(jù)集與ResNet結(jié)合后, 訓(xùn)練集準(zhǔn)確率達(dá)到100%, 測試集準(zhǔn)確率提高到99.3%, 測試集loss為三者最低的0.073。 其模型性能明顯優(yōu)于其他兩種數(shù)據(jù)增強(qiáng)方法結(jié)合ResNet所構(gòu)建的分類模型。

結(jié)果表明, 拉曼光譜結(jié)合WGAN-GP和ResNet可以在單細(xì)胞水平上準(zhǔn)確識別病原菌。 WGAN-GP生成的拉曼光譜數(shù)據(jù)可以更好地擴(kuò)充樣本多樣性, 使訓(xùn)練更為充分, 從而使分類更為準(zhǔn)確。

3 結(jié) 論

提出了一種基于WGAN-GP和ResNet結(jié)合拉曼光譜進(jìn)行病原菌鑒別的新方法。 研究表明: 單獨使用基于ResNet的光譜分類模型相比于傳統(tǒng)機(jī)器學(xué)習(xí)和普通CNN具有更高的分類精度, 并且不需要復(fù)雜的特征提取環(huán)節(jié), 模型參數(shù)量較少, 對硬件性能要求不高;

為解決病原菌拉曼光譜數(shù)據(jù)難采集的問題, 提出了一種全新的數(shù)據(jù)增強(qiáng)方法, WGAN-GP可以為大多數(shù)現(xiàn)有的深度學(xué)習(xí)方法快速生成大量高分辨率的拉曼光譜, 并提高其預(yù)測精度, 從而實現(xiàn)只需獲取少量光譜樣本的快速鑒別;

最終拉曼光譜結(jié)合WGAN-GP和ResNet模型對病原菌分類的準(zhǔn)確率達(dá)到99.3%, 實現(xiàn)了在不損害細(xì)胞的溶液中快速識別單個細(xì)菌細(xì)胞。 據(jù)設(shè)想, 當(dāng)該模型與自動化系統(tǒng)結(jié)合時, 有望在數(shù)小時內(nèi)一鍵完成對少量病原菌樣本準(zhǔn)確、 無損害的快速識別。 而不需要細(xì)菌培養(yǎng), 滿足臨床需求, 降低醫(yī)療成本, 也節(jié)省了診斷和治療時間, 并且可以很容易地擴(kuò)展到其他領(lǐng)域, 如材料鑒定、 信號分析、 語音識別, 或其他光譜技術(shù), 如核磁共振、 紅外或質(zhì)譜。