正則化極限學(xué)習(xí)機(jī)的改進(jìn)及其在肺結(jié)節(jié)良惡性分類中的應(yīng)用

梁淑芬，付迎迎，秦傳波，陳琛

（五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020）

肺癌是我國致死率最高的癌癥，在肺癌治療中，及早發(fā)現(xiàn)并進(jìn)行針對治療能降低死亡率[1-2].目前，計(jì)算機(jī)斷層掃描（CT）是最成熟的肺部病變檢查手段，采用計(jì)算機(jī)輔助診斷（CAD）系統(tǒng)對CT圖像進(jìn)行自動判別和診斷，可以減少人為因素造成的錯誤判斷.在CAD系統(tǒng)中，良惡性肺結(jié)節(jié)的分類是關(guān)鍵一步，它決定了該CAD系統(tǒng)是否值得推廣[3-4].肺結(jié)節(jié)分類常用的方法有BP神經(jīng)網(wǎng)絡(luò)[5]、支持向量機(jī)（SVM）[6]、貝葉斯分類器等.BP神經(jīng)網(wǎng)絡(luò)在自學(xué)習(xí)的過程中，通過反向傳播采用梯度下降算法很容易陷入極小值狀態(tài)導(dǎo)致過擬合現(xiàn)象發(fā)生，使得訓(xùn)練后的模型泛化能力差.SVM使用的二次規(guī)劃會導(dǎo)致計(jì)算量遠(yuǎn)超出其他算法.貝葉斯分類器可能導(dǎo)致新數(shù)據(jù)集訓(xùn)練中概率值的變化，泛化性能較差.Huang等人[3]提出的極限學(xué)習(xí)機(jī)理論及其在模式識別中的應(yīng)用，則表現(xiàn)出較好的收斂性和穩(wěn)定性.

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）是近幾年來興起的一種簡單的神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)，其具有學(xué)習(xí)速度快，無需大量計(jì)算參數(shù)等優(yōu)點(diǎn)[7-8].方向梯度直方圖（Histogram of Oriented Gradient，HOG）是用來提取圖像中具體目標(biāo)特征的一種特征描述子，多用在計(jì)算機(jī)視覺和圖像處理中.利用局部圖像在各個點(diǎn)的像素值變化，統(tǒng)計(jì)和計(jì)算像素值梯度變化情況以此來形成特征集.它能夠很好的提取出圖像的局部特征用來檢測分類.本文通過先提取肺結(jié)節(jié)HOG特征，結(jié)合結(jié)節(jié)圖像特征，提出一種基于L1/L2范數(shù)正則化約束的極限學(xué)習(xí)機(jī)算法對肺結(jié)節(jié)良惡性進(jìn)行識別.通過引入L1范數(shù)約束來控制整個模型的稀疏性，使其能更好地提取出特征，引入L2范數(shù)約束來對網(wǎng)絡(luò)輸出權(quán)重進(jìn)行平滑，避免出現(xiàn)過擬合.通過對算法的改進(jìn)，可有效避免在訓(xùn)練過程中出現(xiàn)數(shù)據(jù)擬合過大現(xiàn)象，使訓(xùn)練在短時間內(nèi)得到更好的擬合結(jié)果.在肺結(jié)節(jié)分類運(yùn)用中，進(jìn)一步提高分類的準(zhǔn)確性.

圖1 ELM模型結(jié)構(gòu)

1 極限學(xué)習(xí)機(jī)理論

極限學(xué)習(xí)機(jī)是一種針對單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feedforward Neural Network，SLFN）的新算法[3].與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)相比，ELM算法不需要調(diào)整輸入層與隱層的權(quán)重和閾值，它們都是由隨機(jī)函數(shù)生成，只需要設(shè)定隱層神經(jīng)元數(shù)目，就可以得到一個確定的最優(yōu)解.與其他分類算法相比，無須過多地進(jìn)行人為干預(yù)，這就極大地提高了ELM方法的訓(xùn)練精度.其結(jié)構(gòu)如圖1所示.

對于N個任意的訓(xùn)練樣本(xi,yi)，其中，則隱層節(jié)點(diǎn)數(shù)目包括L個，可以將網(wǎng)絡(luò)的輸出表示為：

其中，G()表示激活函數(shù)；wi是輸入層到第i個隱含層節(jié)點(diǎn)的輸入權(quán)值；bi是第i個隱藏層節(jié)點(diǎn)的偏差；βi是連接第i個隱藏層節(jié)點(diǎn)的輸出權(quán)值.

根據(jù)提出的理論，對于任意區(qū)間無限可微的激活函數(shù)，在任意賦值輸入權(quán)重和偏置的情況下，對于神經(jīng)網(wǎng)絡(luò)的輸出都可以零誤差逼近訓(xùn)練樣本，即：

ELM的輸入權(quán)重和偏置是由隨機(jī)函數(shù)根據(jù)樣本大小隨機(jī)生成，當(dāng)設(shè)定好隱層神經(jīng)元數(shù)目和確定所使用的激活函數(shù)，算法就會通過最小二乘法計(jì)算出輸出權(quán)重β，進(jìn)而計(jì)算出預(yù)測值.雖然ELM學(xué)習(xí)速度更快，泛化性能更高，但是它也存在一些缺點(diǎn)：ELM采用經(jīng)驗(yàn)風(fēng)險最小化（ERM）原理設(shè)計(jì)，容易產(chǎn)生過擬合模型.同時由于ELM直接計(jì)算最小范數(shù)最小二乘解，因此其控制能力較弱，穩(wěn)定性較差.研究發(fā)現(xiàn)，L1范數(shù)和L2范數(shù)在避免數(shù)據(jù)擬合問題中具有良好的性能，因此，本文在其他研究人員基礎(chǔ)上提出如下算法.

2 L1/L2正則化的極限學(xué)習(xí)機(jī)（L1/L2-ELM）算法

對于N個經(jīng)過HOG特征提取后的肺結(jié)節(jié)圖像樣本特征集合，可由式（2）用矩陣形式表示為：

H被稱為網(wǎng)絡(luò)的隱含層輸出矩陣，在ELM算法中，當(dāng)輸入權(quán)重和偏差被隨機(jī)確定以后，隱層矩陣H也就隨即被確定下來；在此基礎(chǔ)上，將前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練轉(zhuǎn)化為輸出權(quán)矩陣的最小二乘解問題，只有完成輸出權(quán)值的最小二乘解才可以完成網(wǎng)絡(luò)的訓(xùn)練，計(jì)算輸出權(quán)值矩陣β如下：

對于單隱層神經(jīng)網(wǎng)絡(luò)，在傳統(tǒng)的ELM算法中，輸入層與隱層的權(quán)重和偏置都是由隨機(jī)函數(shù)自動生成，整個神經(jīng)網(wǎng)絡(luò)只需要訓(xùn)練輸出權(quán)重，大大節(jié)省了訓(xùn)練時間.然而在實(shí)際訓(xùn)練過程中，發(fā)現(xiàn)H存在不適定的情況，導(dǎo)致輸出權(quán)重β的計(jì)算值會很大，會出現(xiàn)過擬合現(xiàn)象，極大地影響了算法的訓(xùn)練精確度，降低了ELM網(wǎng)絡(luò)的泛化性能.

為了抑制過擬合現(xiàn)象，減小其對模型的影響；在式（4）中加入L1范數(shù)約束，就可以通過L1正則化對權(quán)值矩陣進(jìn)行泛化使其變得稀疏，這樣就可以產(chǎn)生一個稀疏的網(wǎng)絡(luò)模型，可以很好地提取出病變圖像的特征值，使模型變得簡單，得到以下公式：

L2范數(shù)是對向量各單元進(jìn)行平方求和再開平方根.通過改變L2范數(shù)中的規(guī)則項(xiàng)使其最小，就可以使相應(yīng)的β中的元素都變得很小，接近于0.參數(shù)越小，模型越簡單，就越不可能有過擬合的現(xiàn)象發(fā)生.根據(jù)學(xué)習(xí)理論的相關(guān)知識可以得到，L2范數(shù)在一定程度上可以防止過擬合，對網(wǎng)絡(luò)的泛化性能有很大的提高.

病變圖像通常是以小塊的形式出現(xiàn)，單一點(diǎn)的像素值并不會對癌變特征有什么實(shí)質(zhì)性的影響.結(jié)合這一信息，進(jìn)一步在式（5）中加入L2范數(shù)約束，這樣同時避免了過稀疏情況的出現(xiàn)，也更有利于在ELM網(wǎng)絡(luò)中提取到更有價值的病變的有效特征，使得訓(xùn)練過程中輸出權(quán)重有所收斂.得到以下公式：

為對式（6）進(jìn)行求解，首先定義如下矩陣：

由于L2正則化系數(shù)2λ是人為設(shè)定的常數(shù)，則式（7）可以改寫為以下形式：

對式（8）進(jìn)行求偏導(dǎo)數(shù)并令結(jié)果為零，可以求解得到：

通過以上的求解，就可以得到范數(shù)約束的輸出權(quán)重的最小二乘解；基于L1/L2-ELM算法的主要過程為：

1）隨機(jī)生成隱層節(jié)點(diǎn)權(quán)重wi和偏置bi；

2）利用激活函數(shù)對隱層輸出矩陣H進(jìn)行計(jì)算；

3）根據(jù)式（7）和（9）計(jì)算輸出權(quán)重

L1/L2-ELM網(wǎng)絡(luò)在訓(xùn)練時只需要計(jì)算出輸出權(quán)重，減少了訓(xùn)練參數(shù)，縮短了訓(xùn)練時間，泛化性能得到進(jìn)一步提高.

圖2 良惡性結(jié)節(jié)圖片

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文所使用的實(shí)驗(yàn)數(shù)據(jù)是來自LIDC-IDRI和一些醫(yī)院臨床實(shí)驗(yàn)數(shù)據(jù).LIDC-IDRI數(shù)據(jù)集包含了1 018個病例的肺部CT掃描圖像，均由4位放射科醫(yī)學(xué)專家對結(jié)節(jié)信息進(jìn)行了標(biāo)注.實(shí)驗(yàn)中，輸入的圖像經(jīng)手動裁剪后得到肺結(jié)節(jié)病變感興趣區(qū)域圖像；將圖像歸一化到像素為64×64大小的圖片，如圖2所示.病例共選擇了良性和惡性結(jié)節(jié)共456例；其中良性結(jié)節(jié)216例，惡性結(jié)節(jié)240例，每張圖像經(jīng)HOG特征提取共得到1 296維的數(shù)據(jù)特征.

本文的實(shí)驗(yàn)環(huán)境為MATLAB 2016a，PC處理器為Inter Core（TM）i7-6700 CPU，主頻3.40 GHz，內(nèi)存16 Gb.

3.2 實(shí)驗(yàn)結(jié)果

隱層神經(jīng)元的個數(shù)和激活函數(shù)對實(shí)驗(yàn)結(jié)果都有很大的影響，對此進(jìn)行了一系列的實(shí)驗(yàn)，通過在相同神經(jīng)元個數(shù)下改變激活函數(shù)和相同激活函數(shù)下改變神經(jīng)元個數(shù)，預(yù)測結(jié)果和實(shí)驗(yàn)標(biāo)簽對比得到了如圖3所示的準(zhǔn)確率.

從圖3可以看出，網(wǎng)絡(luò)選取激活函數(shù)為tanh時，隨著神經(jīng)元數(shù)目的增加，準(zhǔn)確率先增加后下降，當(dāng)神經(jīng)元個數(shù)是7 500時，分類準(zhǔn)確率達(dá)到了94.12%，激活函數(shù)公式為tanh=（ex-e-x）（/ex+e-x），它的輸出和輸入可以保持非線性單調(diào)升降關(guān)系，值域保持在（0，1）之間，具有良好的容錯性[7].其余函數(shù)波動較大，無法得到好的模型.

確定模型合適的參數(shù)后，對SVM、ELM和本文算法(L1/L2-ELM)從不同方面進(jìn)行了分類結(jié)果比較.從表1可看出，提出的算法可以很好的防止模型過擬合，分類精度可以達(dá)到94.12%，比其他分類算法高出近3%；而SVM和ELM分別出現(xiàn)了離散和過擬合現(xiàn)象導(dǎo)致分類正確率不高.

圖3 不同神經(jīng)元數(shù)目的準(zhǔn)確率

表1 不同分類算法準(zhǔn)確率對比

表2給出了3種網(wǎng)絡(luò)運(yùn)行時間的比較，本文算法在訓(xùn)練時間上有所消耗，其主要的運(yùn)算時間都放在了模型的簡化上；但在測試時間上卻優(yōu)于其他兩種算法，可以快速計(jì)算出分類結(jié)果.在確定模型最優(yōu)參數(shù)后將參數(shù)保存起來進(jìn)行測試時間的比較；如表3所示，經(jīng)過5次的測試結(jié)果比較，本文算法都要由于其他兩種算法.

表2 網(wǎng)絡(luò)模型規(guī)模比較

表3 測試時間比較

交叉驗(yàn)證是常用的測試精度方法，它可以很好地對模型進(jìn)行評估.在得到性能較好的參數(shù)后，將訓(xùn)練樣本隨機(jī)分成若干等分，依次進(jìn)行訓(xùn)練和測試，進(jìn)行了十折交叉驗(yàn)證實(shí)驗(yàn)，結(jié)果如圖4所示.在進(jìn)行10次訓(xùn)練后，提出的方法總體準(zhǔn)確率都在0.92以上，并無較大波動，說明算法適應(yīng)性較好測試精度得到了保證.通過交叉驗(yàn)證試驗(yàn)，本文所使用的方法依然取得了較高的分類準(zhǔn)確率.

敏感性（SE）、特異性（SP）、準(zhǔn)確性（AC）是評估病理圖像分類識別的一個重要指標(biāo)，對此我們進(jìn)行了分類統(tǒng)計(jì)來判斷本文提出的肺結(jié)節(jié)分類算法的性能.將樣本分為陽性和陰性兩類，TP、TN、FP、FN分別表示真陽性、真陰性、假陽性、假陰性[8].3個指標(biāo)定義為：

圖4 交叉驗(yàn)證準(zhǔn)確率

表4 不同算法性能比較

實(shí)驗(yàn)結(jié)果如表4所示，準(zhǔn)確性反映了算法對良惡性分類劃分的正確度，它直接反映了算法的性能，敏感性、特異性值越高說明算法越好，對錯誤分類的情況越低，本文所提出的算法在三個指標(biāo)中都高于其他算法，可以對分類有較好的準(zhǔn)確度.

4 總結(jié)

本文提出了一種對肺結(jié)節(jié)良惡性進(jìn)行分類的新方法.該算法在極限學(xué)習(xí)機(jī)的基礎(chǔ)上，通過加入L1和L2范數(shù)使網(wǎng)絡(luò)性能更好，結(jié)合HOG特征提取方法實(shí)現(xiàn)對肺結(jié)節(jié)特征向量的分類.實(shí)驗(yàn)中分別采用SVM分類器、傳統(tǒng)極限學(xué)習(xí)機(jī)及本文提出的方法對采集到的肺結(jié)節(jié)特征數(shù)據(jù)集進(jìn)行分類對比.通過對比實(shí)驗(yàn)看出，本文提出的方法對肺結(jié)節(jié)良惡性的分類具有分類準(zhǔn)確率高的特點(diǎn)，不僅網(wǎng)絡(luò)結(jié)構(gòu)簡單、測試時間短、泛化性能強(qiáng)，并且對病理圖像有較好的適應(yīng)性.