優(yōu)化極限學(xué)習(xí)機(jī)及其在腦卒中TCD數(shù)據(jù)分類應(yīng)用

耿銀鳳，張雪英，李鳳蓮，胡風(fēng)云，賈文輝，王 超

1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，太原 030024

2.山西省人民醫(yī)院 神經(jīng)內(nèi)科，太原 030012

1 引言

腦卒中是現(xiàn)代社會中的一種高發(fā)性腦血管病，嚴(yán)重危害人類健康和影響人們生產(chǎn)生活，其中缺血性卒中占腦卒中總數(shù)的半數(shù)以上[1]。因此，在發(fā)病早期或者潛伏期，能準(zhǔn)確預(yù)測缺血性腦卒中疾病發(fā)病狀況，從而采取適當(dāng)?shù)拇胧┻M(jìn)行積極的干預(yù)治療顯得極為重要。

顱內(nèi)動脈狹窄已被醫(yī)學(xué)研究證明是缺血性腦卒中的重要誘因之一[2]，經(jīng)顱多普勒（Transcranial Doppler，TCD）作為一種無創(chuàng)傷的顱內(nèi)動脈狹窄的篩查檢測工具，因其操作方便、價格低廉的特點(diǎn)，在臨床上廣泛應(yīng)用于腦卒中疾病的診斷[3-4]。腦卒中的診斷實(shí)際上可看作是一個分類問題，隨著人工智能技術(shù)的發(fā)展，許多研究人員希望通過人工智能技術(shù)輔助醫(yī)生進(jìn)行診斷，避免醫(yī)生因經(jīng)驗(yàn)不足產(chǎn)生的錯誤，提高診斷效率。目前用于TCD 數(shù)據(jù)分類研究的方法主要有支持向量機(jī)（Support Vector Machine，SVM）[5]和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）[6-8]等。SVM 雖然具有較強(qiáng)的非線性擬合能力，但其分類性能易受輸入?yún)?shù)影響[9]；ANN 一般采用梯度下降法（如反向傳播算法）對大量樣本進(jìn)行訓(xùn)練，不斷迭代調(diào)整網(wǎng)絡(luò)的權(quán)值，因而具有很強(qiáng)的學(xué)習(xí)能力，但其存在收斂速度慢，容易陷入局部極值，對網(wǎng)絡(luò)初始權(quán)值依賴度高等缺點(diǎn)。針對現(xiàn)有TCD分類診斷模型存在的訓(xùn)練速度慢、準(zhǔn)確率低等缺點(diǎn)，本文選擇極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）作為TCD 數(shù)據(jù)分類模型，這有利于提高模型訓(xùn)練速度，并增強(qiáng)模型的泛化能力[10]。

ELM 學(xué)習(xí)算法自產(chǎn)生以來得到了飛快的發(fā)展，針對不同的應(yīng)用場景，分別衍生出了核極限學(xué)習(xí)機(jī)（Extreme Learning Machine with Kernel，KELM）、在線序貫極限學(xué)習(xí)機(jī)及加權(quán)極限學(xué)習(xí)機(jī)（Weighted Extreme Learning Machine，W-ELM）[11]等相關(guān)算法，并廣泛應(yīng)用于人臉識別[12]、交通信號燈檢測[13]、電力負(fù)荷預(yù)測[14]、遙感影像分類[15]等領(lǐng)域。隨著ELM的發(fā)展，研究人員逐漸意識到，由于隱含層的輸入權(quán)值和閾值等參數(shù)在ELM學(xué)習(xí)過程中是隨機(jī)選擇產(chǎn)生的，可能存在部分參數(shù)為0 的情況，導(dǎo)致部分隱含層神經(jīng)元失效。與傳統(tǒng)的ANN 算法相比，ELM往往需要更多的隱含層神經(jīng)元數(shù)目，使得網(wǎng)絡(luò)的復(fù)雜度增加；并且ELM 的分類性能易受隨機(jī)產(chǎn)生的隱含層參數(shù)影響。為克服這些缺點(diǎn)，通過應(yīng)用群智能算法對ELM的隱含層參數(shù)進(jìn)行優(yōu)化，可以提升泛化性能，提高分類精度，降低網(wǎng)絡(luò)復(fù)雜度[16]。作為一種群智能算法，蝙蝠算法（Bat Algorithm，BA）具有尋優(yōu)速度快、全局尋優(yōu)能力強(qiáng)的優(yōu)點(diǎn)，可避免陷入局部最優(yōu)。為此，本文提出了一種BA優(yōu)化ELM的缺血性腦卒中TCD數(shù)據(jù)分類診斷模型BA-ELM，該模型可以對腦卒中病人的TCD數(shù)據(jù)進(jìn)行快速的分類，并達(dá)到較高的分類預(yù)測精度。

2 ELM基本原理

ELM 是由Huang 提出的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)（Single Hidden Layer Feedforward Neural Network，SLFN）訓(xùn)練算法。SLFN作為一種常見的ANN，其用于連接輸入層和輸出層的隱含層只有一層。與傳統(tǒng)ANN不同的是，ELM 的隱含層輸入權(quán)值和閾值是隨機(jī)產(chǎn)生而不是通過迭代生成的，并且不需人為設(shè)置初始權(quán)值和初始閾值等參數(shù)，因而大大提高了網(wǎng)絡(luò)的訓(xùn)練速度，同時克服了ANN易出現(xiàn)的過擬合問題。圖1為ELM的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖1 ELM網(wǎng)絡(luò)結(jié)構(gòu)

對于N個訓(xùn)練樣本(xi,ti),xi=[xi1,xi2,…,xin]∈Rn為輸入樣本，ti=[ti1,ti2,…,tim]T∈Rm表示樣本標(biāo)簽，即網(wǎng)絡(luò)的期望輸出。輸入層神經(jīng)元數(shù)目為n，隱含層神經(jīng)元數(shù)目為L，輸出層神經(jīng)元數(shù)目為m，SLFN 的輸入輸出關(guān)系為：

式中，wi=[wi1,wi2,…,win]T是輸入層和第i個隱含層神經(jīng)元之間連接權(quán)值，即隱含層輸入權(quán)值，bi是第i個隱含層神經(jīng)元的閾值，βi=[βi1,βi2,…,βim]T是第i個隱含層神經(jīng)元和輸出層之間的連接權(quán)值，即輸出權(quán)值，yj=[yj1,yj2,…,yjm] 表示網(wǎng)絡(luò)的實(shí)際輸出，g(·) 是隱含層神經(jīng)元的激勵函數(shù)，一般可以從“Sigmoid”“RBF”“Hardlim”等函數(shù)中選擇。訓(xùn)練ELM 使得樣本實(shí)際輸出零誤差逼近期望輸出，即：

也就是說，存在βi、wi和bi使得

上式進(jìn)一步寫成矩陣形式：

其中，H、β和T分別為：

式（4）和（5）中的H是隱含層輸出矩陣，Hij表示對應(yīng)于輸入xi的第j個隱含層神經(jīng)元的輸出。由于wi和bi都是隨機(jī)產(chǎn)生而不是通過訓(xùn)練產(chǎn)生的，其值一經(jīng)產(chǎn)生隱含層輸出矩陣H的各元素值都為確定值，即H為一個確定的矩陣，又因?yàn)門是已知值，需要訓(xùn)練的參數(shù)只有隱含層輸出權(quán)值β。極限學(xué)習(xí)機(jī)的學(xué)習(xí)過程就是根據(jù)線性系統(tǒng)Hβ=T求解β的最小范數(shù)最小二乘解：

3 BA算法

BA算法是一種群智能算法，2010年由Yang Xinshe受啟發(fā)于蝙蝠覓食過程中的回聲定位而提出[17]。與其他群智能算法相比，BA算法具有尋優(yōu)速度快、全局搜索能力強(qiáng)等顯著優(yōu)點(diǎn)。該算法的基本原理為：將數(shù)目為n的蝙蝠種群映射到D維搜索空間中，n個蝙蝠個體所處的位置即為所求優(yōu)化問題的n個可行解，將種群中蝙蝠個體搜尋食物時位置更新的過程類比為參數(shù)優(yōu)化過程。該算法的目標(biāo)是尋找出迭代后種群中最優(yōu)的蝙蝠個體位置，也即n個可行解中的最優(yōu)解。

虛擬蝙蝠個體的位置、速度和脈沖頻率分別按式（8）～（10）進(jìn)行更新：

在算法的局部搜索階段，先產(chǎn)生一個隨機(jī)數(shù)，若該隨機(jī)數(shù)大于脈沖發(fā)射速率，則蝙蝠種群按式（11）所示規(guī)則在當(dāng)前全局最優(yōu)解附近隨機(jī)擾動產(chǎn)生局部最優(yōu)解：

式中，ε為[-1,1]間的隨機(jī)數(shù)，At表示n個蝙蝠個體的平均響度。

蝙蝠在飛行過程中會根據(jù)與食物距離的遠(yuǎn)近來調(diào)整其脈沖響度和脈沖發(fā)射速率，具體表現(xiàn)為：在剛開始覓食時脈沖發(fā)射速率較小且脈沖響度大，隨著搜尋過程的進(jìn)行，與食物的距離越來越近，蝙蝠不斷降低脈沖響度并增大其脈沖發(fā)射速率。脈沖響度和脈沖發(fā)射速率的更新規(guī)則分別為式（12）和（13）：

其中，α、γ均為常量且滿足 0＜α ＜1，γ ＞0 。

4 基于BA優(yōu)化ELM的TCD數(shù)據(jù)分類模型

本文給出的BA-ELM 算法基本機(jī)理主要是采用蝙蝠算法優(yōu)化ELM 算法的隱含層輸入權(quán)值和隱含層閾值，其基本思想為：將ELM的隱含層輸入權(quán)值和閾值映射為蝙蝠優(yōu)化算法中各個蝙蝠個體D維空間中的位置矩陣，并設(shè)計(jì)出BA-ELM網(wǎng)絡(luò)模型的適應(yīng)度函數(shù)。BAELM 網(wǎng)絡(luò)模型的最優(yōu)化問題可以轉(zhuǎn)化為：求解適應(yīng)度函數(shù)值全局最小時所對應(yīng)的蝙蝠個體，該蝙蝠個體位置即為全局最優(yōu)解，根據(jù)蝙蝠個體位置與ELM 的隱含層輸入權(quán)值和隱含層閾值的映射關(guān)系，即可得到最優(yōu)的ELM 隱含層參數(shù)，按式（4）和（7）很容易求出ELM 的隱含層輸出矩陣和輸出權(quán)值矩陣，從而得到最優(yōu)的ELM網(wǎng)絡(luò)模型?；谠撍惴ń⒌腡CD數(shù)據(jù)分類模型原理框圖如圖2所示。

圖2 基于BA-ELM的TCD數(shù)據(jù)分類模型

蝙蝠算法優(yōu)化ELM的算法流程如下：

訓(xùn)練階段

輸入：具有N個實(shí)例的訓(xùn)練集ti∈Rm，xi為具有n維特征的輸入樣本，ti為第i個實(shí)例的類別標(biāo)簽；具有N′ 個實(shí)例的驗(yàn)證集。

（1）產(chǎn)生一個蝙蝠個體數(shù)為n的初始種群，初始化其脈沖響度Ai，脈沖發(fā)射速率ri，并設(shè)置最大迭代次數(shù)iter_max，搜索脈沖頻率范圍[fmin,fmax]，響度衰減系數(shù)α，脈沖發(fā)射速率的增強(qiáng)因子γ等參數(shù)（α、γ均為常量且 0＜α ＜1,γ ＞0）。

（2）隨機(jī)初始化D維空間中蝙蝠種群的位置、速度、頻率等參數(shù)，其參數(shù)產(chǎn)生的隨機(jī)性正好對應(yīng)ELM參數(shù)中隱含層輸入權(quán)值和閾值矩陣元素產(chǎn)生的隨機(jī)性。采用合適的映射方法將ELM的隱含層輸入權(quán)值矩陣和隱含層閾值矩陣映射成蝙蝠種群的位置矩陣。用訓(xùn)練集來訓(xùn)練得到ELM 的隱含層輸入權(quán)值、隱含層閾值和輸出權(quán)值等網(wǎng)絡(luò)模型參數(shù)，利用構(gòu)建的ELM 網(wǎng)絡(luò)模型對驗(yàn)證集數(shù)據(jù)進(jìn)行分類，以驗(yàn)證集的誤分率為適應(yīng)度函數(shù)，找到適應(yīng)度函數(shù)值最小的蝙蝠個體，其位置為當(dāng)前全局最優(yōu)。

（3）根據(jù)式（8）～（10）所示的更新規(guī)則對種群每個蝙蝠個體的位置、速度和脈沖頻率進(jìn)行迭代更新。

（4）產(chǎn)生一個隨機(jī)數(shù)，當(dāng)該隨機(jī)數(shù)大于ri，則按式（11）所示規(guī)則在當(dāng)前全局最優(yōu)解附近進(jìn)行隨機(jī)擾動產(chǎn)生新解。

（5）再產(chǎn)生一個隨機(jī)數(shù)，當(dāng)該隨機(jī)數(shù)小于Ai且，則蝙蝠個體i移往步驟（4）中新解所在位置。

（6）比較所有蝙蝠個體的適應(yīng)度值，適應(yīng)度值最小的蝙蝠個體位置即為當(dāng)前最優(yōu)解。

（7）重復(fù)步驟（3）～（6），直到滿足最大迭代次數(shù)，得出最優(yōu)蝙蝠個體位置，并根據(jù)映射關(guān)系得到最優(yōu)的ELM隱含層輸入權(quán)值矩陣和隱含層閾值矩陣。

輸出：由步驟（7）中求得的最優(yōu)的隱含層參數(shù)及步驟（2）中訓(xùn)練得到的輸出權(quán)值構(gòu)成的ELM網(wǎng)絡(luò)模型。

測試階段

輸入：具有N″個實(shí)例的測試集。

（1）將訓(xùn)練階段得到的隱含層輸入權(quán)值和隱含層閾值代入式（5）求出測試集的隱含層輸出矩陣H′。

（2）根據(jù)式（14）計(jì)算測試集的測試輸出：

輸出：測試集的分類結(jié)果。

5 實(shí)驗(yàn)分析

5.1 實(shí)驗(yàn)數(shù)據(jù)

為了測試蝙蝠算法優(yōu)化極限學(xué)習(xí)機(jī)對TCD數(shù)據(jù)的分類性能，從山西省人民醫(yī)院2017 年12 月的經(jīng)顱多普勒超聲報(bào)告中隨機(jī)選取256例顱內(nèi)動脈狹窄病人和512例正常人的TCD數(shù)據(jù)，每例數(shù)據(jù)包含左側(cè)頸內(nèi)動脈、右側(cè)頸內(nèi)動脈、左側(cè)椎動脈和右側(cè)椎動脈4個部位的收縮期最大流速（PSV）、舒張末期流速（EDV）、阻力指數(shù)（RI）和血管直徑（R）等特征，特征數(shù)為16，數(shù)據(jù)標(biāo)簽來自山西省人民醫(yī)院放射科醫(yī)師的標(biāo)注。

5.2 實(shí)驗(yàn)設(shè)計(jì)

首先對腦卒中TCD 特征數(shù)據(jù)進(jìn)行歸一化處理，然后將其中288 例作為訓(xùn)練集，288 例作為驗(yàn)證集，192 例作為測試集，訓(xùn)練BA-ELM 網(wǎng)絡(luò)模型，測試模型對顱內(nèi)動脈狹窄和正常人的分類準(zhǔn)確率。其中訓(xùn)練集的作用是訓(xùn)練得到ELM的輸出權(quán)值，驗(yàn)證集用來訓(xùn)練超參數(shù)，即ELM 網(wǎng)絡(luò)模型中的隱含層輸入權(quán)值和隱含層閾值。為了驗(yàn)證基于BA優(yōu)化的ELM模型的優(yōu)越性，設(shè)置了以下模型對比實(shí)驗(yàn)：BA 優(yōu)化ELM、差分進(jìn)化算法（Differential Evolution，DE）優(yōu)化ELM、粒子群算法（Partical Swarm Optimization，PSO）優(yōu)化ELM 和基本ELM。實(shí)驗(yàn)執(zhí)行環(huán)境為Matlab R2016a，運(yùn)行環(huán)境為Windows7家庭普通版。

經(jīng)多次仿真實(shí)驗(yàn)，參數(shù)設(shè)置如下：蝙蝠種群大小取20，初始脈沖響度取1.6，初始脈沖發(fā)射速率取0.000 1，搜索脈沖頻率范圍取[0，2]，脈沖響度衰減系數(shù)設(shè)為0.9，脈沖發(fā)射速率的增強(qiáng)因子設(shè)為0.99，蝙蝠種群最大迭代次數(shù)為20。激活函數(shù)均取sigmoid 函數(shù)每種方法的實(shí)驗(yàn)結(jié)果都是20次獨(dú)立運(yùn)行的平均值。

5.3 實(shí)驗(yàn)結(jié)果和分析

表1 所示為各分類模型對TCD 數(shù)據(jù)的分類結(jié)果及其相應(yīng)的隱含層神經(jīng)元數(shù)和訓(xùn)練時間。可以看出，BA-ELM、DE-ELM 和PSO-ELM 的分類準(zhǔn)確率比ELM分別提高了22.77 個百分點(diǎn)、20.84 個百分點(diǎn)和21.52 個百分點(diǎn)，所需隱含層神經(jīng)元數(shù)卻比ELM少，說明群智能算法不僅可以有效降低ELM 網(wǎng)絡(luò)復(fù)雜度，同時可以有效提高ELM 的分類性能。另外，BA-ELM 算法的分類準(zhǔn)確率最高，但所需隱含層神經(jīng)元數(shù)最少，訓(xùn)練時間也比DE-ELM和PSO-ELM分類模型分別降低了7.90 s 和4.20 s。實(shí)驗(yàn)結(jié)果表明了BA-ELM 用于TCD 數(shù)據(jù)分類時的有效性。

而從原理上分析，DE 算法的全局搜索能力受種群多樣性的影響，隨著種群的進(jìn)化，各個個體逐漸向最優(yōu)個體靠近，個體間差異減小，種群多樣性逐漸喪失，算法容易陷入局部最優(yōu)[18]；PSO 算法前期收斂快，但由于所有粒子都飛往最優(yōu)解方向，失去多樣性，后期收斂速度降低，同時收斂精度到達(dá)一定程度后無法繼續(xù)提高[19]；BA 算法的速度更新和位置更新公式與PSO 類似，但由于其采用了頻率調(diào)整和參數(shù)控制策略，可以控制蝙蝠移動的速度和范圍，使全局搜索更加高效，可以達(dá)到較高的收斂速度與收斂精度。因而在訓(xùn)練時間和分類準(zhǔn)確率方面，BA-ELM均優(yōu)于DE-ELM和PSO-ELM。

由表1 可知，ELM 的訓(xùn)練時間最短，這是因?yàn)槿褐悄芩惴▽?yōu)的過程也占用一定的訓(xùn)練時間，而BA-ELM也僅需要1.56 s，但分類準(zhǔn)確率從ELM的75.57%提高到98.34%，提高了22.77個百分點(diǎn)，表明了BA算法優(yōu)化后的ELM的分類性能較經(jīng)典的ELM有了顯著提高，但訓(xùn)練時間的增加并不明顯。

表1 TCD數(shù)據(jù)的分類結(jié)果及各算法隱含層神經(jīng)元數(shù)和訓(xùn)練時間對比

為降低實(shí)驗(yàn)結(jié)果的偶然性，各算法均獨(dú)立運(yùn)行10次，以運(yùn)行次數(shù)為橫坐標(biāo)，分類準(zhǔn)確率為縱坐標(biāo)畫折線圖，對BA-ELM、DE-ELM、PSO-ELM 和ELM 算法的穩(wěn)定性進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如圖3所示。與其他幾種算法相比，BA-ELM 算法不僅可以取得最高的分類準(zhǔn)確率，而且各次運(yùn)行實(shí)驗(yàn)結(jié)果之間的波動最小，算法的穩(wěn)定性最好。

圖3 算法穩(wěn)定性比較

綜上，與其他群智能算法相比，BA-ELM 網(wǎng)絡(luò)模型用于腦卒中TCD數(shù)據(jù)分類不但可以獲得較好的分類效果，還可以降低訓(xùn)練模型所需的時間和網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度，且該算法具有較高的穩(wěn)定性，與其他算法相比具有一定的優(yōu)勢。

6 結(jié)束語

本文針對ELM用于TCD數(shù)據(jù)分類時對隱含層輸入權(quán)值和閾值參數(shù)選擇敏感的缺點(diǎn)，提出一種基于BAELM 的腦卒中TCD 數(shù)據(jù)分類模型。實(shí)驗(yàn)結(jié)果表明，與其他智能算法優(yōu)化ELM 的結(jié)果相比，BA-ELM 在分類準(zhǔn)確率、計(jì)算效率及算法穩(wěn)定性上，均優(yōu)于其他群智能算法，從而驗(yàn)證了該算法的優(yōu)越性。因此BA-ELM模型可以高效準(zhǔn)確地分類TCD 數(shù)據(jù)，在腦卒中預(yù)測中具有重要的實(shí)際應(yīng)用價值。實(shí)際的腦卒中TCD數(shù)據(jù)經(jīng)常是不平衡的，本文算法以總體準(zhǔn)確率為評價指標(biāo)，其對不平衡率較高的數(shù)據(jù)集是否適用還需進(jìn)一步的研究。下一步工作是研究不平衡率對分類器性能的影響，并改進(jìn)算法使其適用于分類實(shí)際中的不平衡TCD數(shù)據(jù)集。