一種自適應(yīng)確定隱層節(jié)點數(shù)的增量半監(jiān)督超限學(xué)習(xí)機算法

梅 穎，沈 洋，葉思語，盧誠波

(1.麗水學(xué)院 工學(xué)院，浙江 麗水 323000; 2.溫州醫(yī)科大學(xué) 公共衛(wèi)生與管理學(xué)院，浙江 溫州 325035)

1 研究背景

隨著信息技術(shù)的高速發(fā)展，人類采集信息、利用數(shù)據(jù)的能力得到了大幅度地提高。對得到的數(shù)據(jù)進行挖掘，搜索隱藏于其中的信息，獲取有價值的信息和知識，是眾多應(yīng)用領(lǐng)域的共同需求。通常，收集到的數(shù)據(jù)樣本分為標(biāo)記樣本和未標(biāo)記樣本，“標(biāo)記”指的是數(shù)據(jù)樣本對應(yīng)的輸出，例如，在回歸問題中，“標(biāo)記”通常指的是數(shù)據(jù)樣本的輸出值，在分類問題中，“標(biāo)記”通常指的是數(shù)據(jù)樣本的類標(biāo)簽。目前的學(xué)習(xí)算法中更多的是利用標(biāo)記樣本進行訓(xùn)練，實際上，收集到的數(shù)據(jù)樣本中，往往是標(biāo)記樣本和未標(biāo)記樣本并存，甚至多是未標(biāo)記樣本占多數(shù)的，未標(biāo)記樣本通常需要使用特殊設(shè)備或經(jīng)過不菲且非常耗時的人工標(biāo)記才能轉(zhuǎn)換為標(biāo)記樣本。例如，在人工智能輔助診斷肺結(jié)節(jié)的應(yīng)用中，可以從醫(yī)療數(shù)據(jù)庫中獲得海量的肺部影像資料作為訓(xùn)練樣本，但受人力和物力的限制，無法人工將所有的結(jié)節(jié)一一標(biāo)記出來。在許多應(yīng)用中，未標(biāo)記樣本往往大量存在，其獲取成本也相對較低，這些未被標(biāo)記的數(shù)據(jù)樣本仍然含有有價值的信息，對于輔助學(xué)習(xí)有很大的幫助。目前，利用未標(biāo)記樣本進行學(xué)習(xí)的算法主要分為半監(jiān)督學(xué)習(xí)、直推學(xué)習(xí)、生成式模型等學(xué)習(xí)方法。這些方法的出發(fā)點都是利用未標(biāo)記樣本輔助標(biāo)記樣本進行學(xué)習(xí)，具體思路各不相同，作為解決這一問題的關(guān)鍵技術(shù)，半監(jiān)督學(xué)習(xí)受到了國際機器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的研究人員的高度重視，近年來，基于分歧方法的半監(jiān)督學(xué)習(xí)[1]、半監(jiān)督支持向量機[2]、圖半監(jiān)督學(xué)習(xí)[3]中的代表性論文先后獲得代表機器學(xué)習(xí)學(xué)術(shù)界最高水平的“國際機器學(xué)習(xí)大會(International Conference on Machine Learning, ICML)”的“十年最佳論文”獎[4]。Belkin等[5]將流形正則化引入半監(jiān)督學(xué)習(xí)的框架中，直接基于局部光滑性假設(shè)對定義在標(biāo)記樣本上的損失函數(shù)進行正則化，使學(xué)得的預(yù)測函數(shù)具有局部光滑性[4]。Huang等[6]將流形正則化引入超限學(xué)習(xí)機(Extreme Learning Machine, ELM)[7]的框架中，設(shè)計了一種稱為“半監(jiān)督超限學(xué)習(xí)機(Semi-Supervised ELM, SS-ELM)”的學(xué)習(xí)方法，利用未標(biāo)記樣本輔助提升了超限學(xué)習(xí)機的泛化性能。然而，半監(jiān)督超限學(xué)習(xí)機仍然需要解決如下的問題: 1) 如何自適應(yīng)確定合理的隱層節(jié)點個數(shù)；2) 當(dāng)隱層節(jié)點數(shù)增加后，如何重新訓(xùn)練網(wǎng)絡(luò)。本文基于流形正則化，在半監(jiān)督超限學(xué)習(xí)機的基礎(chǔ)上，提出了一種增量半監(jiān)督超限學(xué)習(xí)機(Incremental SS-ELM, ISS-ELM)算法。對于給定的學(xué)習(xí)精度，該算法能夠逐個或者成批地增加隱層節(jié)點，并自適應(yīng)確定隱層節(jié)點數(shù)量。在此過程當(dāng)中，網(wǎng)絡(luò)的外權(quán)矩陣不需要重新訓(xùn)練，只需逐步更新，當(dāng)隱層節(jié)點數(shù)較大時，能大幅減少半監(jiān)督超限學(xué)習(xí)機的訓(xùn)練時間。

2 相關(guān)工作

本文在超限學(xué)習(xí)機和半監(jiān)督超限學(xué)習(xí)機的基礎(chǔ)上提出了一種增量半監(jiān)督超限學(xué)習(xí)機算法，下文先簡單介紹超限學(xué)習(xí)機和半監(jiān)督超限學(xué)習(xí)機。

超限學(xué)習(xí)機是一種單隱層前饋網(wǎng)絡(luò)學(xué)習(xí)算法，網(wǎng)絡(luò)的內(nèi)權(quán)和隱層偏置隨機給定，外權(quán)通過解優(yōu)化問題得到，具有學(xué)習(xí)速度快、人工干預(yù)少且泛化性能好等特點。

超限學(xué)習(xí)機中，訓(xùn)練樣本x的隱層輸出表示為一個行向量

h(x)=[G(a1,b1,x),G(a2,b2,x),…,G(ak,bk,x)]。

(1)

式中:aj,bj(j=1,2,…,k)為隨機給出的第j個隱層節(jié)點對應(yīng)的學(xué)習(xí)參數(shù)；k為隱層節(jié)點個數(shù)；G(x)為激勵函數(shù)。給定N個訓(xùn)練樣本(xi,ti)，xi∈m,ti∈n，超限學(xué)習(xí)機的數(shù)學(xué)模型為

Hβ=T。

(2)

式中:H為隱層輸出矩陣，且

(3)

β為外權(quán)矩陣；T為目標(biāo)矩陣。該模型的解為

(4)

為了提高學(xué)習(xí)器的泛化性能，Deng等[8]給出了該模型的嶺回歸版本:

Subject toHβ=T-ε。

(5)

(6)

式中:c為參數(shù)；I為單位矩陣。

半監(jiān)督超限學(xué)習(xí)機的學(xué)習(xí)過程如下[6]:

通過解如下優(yōu)化問題確定半監(jiān)督超限學(xué)習(xí)機的外權(quán)矩陣β:

(7)

上述優(yōu)化問題的解為

(8)

式中：Ik為k階單位矩陣。

3 ISS-ELM算法

對于給定的l個標(biāo)記樣本和u個未標(biāo)記樣本，設(shè)初始隱層節(jié)點個數(shù)為k0，初始隱層輸出矩陣為H0，考慮式(8)中l(wèi)>k的情形(l≤k的情形類似可得)，則初始外權(quán)矩陣

(9)

當(dāng)增加δ0=k1-k0個隱層節(jié)點時，

(10)

則Ik0+H0T(C+λL)H0的Schur補為

P(P=(Iδ0+ΔH0T(C+λL)ΔH0)-ΔH0T(C+λL)H0(Ik0+H0T(C+λL)H0)-1H0T(C+λL)ΔH0)。

選取適當(dāng)?shù)膮?shù)λ，使得矩陣P可逆，由2×2塊矩陣的逆矩陣表達式[9]可得

將上式代入式(10)可得

(11)

特別地，當(dāng)λ=0時，式(11)退化為文獻[10]中的“隱層節(jié)點增加和增量學(xué)習(xí)的最小化誤差的超限學(xué)習(xí)機”(Error Minimized Extreme Learning Machine with growth of hidden nodes and incremental learning, EM-ELM)，即無未標(biāo)記樣本的增量算法。

為避免重復(fù)計算，式(11)中的Q0,R0,U0,V0可按照以下順序計算:

①P-1(ΔH0T(C+λL)H0)→P-1(ΔH0T(C+λL)H0)β0(=U0);

② (Ik0+H0T(C+λL)H0)-1(H0T(C+λL)ΔH0)→(Ik0+H0T(C+λL)H0)-1(H0T(C+λL)ΔH0)U0(=Q0);

④ (Ik0+H0T(C+λL)H0)-1(H0T(C+λL)ΔH0)V0(=R0)。

利用式(11)，我們給出增量半監(jiān)督超限學(xué)習(xí)機(ISS-ELM)算法:

輸出:β

階段1: 初始階段

ⅰ) 對于給定的l個標(biāo)記樣本和u個未標(biāo)記樣本，確定初始隱層節(jié)點個數(shù)為k0，隨機給定第j個隱層節(jié)點的學(xué)習(xí)參數(shù)aj和bj(j=1,2,…,k0)；

ⅱ) 計算初始隱層輸出矩陣

ⅲ) 利用式(9)計算初始外權(quán)矩陣β0；

ⅴ) 設(shè)i=0。

階段2: 隱層節(jié)點增長階段

ⅰ)i=i+1;

ⅱ) 增加δi-1個隱層節(jié)點，隱層節(jié)點總數(shù)為ki個，隨機給定第j個隱層節(jié)點的學(xué)習(xí)參數(shù)aj和bj(j=k0+1,k0+2,…,k1)，相應(yīng)的隱層輸出矩陣Hi+1=[Hi,ΔHi]，

ⅲ) 外權(quán)矩陣β調(diào)整為

(12)

返回階段2。

4 仿真實驗

4.1 數(shù)據(jù)集信息

本節(jié)選用9個在機器學(xué)習(xí)當(dāng)中經(jīng)常出現(xiàn)的數(shù)據(jù)集作為測試數(shù)據(jù)集，其中1個為人工數(shù)據(jù)集“SinC”，另外8個為實際問題的數(shù)據(jù)集(4個用作回歸，4個用作分類)，用來評估半監(jiān)督超限學(xué)習(xí)機(SS-ELM)算法、無未標(biāo)記樣本的增量超限學(xué)習(xí)機(EM-ELM)算法與增量半監(jiān)督超限學(xué)習(xí)機(ISS-ELM)算法的性能。數(shù)據(jù)集的具體信息見表1。數(shù)據(jù)集采用5-折交叉驗證，每次實驗從訓(xùn)練集中隨機挑選10%的樣本作為有標(biāo)記樣本，其余為無標(biāo)記樣本。運行30次，實驗結(jié)果取平均值。回歸問題用測試集上的均方根誤差(Root Mean Square Error, RMSE)ERMS來度量，分類問題用測試集上的分類精確度λACC來度量。

表1 實驗數(shù)據(jù)集細節(jié)

人工數(shù)據(jù)集“SinC”的表達式:

數(shù)據(jù)產(chǎn)生方法: 在區(qū)間(-10，10)內(nèi)隨機生成10 000個樣本，在訓(xùn)練樣本上加取值范圍為[-0.2,0.2]的隨機噪聲，測試樣本不加噪聲。

4.2 實驗設(shè)置

對于人工數(shù)據(jù)集“SinC”，初始隱層節(jié)點個數(shù)設(shè)為5，每次增加1個隱層節(jié)點，增加至30個隱層節(jié)點。其他數(shù)據(jù)集的實驗中: 對于回歸問題，訓(xùn)練集的目標(biāo)均方根誤差設(shè)置為0.01，最大隱層節(jié)點個數(shù)設(shè)置為300；對于分類問題，訓(xùn)練集的目標(biāo)分類精度設(shè)置為90%，最大隱層節(jié)點個數(shù)設(shè)置為300。

實驗中激勵函數(shù)采用sigmoid函數(shù)。使用的仿真軟件為Matlab R2018b，實驗的環(huán)境為Window 10 64bit操作系統(tǒng)，Intel Core i7-6700，CPU主頻為3.40 GHz，16 GB內(nèi)存。

4.3 實驗結(jié)果

圖1給出了“SinC”數(shù)據(jù)集上SS-ELM、EM-ELM與ISS-ELM3種學(xué)習(xí)機的均方根誤差的結(jié)果。從圖1中可以看出，由于未標(biāo)記樣本的輔助學(xué)習(xí)，ISS-ELM與SS-ELM比EM-ELM具有更好的泛化性能。圖2對“SinC”數(shù)據(jù)集上SS-ELM、EM-ELM與ISS-ELM3種學(xué)習(xí)機的訓(xùn)練時間進行了比較?？梢钥闯?，SS-ELM的訓(xùn)練時間最長，并且隨著隱層節(jié)點個數(shù)的增加，訓(xùn)練時間隨之增加，這是由于SS-ELM在每次增加新的隱層節(jié)點時，沒能利用舊的外權(quán)矩陣構(gòu)造新的外權(quán)矩陣，而是完全重新計算外權(quán)矩陣，導(dǎo)致訓(xùn)練時間增加。與之不同的是，EM-ELM和ISS-ELM只是對舊的外權(quán)矩陣進行了部分更新和替換，因此訓(xùn)練時間要少得多。另外，由于ISS-ELM使用了未標(biāo)記樣本進行輔助學(xué)習(xí)，所以訓(xùn)練時間要略多于EM-ELM的訓(xùn)練時間，但考慮到ISS-ELM泛化能力上的優(yōu)勢，綜合分析，在“SinC”這個數(shù)據(jù)集的實驗中，ISS-ELM算法的表現(xiàn)最好。

圖1 算法在SinC上的均方根誤差Fig.1 RMSE of the algorithm on SinC

圖2 算法在SinC上的訓(xùn)練時間Fig.2 Training time of the algorithm on SinC

從表2中可以發(fā)現(xiàn)，在這3種學(xué)習(xí)機中，EM-ELM由于沒有利用未標(biāo)記樣本進行輔助學(xué)習(xí)，因此達到相同的訓(xùn)練均方根誤差或分類精度經(jīng)常需要更多的隱層節(jié)點，導(dǎo)致網(wǎng)絡(luò)的規(guī)模變大。而ISS-ELM與SS-ELM所需的隱層節(jié)點個數(shù)相似，但ISS-ELM的優(yōu)勢是可以通過迭代的方法確定最優(yōu)的隱層節(jié)點個數(shù)，從而控制網(wǎng)絡(luò)的規(guī)模。

表2 3種方法在測試集上的均方根誤差/精確度、隱層節(jié)點個數(shù)的比較

5 結(jié) 語

本文在半監(jiān)督超限學(xué)習(xí)機的基礎(chǔ)上，提出了一種簡單高效的增量半監(jiān)督超限學(xué)習(xí)機算法，該算法利用未標(biāo)記樣本進行輔助學(xué)習(xí)，并且能夠自適應(yīng)確定最優(yōu)的隱層節(jié)點個數(shù)，從而得以控制網(wǎng)絡(luò)規(guī)模；同時，在增加隱層節(jié)點的過程中，單隱層前饋網(wǎng)絡(luò)中的外權(quán)矩陣不需要重新計算，只需要作局部調(diào)整就可以得到新的外權(quán)矩陣，加快了學(xué)習(xí)速度。