受限玻爾茲曼機(jī)的新混合稀疏懲罰機(jī)制

劉 凱，張立民，張 超

（1.海軍航空工程學(xué)院 電子信息工程學(xué)系，山東 煙臺264001；2.南海艦隊(duì)裝備部 軍械處，廣東 湛江524001）

基于能量模型的受限玻爾茲曼機(jī)（restricted Boltzmann machine，RBM）［1］以其簡單的人工神經(jīng)網(wǎng)絡(luò)形式和快速的學(xué)習(xí)算法，受到越來越多機(jī)器學(xué)習(xí)研究人員的關(guān)注.目前，RBM 已經(jīng)廣泛應(yīng)用于數(shù)據(jù)降維［2］、語音識別［3］、3D 物體識別［4］、圖像轉(zhuǎn)換［5］以及高維時(shí)間序列建模［6］等機(jī)器學(xué)習(xí)問題，進(jìn)而催生出一個(gè)機(jī)器學(xué)習(xí)的新領(lǐng)域——深度學(xué)習(xí)［7］.

RBM 在訓(xùn)練過程中存在特征同質(zhì)化［8］現(xiàn)象.特征同質(zhì)化原因在于RBM 學(xué)習(xí)到的特征過于相似，表現(xiàn)在模型連接權(quán)值列之間的相似度過高.鑒于所有隱單元都是在互不影響的基礎(chǔ)上同時(shí)對訓(xùn)練數(shù)據(jù)進(jìn)行無監(jiān)督訓(xùn)練，所以當(dāng)訓(xùn)練數(shù)據(jù)中存在某種共有特征時(shí)，隱單元在學(xué)習(xí)過程中均會受其影響.當(dāng)隱單元數(shù)量過少時(shí)，特征同質(zhì)化問題尤為突出.Lee等［9］證明由于模型學(xué)習(xí)受到數(shù)據(jù)共有特征的影響，會導(dǎo)致隱單元后驗(yàn)激活概率均偏高，影響數(shù)據(jù)的特征提取以及有效信息的丟失.目前克服該問題的方法是通過在訓(xùn)練過程中增加稀疏懲罰因子以調(diào)節(jié)隱單元的稀疏性，且已有多種RBM 稀疏懲罰因子被提出.Lee等［9］提出基于誤差平方和的稀疏懲罰因子，通過稀疏化隱單元的偏置來克服同質(zhì)化問題.Hinton［10］提出基于交叉熵的稀疏懲罰因子，通過連接權(quán)值和隱單元偏置進(jìn)行RBM 稀疏化，并應(yīng)用于深度信念網(wǎng)絡(luò)的構(gòu)建.Luo等［11］鑒于特征之間的統(tǒng)計(jì)相關(guān)性，通過引入隱單元激活概率的混合范數(shù)，構(gòu)建了稀疏組受限玻爾茲曼機(jī)（sparse group restricted Boltzmann machine，SGRBM），但存在隱單元分組方式不明、無分組依據(jù)以及分組含義模糊等問題.Guo等［12］對SGRBM 進(jìn)行擴(kuò)展，構(gòu)建了混合范數(shù)稀疏組受限玻爾茲曼機(jī)，通過增加范數(shù)調(diào)節(jié)因子更好地實(shí)現(xiàn)RBM 組內(nèi)和組間稀疏，但仍然沒有解決分組策略模糊的問題.鑒于以上模型的優(yōu)缺點(diǎn)，本文提出一種混合形式的稀疏懲罰機(jī)制（hybrid sparse penalty mechanism，HSPM），并將其應(yīng)用到RBM 訓(xùn)練以及深度學(xué)習(xí)模型——深度玻爾茲曼機(jī)（deep Boltzmann machine，DBM）的初始化中.該策略首先利用交叉熵稀疏懲罰因子對RBM 進(jìn)行稀疏化處理，保證隱單元激活概率被設(shè)定在一個(gè)較低的水平上；然后引入基于連接權(quán)值列相似度的隱單元分組策略，構(gòu)建隱單元稀疏組，進(jìn)一步克服特征同質(zhì)化問題.

1 稀疏受限玻爾茲曼

受限玻爾茲曼機(jī)是在玻爾茲曼機(jī)的基礎(chǔ)上增加限定條件形成的，即層內(nèi)單元無連接、層間單元全連接.稀疏 受 限 玻 爾 茲 曼 機(jī)（sparse restricted Boltzmann machine，SRBM）通過在RBM 訓(xùn)練目標(biāo)函數(shù)疊加稀疏懲罰因子形成，且RBM 的訓(xùn)練即為最大化訓(xùn)練目標(biāo)函數(shù).

1.1 誤差平方和稀疏懲罰因子

Lee等［9］通過在RBM 最大似然目標(biāo)函數(shù)中增加基于誤差平方和的稀疏懲罰因子設(shè)計(jì)了SRBM，并給出了SRBM 的標(biāo)準(zhǔn)訓(xùn)練目標(biāo)函數(shù)為

式中：N 為訓(xùn)練樣本個(gè)數(shù)；λ 為正則化常量，用于控制稀疏懲罰因子影響的；vn為第n 個(gè)訓(xùn)練樣本；Pe代表稀疏懲罰因子；P （vn）為vn的條件概率.

誤差平方和稀疏懲罰因子為

Lee等［9］指出，當(dāng)應(yīng)用SRBM 對自然圖像進(jìn)行特征提取時(shí)，SRBM 可以學(xué)習(xí)到類似于Gabor濾波的特征，該特征與人腦V1區(qū)簡單細(xì)胞感應(yīng)區(qū)十分相似.但該稀疏懲罰因子存在以下3個(gè)問題.

1）SRBM 的稀疏懲罰因子是隱單元的平均激活概率與p 之間的絕對誤差平方和.當(dāng)隱單元平均激活下降到p 附近時(shí)，Ps的作用隨之減弱.

2）SRBM 的稀疏懲罰因子只影響隱單元偏置，沒有考慮RBM 的連接權(quán)值.

3）SRBM 的隱單元仍保持相互獨(dú)立的條件，但鑒于訓(xùn)練數(shù)據(jù)共有特性的影響，訓(xùn)練后的隱單元并不是完全獨(dú)立.因此，忽略隱單元間的統(tǒng)計(jì)相關(guān)性而單純降低所有隱單元的激活概率，并不能完全改善特征同質(zhì)化問題.

1.2 交叉熵稀疏懲罰因子

相比于絕對誤差平方和，交叉熵更適用于描述2個(gè)小概率分布之間的差異［13］.Hinton［10］利用交叉熵概念提出了新的交叉熵稀疏懲罰因子：

Pc對RBM 的影響在于使RBM 在學(xué)習(xí)過程中的隱單元平均激活概率與p 之間的Kullback-Leiber距離達(dá)到最小，使隱單元具備整體稀疏性.

Hinton［10］的研究證明，相較于Ps，Pc的稀疏效果更好.但Pc同樣沒有解決隱單元之間的統(tǒng)計(jì)相關(guān)性問題.

1.3 稀疏組受限玻爾茲曼機(jī)

為解決隱單元間存在的統(tǒng)計(jì)相關(guān)性，Luo等［11］通過引入混合范數(shù)稀疏懲罰因子PL1／L2得到SGRBM，即首先完成隱單元分組并計(jì)算組內(nèi)隱單元激活概率的二范數(shù)，隨后計(jì)算各個(gè)組的一范數(shù).

2 混合稀疏受限玻爾茲曼機(jī)

針對已有RBM 稀疏懲罰因子存在的不足，提出HSPM，以更好地克服RBM 的特征同質(zhì)化問題.

2.1 混合稀疏懲罰機(jī)制

在信號理論中，所謂變量稀疏是指該隨機(jī)變量僅在很少的時(shí)候取值非零，同時(shí)該值偏離0較遠(yuǎn).隱單元的稀疏化表示大多數(shù)隱單元處于不激活狀態(tài)，而僅僅部分隱單元表征訓(xùn)練數(shù)據(jù)；對于某一特定隱單元來說，稀疏化表示該隱單元僅被用來表征很少一部分訓(xùn)練數(shù)據(jù)，從而避免特征同質(zhì)化問題.

鑒于Pc和PL1／L2的優(yōu)缺點(diǎn)，確定混合稀疏受限玻爾 茲 曼 機(jī)（hybrid sparse restricted Boltzmann machine，HSRBM）的訓(xùn)練方式和HSPM 機(jī)理：首先利用交叉熵稀疏懲罰因子實(shí)現(xiàn)RBM 的初始稀疏化，然后利用連接權(quán)值矩陣W 的列相似性構(gòu)建隱單元稀疏組，最后進(jìn)行SGRBM 訓(xùn)練，整個(gè)流程如圖1所示.

圖1 混合稀疏懲罰機(jī)制流程圖Fig.1 Hybrid sparse penalty mechanism flowchart

2.2 隱單元自適應(yīng)分組策略

Luo等［11］指出：通過隱單元分組，使得隱單元在訓(xùn)練過程中不再條件獨(dú)立，而受到局部其他隱單元的影響.但對隱單元進(jìn)行均勻分組并不符合RBM的訓(xùn)練結(jié)果，因此需要研究新的隱單元分組策略.

RBM 的訓(xùn)練是對數(shù)據(jù)進(jìn)行特征識別，將原始數(shù)據(jù)空間按照已識別好的特征映射至多維0-1空間，一組樣本對應(yīng)的0-1序列就是多特征組合.因此，隱單元分組主要取決于不同特征之間的相似度（本文以余弦相似度為例）.設(shè)定RBM 模型連接權(quán)值大小為可見單位維數(shù)×隱單元維數(shù)，則連接權(quán)值的列數(shù)等于隱單元個(gè)數(shù)，因此不同的列就是模型學(xué)習(xí)到的不同特征.隱單元的自適應(yīng)分組即是對連接權(quán)值的列進(jìn)行自適應(yīng)分組，其步驟如下所示：

1）選擇連接權(quán)值的某一列j，若對應(yīng)的隱單元沒有參與分組，則計(jì)算該列與任意列i的余弦相似度，得到余弦相似度Sj-i；

2）比較Sj-i與分組參數(shù)α 的大小，若Sj-i＞α 則列j 與i合并為一組，否則不合并；

3）重復(fù)1）和2），直至ij遍歷完所有列.

由上可見，隱單元經(jīng)過分組以后，相似度高的合并在一組內(nèi)，而與其他隱單元差別較大的單元被單獨(dú)分離出來.通過這種策略實(shí)現(xiàn)的隱單元分組，并不是單純依靠經(jīng)驗(yàn)進(jìn)行，更加符合RBM 的訓(xùn)練現(xiàn)狀，分組個(gè)數(shù)和組內(nèi)單元個(gè)數(shù)也具有較強(qiáng)的自適應(yīng)性.

下面對分組策略的可行性進(jìn)行分析.由文獻(xiàn)［11］可知，對RBM 隱單元分組實(shí)質(zhì)上是通過正則化方法懲罰組內(nèi)隱單元的總體激活程度，使組內(nèi)隱單元在學(xué)習(xí)過程中不再條件獨(dú)立，保證組內(nèi)隱單元的相關(guān)性.以W 的學(xué)習(xí)為例，PL1／L2對其第j列的更新影響為

Luo等［11］證明，ΔW.j使得隱單元j 學(xué)習(xí)表示vn的速度會受到因子τ 的影響而變緩：

圖2 τ因子隨單個(gè)隱單元激活概率的變化曲線Fig.2 Curves ofτfactor with change of single hidden unit activation probability

2.3 參數(shù)更新

作為非監(jiān)督訓(xùn)練的一個(gè)典型方法，訓(xùn)練RBM就是最大化訓(xùn)練集的對數(shù)似然概率［14］.模型訓(xùn)練使用的是隨機(jī)梯度下降法，對目標(biāo)函數(shù)的參數(shù)求偏導(dǎo)，以此得出模型參數(shù)的更新值［15］.

下面介紹在HSPM 中不同稀疏懲罰因子對模型參數(shù)的影響，并闡明其中不同變量的含義.

1）交叉熵稀疏懲罰因子對參數(shù)的影響

對于隱單元j，Pc對W.j和隱單元偏置bj的更新如下式所示：

2）隱單元分組稀疏對參數(shù)的影響

PL1／L2對RBM 參數(shù)的更新如下式所示：

2.4 混合稀疏深度學(xué)習(xí)模型

深度學(xué)習(xí)是一種建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò).該模型通過模仿人腦處理信息機(jī)制來解釋數(shù)據(jù).通過組合低層特征，形成更抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示，其特點(diǎn)就是具有多隱藏層的感知器結(jié)構(gòu).

DBM 和深度信念網(wǎng)絡(luò)（deep belief net，DBN）是2種常見的深度學(xué)習(xí)模型，均由多層RBM 疊加而成.不同之處在于DBM 的中間層與相鄰層是雙向連接的RBM，而DBN 只有最頂層是雙向連接的RBM.由于DBM 和DBN 的學(xué)習(xí)均需要對疊加的RBM 進(jìn)行貪婪逐層初始化訓(xùn)練，將混合稀疏懲罰機(jī)制引入到模型訓(xùn)練中，可以形成基于混合稀疏懲罰機(jī)制的深度學(xué)習(xí)模型：混合稀疏深度玻爾茲曼機(jī)（hybrid sparse deep Boltzmann machine，HSDBM）和混合稀疏深度信念網(wǎng)絡(luò)（hybrid sparse deep belief net，HSDBN）.

3 實(shí) 驗(yàn)

實(shí)驗(yàn)集采用修正美國國家標(biāo)準(zhǔn)與技術(shù)局（MNIST）手寫體字符識別數(shù)據(jù)集和多倫多人臉集（Toronto face database，TFD）［16］.其中MNIST 數(shù)據(jù)集包含0～9的10個(gè)手寫數(shù)字圖像，每幅圖像大小為28×28.隨機(jī)選取60 000幅圖像用于訓(xùn)練，其余圖像用于測試.選用TFD 中4 178幅已經(jīng)做好表情標(biāo)識、大小為48×48的人臉圖像，包含高興、厭惡、害怕、憤怒、悲傷、驚訝以及平靜7 種表情.MNIST 實(shí)驗(yàn)主要用于不同稀疏懲罰因子對于特征提取的有效性檢驗(yàn)，而TFD 實(shí)驗(yàn)用于RBM 特征提取的可視化顯示.

3.1 連接權(quán)值相似度度量

為了量化W 的列相似程度，提出一種基于W列余弦相似度的度量.對于維度大小為T×M 的矩陣W（T 為訓(xùn)練數(shù)據(jù)維度），其列相似度為

Sim（W ）表示W(wǎng) 各列之間的平均余弦相似度.可以看出，Sim（W ）在區(qū)間［0，1.0］內(nèi)，該值越大，表示W(wǎng) 各列之間越相似，也就表明各隱單元的相關(guān)性越強(qiáng)即特征同質(zhì)化越嚴(yán)重.反之，說明特征同質(zhì)化得到改善.

3.2 MNIST實(shí)驗(yàn)及分析

為有效測試不同稀疏懲罰因子對于特征提取的有效性，從2個(gè)方面進(jìn)行實(shí)驗(yàn)對比：1）判斷稀疏懲罰因子是否能夠有效改善RBM 的特征同質(zhì)化問題；2）檢驗(yàn)HSRBM 在提取手寫字特征和增強(qiáng)隱單元稀疏度上是否優(yōu)于SGRBM.

在RBM 訓(xùn)練過程中，參數(shù)的學(xué)習(xí)速率統(tǒng)一設(shè)置為η＝0.01，循環(huán)次數(shù)κ≤1 000，p＝0.01，α＝0.7.在完成手寫字特征提取以后，采用LIBSVM［17］提供的徑向基支持向量機(jī)（RBF-SVM）和線性支持向量機(jī)（LSVM）作為最終分類器，其中參數(shù)設(shè)置除了核函數(shù)選擇不同外，其余均采用默認(rèn)設(shè)置.

實(shí)驗(yàn)1：設(shè)置不同的隱單元個(gè)數(shù)，分別計(jì)算采用誤差平方和、交叉熵稀疏懲罰因子形成的SRBM 連接權(quán)值的列相似度和分類準(zhǔn)確率δ，實(shí)驗(yàn)結(jié)果如表1所示，在分類準(zhǔn)確率對應(yīng)的列中，相同稀疏懲罰因子下的左右兩列數(shù)據(jù)分別以RBF-SVM 為分類器和以LSVM 為分類器的實(shí)驗(yàn)結(jié)果.

表1 不同稀疏懲罰因子下RBM 的連接權(quán)值相似度和分類準(zhǔn)確率的對比Tab.1 Comparison of RBM’s connect weights similarity and classified accuracies under different sparse penalty factors

從表1Sim（W ）列的縱向數(shù)據(jù)可以看出：隨著隱單元個(gè)數(shù)的增加，該值呈現(xiàn)減小的趨勢，這表明RBM 的特征同質(zhì)化問題得到改善.在隱單元個(gè)數(shù)相同的條件下，采用Ps和Pc均使得Sim（W ）值變小.從δ的縱向數(shù)據(jù)可以看出：無論采用RBF-SVM 還是LSVM，當(dāng)隱單元過小時(shí)，分類準(zhǔn)確率較差，但當(dāng)Pe≠0特別是Pe＝Pc時(shí)，δ變大；類似于Sim（W ）值，δ隨著M 的增加而變大，但會接近較為穩(wěn)定的極值.同時(shí)，當(dāng)M≤100時(shí)，采用RBF-SVM 的δ值高于LSVM 的δ值；當(dāng)M 較大時(shí)，LSVM 的δ較大.

從以上分析可以得出3個(gè)結(jié)論：1）Pe能夠解決RBM 的特征同質(zhì)化，并且Pc的稀疏性能優(yōu)于Ps；2）當(dāng)M 過小時(shí)，特征同質(zhì)化較為明顯，隨著M 變大，該問題得到緩解；3）當(dāng)樣本數(shù)N 遠(yuǎn)超過M 時(shí)，SVM 選用非線性核較好，反之，應(yīng)當(dāng)采用線性核.

實(shí)驗(yàn)2：由 表1 數(shù) 據(jù) 發(fā) 現(xiàn)，當(dāng)M ＝16 時(shí)，Sim（W ）和δ 對Pe較為敏感.因此實(shí)驗(yàn)2設(shè)置M＝16，訓(xùn)練HSRBM 完成實(shí)驗(yàn).

通過HSPM，隱單元被自動分為12組，其中單元1與單元15一組；單元3與單元14一組，單元5與單元13一組，單元7與單元10一組，其余單元單獨(dú)成組.為了對比分組可行性，分別設(shè)置分組單元為2（8個(gè)稀疏組）和分組單元為1（16個(gè)稀疏組）的2種SGRBM 進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表2所示.

表2 SGRBM 與HSRBM 的實(shí)驗(yàn)結(jié)果對比Tab.2 Comparison of SGRBM and HSRBM experiment results

從表1和2可以看出，HSRBM 在Sim（W）和δ上均達(dá)到了最優(yōu)結(jié)果.原因在于，HSRBM 內(nèi)同組隱單元相關(guān)性較強(qiáng)，其τ值高于SGRBM 隨機(jī)分組后的相關(guān)τ值，使得隱單元特征更局部化.

為直觀顯示不同PE對于RBM（M＝16）特征同質(zhì)化的影響，對W 進(jìn)行可視化顯示（W 維數(shù)為784×16，故任意列向量可以看作是由28×28的圖像按照行序號首尾相接而形成的），其對應(yīng)的列示意如圖3所示.

圖3 RBM 連接權(quán)值列示意圖Fig.3 Schematic diagram of RBM connection weights

如圖4所示為當(dāng)PE＝0時(shí)的連接權(quán)值.可以看出，W 出現(xiàn)了嚴(yán)重的特征同質(zhì)化現(xiàn)象，表現(xiàn)在C1-C4以及C5-C6對應(yīng)的列向量極為相似，并且類似于白噪聲，因此這6列對于特征提取是沒有意義的.在測試集中，相對應(yīng)的隱單元P （hj）＝0.99，方差不超過0.000 1，此結(jié)果證明了這一問題.如圖5所示為當(dāng)Pe＝Pc時(shí)的連接權(quán)值.可以看出，特征同質(zhì)化現(xiàn)象已經(jīng)得到了抑制，但仍然存在，如：C1與C15相似度過高，這也可以從隱單元自適應(yīng)分組結(jié)果中看出.

圖4 Pe＝0的RBM 連接權(quán)值可視化Fig.4 Visualization of RBM connection weights when Pe＝0

圖5 Pe＝Pc的SRBM 連接權(quán)值可視化Fig.5 Visualization of SRBM connection weights when Pe＝Pc

圖6 Pe＝PL1／L2 的SGRBM 連接權(quán)值可視化Fig.6 Visualization of SGRBM connection weights when Pe＝PL1／L2

如圖6所示為當(dāng)Pe＝PL1／L2時(shí)的連接權(quán)值，可以看出SGRBM均存在較為嚴(yán)重的特征同質(zhì)化現(xiàn)象，例如圖6（a）中C7 和C13、圖6（b）中C4、C9、C10、C14和C16，并且可以從出現(xiàn)特征同質(zhì)化的W列數(shù)量上判斷出，組內(nèi)單元個(gè)數(shù)為1的SGRBM 其δ較好，但低于交叉熵稀疏懲罰因子.

如圖7所示為HSPM 下的連接權(quán)值，從圖中可以看出，連接權(quán)值沒有出現(xiàn)類似于圖5的高斯白噪聲圖像，并且結(jié)合表2 數(shù)據(jù)，證明了HSRBM 的連接權(quán)值相似度和分類準(zhǔn)確率均較好.

圖7 基于HSPM 的RBM 連接權(quán)值可視化Fig.7 Visualization of RBM connection weights based on HSPM

3.3 TFD人臉實(shí)驗(yàn)及分析

由于手寫數(shù)字圖像提取出的特征過于抽象，難以解釋隱單元分組含義，選用TFD 集作為實(shí)驗(yàn)對象，以給出隱單元分組的直觀解釋.

實(shí)驗(yàn)設(shè)定：定義T＝2 304和M＝20，其余參數(shù)參照MNIST 實(shí)驗(yàn)設(shè)置，并按照3.2節(jié)中連接權(quán)值的顯示.經(jīng)過訓(xùn)練，無稀疏懲罰因子的連接權(quán)值如圖8所示（列示意類似于圖3）.可以看出，大多數(shù)列沒有學(xué)習(xí)到有效的人臉表情特征，而是出現(xiàn)了特征同質(zhì)化，表現(xiàn)在所有列對應(yīng)的表情大體相似，差別較大的只是五官，如C7、C8、C15以及C19等.

圖8 TFD實(shí)驗(yàn)中Pe＝0的RBM 連接權(quán)值可視化Fig.8 Visualization of RBM connection weights when Pe＝0in TFD experiments

圖9 TFD實(shí)驗(yàn)中Pe＝Pc的SRBM 連接權(quán)值可視化Fig.9 Visualization of SRBM connection weights when Pe＝Pcin TFD experiments

如圖9所示為當(dāng)Pe＝Pc時(shí)的連接權(quán)值可視化圖.可以看出，經(jīng)過隱單元稀疏化以后，各列已經(jīng)顯示出較為明顯的表情變化，且各列的五官相互之間有了較大的差別，但是仍然存在著個(gè)別列模糊不清的問題，如C4和C18.

在SRBM 基礎(chǔ)上執(zhí)行HSPM，隱單元被自動分為13組，其中單元1、8、13、20一組；單元3與14一組；單元10與11一組；單元15與16、17一組；其余單元各自成組.其模型的連接權(quán)值可視化如圖10所示.

圖10與圖9之間的絕對值差如圖11所示，表示經(jīng)過分組稀疏以后，連接權(quán)值的更新度.從圖中可以看出，經(jīng)過RBM 后續(xù)的稀疏分組，連接權(quán)值增強(qiáng)了原SRBM 的表情特征.

圖10 TFD實(shí)驗(yàn)中基于HSPM 的RBM 連接權(quán)值可視化Fig.10 Visualization of RBM connection weights based on HSPM in TFD experiments

圖11 TFD實(shí)驗(yàn)中HSRBM 與SRBM 連接權(quán)值差值可視化Fig.11 Visualization of connection weights'D-value between HSRBM and SRBM in TFD experiments

圖12 TFD實(shí)驗(yàn)中HRBM 隱單元組示意圖Fig.12 Schematic of HRBM hidden unit groups in TFD experiments

如圖12所示為HSRBM 中組內(nèi)單元較多的隱單元組對應(yīng)的W 列示意圖.可以發(fā)現(xiàn)，相同組內(nèi)的表情較為接近，且這4個(gè)組分別類似于高興、悲傷、平靜以及驚訝的表情.因此，TFD 中的隱單元分組可視為人臉不同表情的分組.

3.4 混合稀疏深度玻爾茲曼機(jī)

當(dāng)前RBM 的主要應(yīng)用在于初始化深度學(xué)習(xí)網(wǎng)絡(luò)［18］.DBM 對于數(shù)據(jù)的泛化能力較強(qiáng)于DBN［19］，因此實(shí)驗(yàn)只采用HSRBM 初始化DBM，從而構(gòu)建HSDBM.

在MNIST 集上，使用Salakhutdinov等［20］提出的網(wǎng)絡(luò)結(jié)構(gòu)，即使用HSRBM 初始化784-500-200網(wǎng)絡(luò)，稀疏系數(shù)同以上實(shí)驗(yàn).在完成深層結(jié)構(gòu)的貪婪逐層初始化以后，使用BP算法對網(wǎng)絡(luò)參數(shù)進(jìn)行精調(diào)，最終得到分類準(zhǔn)確率為99.02%.相比于Salakhutdinov等［20］給出的準(zhǔn)確率98.86%，有了較大提高.

4 結(jié) 語

本研究提出了一種基于RBM 的混合稀疏懲罰機(jī)制，并在MNIST 集和TFD 集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證.模型的訓(xùn)練分為3步：利用Pc對RBM 進(jìn)行初始訓(xùn)練；按照連接權(quán)值對隱單元分組構(gòu)建隱單元稀疏組；利用SGRBM 訓(xùn)練方法對模型參數(shù)進(jìn)行精調(diào).Pc保證RBM 的稀疏性得到優(yōu)化，隱單元自動分組策略使得同組內(nèi)隱單元保持較強(qiáng)的統(tǒng)計(jì)相關(guān)性，從而提高組內(nèi)懲罰度.實(shí)驗(yàn)結(jié)果表明：HSRBM 在處理特征同質(zhì)化問題上優(yōu)于以往的SRBM 模型.今后工作應(yīng)當(dāng)繼續(xù)嘗試新的稀疏懲罰因子，并詳細(xì)分析模型參數(shù)對訓(xùn)練學(xué)習(xí)的影響，將深度學(xué)習(xí)模型應(yīng)用到更多領(lǐng)域.

（

）：

［1］劉建偉，劉媛，羅雄麟.玻爾茲曼機(jī)研究進(jìn)展［J］.計(jì)算機(jī)研究與發(fā)展，2014，51（1）：1-16.LIU Jian-wei，LIU Yuan，LUO Xiong-lin.Research and development on boltzmann machine［J］.Journal of Computer Research and Development，2014，51（1）：1-16.

［2］陳宇，鄭德權(quán)，趙鐵軍.基于Deep Belief Nets的中文名實(shí)體關(guān)系抽取［J］.軟件學(xué)報(bào)，2012，23（10）：2572-2585.CHEN Yu，ZHENG De-quan，ZHAO Tie-jun.Chinese relation extraction based on deep belief nets［J］.Journal of Software，2012，23（10）：2572-2585.

［3］MOHAMED A，DAHL G E，HINTON G E.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio，Speech，and Language Processing，2012，20（1）：14-22.

［4］SCHMAH T，HINTON G E，ZEMEL R，et al.Generative versus discriminative training of RBMs for classification of fMRI images［C］∥Proceedings of the 22rd Annual Conference on Neural Information Processing Systems.Whistler：NIPS，2008：1409-1416.

［5］MEMISEVIC R，HINTON G E.Unsupervised learning of image transformations ［C］∥Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE，2007：1-8.

［6］TAYLOR G W，SIGAL L，F(xiàn)LEET D J，et al.Dynamical binary latent variable models for 3D human pose tracking［C］∥Proceedings of 2010IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE，2010：631-638.

［7］林妙真.基于深度學(xué)習(xí)的人臉識別研究［D］.大連：大連理工大學(xué)，2013：24-69.LIN Miao-zhen.Research on face recognition based on deep learning［D］.Dalian：Dalian University of Technology，2013：24-69.

［8］羅恒.基于協(xié)同過濾視角的受限玻爾茲曼機(jī)研究［D］.上海，上海交通大學(xué)，2011：70-79.LUO Heng.Restricted Boltzmann machines：a collaborative filtering perspective［D］.Shanghai：Shanghai Jiao Tong University，2011：70-79.

［9］LEE H，EKANADHAM C，NG A.Sparse deep belief net model for visual area V2［C］∥Proceedings of the 21rd Annual Conference on Neural Information Processing Systems.Vancouver：NIPS，2007：873-880.

［10］HINTON G E.A practical guide to training restricted Boltzmann machines［R］.Canada，Toronto University：Machine Learning Group，2010.

［11］LUO H，CHANG Y N，RUI M S，et al.Sparse group restricted boltzmann machines［C］∥Proceedings of 25th Conference on Innovative Applications of Artificial Intelligence.San Francisco：AAAI，2011：1207-1216.

［12］GUO R，QI H.Partially-sparse restricted boltzmann machine for background modeling and subtraction［C］∥Proceedings of 2013IEEE Conference on Machine Learning and Applications.Piscataway：IEEE，2013：209-214.

［13］吳一全，張曉杰，吳詩婳.2維對稱交叉熵圖像閾值分割［J］.中國圖像圖形學(xué)報(bào)，2011，11（8）：122-126.WU Yi-quan，ZHANGE Xiao-jie，WU Shi-hua.Twodimensional symmetric cross-entropy image thresholding［J］.Journal of Image and Graphics，2011，11（8）：122-126.

［14］BENGIO Y.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2（1）：1-127.

［15］LENG B，ZHANG X，YAO M，et al.A 3D model recognition mechanism based on deep Boltzmann ma-chines ［J］. Neuro Computing，2015，151 （2）：593-602.

［16］SUSSKIND J.The Toronto face database［R］.Canada，Toronto University：Machine Learning Group，2011.

［17］CHANG C C，LIN C J.LIBSVM：a library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology，2011，2（3）：27-33.

［18］KUREMOTO T，KIMURA S，KOBAYASHI K，et al.Time series forecasting using a deep belief network with restricted Boltzmann machines［J］.Neuro computing，2014，137（5）：47-56.

［19］SRIVASTAVA N，SALAKHUTDINOV R.Multimodal learning with deep Boltzmann machines［J］.Journal of Machine Learning Research，2014，15（4）：2949-2980.

［20］SALAKHUTDINOV R，HINTON G E.Deep Boltzmann machines［C］∥Proceedings of 12th International Conference on Artificial Intelligence and Statistics.Florida：AISTATS，2009：448-455.