深度PCA子空間極限學(xué)習(xí)機(jī)圖像檢索算法

李昆侖,王 琳,李尚然,鞏春景

(河北大學(xué) 電子信息工程學(xué)院,河北 保定 071000)

1 引 言

基于內(nèi)容的圖像檢索[1](content-based image retrieval,CBIR)指在給定查詢圖像的前提下,無需人工注釋圖像,通過提取圖像的底層特征(例如紋理、顏色、形狀等),在圖像數(shù)據(jù)庫中檢索出與查詢圖像相近的圖像[2].隨著深度學(xué)習(xí)(Deep Learning)[3]的日趨成熟,很多學(xué)者將深度學(xué)習(xí)應(yīng)用于人臉識(shí)別、目標(biāo)檢測、圖像分類等領(lǐng)域[4-6].深度學(xué)習(xí),即深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)由Hinton等提出,深度神經(jīng)網(wǎng)絡(luò)通過多層神經(jīng)網(wǎng)絡(luò)來排列底層的原始數(shù)據(jù)特征,并抽象出原始數(shù)據(jù)的高級特征.常見的深度學(xué)習(xí)模型有深度自編碼器(Deep Autoencoder,DAE)、深度置信網(wǎng)絡(luò)(Deep Benefit Neural Networks,DBN)以及深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[7-9]等.自動(dòng)編碼器(Auto Encoder,AE)是一種無監(jiān)督的用于數(shù)據(jù)降維和特征提取的神經(jīng)網(wǎng)絡(luò)模型,旨在盡可能地重構(gòu)原始輸入數(shù)據(jù),以便從大數(shù)據(jù)中有效提取隱藏特征[10].為了改善其性能,Bengio等在自動(dòng)編碼機(jī)的基礎(chǔ)上提出堆棧自動(dòng)編碼器(Stacked Autoencoder,SAE),堆棧自動(dòng)編碼器是通過多層稀疏自編碼器獲得比自動(dòng)編碼器更強(qiáng)的特征表達(dá)能力.Krizhevsky和Hinton提出用深度自編碼器哈希進(jìn)行圖像檢索,文章將圖像直接作為輸入,訓(xùn)練深度自編碼器哈希,然后對圖像進(jìn)行二進(jìn)制編碼[11].

極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)是Huang G.B.等于2004年提出的作為一種訓(xùn)練單隱藏層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer Feed forward Network,SLFN)學(xué)習(xí)方法,其分類性能好、訓(xùn)練速度快且具有良好的泛化性能[12].Kasun等提出了多層極限學(xué)習(xí)機(jī)(Multilayer Extreme Learning Machine,MLELM)網(wǎng)絡(luò)模型[13].Lekamalage等提出了一種基于極限學(xué)習(xí)機(jī)自編碼器的聚類算法(Extreme Learning Machine Auto Encoder Clustering,ELM-AEC),該方法利用極限學(xué)習(xí)機(jī)自編碼器(ELM based Auto Encoder,ELM-AE)[14]進(jìn)行特征映射,并使用矩陣分解和K均值算法對聚類中心進(jìn)行初始化[15].

盡管深度學(xué)習(xí)模型具有強(qiáng)大的特征抽象能力,但它需要大量數(shù)據(jù)集和較高的硬件水平,網(wǎng)絡(luò)參數(shù)多,收斂速度慢,因此研究人員將目光鎖定在尋找基于CNN的簡化深度學(xué)習(xí)框架中.在此背景下人們開始關(guān)注“子空間深度化”.2015年,Chan等提出PCANet模型,借助2DPCA[16]映射單元,在DPCA基礎(chǔ)上進(jìn)行擴(kuò)充,輔以二值化哈希編碼和直方圖分塊,將子空間學(xué)習(xí)[17]引入到深度學(xué)習(xí)中,為卷積神經(jīng)網(wǎng)絡(luò)中卷積核的研究提供新的思路[18].與卷積神經(jīng)網(wǎng)絡(luò)相比,可以無監(jiān)督地獲取分層特征,避免由于迭代和最優(yōu)解導(dǎo)致的高計(jì)算復(fù)雜度.在人臉識(shí)別、物體識(shí)別和手寫數(shù)字識(shí)別中,識(shí)別率超過95%,但單層或雙層的PCA濾波器無法獲得像CNN模型中抽象的高層特征,容易受訓(xùn)練圖像影響,而深度極限學(xué)習(xí)機(jī)可以彌補(bǔ)這一缺陷.

圖像檢索最主要的問題之一就是如何給出有效的圖像描述,特征的提取和表達(dá)一直受到人們廣泛關(guān)注.綜上所述,為實(shí)現(xiàn)更加準(zhǔn)確高效的圖像檢索,本文提出了一種深度PCA子空間極限學(xué)習(xí)機(jī)圖像檢索算法.將深度PCA子空間作為基本學(xué)習(xí)單元并有效的提取其底層特征,然后輸入到深度極限學(xué)習(xí)機(jī)中以得到高層次的特征.實(shí)現(xiàn)了對底層特征的逐層轉(zhuǎn)換,在特征降維的同時(shí)得到更具代表性的特征表示.最后利用哈希編碼將高層特征映射到低維漢明空間中,比較查詢目標(biāo)圖像編碼和圖像數(shù)據(jù)庫中哈希編碼的漢明距離,判斷兩幅圖像是否相似,從而可實(shí)現(xiàn)基于深度學(xué)習(xí)的圖像檢索.這些措施,能夠建立從底層信號(hào)到高層語義的映射關(guān)系,提取圖像特征的深層表示和數(shù)據(jù)內(nèi)部的隱含信息,獲得較好的圖像特征表達(dá),避免了大量的迭代過程,提高了算法的分類精度和泛化性能,與CNN等神經(jīng)網(wǎng)絡(luò)相比,訓(xùn)練時(shí)間明顯縮短.

2 深度子空間模型

深度子空間模型是基于深度學(xué)習(xí)理論,將經(jīng)典子空間映射結(jié)果作為圖像特征,通過深度網(wǎng)絡(luò)提取圖像的深層抽象特征.PCANet使用最基本的主成分分析來模擬卷積神經(jīng)網(wǎng)絡(luò),卷積濾波器層采用PCA濾波器;非線性處理層使用二進(jìn)制哈希算法;重采樣層采用二進(jìn)制哈希編碼的分塊直方圖.一個(gè)完整的PCANet包括3個(gè)部分,結(jié)構(gòu)如圖1所示.

圖1 PCANet原理框圖Fig.1 Principle of PCANet

1)輸入層

(1)

(2)

此時(shí)輸入的圖片庫可以表示為向量集形式:

(3)

2)映射層

通過輸入圖像矩陣X學(xué)習(xí)PCA濾波器.V是標(biāo)準(zhǔn)正交約束矩陣,L1是第一層映射層濾波器個(gè)數(shù),對應(yīng)PCA濾波器為:

(4)

s.t.VTV=IL1

(5)

(6)

其中ql(XXT)代表XXT的第l主特征向量.對圖像進(jìn)行邊緣延拓操作來保證卷積后能重構(gòu)原圖像,得到第一層映射層的圖像描述:

(7)

(8)

將第二層輸出進(jìn)行卷積映射,得到深度子空間主成分特征:

(9)

3)輸出層

對提取到的特征進(jìn)行非線性表示,通過二值化處理和哈希編碼來加大各特征差異:

(10)

其中H(·)是一個(gè)單位階躍函數(shù),目的是將特征值調(diào)整為正數(shù).然后對獲得的特征圖進(jìn)行直方圖塊處理,以獲得最終的特征輸出:

(11)

3 深度PCA子空間極限學(xué)習(xí)機(jī)算法

3.1 極限學(xué)習(xí)機(jī)自編碼器

極限學(xué)習(xí)機(jī)結(jié)構(gòu)簡單,學(xué)習(xí)效率高,無需迭代微調(diào),不易陷入局部最優(yōu),可以隨機(jī)賦值輸入權(quán)重和偏移量以得到相應(yīng)的輸出權(quán)重,具有極強(qiáng)的非線性逼近能力.自動(dòng)編碼器是深度學(xué)習(xí)中常用的人工神經(jīng)網(wǎng)絡(luò)模型,根據(jù)編碼生成的輸出數(shù)據(jù)近似表達(dá)輸入數(shù)據(jù)來最小化重構(gòu)誤差.極限學(xué)習(xí)機(jī)自編碼器(ELM based Auto Encoder,ELM-AE)是一種輸入等于輸出的特殊 ELM,它可以加快AE(auto encoder)的訓(xùn)練過程,隱藏層的編碼矢量是輸入數(shù)據(jù)的一種特征表示.

ELM-AE由三層組成:輸入層、隱藏層和輸出層.如圖2所示.設(shè)置輸入層和輸出層的節(jié)點(diǎn)數(shù)為D,隱藏層的節(jié)點(diǎn)數(shù)為L,ELM-AE可以根據(jù)代表輸入信號(hào)的隱藏層輸出分為三種表示方法:壓縮表示,等維表示和稀疏表示.對于N個(gè)訓(xùn)練樣本xi,i=1,…Nxi∈RL,ELM-AE的隱藏層輸出可以表示為式(12),隱藏層輸出和輸出神經(jīng)元輸出數(shù)值關(guān)系可以表示為式(13).

h=g(ax+b)

(12)

(13)

其中:a=[a1,a2,…aL]為輸入層和隱藏層節(jié)點(diǎn)之間的正交隨機(jī)權(quán)值,b=[b1,b2,…bL]為正交隨機(jī)閾值,隱藏層上的激活函數(shù)為g(x).ELM-AE 的輸出權(quán)值β負(fù)責(zé)從特征空間到輸入數(shù)據(jù)的學(xué)習(xí)轉(zhuǎn)換,如果D小于或大于L,ELM-AE實(shí)現(xiàn)壓縮或稀疏的特征表達(dá),依據(jù)正則化原則,輸出權(quán)值β由公式(14)計(jì)算:

(14)

若是D等于L,ELM-AE實(shí)現(xiàn)的是等維度的特征表達(dá),通

過公式(15)計(jì)算輸出權(quán)值β:

β=H-1X

(15)

ELM-AE 的β可以把特征映射恢復(fù)為輸入數(shù)據(jù);相反,β的轉(zhuǎn)置可把輸入數(shù)據(jù)映射到特征.

圖2 ELM-AE網(wǎng)絡(luò)Fig.2 Network structure of ELM-AE

3.2 深度PCA子空間極限學(xué)習(xí)機(jī)圖像檢索算法

深度PCA子空間雖然對圖像進(jìn)行了分塊處理,利用卷積進(jìn)行特征提取保留了一些圖像二維的空間信息,減少了網(wǎng)絡(luò)模型參數(shù)數(shù)量并降低了模型復(fù)雜度,由于并未使用梯度下降法來調(diào)整各層權(quán)值,其結(jié)構(gòu)制約了該方法在高維度數(shù)據(jù)中捕獲有效特征的能力.多隱層的神經(jīng)網(wǎng)絡(luò)具有出色的特征學(xué)習(xí)能力,特征的多層映射能夠更好地描述圖像.為了解決這個(gè)問題,利用ELM訓(xùn)練速度快的特點(diǎn),將深度PCA子空間和深度極限學(xué)習(xí)機(jī)良好的表達(dá)能力結(jié)合,提取隱藏在像素點(diǎn)下更深層的結(jié)構(gòu)信息,從而提高圖像檢索精度.

本文在深度子空間模型基礎(chǔ)上給出了深度PCA子空間極限學(xué)習(xí)機(jī)圖像檢索算法并給出如圖3的模型結(jié)構(gòu),分成三個(gè)部分:

圖3 深度PCA子空間極限學(xué)習(xí)機(jī)模型Fig.3 Model of deep PCA subspace extreme learning machine

1)深度PCA子空間將圖像直接作為網(wǎng)絡(luò)的輸入,通過級聯(lián)PCA做卷積來完成非監(jiān)督低層次特征學(xué)習(xí),生成該階段的卷積特征映射;

2)深度極限學(xué)習(xí)機(jī)通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行高層次特征學(xué)習(xí),將深度極限學(xué)習(xí)機(jī)的輸入和輸出設(shè)置為前一階段生成的卷積特征映射,最后將隱藏層的輸出輸入到極限學(xué)習(xí)機(jī)進(jìn)行監(jiān)督特征分類;

3)通過二進(jìn)制哈希實(shí)現(xiàn)高維圖像數(shù)據(jù)向低維的二進(jìn)制空間的映射和重新表示,對隱藏層的特征值進(jìn)行二值化編碼,得到編碼后的圖像.然后通過漢明距離進(jìn)行相似性比對并進(jìn)行圖像檢索.

Hi=g((βi)THi-1)

(16)

連接輸入數(shù)據(jù)和隱藏層每一個(gè)隱節(jié)點(diǎn)的權(quán)重向量是彼此正交的,這樣可以將輸入數(shù)據(jù)映射到一個(gè)隨機(jī)的子空間.以便捕捉輸入數(shù)據(jù)的各種邊緣特征,使得模型可以自動(dòng)地學(xué)習(xí)數(shù)據(jù)中的非線性結(jié)構(gòu).

為了增強(qiáng)模型的泛化能力,通過L1范式正則化這一常用的變量選擇方法,對深度ELM進(jìn)行約束.使用絕對值函數(shù)作為懲罰項(xiàng)來確保算法結(jié)果的稀疏性,λ越大,懲罰力度越大,得到的結(jié)果越稀疏.下式為所求目標(biāo)函數(shù):

(17)

Oβ=p(β)+q(β)

(18)

其中,p(β)=‖X-Hβ‖2,q(β)=‖β‖l1,l1表示將求解β既數(shù)據(jù)稀疏化的過程看做L1范數(shù)最優(yōu)化問題,β表示稀疏代價(jià)函數(shù)的系數(shù).求解公式(17)中的目標(biāo)函數(shù)得到β,從而得到自動(dòng)編碼的稀疏性限制.

為了求解此最小化目標(biāo)函數(shù),可采用一種快速的迭代閾值收縮算法來求最優(yōu)解.設(shè)置步長為t=1/L(f),其中,x為所求W,其收斂速度為O(1/k2),具體算法:

1)計(jì)算光滑凸函數(shù)梯度▽p的Lipschitz常數(shù)γ

2)令y1=β0∈Rn為初始點(diǎn),t1=1開始迭代,對j(j≥1)有:

①βj=sy(yj),其中sy由下式計(jì)算得出:

(19)

(20)

圖4 深度極限學(xué)習(xí)機(jī)模型Fig.4 Model of deep ELM

(21)

連接隱藏層和輸出層的輸出矩陣通過下式進(jìn)行計(jì)算.

(22)

其中H是最后一層隱藏層的輸出矩陣.按照上面的步驟迭代后,能夠得到深度極限學(xué)習(xí)機(jī)輸出的權(quán)重,然后將輸入數(shù)據(jù)與經(jīng)過編碼器學(xué)習(xí)后的特征進(jìn)行內(nèi)積運(yùn)算便可得到輸入數(shù)據(jù)的緊湊型式.

深度極限學(xué)習(xí)機(jī)用作學(xué)習(xí)單元以執(zhí)行多層的無監(jiān)督學(xué)習(xí),在此基礎(chǔ)上加入稀疏性限制將PCANet得到的特征傳遞形成較為完整的特征表示,獲得稀疏高層特征.隨機(jī)生成深度極限學(xué)習(xí)機(jī)的輸入權(quán)值以便能夠近似訓(xùn)練中任何輸入數(shù)據(jù).因此,一旦深度極限學(xué)習(xí)機(jī)被初始化,不需要再對整個(gè)網(wǎng)絡(luò)進(jìn)行更新和調(diào)整.避免了繁瑣的BP算法,節(jié)省了昂貴的計(jì)算資源并降低了模型的復(fù)雜度.

此模型的深度架構(gòu)有助于學(xué)習(xí)特征的層次結(jié)構(gòu),減少調(diào)整參數(shù)的需要,并將原始數(shù)據(jù)樣本逐層重新組合,由低層次的特征逐步形成數(shù)據(jù)的高層表示,所獲特征具有更好地魯棒性,能夠?qū)W習(xí)到有效的深層特征.利用ELM和堆疊自動(dòng)編碼機(jī)的訓(xùn)練速度提高了深度極限學(xué)習(xí)機(jī)的訓(xùn)練速度,同時(shí)兼具深度網(wǎng)絡(luò)優(yōu)秀的特征抽取能力,避免反向傳播算法容易陷入局部極小的缺陷,有效的提升了圖像特征的學(xué)習(xí)效果.

本文所提出的基于深度PCA子空間極限學(xué)習(xí)機(jī)的圖像檢索算法基本過程如圖5所示,主要分為以下3個(gè)步驟:

圖5 深度PCA子空間極限學(xué)習(xí)機(jī)圖像檢索算法流程圖Fig.5 Flow chart of image retrieval algorithm based on deep PCA subspace extreme learning machine

1.圖像預(yù)處理

通過預(yù)處理,對圖像進(jìn)行簡單縮放、數(shù)據(jù)歸一化、逐樣本均值消減,以此來刪除圖像中的兀余信息,便于訓(xùn)練和計(jì)算.

2.訓(xùn)練深度PCA子空間極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)

將圖像庫送入PCANet,PCANet的濾波器核通過直接提取圖像可接受域進(jìn)行映射,經(jīng)過級聯(lián)PCA處理后,送入深度極限學(xué)習(xí)機(jī)得到圖像的高層特征表達(dá),同時(shí)將待查詢的圖像樣本輸入到訓(xùn)練好的深度網(wǎng)絡(luò)中.

3.哈希檢索

為了在保證良好特征的基礎(chǔ)上提高算法的性能,通過簡潔的特征減少存儲(chǔ)和計(jì)算的開銷,將特征值轉(zhuǎn)化為二值特征.本文將深度PCA子空間極限學(xué)習(xí)機(jī)獲得的高層圖像特征逐一映射為一維向量,然后通過非線性的sigmoid激活函數(shù)將特征向量的值規(guī)范到(0,1),通過哈希函數(shù)將圖像一維向量轉(zhuǎn)換成二進(jìn)制的編碼向量,從而得到圖像的特征編碼.編碼函數(shù)表達(dá)式如下:

H(x)=f(s(Wx+b))

(23)

在獲得圖像的哈希編碼后,需要將查詢圖像的哈希編碼和圖像庫中圖像的哈希編碼進(jìn)行漢明距離度量,漢明距離通過式(25)計(jì)算,漢明距離小則說明兩圖像相似程度高.反之則說明兩圖像相似度低.表示為:

(24)

當(dāng)t>0時(shí),S(x)>0.5;當(dāng)t<0,S(x)<0.5,將閾值設(shè)為0.5,則當(dāng)t>0時(shí),H(x)=1;當(dāng)t<0時(shí),H(x)=0.

(25)

其中⊕為異或運(yùn)算,xi∈{0,1},yi{0,1}兩個(gè)集合分別表示通過哈希函數(shù)映射后檢索圖像和圖像庫中圖像的特征哈希編碼.

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證提出算法的有效性和可行性,在MNIST、CIFAR-10、CALTECH256數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn),同時(shí)與CNN等深度學(xué)習(xí)算法和當(dāng)前主流圖像檢索算法進(jìn)行對比.所有的實(shí)驗(yàn)在CPU為Intel Core i5,2.30GHz,內(nèi)存為8G的計(jì)算機(jī)上運(yùn)行,實(shí)驗(yàn)軟件為MATLAB-2016a.

4.1 圖像庫

MNIST數(shù)據(jù)集默認(rèn)包含70000個(gè)手寫0到9阿拉伯?dāng)?shù)字灰度圖像,是NIST集合的子集,每個(gè)圖像規(guī)格為28*28像素,每個(gè)采樣數(shù)據(jù)對應(yīng)0～9中的一個(gè)數(shù)字標(biāo)簽.

CIFAR-10圖像數(shù)據(jù)庫包含10個(gè)類別(每類6000張)共60000張彩色圖像,大小為32×32,包括貓、鳥、飛機(jī)、汽車、鹿、狗、青蛙、馬、船和卡車.

CALTECH256圖像庫是常用的應(yīng)用于目標(biāo)分類任務(wù)數(shù)據(jù)集,包括 256 個(gè)類別總共 30608 張圖像.

4.2 深度PCA子空間極限學(xué)習(xí)機(jī)算法參數(shù)分析

4.2.1 深度PCA子空間參數(shù)的確定

由PCANet實(shí)驗(yàn)可知,卷積核的大小對識(shí)別率有較大影響,卷積核太小,無法提取圖像的有效特征,卷積核過大,卷積核的表達(dá)能力無法體現(xiàn)出特征的復(fù)雜度.因此,卷積核大小與神經(jīng)網(wǎng)絡(luò)的性能密切相關(guān).在 MNIST手寫字符集上進(jìn)行測試,如表1所示,發(fā)現(xiàn)采用3×3大小的卷積核準(zhǔn)確率最高,因此本實(shí)驗(yàn)采用3×3大小的卷積核.

表1 不同卷積核在MNIST上的訓(xùn)練時(shí)間和準(zhǔn)確率
Table 1 Time and accuracy of different convolution kernels on MNIST training set

卷積核大小訓(xùn)練時(shí)間(S)準(zhǔn)確率(%)3×311794.925×511592.547×712193.56

4.2.2 深度極限學(xué)習(xí)機(jī)參數(shù)的確定

與現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)相比,深度極限學(xué)習(xí)機(jī)無需人為設(shè)置大量的網(wǎng)絡(luò)參數(shù),只需要設(shè)置網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)和用于計(jì)算正則化最小方差的參數(shù)C,即可產(chǎn)生唯一的最優(yōu)解.隨著網(wǎng)絡(luò)層數(shù)增加,能夠?qū)W習(xí)到輸入圖像更深層次的特征,但網(wǎng)絡(luò)層數(shù)過多,很容易形成過擬合的現(xiàn)象,訓(xùn)練時(shí)間也會(huì)增加.因此,本實(shí)驗(yàn)中使用含有兩層隱藏層網(wǎng)絡(luò)結(jié)構(gòu).

本實(shí)驗(yàn)在 MNIST 手寫字符集上進(jìn)行試驗(yàn),比較分析隱藏層節(jié)點(diǎn)數(shù)在 1024、512、256、128、64、32 情況下的分類準(zhǔn)確率.

圖6 不同隱藏層節(jié)點(diǎn)在MNIST中訓(xùn)練精度Fig.6 Training accuracy of nodes with different hidden layers in MNIST training set

由圖6可以看到,分類準(zhǔn)確率隨隱藏層節(jié)點(diǎn)數(shù)增加而增加,在達(dá)到某一數(shù)值后保持相對穩(wěn)定狀態(tài),隱藏層節(jié)點(diǎn)較少時(shí),深度極限學(xué)習(xí)機(jī)無法充分訓(xùn)練數(shù)據(jù),達(dá)不到必要的學(xué)習(xí)和信息處理能力要求.當(dāng)隱藏層節(jié)點(diǎn)數(shù)目較多時(shí),深度極限學(xué)習(xí)機(jī)會(huì)出現(xiàn)“過學(xué)習(xí)”現(xiàn)象使訓(xùn)練樣本誤差率達(dá)到最小,且在圖像存儲(chǔ)方面會(huì)消耗更多的存儲(chǔ)空間,導(dǎo)致分類的準(zhǔn)確率降低.因此,我們選取準(zhǔn)確率達(dá)到穩(wěn)定范圍內(nèi)較大的隱藏層節(jié)點(diǎn)數(shù).

4.3 深度化算法-神經(jīng)網(wǎng)絡(luò)分類性能對比實(shí)驗(yàn)

本文算法和深度學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)的激活函數(shù)為Sigmoid 函數(shù).深度PCA子空間算法使用雙層網(wǎng)絡(luò),第一層40個(gè)卷積核,第二層8個(gè)卷積核,卷積核大小為3×3.使用MNIST和CIFAR-10 采樣得到的子數(shù)據(jù)集,分別在CNN,PCANet,和LLENet等神經(jīng)網(wǎng)絡(luò)上進(jìn)行訓(xùn)練,其中CNN參數(shù)參考文獻(xiàn)[19],LLENet參數(shù)參考文獻(xiàn)[20].因分類識(shí)別率在衡量算法性能中具有核心作用,所以實(shí)驗(yàn)結(jié)果使用識(shí)別率作為評判標(biāo)準(zhǔn).

由表2可知,相同訓(xùn)練集和測試集的情況下,本文模型的特征提取能力與卷積神經(jīng)網(wǎng)絡(luò)的特征抽象能力相當(dāng),CNN使用反向傳播算法迭代修正卷積核,需要大量時(shí)間訓(xùn)練,而本文算法和PCANet使用了簡單的PCA基向量作為卷積核,訓(xùn)練時(shí)間相對較少,收斂速度是卷積神經(jīng)網(wǎng)絡(luò)的三分之一.相較于LLENet和PCANet識(shí)別率提升大約1%.在運(yùn)行時(shí)間方面,與LLENet和PCANet基本相當(dāng);可以看出,本文提出的深度PCA子空間極限學(xué)習(xí)機(jī)算法在識(shí)別率與卷積神經(jīng)網(wǎng)絡(luò)相差無幾,可以快速收斂到全局最優(yōu)值,而且具有簡潔的模型結(jié)構(gòu)和少量參數(shù),在識(shí)別速度方面有顯著提升.

表2 不同神經(jīng)網(wǎng)絡(luò)在MNIST和CIFAR-10訓(xùn)練集上的時(shí)間消耗和識(shí)別率
Table 2 Time consumption and recognition rate of different neural networks on MNIST training set and CIFAR-10 training set

數(shù)據(jù)庫 MNISTCIFAR-10識(shí)別率時(shí)間消耗識(shí)別率時(shí)間消耗CNN 99.15% 63min 81.93% 306minPCANet 98.30% 20min 78.81% 90minLLENet 98.35% 21min 79.90% 102min本文算法 99.10% 37min 80.00% 143min

4.4 深度化算法檢索-常見圖像檢索算法對比實(shí)驗(yàn)

為了驗(yàn)證本文提出的圖像檢索算法的有效性和可行性,和經(jīng)典算法以及一些當(dāng)今前沿算法進(jìn)行對比實(shí)驗(yàn)和分析,將類標(biāo)簽作為正確的標(biāo)準(zhǔn),通過對比查詢圖像和返回圖像是否有相同類標(biāo)簽來計(jì)算所有指標(biāo).比較算法包括:傳統(tǒng)的哈希算法LSH、深度哈希DSH、主成分分析哈希算法(PCAH)等.

圖像檢索性能指標(biāo)采用查全率(recall),查準(zhǔn)率(precision)和平均精度均值(Mean Average Precision,MAP).

在 CIFAR-10 和CALTECH256數(shù)據(jù)庫上測試本文算法的圖像檢索性能.本實(shí)驗(yàn)在哈希編碼長度分別為 8、16、32、64、128 情況下測試算法的平均精度均值.

實(shí)驗(yàn)結(jié)果如圖7-圖10所示,隨著編碼長度增加,各算法MAP值都逐漸上升,當(dāng)編碼長度達(dá)到一定值后,MAP值逐漸變得平穩(wěn).編碼長度相同時(shí),使用深度PCA子空間極限學(xué)習(xí)機(jī)后的檢索性能有很大提升,表明本文提出的網(wǎng)絡(luò)算法對提升圖像檢索性能是有效的.這主要是因?yàn)楸舅惴梢詫W(xué)習(xí)到更多豐富的細(xì)節(jié)特征,提高圖像的識(shí)別能力,直接影響了圖像的最終檢索性能.

0.80.70.60.50.40.30.20.1mAP8163264128編碼長度LSHOURPCAHDSHPCA-RRcifar100.550.500.450.400.350.300.250.200.150.100.0500.20.40.60.81.0查全率查準(zhǔn)率cifar10LSHOURPCAHDSHPCA-RR圖7 在不同編碼長度下圖8 各算法查準(zhǔn)率-各算法的平均準(zhǔn)確率查全率結(jié)果Fig.7 Average accuracy ofFig.8 Precision rate-recall different algorithms under results of differentdifferent coding lengths algorithms

0.70.60.50.40.30.20.108163264128編碼長度mAPCALTECH256LSHOURPCAHDSHPCA-RR0.500.450.400.350.300.250.200.150.100.0500.20.40.60.81.0查全率查準(zhǔn)率CALTECH256LSHOURPCAHDSHPCA-RR圖9 在不同編碼長度下圖10 各算法查準(zhǔn)率-各算法的平均準(zhǔn)確率查全率結(jié)果Fig.9 Average accuracy of Fig.10 Precision rate-recall different algorithms under results of differentdifferent coding lengths algorithms

5 結(jié) 語

受深度學(xué)習(xí)理論啟發(fā),深度結(jié)構(gòu)模型本質(zhì)上就是將信號(hào)在多層次模型中進(jìn)行逐層映射,極大地有助于分類和檢索.本文將深度PCA子空間算法和深度極限學(xué)習(xí)機(jī)應(yīng)用于圖像檢索中,在MNIST、CIFAR-10、CALTECH256等圖像庫上的實(shí)驗(yàn)結(jié)果表明本文提出算法在圖像檢索各項(xiàng)指標(biāo)中表現(xiàn)了較好的性能,這得益于以下3點(diǎn):

1)采用深度PCA子空間的特征作為深度極限學(xué)習(xí)機(jī)的輸入,保留圖像的全局特征并保持圖像不變性.PCANet 使用二層卷積網(wǎng)絡(luò),可以將訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的濾波器組與圖像卷積,彌補(bǔ)了認(rèn)為設(shè)置特征的缺點(diǎn),大大提高了圖像分類的性能.

2)多隱層神經(jīng)網(wǎng)絡(luò)具有更優(yōu)異的特征學(xué)習(xí),深度極限學(xué)習(xí)機(jī)不但繼承了原始極限學(xué)習(xí)機(jī)快速學(xué)習(xí)特性,而且通過多層堆疊無監(jiān)督提取層次特征,充分的壓縮完成從高維數(shù)據(jù)到低維數(shù)據(jù)的映射,得到原始輸入數(shù)據(jù)的多層稀疏表示,具有更好的泛化能力,并保留了圖像特征的相似性,提高了圖像檢索模型效率.

3)將哈希方法與神經(jīng)網(wǎng)絡(luò)相結(jié)合,通過二進(jìn)制哈希編碼實(shí)現(xiàn)高維圖像數(shù)據(jù)向低維二進(jìn)制空間的映射和重新表示,提高了檢索性能.