• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于矩陣2-范數(shù)池化的卷積神經(jīng)網(wǎng)絡圖像識別算法

    2016-12-02 01:33:32趙繼生
    圖學學報 2016年5期
    關(guān)鍵詞:池化范數(shù)殘差

    余 萍, 趙繼生

    (華北電力大學電子與通信工程系,河北 保定 071003)

    基于矩陣2-范數(shù)池化的卷積神經(jīng)網(wǎng)絡圖像識別算法

    余 萍, 趙繼生

    (華北電力大學電子與通信工程系,河北 保定 071003)

    卷積神經(jīng)網(wǎng)絡中的池化操作可以實現(xiàn)圖像變換的縮放不變性,并且對噪聲和雜波有很好的魯棒性。針對圖像識別中池化操作提取局部特征時忽略了隱藏在圖像中的能量信息的問題,根據(jù)圖像的能量與矩陣的奇異值之間的關(guān)系,并且考慮到圖像信息的主要能量集中于奇異值中數(shù)值較大的幾個,提出一種矩陣2-范數(shù)池化方法。首先將前一卷積層特征圖劃分為若干個互不重疊的子塊圖像,然后分別計算子塊圖像矩陣的奇異值,將最大奇異值作為每個池化區(qū)域的統(tǒng)計結(jié)果。利用5種不同的池化方法在Cohn-Kanade、Caltech-101、MNIST和CIFAR-10數(shù)據(jù)集上進行了大量實驗,實驗結(jié)果表明,相比較于其他方法,該方法具有更好地識別效果和穩(wěn)健性。

    深度學習;卷積神經(jīng)網(wǎng)絡;矩陣2-范數(shù);池化;奇異值

    近年來興起的卷積神經(jīng)網(wǎng)絡技術(shù)已經(jīng)成為計算機科學領(lǐng)域的研究熱點,其通過多個階段的變換,深度挖掘隱含信息的本質(zhì)特征,由于可以直接將原始圖像作為網(wǎng)絡的輸入,避免了復雜特征

    提取和數(shù)據(jù)重建,因此被廣泛應用在文本、語音、圖像識別等領(lǐng)域[1-5]。池化是卷積神經(jīng)網(wǎng)絡架構(gòu)中的重要組成部分,其核心思想源于 Hubel和Wiesel[6]有關(guān)哺乳動物視覺皮層模型結(jié)構(gòu)的開創(chuàng)性研究工作以及Koenderink和Van Doorn[7]提出的圖像局部相關(guān)性原理,是將某些固定區(qū)域的聯(lián)合分布統(tǒng)計結(jié)果作為特征檢測器的響應,用于實現(xiàn)圖像變換的縮放不變性,以使得網(wǎng)絡對噪聲和雜波有很好的魯棒性。通過池化操作,可以減少數(shù)據(jù)處理量并保留有用信息[8-9]。池化操作在卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)中非常重要,可對網(wǎng)絡性能產(chǎn)生很大的影響,因此研究行之有效的池化方法是必要的。

    1982年,F(xiàn)ukushima和Miyake[10]在神經(jīng)認知機中采取特征池化的方法用于圖像識別,為其后計算機視覺識別模型中運用池化操作奠定了基礎(chǔ);Lecun等[11-12]使用均值池化的方法成功訓練出第一個基于誤差梯度的卷積神經(jīng)網(wǎng)絡;Ranzato等[13]、Jarrett等[14]使用最大池化方法在 Caltech-101、MNIST和NORB數(shù)據(jù)集上取得了當時最好的測試效果;Sermanet等[15]使用向量范數(shù)池化方法將SVHN數(shù)據(jù)集的正確識別率提升到94.85%;Zeiler 和 Fergus[16]將一種簡單而有效的隨機池化方法用于防止卷積神經(jīng)網(wǎng)絡訓練過程中產(chǎn)生的過擬合,并且取得了很好的效果。

    均值池化方法考慮了池化區(qū)域里的所有元素,當使用 f(x) = max(0,x)線性修正函數(shù)(rectified linear units, ReLUs)對神經(jīng)元進行激勵時,在均值計算過程中有很多零元素會削弱較大激活值的貢獻,不能很好地反映池化區(qū)域的特征,同時將會對權(quán)值的調(diào)整產(chǎn)生很大影響;尤其是使用雙曲正切函數(shù)(tanh)時,由于tanh函數(shù)關(guān)于零點反對稱,正負激活部分可能會相互抵消,導致很微弱的池化反應。最大池化很好地解決了上述問題,但是由于其只選取了每個池化區(qū)域的最大值,使得較小的激活值無法向下一層傳遞信息,在實際應用中容易產(chǎn)生過擬合,網(wǎng)絡的泛化能力較差,很難將其推廣到測試集上。隨機池化方法因為是根據(jù)多項式分布按照概率隨機選取激活值,在采樣層測試階段采取概率加權(quán)池化的方法下,使用tanh函數(shù)作為激勵時,由于負數(shù)的存在,使得測試階段計算出來的加權(quán)激活值與訓練階段隨機選取的激活值差別很大,測試分類效果很差[16]。向量范數(shù)池化方法在進行特征提取時,需要選取多種形式的向量范數(shù)池化方法進行比較才能選擇出表現(xiàn)良好性能的策略,降低了算法性能,使其并沒有得到大規(guī)模運用。本文提出一種基于矩陣 2-范數(shù)的池化方法,將矩陣的最大奇異值作為池化區(qū)域統(tǒng)計結(jié)果,在常用的Cohn-Kanade、Caltech-101、MNIST和CIFAR-10數(shù)據(jù)集上的測試結(jié)果表明,該池化方法相比較于其他方法具有更好的識別效果。

    1 卷積神經(jīng)網(wǎng)絡

    卷積神經(jīng)網(wǎng)絡是一個多層的非全連接的神經(jīng)網(wǎng)絡,融合局部感受野、權(quán)值共享和子采樣這 3種結(jié)構(gòu)特性使其自適應實現(xiàn)圖像的旋轉(zhuǎn)、平移和縮放等形式變換[12,17]。局部感受野是指每一層網(wǎng)絡的神經(jīng)元只與上一層某個固定大小的相鄰矩形區(qū)域內(nèi)的神經(jīng)元相連接,通過局部感受野,神經(jīng)元可以提取到方向線段、端點和角點等初級視覺特征。權(quán)值共享極大地減少了網(wǎng)絡模型需要訓練的參數(shù)個數(shù),降低了模型復雜度。子采樣降低了特征圖的空間分辨率,提高了模型抗噪能力。圖 1為本文所用到的一個 Cohn-Kanade實驗的卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu),包括輸入層、卷積層(由C標識)、采樣層(由S標識)、全連接層(由F標識)和輸出層。

    圖1 Cohn-Kanade實驗的卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

    1.1 卷積層

    卷積層負責從輸入圖像的不同局部區(qū)域提取特征,可通過若干個可以學習的 × K K大小的卷積核與前一層的局部感受野進行卷積運算,并經(jīng)過激活函數(shù)的非線性作用得以實現(xiàn)。每個卷積層由多個特征圖組成,而每個特征圖又可與前一層的多個特征圖建立關(guān)系。卷積層的輸入與輸出形式分別為

    其中,Rj表示輸入特征圖的一個選擇;是第(l- 1)層的第i個特征圖的激活值;是第l層的第j個特征圖與第( l-1)層的第i個特征圖相連的卷積核;是第l層的第j個特征圖的偏置;f(·)表示神經(jīng)元的激活函數(shù),常采用的有飽和非線性函數(shù)(例如:sigmoid,表達式為 f(x) = (1 + e-x)-1;tanh等函數(shù))和不飽和非線性函數(shù)(例如:softplus,表達式為 f(x) = ln(1+ex);ReLUs等函數(shù))。

    1.2 采樣層

    采樣層是將卷積層的特征圖進行抽樣以提取用于分類的重要特征,即把輸入的特征圖劃分為多個不重疊的子塊,然后對每個子塊進行池化操作。采樣層只是做簡單的縮放映射,采樣層的特征圖與前一層的特征圖是一一對應的關(guān)系,假設前一個卷積層的特征圖大小為N×N,第j個特征圖矩陣記為,其中表示卷積層第j個特征圖矩陣元素,s和t為對應的序號。采樣窗口大小為n×n,采樣層的輸出為,其中。采樣層主要有均值池化、最大池化、向量范數(shù)池化和隨機池化4種構(gòu)建方式,其計算公式如下:

    (1) 均值池化的每個池化區(qū)域矩陣元素輸出形式為

    (2) 最大池化的每個池化區(qū)域矩陣元素輸出形式為

    (3) 向量范數(shù)池化的每個池化區(qū)域矩陣元素輸出形式為

    其中,P的取值不同代表了不同形式的向量范數(shù)。

    (4) 隨機池化的每個池化區(qū)域矩陣元素輸出形式為

    其中,“??”為向上取整符號。

    卷積神經(jīng)網(wǎng)絡通過卷積層和采樣層的交替作用來學習原始圖像的隱含特征,一般再經(jīng)過若干個普通神經(jīng)網(wǎng)絡里的全連接層,其輸入和輸出形式為

    按照梯度下降的原則,基于反向傳播算法(back propagation, BP)來調(diào)整相應的權(quán)重和偏置值。其中,全連接層權(quán)重值的更新公式為[18]

    其中, x (t )表示該神經(jīng)元的輸出; δ (t)表示該神經(jīng)元的殘差項;η表示學習率。

    2 基于矩陣2-范數(shù)的池化方法

    (3) 三角不等式:對于 ?B∈Rn×n,有;

    (4) 相 容 性 : 對 于 ?B∈Rn×n, 有

    根據(jù)以上矩陣范數(shù)的定義,介紹 2種常見的矩陣范數(shù):

    ① Frobenius范數(shù)(F-范數(shù),是向量 2-范數(shù)的推廣)

    ② 譜范數(shù)(矩陣2-范數(shù))

    其中, AT為A的轉(zhuǎn)置矩陣, λmax(ATA)為ATA的最大特征值。

    對方陣A進行奇異值分解有 A =UDVT,其中U和V都是正交矩陣, D=diag(d1,d2,···,dr)為對角矩陣,并且滿足d1≥ d2≥··· ≥ dr>0是矩陣A 的r個奇異值,r為矩陣A的秩。矩陣A的 F-范數(shù)和2-范數(shù)又可以表示為

    由式(14)、(15)可知,圖像的能量信息可以用矩陣的奇異值來表征,當圖像發(fā)生旋轉(zhuǎn)、平移、縮放等幾何失真時,根據(jù)奇異值分解理論,圖像矩陣的奇異值只發(fā)生很微小的變化,即圖像的能量信息具有較高的穩(wěn)定性[19-21]。因此,可將圖像的能量作為向下一層網(wǎng)絡傳遞的信息,以使得圖像的幾何失真具有高度不變性。考慮到圖像信息的主要能量集中于奇異值中數(shù)值較大的幾個,本文提出一種基于矩陣2-范數(shù)的池化方法,將矩陣的最大奇異值作為池化區(qū)域統(tǒng)計結(jié)果。相比較于F-范數(shù)方法,不僅計算簡單,且具有更好的穩(wěn)健性。

    以圖 2所示的一個池化過程為例,描述本文提出的矩陣2-范數(shù)的池化方法:

    步驟 1. 將N×N大小的卷積層特征圖劃分為若干個互不重疊的子塊矩陣,每個子塊矩陣的大小為n×n(圖2的卷積層特征圖中數(shù)字區(qū)域為其中一個子塊矩陣);

    涉及到反向傳播過程中,由式(11)可知,主要是計算殘差項 δ( t)。

    (1) 當l層是卷積神經(jīng)網(wǎng)絡中的輸出層時,第i個神經(jīng)元節(jié)點的殘差為

    其中,Yi表示理想狀態(tài)下的第i維標簽,為非線性映射函數(shù)的導數(shù),由于輸出層用于分類使用的是sigmoid函數(shù),因此,式(17)可以記為

    (2) 當l層是全連接層時,第i個神經(jīng)元節(jié)點的殘差為

    (3) 雖然采樣層沒有訓練的參數(shù),不需要進行參數(shù)更新,但是后面與之連接的卷積層和全連接層在計算殘差項時需要對其進行相應的操作。因此,仍然需要計算采樣層的殘差。

    ①當采樣層的下一層是卷積層時,第i個特征圖的殘差為

    ②當采樣層的下一層是全連接層時,需要將最后一個采樣層的二維特征圖拉伸為特征列向量,這里計算的是特征向量中第 i個神經(jīng)元節(jié)點的殘差

    (4) 當l層是卷積層時,需要將圖2采樣層中的一個元素對應的殘差項進行上采樣,本文的策略類似于均值采樣,將一個元素對應的殘差上采樣成具有相同元素的n×n大小的矩陣,第i個特征圖的殘差為

    其中, up(·)為一個上采樣函數(shù),就是計算下一個采樣層的殘差與一個n×n大小的全 1矩陣的克羅內(nèi)克積。

    圖2 矩陣2-范數(shù)的池化過程舉例

    3 實驗及結(jié)果分析

    為了驗證矩陣 2-范數(shù)池化方法的有效性,并且考慮到矩陣 2-范數(shù)的定義條件,本文探討在不同池化方法下,卷積層采取目前廣泛使用的ReLUs函數(shù),而全連接層使用sigmoid函數(shù)作為激活函數(shù)的圖像識別效果。實驗在 Matlab2013a環(huán)境下完成,采用的操作系統(tǒng)為Windows 8.1,CPU為Intel i5-4210m,主頻為2.6 GHz,內(nèi)存為8 G。實驗中的訓練次數(shù)最大設置為50次。

    3.1 Cohn-Kanade數(shù)據(jù)集實驗結(jié)果

    Cohn-Kanade(CK)數(shù)據(jù)集是美國卡內(nèi)基梅隆大學機器人研究所和心理學系共同建立的人臉表情庫,本文首先將 CK數(shù)據(jù)庫中的圖片裁剪成64×64大小的表情圖片,分為憤怒、厭惡、高興、恐懼、驚訝和悲傷等6種不同的表情,包含1 839張圖像,圖3為Cohn-Kanade實驗中用到的部分圖像。實驗中,每種表情都是隨機選取大約 90%的圖片作為訓練樣本,其余的作為測試樣本。

    圖3 Cohn-Kanade實驗中用到的部分圖像

    在圖1所示的Cohn-Kanade實驗的卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)中,第一個卷積層C1通過5×5大小的卷積核獲得 4個 60×60大小的特征圖,共有4×(5×5+1)=104個需要訓練的未知參數(shù);接下來的采樣層S1對C1中所有互不重疊的2×2大小的子塊進行池化操作,得到4個30×30大小的特征圖,不含有未知參數(shù);余下的C2和S2層與此相類似;F3是一個與 S2全連接的網(wǎng)絡層,神經(jīng)元個數(shù)為100,總共有100×8×(13×13)+100=135300個連接;輸出層包含6個節(jié)點,使用全連接層的100維向量進行分類。圖4顯示了一張輸入圖像在矩陣2-范數(shù)池化網(wǎng)絡模型的卷積層和采樣層中的特征圖,各特征的數(shù)值分布于0到1之間,黑色為0,白色為 1。在采樣層使用不同池化方法下,Cohn-Kanade數(shù)據(jù)集的分類正確率如表1所示。從表1可看出,對于憤怒表情,最大和向量2-范數(shù)池化均能正確識別,而矩陣2-范數(shù)池化有1張錯誤識別;對于厭惡和高興表情,只有均值和隨機池化方法有 1張錯誤識別,其他池化方法均能正確識別;對于恐懼表情,5種池化方法都能正確識別;對于驚訝和悲傷表情,只有矩陣 2-范數(shù)池化方法識別效率好。矩陣2-范數(shù)池化方法在CK數(shù)據(jù)集上的正確識別率為97.77%。

    圖4 矩陣2-范數(shù)池化網(wǎng)絡模型的卷積層和采樣層中的特征圖

    表1 Cohn-Kanade數(shù)據(jù)集在不同池化方法下的分類正確率

    3.2 Caltech-101數(shù)據(jù)集實驗結(jié)果

    Caltech-101數(shù)據(jù)集包含101類物體和一類背景圖像,總共有9 144張大約300×300分辨率的圖像,每類的圖片數(shù)目從31到800張不等。考慮到特征維數(shù)較高會帶來內(nèi)存溢出問題,本文選取類別圖像中數(shù)目大于 400張的作為實驗對象,包括background、faces、faces_easy、motorbikes和airplanes 5類共計2 935張圖像,每類隨機選取M張圖像做訓練,訓練樣本共 5×M 張,其余的2935–5×M張為測試樣本。為了滿足輸入圖片的要求,使用雙線性插值算法將其歸一化為 140×140的灰度圖像,圖5為Caltech-101實驗中用到的部分圖像。

    圖5 Caltech-101實驗中用到的部分圖像

    本研究設計的Caltech-101實驗的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖6所示的2個卷積層、2個采樣層和1個全連接層,第一個卷積層的特征圖個數(shù)為9,卷積核的大小為16×16;第二個卷積層的特征圖個數(shù)為 18,卷積核的大小為 6×6;采樣窗口大小都為5×5;全連接層的神經(jīng)元個數(shù)為200。

    圖6 Caltech-101實驗的卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

    采樣層使用不同池化方法,在訓練樣本不同時分類正確率如表2所示。從表2可以看出,本文提出的矩陣 2-范數(shù)池化方法比其他池化方法具有較高的識別率,而且訓練樣本的個數(shù)直接影響到識別率。當每類訓練樣本個數(shù)為 300時,本文提出的池化方法在測試樣本集上的識別率為93.24%。

    表2 Caltech-101數(shù)據(jù)集中訓練樣本不同時,不同池化方法下的網(wǎng)絡分類正確率(%)

    3.3 MNIST數(shù)據(jù)集實驗結(jié)果

    MNIST手寫字體(0~9數(shù)字)數(shù)據(jù)集共計60 000張訓練圖片和10 000張測試圖片,每張圖片均為28×28的灰度圖像,實驗中只需要將其歸一化為[0,1]。采用經(jīng)典的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)包括2個卷積層、2個采樣層和1個全連接層,卷積核的大小為5×5,采樣窗口大小都為2×2;第一個卷積層的特征圖個數(shù)為 6,第二個卷積層的特征圖個數(shù)為12,全連接層的神經(jīng)元個數(shù)為200。在采樣層采取不同池化方法下,網(wǎng)絡分類正確率隨著訓練次數(shù)變化曲線如圖7所示。

    圖7 MNIST數(shù)據(jù)集中不同池化方法的網(wǎng)絡分類正確率隨著訓練次數(shù)變化曲線

    MNIST數(shù)據(jù)集中的數(shù)字特征比較簡單,從圖7可以看出,5種池化方法都取得了不錯的識別效果,在訓練35次之后,使用矩陣2-范數(shù)池化方法的網(wǎng)絡分類正確率要高于其他方法。表 3的結(jié)果為 5種池化方法的最好識別結(jié)果,本文提出的方法在經(jīng)典卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)下的正確率最高為99.10%。

    表3 MNIST數(shù)據(jù)集在不同池化方法下的網(wǎng)絡分類正確率(%)

    3.4 CIFAR-10數(shù)據(jù)集實驗結(jié)果

    CIFAR-10數(shù)據(jù)集包含10類50 000張訓練圖片和10 000張測試圖片,每張圖片均為32×32的彩色自然圖像,實驗中先將圖像轉(zhuǎn)換成灰度,再進行均值和方差歸一化,最后進行ZCA白化操作。采用的網(wǎng)絡結(jié)構(gòu)設置為:8C1-4S1-16C2-4S2-240F3,卷積核大小為5×5。網(wǎng)絡結(jié)構(gòu)設置中的 C表示卷積層,前面對應的數(shù)字表示相應層的特征映射圖個數(shù);S表示采樣層,前面對應的數(shù)字表示采樣窗口的大小;F表示全連接層,對應的數(shù)字表示神經(jīng)元的個數(shù)。在采樣層使用不同池化方法下,CIFAR-10數(shù)據(jù)集的分類錯誤率如表4所示。從CIFAR-10數(shù)據(jù)集實驗結(jié)果可以看出,使用矩陣2-范數(shù)池化方法提高了識別準確率。

    表4 CIFAR-10數(shù)據(jù)集在不同池化方法下的網(wǎng)絡分類錯誤率(%)

    以上的實驗結(jié)果說明,MNIST樣本空間變化比較小,5種池化方法的識別率相差不大,但是使用矩陣 2-范數(shù)池化方法的識別率還是最高的,而在Cohn-Kanade、Caltech-101和CIFAR-10數(shù)據(jù)集上,識別率提升效果比較明顯,體現(xiàn)了本文方法在復雜特征樣本上具有較大的優(yōu)勢。進一步說明,采樣層使用矩陣 2-范數(shù)池化方法在降低特征圖分辨率的同時,保留了主要能量信息。

    4 結(jié)束語

    本文根據(jù)矩陣的奇異值分解對于圖像的幾何失真具有高度不變性的原理,考慮到圖像信息的主要能量集中于奇異值中較大的幾個,提出一種基于矩陣 2-范數(shù)的卷積神經(jīng)網(wǎng)絡池化方法,首先將卷積層特征圖劃分為若干個互不重疊的子塊圖像,然后分別計算子塊圖像矩陣的奇異值,將矩陣的最大奇異值作為池化區(qū)域統(tǒng)計結(jié)果。該方法將圖像的能量信息作為下一層網(wǎng)絡傳播的特征,同時也不至于使得信息特征過于復雜化。在Cohn-Kanade、Caltech-101、MNIST和CIFAR-10公開數(shù)據(jù)集上的對比測試表明:本文方法具有更高的識別率和很好的穩(wěn)健性,可以反映隱含在圖像中的能量信息特征。

    [1] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [J]. Advance in Neural Information Processing Systems, 2012, 25(2): 1097-1105.

    [2] Ji S W, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 221-231.

    [3] Dahl G E, Sainath T N, Hinton G E. Improving deep neural networks for LVCSR using rectified linear units and dropout [C]//Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE Press, 2013: 8609-8613.

    [4] Jin J Q, Fu K, Zhang C S. Traffic sign recognition with hinge loss trained convolutional neural networks [J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 1991-2000.

    [5] Kim I J, Xie X H. Handwritten Hangul recognition using deep convolutional neural networks [J]. International Journal on Document Analysis and Recognition, 2014, 18(1): 1-13.

    [6] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex [J]. The Journal of Physiology, 1962, 160(1): 106-154.

    [7] Koenderink J, Van Doorn A. The structure of locally orderless images [J]. International Journal of Computer Vision, 1999, 31(2/3): 159-168.

    [8] Boureau Y L, Ponce J, Lecun Y. A theoretical analysis of feature pooling in visual recognition [C]//Proceeding of the 27th International Conference on Machine Learning. Haifa, Israel: ICML, 2010: 111-118.

    [9] Scherer D, Müller A, Behnke S. Evaluation of pooling operations in convolutional architectures for object recognition [C]//20th International Conference on Artificial Neural Networks. Berlin: Springer, 2010: 92-101.

    [10] Fukushima K, Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position [J]. Pattern Recognition, 1982, 15(6): 455-469.

    [11] Lecun Y, Boser B, Denker J S, et al. Handwritten digit recognition with a back-propagation network [C]// Advances in Neural Information Processing Systems. San Francisco, CA: Morgan Kaufmann Publishers, 1990: 396-404.

    [12] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition [J]. Proceeding of the IEEE, 1998, 86(11): 2278-2324.

    [13] Ranzato M, Boureau Y L, Lecun Y. Sparse feature learning for deep belief networks [C]//Neural Information Processing Systerms. Cambridge: MIT Press, 2007: 1185-1192.

    [14] Jarrett K, Kavukcuoglu K, Ranzato M, et al. What is the best multi-stage architecture for object recognition [C]// 2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 2146-2153.

    [15] Sermanet P, Chintala S, Lecun Y. Convolutional neural networks applied to house numbers digit classification [C]// 21st International Conference on Pattern Recognition. New York: IEEE Press, 2012: 11-15.

    [16] Zeiler M D, Fergus R. Stochastic pooling for regularization of deep convolutional neural networks [C]// International Conference on Learning Representations. Arizona, USA: ICLR, 2013: 1-9.

    [17] Lecun Y, Kavukcuiglu K, Farabet C. Convolution networks and applications in vision [C]//Proceedings of 2010 IEEE International Symposium on Circuits and Systems. New York: IEEE Press, 2010: 253-256.

    [18] Hinton G E. How neural networks learn from experience [J]. Scientific American, 1992, 267(3): 145-151.

    [19] Wall M E, Rechtsteiner A, Rocha L M. Singular value decomposition and principle component analysis [J]. A Practical Approach to Microarray Data Analysis, 2002, 5: 91-109.

    [20] 周 波, 陳 健. 基于奇異值分解的、抗幾何失真的數(shù)字水印算法[J]. 中國圖象圖形學報, 2004, 9(4): 506-512.

    [21] 朱曉臨, 李雪艷, 邢燕, 等. 基于小波和奇異值分解的圖像邊緣檢測[J]. 圖學學報, 2014, 35(4): 563-570.

    Image Recognition Algorithm of Convolutional Neural Networks Based on Matrix 2-Norm Pooling

    Yu Ping, Zhao Jisheng

    (Department of Electronics and Communication Engineering, North China Electric Power University, Baoding Hebei 071003, China)

    The pooling operation in convolutional neural networks can achieve the scale invariance of image transformations, and has better robustness to noise and clutter. In view of the problem that pooling operation ignores the energy information hidden in the image when it extracts local features for image recognition, according to the relationship between energy of the image and singular value of the matrix, and taking into account the image information of the energy mainly concentrates on the larger singular value, a pooling method based on matrix 2-norm was proposed. The former feature map of convolutional layer is divided into several non-overlapping sub blocks, and then singular value of the matrix is calculated. The maximum value is used as the statistical results of each pooling region. Various numerical experiments has been carried out based on Cohn-Kanade, Caltech-101, MNIST and CIFAR-10 database using different kinds of pooling method. Experimental results show that the proposed method is superior in both recognition rate and robustness compared with other methods.

    deep learning; convolutional neural networks; matrix 2-norm; pooling; singular value

    TP 391

    10.11996/JG.j.2095-302X.2016050694

    A

    2095-302X(2016)05-0694-08

    2015-07-20;定稿日期:2016-04-25

    余 萍(1963–),女,浙江富陽人,副教授,學士。主要研究方向為圖像處理、模式識別。E-mail:well_yp@yeah.net

    猜你喜歡
    池化范數(shù)殘差
    基于緊湊型雙線性網(wǎng)絡的野生茵識別方法研究
    無線電工程(2024年8期)2024-09-16 00:00:00
    基于Sobel算子的池化算法設計
    基于雙向GRU與殘差擬合的車輛跟馳建模
    卷積神經(jīng)網(wǎng)絡中的自適應加權(quán)池化
    軟件導刊(2022年3期)2022-03-25 04:45:04
    基于殘差學習的自適應無人機目標跟蹤算法
    基于遞歸殘差網(wǎng)絡的圖像超分辨率重建
    自動化學報(2019年6期)2019-07-23 01:18:32
    基于卷積神經(jīng)網(wǎng)絡和池化算法的表情識別研究
    基于加權(quán)核范數(shù)與范數(shù)的魯棒主成分分析
    矩陣酉不變范數(shù)H?lder不等式及其應用
    平穩(wěn)自相關(guān)過程的殘差累積和控制圖
    河南科技(2015年8期)2015-03-11 16:23:52
    久久久精品免费免费高清| 观看av在线不卡| 多毛熟女@视频| 婷婷成人精品国产| 日韩电影二区| 大香蕉久久网| 91精品伊人久久大香线蕉| 爱豆传媒免费全集在线观看| 亚洲内射少妇av| 国产精品女同一区二区软件| 亚洲五月色婷婷综合| 夜夜爽夜夜爽视频| 午夜福利网站1000一区二区三区| 日日撸夜夜添| 亚洲综合精品二区| 成年av动漫网址| 亚洲精品美女久久久久99蜜臀 | 99久久中文字幕三级久久日本| av国产精品久久久久影院| 久久人人爽人人片av| 青春草视频在线免费观看| 九九在线视频观看精品| 桃花免费在线播放| 高清欧美精品videossex| 欧美成人午夜免费资源| 欧美日韩综合久久久久久| 99香蕉大伊视频| 国产综合精华液| 亚洲五月色婷婷综合| 午夜福利乱码中文字幕| 日本-黄色视频高清免费观看| 观看av在线不卡| 人人妻人人添人人爽欧美一区卜| 性色av一级| 国产成人午夜福利电影在线观看| 交换朋友夫妻互换小说| 97在线视频观看| 亚洲国产色片| 国产成人精品一,二区| 人体艺术视频欧美日本| 草草在线视频免费看| av在线播放精品| 另类精品久久| 九草在线视频观看| 国产一区二区在线观看av| 日日摸夜夜添夜夜爱| 欧美亚洲日本最大视频资源| www.av在线官网国产| 成人黄色视频免费在线看| 免费大片18禁| 国产精品一二三区在线看| 男人舔女人的私密视频| 欧美亚洲 丝袜 人妻 在线| 国产永久视频网站| 亚洲av国产av综合av卡| 国产 一区精品| 亚洲综合色惰| 日韩中文字幕视频在线看片| 国产av码专区亚洲av| 亚洲欧美成人精品一区二区| 久久久久久久亚洲中文字幕| 国产精品熟女久久久久浪| 亚洲欧洲日产国产| 又大又黄又爽视频免费| 日本与韩国留学比较| 亚洲av电影在线进入| 91成人精品电影| 亚洲综合精品二区| 亚洲欧洲精品一区二区精品久久久 | 性高湖久久久久久久久免费观看| 九九爱精品视频在线观看| 国产av精品麻豆| 亚洲情色 制服丝袜| 97在线视频观看| 观看美女的网站| 2021少妇久久久久久久久久久| 亚洲精品成人av观看孕妇| 久久久久久久大尺度免费视频| 99久久人妻综合| 国产精品不卡视频一区二区| 国产av精品麻豆| 亚洲av日韩在线播放| freevideosex欧美| 99香蕉大伊视频| 久久午夜综合久久蜜桃| 午夜免费鲁丝| 夜夜骑夜夜射夜夜干| 蜜桃国产av成人99| 亚洲精品成人av观看孕妇| 亚洲国产色片| 国产成人欧美| 欧美成人午夜精品| www日本在线高清视频| 99久久综合免费| 欧美精品av麻豆av| 制服人妻中文乱码| 毛片一级片免费看久久久久| 日本欧美国产在线视频| 中文字幕精品免费在线观看视频 | 国产精品不卡视频一区二区| 日韩熟女老妇一区二区性免费视频| 日本免费在线观看一区| 欧美日韩精品成人综合77777| 久久99精品国语久久久| 超色免费av| 欧美成人精品欧美一级黄| 亚洲av免费高清在线观看| 国产白丝娇喘喷水9色精品| 国产探花极品一区二区| 久久久久国产网址| 边亲边吃奶的免费视频| 婷婷色综合大香蕉| 七月丁香在线播放| 国产精品女同一区二区软件| 国产 精品1| 久久精品国产a三级三级三级| 精品人妻在线不人妻| 国产免费现黄频在线看| 一区二区三区精品91| 色吧在线观看| 观看美女的网站| 国产乱来视频区| 韩国精品一区二区三区 | 欧美日韩视频精品一区| 欧美精品国产亚洲| 嫩草影院入口| 国产一级毛片在线| 国产成人精品一,二区| 国产免费一级a男人的天堂| 午夜久久久在线观看| 侵犯人妻中文字幕一二三四区| 80岁老熟妇乱子伦牲交| 国产熟女欧美一区二区| 18禁国产床啪视频网站| 亚洲欧美日韩卡通动漫| videossex国产| 高清av免费在线| 亚洲av成人精品一二三区| √禁漫天堂资源中文www| 卡戴珊不雅视频在线播放| 亚洲av免费高清在线观看| 国产精品久久久久久精品古装| 亚洲第一av免费看| 少妇高潮的动态图| 亚洲精品视频女| 日韩大片免费观看网站| 久久综合国产亚洲精品| 亚洲国产色片| 新久久久久国产一级毛片| www.av在线官网国产| 最新的欧美精品一区二区| 国产精品国产三级国产av玫瑰| 日本爱情动作片www.在线观看| 999精品在线视频| 国产成人精品福利久久| 国产精品免费大片| 飞空精品影院首页| 亚洲av电影在线进入| 两性夫妻黄色片 | 国产精品一二三区在线看| a级毛片黄视频| 免费黄网站久久成人精品| 久久精品夜色国产| 在线免费观看不下载黄p国产| 内地一区二区视频在线| 亚洲欧美成人精品一区二区| 高清黄色对白视频在线免费看| 国产国语露脸激情在线看| 久久人人爽av亚洲精品天堂| 国产精品熟女久久久久浪| 老熟女久久久| 久久久久久久久久成人| 母亲3免费完整高清在线观看 | 亚洲av日韩在线播放| 国产麻豆69| av天堂久久9| 欧美日韩av久久| 在线观看人妻少妇| 乱人伦中国视频| 欧美人与性动交α欧美软件 | 久久久久视频综合| 两个人看的免费小视频| 五月天丁香电影| videos熟女内射| 亚洲国产日韩一区二区| av播播在线观看一区| 国产精品国产三级国产av玫瑰| 国产精品99久久99久久久不卡 | 国产淫语在线视频| 观看av在线不卡| 亚洲精品国产av成人精品| 成年动漫av网址| 两性夫妻黄色片 | 黄色配什么色好看| 多毛熟女@视频| 晚上一个人看的免费电影| 国产av精品麻豆| av一本久久久久| 女的被弄到高潮叫床怎么办| 男女边摸边吃奶| 日日摸夜夜添夜夜爱| 91成人精品电影| 精品人妻熟女毛片av久久网站| 热99久久久久精品小说推荐| 爱豆传媒免费全集在线观看| 欧美另类一区| 亚洲熟女精品中文字幕| 亚洲欧洲国产日韩| 中文精品一卡2卡3卡4更新| 精品国产一区二区三区久久久樱花| 国产精品国产av在线观看| 国产精品人妻久久久久久| 亚洲国产精品999| 亚洲成色77777| 大话2 男鬼变身卡| 亚洲av国产av综合av卡| 中文天堂在线官网| 秋霞伦理黄片| 国产日韩欧美视频二区| 成年女人在线观看亚洲视频| 亚洲精品久久成人aⅴ小说| 天天操日日干夜夜撸| 国产成人精品久久久久久| 久久久久精品久久久久真实原创| 久久青草综合色| 亚洲图色成人| 九九在线视频观看精品| 免费在线观看黄色视频的| 在现免费观看毛片| 97在线人人人人妻| 99精国产麻豆久久婷婷| 欧美精品一区二区大全| 男女边吃奶边做爰视频| av不卡在线播放| av在线老鸭窝| 午夜福利在线观看免费完整高清在| 国产精品国产三级国产av玫瑰| 高清欧美精品videossex| 午夜影院在线不卡| 成人毛片60女人毛片免费| 亚洲内射少妇av| 老司机影院成人| 久久久精品94久久精品| av天堂久久9| av不卡在线播放| 精品人妻一区二区三区麻豆| 国产有黄有色有爽视频| 美女国产视频在线观看| 亚洲色图综合在线观看| 久久ye,这里只有精品| 国产男人的电影天堂91| 曰老女人黄片| 日韩,欧美,国产一区二区三区| 成人国产麻豆网| 咕卡用的链子| 男女午夜视频在线观看 | 亚洲精品色激情综合| 日韩 亚洲 欧美在线| av视频免费观看在线观看| 婷婷色麻豆天堂久久| 亚洲色图综合在线观看| 亚洲图色成人| 欧美激情 高清一区二区三区| 日本91视频免费播放| 18禁国产床啪视频网站| 一级片免费观看大全| 久久99蜜桃精品久久| 国产一区二区在线观看av| √禁漫天堂资源中文www| 中国三级夫妇交换| 成年动漫av网址| 成年人免费黄色播放视频| 90打野战视频偷拍视频| 午夜精品国产一区二区电影| av免费观看日本| 观看av在线不卡| 午夜久久久在线观看| 91精品伊人久久大香线蕉| 人妻系列 视频| 欧美3d第一页| 久久婷婷青草| 亚洲精品美女久久av网站| 人成视频在线观看免费观看| 99香蕉大伊视频| 男女高潮啪啪啪动态图| 黄色毛片三级朝国网站| 免费观看无遮挡的男女| 丰满少妇做爰视频| 国产成人av激情在线播放| av网站免费在线观看视频| 日韩av在线免费看完整版不卡| 欧美日韩一区二区视频在线观看视频在线| 少妇被粗大猛烈的视频| 亚洲高清免费不卡视频| 国产亚洲精品第一综合不卡 | 啦啦啦在线观看免费高清www| 国产精品久久久久久精品电影小说| 日韩欧美一区视频在线观看| 2022亚洲国产成人精品| 中文字幕av电影在线播放| 人妻 亚洲 视频| 国产精品秋霞免费鲁丝片| 九色亚洲精品在线播放| 高清黄色对白视频在线免费看| 大片免费播放器 马上看| 国产精品国产av在线观看| 七月丁香在线播放| 纯流量卡能插随身wifi吗| av在线观看视频网站免费| 国产精品嫩草影院av在线观看| 成人免费观看视频高清| 青青草视频在线视频观看| 国产xxxxx性猛交| 国产 一区精品| 99热6这里只有精品| 满18在线观看网站| 咕卡用的链子| 黑丝袜美女国产一区| 综合色丁香网| kizo精华| 狂野欧美激情性xxxx在线观看| 青春草视频在线免费观看| 国产成人免费观看mmmm| 国产乱人偷精品视频| 亚洲天堂av无毛| 狂野欧美激情性bbbbbb| 亚洲激情五月婷婷啪啪| 久久精品夜色国产| 亚洲第一区二区三区不卡| 国产成人a∨麻豆精品| 人人妻人人爽人人添夜夜欢视频| 亚洲综合色网址| 热re99久久精品国产66热6| 亚洲精品乱码久久久久久按摩| 日本欧美国产在线视频| 国产成人精品久久久久久| 人妻人人澡人人爽人人| 最近中文字幕2019免费版| 黄色毛片三级朝国网站| 性高湖久久久久久久久免费观看| 国产成人免费无遮挡视频| 十八禁网站网址无遮挡| 久久99热这里只频精品6学生| 日韩在线高清观看一区二区三区| 国产亚洲最大av| 成人午夜精彩视频在线观看| 欧美另类一区| 国产精品国产av在线观看| 日本猛色少妇xxxxx猛交久久| 丝袜喷水一区| 少妇的丰满在线观看| 黑人巨大精品欧美一区二区蜜桃 | tube8黄色片| 日韩中字成人| 国产欧美日韩一区二区三区在线| 看非洲黑人一级黄片| 成人二区视频| av免费观看日本| 国产精品久久久久久精品古装| 欧美日韩成人在线一区二区| 在线观看www视频免费| 国产黄色免费在线视频| 三级国产精品片| 亚洲精品自拍成人| 麻豆精品久久久久久蜜桃| 亚洲激情五月婷婷啪啪| 国产成人免费无遮挡视频| 80岁老熟妇乱子伦牲交| 制服诱惑二区| 岛国毛片在线播放| 中文精品一卡2卡3卡4更新| 久久精品久久久久久久性| 人成视频在线观看免费观看| 一级a做视频免费观看| 男女午夜视频在线观看 | 毛片一级片免费看久久久久| 涩涩av久久男人的天堂| 久久99蜜桃精品久久| 熟女人妻精品中文字幕| 99视频精品全部免费 在线| 一级a做视频免费观看| 亚洲精品456在线播放app| 精品人妻一区二区三区麻豆| av黄色大香蕉| av.在线天堂| 97在线视频观看| 成人二区视频| 国产免费现黄频在线看| 亚洲国产欧美在线一区| 国产一级毛片在线| 纵有疾风起免费观看全集完整版| 日日摸夜夜添夜夜爱| 亚洲精品久久成人aⅴ小说| 婷婷色综合大香蕉| 美女国产高潮福利片在线看| 九草在线视频观看| 精品久久国产蜜桃| 在线观看人妻少妇| videos熟女内射| 婷婷色av中文字幕| 九九在线视频观看精品| 国产片内射在线| 欧美成人午夜免费资源| 1024视频免费在线观看| av在线播放精品| 久久精品aⅴ一区二区三区四区 | a级毛片黄视频| 精品人妻熟女毛片av久久网站| 啦啦啦在线观看免费高清www| 18禁动态无遮挡网站| 22中文网久久字幕| 一二三四中文在线观看免费高清| 午夜免费观看性视频| 爱豆传媒免费全集在线观看| 久久久久久人人人人人| 欧美精品一区二区免费开放| 久久久久久人人人人人| 亚洲av男天堂| 国产xxxxx性猛交| 亚洲欧洲日产国产| 久久亚洲国产成人精品v| 欧美少妇被猛烈插入视频| 国产精品不卡视频一区二区| av在线播放精品| 久久久国产精品麻豆| 王馨瑶露胸无遮挡在线观看| 国产免费福利视频在线观看| 欧美xxxx性猛交bbbb| 亚洲精品视频女| 欧美丝袜亚洲另类| 少妇人妻 视频| 十八禁高潮呻吟视频| 色吧在线观看| 午夜免费观看性视频| 久久久久人妻精品一区果冻| 十八禁网站网址无遮挡| 9191精品国产免费久久| 男女下面插进去视频免费观看 | 欧美人与性动交α欧美精品济南到 | 久久精品久久精品一区二区三区| 国产免费现黄频在线看| 国产精品熟女久久久久浪| 国产免费一级a男人的天堂| 美女内射精品一级片tv| 在线精品无人区一区二区三| 亚洲欧美成人精品一区二区| 在线观看免费日韩欧美大片| av电影中文网址| 亚洲性久久影院| 国产精品三级大全| 国产精品麻豆人妻色哟哟久久| 免费播放大片免费观看视频在线观看| 99热全是精品| 亚洲av欧美aⅴ国产| 高清欧美精品videossex| 国产白丝娇喘喷水9色精品| 日本爱情动作片www.在线观看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲国产精品一区二区三区在线| 一二三四在线观看免费中文在 | a级毛片黄视频| 丝袜人妻中文字幕| 久久久久久久大尺度免费视频| 精品一区二区免费观看| 久久精品熟女亚洲av麻豆精品| 制服人妻中文乱码| videosex国产| 在线 av 中文字幕| 国产精品偷伦视频观看了| 欧美成人精品欧美一级黄| 亚洲国产精品专区欧美| 精品一区二区三卡| 欧美日韩视频高清一区二区三区二| av有码第一页| 日本欧美国产在线视频| 一区二区三区精品91| 啦啦啦在线观看免费高清www| 久久久久久久久久久久大奶| 一区二区三区精品91| 国产精品一区www在线观看| 久久人妻熟女aⅴ| 曰老女人黄片| 日韩人妻精品一区2区三区| 国产黄色视频一区二区在线观看| 午夜福利在线观看免费完整高清在| 国产成人av激情在线播放| 国产色婷婷99| 国产激情久久老熟女| 日韩精品免费视频一区二区三区 | 人人妻人人澡人人看| 亚洲图色成人| 亚洲av.av天堂| 丝袜喷水一区| 欧美精品国产亚洲| 亚洲丝袜综合中文字幕| 男女边吃奶边做爰视频| 日韩一区二区视频免费看| xxx大片免费视频| 成人综合一区亚洲| xxx大片免费视频| 日韩一区二区视频免费看| 国产片内射在线| 人人妻人人爽人人添夜夜欢视频| 日韩成人av中文字幕在线观看| 大香蕉久久网| 搡老乐熟女国产| 久久毛片免费看一区二区三区| 国国产精品蜜臀av免费| 久久狼人影院| 高清av免费在线| 巨乳人妻的诱惑在线观看| 少妇人妻 视频| av线在线观看网站| 日韩大片免费观看网站| 国产高清三级在线| 自拍欧美九色日韩亚洲蝌蚪91| 久久精品熟女亚洲av麻豆精品| av一本久久久久| 国产精品不卡视频一区二区| 黄片播放在线免费| a级片在线免费高清观看视频| 久久99热这里只频精品6学生| 十八禁网站网址无遮挡| 久久人人爽av亚洲精品天堂| 亚洲性久久影院| 精品第一国产精品| 考比视频在线观看| √禁漫天堂资源中文www| 精品一区二区三卡| 日韩三级伦理在线观看| 国产高清三级在线| 国产一区二区三区综合在线观看 | 国产亚洲一区二区精品| 丝袜人妻中文字幕| 三级国产精品片| 在线天堂最新版资源| 久久精品久久精品一区二区三区| av在线app专区| 少妇被粗大猛烈的视频| 国产日韩欧美视频二区| 亚洲一码二码三码区别大吗| 91精品伊人久久大香线蕉| 成年女人在线观看亚洲视频| av播播在线观看一区| 9热在线视频观看99| 久久毛片免费看一区二区三区| 在线观看免费日韩欧美大片| 天美传媒精品一区二区| 国产色婷婷99| 又大又黄又爽视频免费| 亚洲人与动物交配视频| 日韩熟女老妇一区二区性免费视频| 日韩三级伦理在线观看| 青春草国产在线视频| 九九在线视频观看精品| 18禁裸乳无遮挡动漫免费视频| 日本欧美国产在线视频| 少妇高潮的动态图| av一本久久久久| 国产深夜福利视频在线观看| 亚洲精品,欧美精品| 亚洲精品国产av成人精品| 看十八女毛片水多多多| 在线观看美女被高潮喷水网站| 成年女人在线观看亚洲视频| 精品一区二区三区四区五区乱码 | 精品人妻偷拍中文字幕| 王馨瑶露胸无遮挡在线观看| 不卡视频在线观看欧美| 亚洲欧洲日产国产| 精品亚洲成a人片在线观看| 又大又黄又爽视频免费| 在线观看www视频免费| 亚洲精品久久久久久婷婷小说| 热99国产精品久久久久久7| 久久久久久久久久久久大奶| 丝袜脚勾引网站| 日产精品乱码卡一卡2卡三| 亚洲av综合色区一区| 免费在线观看黄色视频的| 国产乱人偷精品视频| 啦啦啦在线观看免费高清www| 亚洲人成网站在线观看播放| 两个人看的免费小视频| 国产在线视频一区二区| 精品卡一卡二卡四卡免费| 肉色欧美久久久久久久蜜桃| 亚洲欧美中文字幕日韩二区| 国产黄色免费在线视频| 国产成人欧美| 国产一区二区在线观看av| 午夜影院在线不卡| 国国产精品蜜臀av免费| 国产精品久久久av美女十八| 一边亲一边摸免费视频| 午夜视频国产福利| 国产高清国产精品国产三级| 熟女av电影| 中文字幕av电影在线播放| 九九在线视频观看精品| 亚洲欧美中文字幕日韩二区| 亚洲一区二区三区欧美精品| a级毛色黄片| 亚洲天堂av无毛| 久久精品国产a三级三级三级| 国产一区亚洲一区在线观看| 人妻人人澡人人爽人人| 国产精品成人在线| 午夜福利视频在线观看免费| 啦啦啦中文免费视频观看日本| 男女啪啪激烈高潮av片| 新久久久久国产一级毛片| 校园人妻丝袜中文字幕| 久久免费观看电影| 老女人水多毛片|