• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于AlexNet的注意力機(jī)制網(wǎng)絡(luò)研究

    2021-01-15 09:22:12任楚嵐孫佳楠張陽(yáng)
    關(guān)鍵詞:池化注意力準(zhǔn)確率

    ◆任楚嵐 孫佳楠 張陽(yáng)

    基于AlexNet的注意力機(jī)制網(wǎng)絡(luò)研究

    ◆任楚嵐1孫佳楠1張陽(yáng)2

    (1.沈陽(yáng)化工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 遼寧 110142;2.遼寧中醫(yī)藥大學(xué)附屬醫(yī)院 遼寧 110032)

    本文采用引入人類視覺系統(tǒng)的注意力機(jī)制對(duì)AlexNet網(wǎng)絡(luò)模型進(jìn)行改進(jìn),通過(guò)融入注意力機(jī)制對(duì)AlexNet注意力機(jī)制網(wǎng)絡(luò)進(jìn)行研究,并通過(guò)CIFAR-10數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對(duì)比驗(yàn)證。實(shí)驗(yàn)對(duì)比結(jié)果表明,AlexNet注意力機(jī)制網(wǎng)絡(luò)模型比傳統(tǒng)AlexNet網(wǎng)絡(luò)模型具有更好的分類效果,其分類準(zhǔn)確率提升了2%。

    深度學(xué)習(xí);注意力機(jī)制;卷積神經(jīng)網(wǎng)絡(luò)

    自2006年起,深度學(xué)習(xí)因其強(qiáng)大的自動(dòng)提取特征能力、復(fù)雜模型構(gòu)建能力和圖像處理能力出現(xiàn)在了人們的視野之中。它是一種使用多層復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)成的多個(gè)處理層進(jìn)行數(shù)據(jù)處理的方法[1]。近年來(lái),深度學(xué)習(xí)方法由于其在數(shù)據(jù)分析處理上的特點(diǎn)已經(jīng)被廣泛應(yīng)用于各種領(lǐng)域,尤其是在語(yǔ)音識(shí)別[2-3]、圖像識(shí)別[4-5]等領(lǐng)域已經(jīng)取得了突破性進(jìn)展。

    深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)中一種較好的方法,是機(jī)器學(xué)習(xí)的重要組成部分。它主要在于建立一個(gè)模擬人類腦部進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),用以模仿人腦的機(jī)制來(lái)解釋和分析數(shù)據(jù),例如圖像,文本和聲音等。本文將選用AlexNet網(wǎng)絡(luò)模型對(duì)已有數(shù)據(jù)進(jìn)行基礎(chǔ)訓(xùn)練,并融入了注意力學(xué)習(xí)機(jī)制,通過(guò)對(duì)原有模型的改進(jìn),提高其準(zhǔn)確率。

    1 基本概念

    1.1 卷積神經(jīng)網(wǎng)絡(luò)

    隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)技術(shù)在圖像處理和自然語(yǔ)言處理等領(lǐng)域取得了顯著成效,越來(lái)越多的領(lǐng)域都開始嘗試使用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)來(lái)解決問題。卷積神經(jīng)網(wǎng)絡(luò)是一種多層次的網(wǎng)絡(luò)模型,是神經(jīng)認(rèn)知機(jī)的推廣形式。

    卷積神經(jīng)網(wǎng)絡(luò)的歷史可以追溯到20世紀(jì)60年代,由于Hubel和Wiesel[6]通過(guò)對(duì)貓腦視覺皮層的研究,發(fā)現(xiàn)了一系列復(fù)雜的“感受野”,其只受某些特定區(qū)域刺激的響應(yīng),接受局部信息,繼而提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。CNN是對(duì)BP神經(jīng)網(wǎng)絡(luò)的一種改進(jìn),雖然它們都是采用前向傳播輸出計(jì)算值,利用反向傳播調(diào)整權(quán)重和偏置。但CNN在層與層之間采用局部連接,而BP神經(jīng)網(wǎng)絡(luò)采用的是全連接。卷積神經(jīng)網(wǎng)絡(luò)有一個(gè)輸入層,每一層都接收上一層的輸入,直到輸出,其基本結(jié)構(gòu)主要是由輸入層、卷積層、池化層(也稱為降采樣層)、全連接層以及輸出層構(gòu)成[7]。

    卷積層作為輸入層后的第一層,旨在提取輸入的特征表示。卷積層是由多個(gè)特征圖組成,每個(gè)特征圖由多個(gè)神經(jīng)元組成,每個(gè)神經(jīng)元通過(guò)卷積核與上一層特征圖的局部區(qū)域相連。卷積核是一個(gè)帶權(quán)值的矩陣,用于提取和計(jì)算不同的特征映射。卷積所得的輸出可由如下公式表示:

    yj=∑iwij*xi+bj(1)

    式中:Xi為輸入特征圖,Yi為輸出特征圖,權(quán)值記為Wij,bi是其偏置參數(shù)。

    池化層(降采樣層)是在卷積層之后,旨在通過(guò)降低特征映射的分辨率(降維和抽象)來(lái)實(shí)現(xiàn)移位不變性。池化層同樣由多個(gè)特征圖組成,它的每個(gè)特征圖唯一對(duì)應(yīng)于其前一個(gè)卷積層相應(yīng)的特征圖,且不會(huì)改變特征圖的個(gè)數(shù)。常用的池化方法有最大池化和平均池化。最大池化是把區(qū)塊中元素的最大值作為函數(shù)的輸出,提取特征平面的局部最大響應(yīng)。平均池化是將計(jì)算得到的區(qū)塊中所有元素的算術(shù)平均值作為函數(shù)的輸出,提取特征平面局部響應(yīng)的均值。

    在經(jīng)過(guò)多次卷積層和池化層后,卷積神經(jīng)網(wǎng)絡(luò)通常會(huì)連接一個(gè)或者多個(gè)全連接層[8]。全連接層將當(dāng)前層的每個(gè)神經(jīng)元與其前一層中的所有神經(jīng)元相連接,以產(chǎn)生全局語(yǔ)義信息。全連接層可以整合卷積層或池化層中具有類別區(qū)分性的局部信息。為了提升整個(gè)網(wǎng)絡(luò)的性能,每個(gè)神經(jīng)元的激勵(lì)函數(shù)一般采用ReLU函數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的最后一層是輸出層。對(duì)于分類問題而言,經(jīng)常會(huì)使用softmax函數(shù)進(jìn)行邏輯回歸分類,返回輸入圖片所屬某一類別的概率;對(duì)于回歸問題,會(huì)返回具體的數(shù)值。

    1.2 注意力機(jī)制

    注意力機(jī)制的概念主要源于模仿人視覺的注意力形式。人腦在接收外界信息時(shí),并不會(huì)處理所有信息,而是只關(guān)注重要的信息,這有助于過(guò)濾干擾信息,提高信息處理效率[9]。在人視覺感知中,由于處理整個(gè)視野的能力有限,人們通常將注意力集中在特定區(qū)域,以關(guān)注需要的信息。然后,將此信息用于指導(dǎo)下一個(gè)聚焦點(diǎn)[10-11]。受人視覺系統(tǒng)始終專注于視覺數(shù)據(jù)某一部分的啟發(fā),人們進(jìn)行了許多嘗試,包括圖像分類和生成、唇讀和語(yǔ)義分割等[12]。

    2 實(shí)驗(yàn)

    2.1 數(shù)據(jù)集

    本文數(shù)據(jù)集采用的是國(guó)際認(rèn)可的標(biāo)準(zhǔn)數(shù)據(jù)集CIFAR-10。該數(shù)據(jù)集包括飛機(jī)、汽車、鳥類、貓、鹿、狗、蛙類、馬、船和卡車這十大類現(xiàn)實(shí)世界中的真實(shí)物體。該數(shù)據(jù)集共有60000張彩色圖像,這些圖像是32*32的,共分為10個(gè)類,每類6000張圖。這里面有50000張用于訓(xùn)練,構(gòu)成了5個(gè)訓(xùn)練批,每一批10000張圖;另外10000張用于測(cè)試,單獨(dú)構(gòu)成一批。測(cè)試批的數(shù)據(jù)里,取自10類中的每一類,每一類隨機(jī)取1000張。抽剩下的就隨機(jī)排列組成了訓(xùn)練批。

    2.2 傳統(tǒng)AlexNet網(wǎng)絡(luò)與實(shí)驗(yàn)

    AlexNet是由Alex Krizhevsky等人[13]在2012年的ImageNet比賽中使用并命名的,由于其優(yōu)秀的圖像識(shí)別能力,將正確識(shí)別率提高了一倍有余,成功奪得了那年的冠軍并再次引起了人工智能和深度學(xué)習(xí)的熱潮。本次實(shí)驗(yàn)以AlexNet作為原始的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練測(cè)試。AlexNet擁有8層結(jié)構(gòu),在圖片識(shí)別上具有出色的效果,其具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

    圖1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

    AlexNet網(wǎng)絡(luò)模型的第一層到第五層結(jié)構(gòu)是卷積神經(jīng)網(wǎng)絡(luò),第六層到第八層為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。第一、二層的結(jié)構(gòu)相似,都使用了卷積、ReLU、池化、歸一化操作。第三層和第四層的結(jié)構(gòu)類似,使用了卷積和ReLU操作。第五層與三、四層相比,多了池化操作,分別為卷積、ReLU和池化。再將前五層操作后的結(jié)果傳遞到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中,在最后的三層均使用全連接網(wǎng)絡(luò)結(jié)構(gòu)。

    使用AlexNet網(wǎng)絡(luò)模型對(duì)已有數(shù)據(jù)進(jìn)行的分類結(jié)果如下表1所示。

    表1 AlexNet網(wǎng)絡(luò)模型的分類結(jié)果

    2.3 基于AlexNet網(wǎng)絡(luò)的改進(jìn)和實(shí)驗(yàn)

    對(duì)于數(shù)據(jù)圖像的分類識(shí)別問題,圖片中往往存在著無(wú)效信息,如何摒棄這些無(wú)效信息,關(guān)注特定的信息,是提高網(wǎng)絡(luò)模型分類效率和分類準(zhǔn)確率的關(guān)鍵。因此,為了對(duì)AlexNet網(wǎng)絡(luò)模型進(jìn)一步探討,本文引入了注意力機(jī)制的概念,在傳統(tǒng)AlexNet網(wǎng)絡(luò)模型的基礎(chǔ)上,增加了注意力層,將其融入AlexNet網(wǎng)絡(luò)模型結(jié)構(gòu)中,成為AlexNet注意力機(jī)制網(wǎng)絡(luò)模型。其具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

    圖2 AlexNet注意力機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)圖

    與傳統(tǒng)的AlexNet網(wǎng)絡(luò)模型相比較,AlexNet注意力機(jī)制網(wǎng)絡(luò)模型在輸入層和第一層之間加入了一層注意力層。使用AlexNet注意力機(jī)制網(wǎng)絡(luò)模型對(duì)已有數(shù)據(jù)進(jìn)行的分類結(jié)果如下表2所示。

    表2 AlexNet注意力機(jī)制網(wǎng)絡(luò)模型的分類結(jié)果

    2.4 實(shí)驗(yàn)結(jié)果對(duì)比

    兩種網(wǎng)絡(luò)模型的實(shí)驗(yàn)分類結(jié)果對(duì)比如下表3所示。

    表3 兩種網(wǎng)絡(luò)模型的實(shí)驗(yàn)分類結(jié)果對(duì)比

    兩種網(wǎng)絡(luò)模型的準(zhǔn)確率對(duì)比圖如圖3所示。

    圖3 兩種網(wǎng)絡(luò)模型的準(zhǔn)確率對(duì)比圖

    通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比可以看出,融入注意力機(jī)制的AlexNet網(wǎng)絡(luò)模型比傳統(tǒng)的AlexNet網(wǎng)絡(luò)模型的準(zhǔn)確率有了明顯的提高。

    3 結(jié)語(yǔ)

    本文通過(guò)引入注意力機(jī)制,對(duì)基于AlexNet的注意力機(jī)制網(wǎng)絡(luò)進(jìn)行了研究。通過(guò)融入注意力機(jī)制的AlexNet網(wǎng)絡(luò)模型與傳統(tǒng)的AlexNet網(wǎng)絡(luò)模型的實(shí)驗(yàn)對(duì)比表明,改進(jìn)后的網(wǎng)絡(luò)模型具有更高的分類準(zhǔn)確率,為卷積神經(jīng)網(wǎng)絡(luò)進(jìn)一步的研究提供了可能。

    [1]Schmidhuber,Jürgen. Deep Learning in Neural Networks:An Overview[J]. Neural Netw,2015,61:85-117.

    [2]Hinton G,Deng L,Yu D,et al. Deep neural networks for acoustic modeling in speech recognition:the shared views of four research groups. IEEE Signal Processing Magazine,2012, 29(6):82-97

    [3]Mikolov T,Deoras A,Povey D,et al. Strategies for training large scale neural network language models. 2011 IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU),2011:196-201

    [4]Farabet C,Couprie C,Najman L,et al. Learning hierarchical features for scene labeling. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1915-1929

    [5]Krizhevsky A,Sutskever I,Hinton G E. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems,2012:1097-1105

    [6]Hubel D H,Wiesel T N . Receptive fields,binocular interaction and functional architecture in the cat"s visual cortex[J]. The Journal of Physiology,1962,160(1):106-154.

    [7]陳超,齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺領(lǐng)域中的應(yīng)用綜述[J].計(jì)算機(jī)科學(xué),2019,46(03):63-73.

    [8]劉方園,王水花,張煜東.深度置信網(wǎng)絡(luò)模型及應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用,2018,54(01):11-18+47.

    [9]Leng J,Liu Y,Chen S . Context-Aware Attention Network for Image Recognition[J]. Neural Computing and Applications,2019(4).

    [10]Xiong,C.,Shi,X., Gao,Z.et al.Attention augmented multi-scale network for single image super-resolution. Appl Intell (2020).

    [11]Zhu Y,Liu G . Fine-grained action recognition using multi-view attentions[J]. The Visual Computer,2019(12).

    [12]Emami H,Aliabadi M M,Dong M,et al. SPA-GAN:Spatial Attention GAN for Image-to-Image Translation[J]. 2019.

    [13]Krizhevsky A,Sutskever I,Hinton G .ImageNet Classification with Deep Convolutional Neural Networks[J]. Advances in neural information processing systems,2012,25(2).

    猜你喜歡
    池化注意力準(zhǔn)確率
    基于緊湊型雙線性網(wǎng)絡(luò)的野生茵識(shí)別方法研究
    基于Sobel算子的池化算法設(shè)計(jì)
    讓注意力“飛”回來(lái)
    卷積神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)加權(quán)池化
    乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
    健康之家(2021年19期)2021-05-23 11:17:39
    不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
    2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
    基于卷積神經(jīng)網(wǎng)絡(luò)和池化算法的表情識(shí)別研究
    高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    松潘县| 洛宁县| 田东县| 友谊县| 夏邑县| 墨玉县| 麟游县| 松溪县| 卓尼县| 武冈市| 楚雄市| 克什克腾旗| 怀宁县| 龙门县| 普宁市| 浦县| 永顺县| 柘城县| 翼城县| 社旗县| 江永县| 怀宁县| 科尔| 手机| 巴林右旗| 嘉定区| 建阳市| 中方县| 海南省| 通城县| 将乐县| 洛阳市| 吕梁市| 安化县| 仙游县| 温泉县| 兴文县| 阿坝县| 西乌| 金川县| 布尔津县|