• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于深度學(xué)習(xí)的自然語(yǔ)言處理

      2017-06-22 11:37:35竺寶寶張娜
      無(wú)線互聯(lián)科技 2017年10期
      關(guān)鍵詞:深度學(xué)習(xí)

      竺寶寶+張娜

      摘 要:深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中接近AI的領(lǐng)域之一,通過(guò)模擬人腦學(xué)習(xí)神經(jīng)進(jìn)行分析。深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究,其對(duì)比簡(jiǎn)單學(xué)習(xí)來(lái)講,多數(shù)分類、回歸等學(xué)習(xí)算法歸于簡(jiǎn)單機(jī)器學(xué)習(xí),復(fù)雜函數(shù)運(yùn)算的表示能力和局限性與有限樣本和計(jì)算單元對(duì)有關(guān),泛化能力也受到復(fù)雜分類的一定限制。

      關(guān)鍵詞:深度學(xué)習(xí);自然語(yǔ)言;非線性網(wǎng)絡(luò)結(jié)構(gòu)

      1 深度學(xué)習(xí)

      1.1 深度學(xué)習(xí)的基本概念

      深度學(xué)習(xí)是學(xué)習(xí)深層非線性網(wǎng)絡(luò)的一種結(jié)構(gòu),通過(guò)展現(xiàn)復(fù)雜函數(shù)逼近,用輸入數(shù)據(jù)分布式來(lái)表示,最終將數(shù)據(jù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特點(diǎn)的能力展現(xiàn)出來(lái)。通過(guò)含多隱層的多層感知器來(lái)進(jìn)行深度學(xué)習(xí)。深度學(xué)習(xí)可以更多地模擬神經(jīng)層神經(jīng)活動(dòng),使用組合低層特征來(lái)合成更加抽象的高層屬性特征類別,來(lái)更好地展現(xiàn)數(shù)據(jù)分布式特性。深度學(xué)習(xí)的理論由Hinton等于2006年提出,通過(guò)非監(jiān)督貪心逐層訓(xùn)練深信度網(wǎng)(Deep Belief Network, DBN)的算法,為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)更好的指導(dǎo)方向。Lecun等提出的是最早的真正多層結(jié)構(gòu)學(xué)習(xí)算法之一—卷積神經(jīng)網(wǎng)絡(luò),通過(guò)空間關(guān)系的參數(shù)相對(duì)數(shù)量減少以減少訓(xùn)練誤差。

      1.2 深度學(xué)習(xí)結(jié)構(gòu)模型

      深度學(xué)習(xí)按照模型和技術(shù)的應(yīng)用把模型歸為3類。

      1.2.1 生成性深度模式

      該模式通過(guò)講述觀測(cè)數(shù)據(jù)和相應(yīng)類別的聯(lián)合概率分布,來(lái)展現(xiàn)數(shù)據(jù)的高階相關(guān)特點(diǎn),同時(shí),區(qū)別于傳統(tǒng)型神經(jīng)分區(qū)網(wǎng)絡(luò),通過(guò)聯(lián)合概率分布獲取觀測(cè)數(shù)據(jù)標(biāo)簽的,來(lái)更好地進(jìn)行先驗(yàn)概率和后驗(yàn)概率的預(yù)測(cè),而區(qū)分型模型卻不能對(duì)其進(jìn)行推測(cè)。DBN恰恰解決了傳統(tǒng)多層網(wǎng)絡(luò)神經(jīng)算法訓(xùn)練BP的難點(diǎn):大量含標(biāo)簽訓(xùn)練樣本集,收斂速度比較慢,由不適宜的訓(xùn)練數(shù)據(jù)選擇陷入局部最佳。

      DBN是由一組系列的受限波爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)單元組合成的,RBM通過(guò)非常典型的網(wǎng)絡(luò)神經(jīng),來(lái)使網(wǎng)絡(luò)可視層和隱層單元相互連接,通過(guò)獲取輸入為可視單元高階隱單元。RBM權(quán)值相對(duì)會(huì)比較比較輕松,與傳統(tǒng)網(wǎng)絡(luò)sigmoid的信度不同。通過(guò)預(yù)訓(xùn)練獲取的生成性權(quán)值,采用無(wú)監(jiān)督貪心的模式逐層不停完成。在訓(xùn)練過(guò)程中,簡(jiǎn)單來(lái)說(shuō),將可視向量的值映射給隱單元,隱層單元的重建由可視單元來(lái)完成;最后次映射給隱單元就由新可視單元來(lái)實(shí)現(xiàn),最終來(lái)完成隱單元的更新。一個(gè)DBN由自下向上的多個(gè)不同的RBM構(gòu)建組合。將可用的隱單元通過(guò)高斯—伯努利RBM,伯努利—伯努利RBM結(jié)構(gòu),輸出作為訓(xùn)練上層伯努利—伯努利RBM的導(dǎo)入和下層伯努利和伯努利的導(dǎo)出,以此類推等等。

      1.2.2 區(qū)分性深度模式

      為提供對(duì)模式分類區(qū)分訓(xùn)練的能力,描述數(shù)據(jù)后驗(yàn)實(shí)現(xiàn)的分布。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)屬于區(qū)分性訓(xùn)練,一個(gè)真正實(shí)踐訓(xùn)練多層成真的網(wǎng)絡(luò)結(jié)構(gòu)算法,DBNs算法和它相反。通過(guò)具有相同參數(shù)神經(jīng)元作用于視覺(jué)系統(tǒng)結(jié)構(gòu)啟發(fā),在上一層的不同位置生成一種不變性的特征。于是LeCun等沿著這種指導(dǎo),為了CNN深度學(xué)習(xí)框架是為了滿足最小化預(yù)處理數(shù)據(jù)的實(shí)踐,要求BP算法設(shè)計(jì)來(lái)生成CNN。由早期時(shí)間延遲神經(jīng)網(wǎng)絡(luò)的指導(dǎo)影響,CNN由早期時(shí)間延遲神經(jīng)網(wǎng)絡(luò)的方法通過(guò)共享時(shí)域權(quán)值的大小來(lái)實(shí)現(xiàn)。CNN是一種一般前向的BP訓(xùn)練常用拓?fù)淠P?,利用空間相對(duì)的關(guān)系減少參數(shù)的數(shù)量來(lái)提高的,而且在多個(gè)實(shí)驗(yàn)中取得不錯(cuò)的效果。通常用作局部感受區(qū)域圖像小部分最底層的基本輸入,不同信息網(wǎng)絡(luò)的逐層層次傳遞,從而能夠?qū)崿F(xiàn)在每一層數(shù)據(jù)顯著特征,來(lái)獲得對(duì)平移、縮放、旋轉(zhuǎn)不變的觀測(cè)。

      1.2.3 混合型模型

      混合型模型是區(qū)分更佳性的目標(biāo),通常利用生成型結(jié)構(gòu)輸出?;旌闲徒Y(jié)構(gòu)模型學(xué)習(xí)—生成性部分與區(qū)分性部分。區(qū)分性任務(wù)經(jīng)常用來(lái)現(xiàn)有典型生成性的單元,應(yīng)用于分類任務(wù),預(yù)訓(xùn)練通過(guò)當(dāng)有生成性模型結(jié)合其他典型的區(qū)分性學(xué)習(xí)算法來(lái)對(duì)優(yōu)化進(jìn)行所有權(quán)值。一個(gè)頂層變量通過(guò)附加來(lái)為訓(xùn)練集提供的期望輸出區(qū)分性尋優(yōu)。優(yōu)化DBN的權(quán)值用BP算法來(lái)實(shí)現(xiàn),通過(guò)RBM和DBN初始權(quán)值預(yù)訓(xùn)練,這樣一來(lái)網(wǎng)絡(luò)性能就會(huì)更加優(yōu)越,相對(duì)于那些只通過(guò)BP算法單獨(dú)訓(xùn)練的網(wǎng)絡(luò),BP對(duì)DBNs訓(xùn)練不但擁有完成局部參數(shù)空間搜索的優(yōu)勢(shì),而且和前饋型神經(jīng)網(wǎng)絡(luò)相比,加快了訓(xùn)練效果和收斂回饋時(shí)間的速度。

      2 訓(xùn)練過(guò)程

      神經(jīng)網(wǎng)絡(luò)模式有指導(dǎo)學(xué)習(xí)和無(wú)指導(dǎo)學(xué)習(xí),有指導(dǎo)學(xué)習(xí)是主流的,無(wú)指導(dǎo)學(xué)習(xí)用來(lái)聚集分析。有指導(dǎo)的模式識(shí)別,同類樣本通過(guò)一種適當(dāng)?shù)目臻g劃分方法或邊界在空間的分布以及和不同類樣本之間的分離程度找,使不同的樣本分別對(duì)應(yīng)各自的區(qū)域,一個(gè)很長(zhǎng)時(shí)間和復(fù)雜的學(xué)習(xí)過(guò)程是必須的??臻g分類邊界不斷調(diào)整樣本,使其更符合樣本原本的屬性。總的來(lái)說(shuō),卷積網(wǎng)絡(luò)通過(guò)大量的輸入和輸出之間的關(guān)系映射,本質(zhì)上是一種輸入到輸出的映射關(guān)系,用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練,使其具備映射能力,通過(guò)對(duì)有指導(dǎo)的訓(xùn)練,樣本集由空間向量對(duì)構(gòu)成,來(lái)模擬系統(tǒng)實(shí)際的運(yùn)行結(jié)果。訓(xùn)練前為了保證系統(tǒng)網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)所有的權(quán)通過(guò)不同的小隨機(jī)數(shù)進(jìn)行初始化,確保不出現(xiàn)異常,不同的數(shù)據(jù)使網(wǎng)絡(luò)系統(tǒng)更好地正常學(xué)習(xí)模擬真實(shí)的環(huán)境,使其更加具備兼容性和完整性。

      3 結(jié)語(yǔ)

      CNN這種層間關(guān)系和空域信息的緊密關(guān)系,更加適用于圖片處理和理解。尤其是在提取圖像顯著特征方面展現(xiàn)出優(yōu)勢(shì)。GABOR濾波器經(jīng)常被用來(lái)模擬人類視覺(jué)系統(tǒng)對(duì)視覺(jué)刺激的響應(yīng)初始化欲處理的步驟中。人們?cè)谖磥?lái)的工作中,將用到更多的深度學(xué)習(xí)內(nèi)容,包括人臉識(shí)別、文檔分析和語(yǔ)言檢測(cè)等方面。目前CNN通過(guò)一個(gè)時(shí)間相干性去訓(xùn)練,但不是它特有的。

      用最近比較火的Python做一個(gè)人臉識(shí)別的小程序,幫助大家更好地學(xué)習(xí)了解深度學(xué)習(xí),做人臉識(shí)別要用到SIFT特征,經(jīng)常會(huì)遇到配置好opencv之后,卻找不到人臉識(shí)別的頭文件的問(wèn)題,找不到SIFT在哪。這是因?yàn)槭褂肙penCV3.0之后,把一些還在更新的、不是很穩(wěn)定的,在測(cè)試階段的東西放在了contrib模塊里面。而且官方默認(rèn)不帶contrib模塊。然而人們最想用的人臉識(shí)別和SIFT特征都在contrib里面。如果需要用的話,就需要自己編譯,Python用起來(lái)比較方便。

      官網(wǎng)下載并安裝OpenCV之后,在目錄\opencv\build\python\2.7\x64之下有一個(gè)cv2.pyd文件,把它拷貝到python安裝目錄下的\Lib\site-packages文件夾下面即可。需要注意的是版本要對(duì)應(yīng)。如圖1所示,以貓臉檢測(cè)為例,說(shuō)明基于OpenCV的貓臉檢測(cè)十分簡(jiǎn)單。用Python的話只有區(qū)區(qū)20行代碼。其中20行代碼中發(fā)揮主要作用的只有一個(gè)函數(shù):detectMultiScale()。

      此函數(shù)的作用是,在輸入圖像中檢測(cè)不同尺寸的對(duì)象,返回包含對(duì)象的矩形框。它接收的參數(shù):(1)image—輸入圖像;(2)scaleFactor—每輪檢測(cè)圖像齒輪減少的比例;(3)minNeighbors—對(duì)象要至少被檢測(cè)到幾次才能判定對(duì)象確實(shí)存在;(4)minSize—檢測(cè)對(duì)象的最小尺寸;(5)maxSize—檢測(cè)對(duì)象的最大尺寸。

      本文以貓臉檢測(cè)為例,說(shuō)明在OpenCV下,人臉檢測(cè)、行人檢測(cè)、人眼檢測(cè)等都是同樣的道理,同樣的流程。只需要把最開(kāi)始相應(yīng)的檢測(cè)器換掉,然后按照實(shí)際情況調(diào)節(jié)detectMultiScale()的參數(shù)。

      [參考文獻(xiàn)]

      [1]翟劍鋒.深度學(xué)習(xí)在自然語(yǔ)言處理中的應(yīng)用[J].電腦編程技巧與維護(hù),2013(18):74-76.

      [2]王臻,常寶寶,穗志方.基于分層輸出神經(jīng)網(wǎng)絡(luò)的漢語(yǔ)語(yǔ)義角色標(biāo)注[J].中文信息學(xué)報(bào),2014(6):56-61.

      [3]聶振海,賈丹.深度學(xué)習(xí)研究概述[J].科技創(chuàng)新導(dǎo)報(bào),2015(30):224.

      猜你喜歡
      深度學(xué)習(xí)
      從合坐走向合學(xué):淺議新學(xué)習(xí)模式的構(gòu)建
      面向大數(shù)據(jù)遠(yuǎn)程開(kāi)放實(shí)驗(yàn)平臺(tái)構(gòu)建研究
      基于自動(dòng)智能分類器的圖書(shū)館亂架圖書(shū)檢測(cè)
      搭建深度學(xué)習(xí)的三級(jí)階梯
      有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
      電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
      利用網(wǎng)絡(luò)技術(shù)促進(jìn)學(xué)生深度學(xué)習(xí)的幾大策略
      考試周刊(2016年94期)2016-12-12 12:15:04
      MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
      大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
      深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
      信阳市| 修水县| 贵阳市| 仙桃市| 扶沟县| 瓮安县| 南部县| 吴忠市| 大悟县| 东山县| 鹤山市| 阿鲁科尔沁旗| 清水县| 隆回县| 高台县| 大英县| 理塘县| 元氏县| 区。| 剑河县| 东光县| 上杭县| 景东| 南城县| 平顶山市| 旌德县| 阳东县| 长丰县| 水城县| 治县。| 大方县| 伊宁市| 中牟县| 双柏县| 遂昌县| 毕节市| 涿鹿县| 城市| 垣曲县| 图们市| 霍州市|