深度學習應用技術探討

摘要：深度學習作為當今計算機智能產業(yè)中重要的一支，其在計算機視覺、語音識別、自然語言的處理方面已經(jīng)有了相當規(guī)模的應用。以深度學習技術在現(xiàn)實的具體應用為目標進行分析研究，已經(jīng)成為當代計算機技術中的熱門。本文通過分析逐層預訓練后再用微調的深度學習貪婪層訓練方法， 深入了解了深度學習深層結構的特點，同時涉獵時下最流行的五層深度網(wǎng)絡內部組成。通過認真研究相關內容，展望了深度學習的未來前景。

關鍵詞：深度神經(jīng)網(wǎng)絡；梯度下降；驗證集；監(jiān)督學習；貪婪層訓練方法；深度學習

深度學習作為機器學習的一項新興內容，經(jīng)過對大量經(jīng)驗的總結，實現(xiàn)了可以通過自動學習的方法使計算機的算法得到提升，其在現(xiàn)實中的應用，已經(jīng)從最初的人工神經(jīng)網(wǎng)絡的概念、人工神經(jīng)元的數(shù)學模型，發(fā)展到通過收集用戶的行為運作，分析其行為模式，進而生成信息過濾系統(tǒng)而了解使用者的興趣所在。國際上流行的貪婪逐層方法使深度學習成為機器學習研究的一個新領域。對于數(shù)據(jù)信息的大需求量，決定了深度學習符合大數(shù)據(jù)時代的相關要求的特性。其應用主要表現(xiàn)在：

1 深度學習在Supervised Learning（監(jiān)督學習）中的應用

這是一種非常繁瑣的提取方案，深度學習與普通機器學習的區(qū)別在于多個隱層，對每一層特征的歸納總結并非由人工完成，而是模擬人腦機能在分析大量信息基礎上習得的。作為機器學習非常流行的學習方法，監(jiān)督學習需要捕獲足夠數(shù)據(jù)，且這些數(shù)據(jù)已經(jīng)將確定的結果標簽化。通過這種方式來學習一個系統(tǒng)假設。例如要學習一個表情識別系統(tǒng)，首先需要通過設備收集大量人臉表情圖像，而且每個圖案都具備該圖像對應的表情詳細代表的結果標簽。若系統(tǒng)假設是一類回歸問題； 另外一類預測值只有很少的幾個離散取值，則我們把這種學習問題叫做分類問題。當前最廣泛的機器學習問題基本都可歸為分類問題，監(jiān)督學習也可以歸為分類問題的范疇。

1.1 對于降低梯度的問題的解決方案

普通的學習訓練方式包括：①=1＼*GB3全批量梯度下降；②=2＼*GB3隨機小批量梯度下降；③=3＼*GB3隨機梯度下降，目的在于精確調整權向量，為每個指標的重要程度計算一個最大變化量，人為使權重發(fā)生一個微弱的變化，而目標函數(shù)通過升高或降低來調節(jié)權重。兩種方式的不同之處是：利用樣本的手段有所區(qū)別。全批量梯度下降算法將全部樣本的誤差計算出來，進而得到目標函數(shù)，每個指標的重要程度沿最大變化量進行反向移動，把學習率漸漸降低，對防止誤導結果方向是有效的。

1.2 訓練集、驗證集與測試集

訓練在結束以后，可以用一種未投入訓練的樣本集合檢驗系統(tǒng)的學習成效。我們把投入訓練的樣本集叫做訓練集，訓練結束后進行測試，然后收集到所有測試成果，所有成果樣本的總稱為測試集?，F(xiàn)在，訓練方法得到了革新，將測試集投入訓練，以檢驗該模型的優(yōu)化程度。用投入的樣本依次更新該指標在整體評價中的相對重要程度，以測試集代替樣本集對訓練的效果進行檢驗，如果產生最大效果，就要立刻中止更新。因為參與檢驗的范例已經(jīng)進行了學習，已經(jīng)不再具備評估的功能，因此需要用驗證集來進行驗證。訓練集、驗證集和測試集形成了樣本不可分割的組成部分。驗證集的作用是通過算法判斷受評模塊是否達到最優(yōu)；測試集的測試結果表現(xiàn)在受測模塊辨識新樣本的水平。

1.3 Classifier與深度學習的組成

線性Classifier是當下便捷而實用的分類器，第一需要計算范例信息中各部分特征加權之和，如果這個結果大于限定值， input就要劃分到專屬的類當中，如果這個結果小于限定值，input就要劃分到另一類當中。圖形和人聲的處理相對復雜，使系統(tǒng)對物體的位置、方向、光線強度、腔調、地方語言等無關因素不敏感，然而又對微小差別產生應激反應。深度學習不用手工選擇良好的特征提取器，僅需接受普通訓練就能完成自動學習的過程，既能對微小的差別產生應激反應，又能忽略非關鍵因素的干擾。

2 深度學習中建立多層神經(jīng)網(wǎng)絡的應用

①=1＼*GB3一層一層的建立單層神經(jīng)單位，每次只對一個單層訓練；

②=2＼*GB3全部單層逐一訓練完成后，可以利用wakesleep算法優(yōu)化；

③=3＼*GB3 認識感知過程 ，與外部特征相匹配后生成各層的抽象表示，并生成權重；

④=4＼*GB3生成過程，利用頂層表示和向下權重，生成底層的狀態(tài)，同時即時更新規(guī)則。

3 深度學習應用中的貪婪逐層方法

貪婪逐層方法的基本思想是：訓練網(wǎng)絡的頻率是每次一層，第一次訓練的時候，該網(wǎng)絡只能包含一個隱藏層，只有當這個僅包含一個隱藏層的網(wǎng)絡受訓結束后，才能將下一個訓練目標定為包含兩個隱藏層的網(wǎng)絡，按這個規(guī)律進行各層的訓練。在各道工序中，需要固定好前面已經(jīng)訓練好的一層，才可以增加下一層?？梢栽诒O(jiān)督下進行每一層的訓練，然而業(yè)內常用像autocoderHYPERLINK"http：//www.so.com/link？url=http%3A%2F%2Fdict.youdao.com%2Fsearch%3Fq%3Dautocoder%26keyfrom%3Dhao360&q=%E8%87%AA%E5%8A%A8%E7%BC%96%E7%A0%81%E5%99%A8+%E8%8B%B1%E8%AF%AD&ts=1522330884&t=5dcc357b86d168ef385c280436b951d"＼t"_blank"一類的無監(jiān)督方法。每一層訓練成果中得到的權重，我們可以用這個權重還原全部的深度網(wǎng)絡的權重，最后以“微調”的方式調整整個網(wǎng)絡。貪婪逐層方法已經(jīng)在財務管理以及勞資管理系統(tǒng)中有出色表現(xiàn)。

4 結語

綜上所述，本文回顧了深度學習的發(fā)展歷程及應用成就，詳細闡述了逐層預訓練后再用微調的深度學習貪婪層訓練方法，從生物學與仿生學的角度來說，深度學習通過模擬人體大腦神經(jīng)網(wǎng)絡中參與認知學習部分，并以接近人體大腦的思維方式對相關信息做出說明與判斷，從其智能化的角度來說，具有極大的市場應用前景，然而由于其天生缺點，其技術仍然需要在實踐中不斷改進，相信隨著計算機與仿生技術的進步，深度學習在現(xiàn)實中的應用將更加廣闊。

參考文獻：

[1]Mitchell T.Machine learning[M].[S.l.]： Mc Graw Hill，1997.

[2]Alpaydin E.Introduction to machine learning[M].Cambridge：MITPress，2004.

[3]Samuel A L.Some studies in machine learning using game of checkers[J].IBM Journal of Research and Development，2000，44（1/2）：206226.

作者簡介：陳思宇（1997），男，河南西平人，2014級網(wǎng)絡工程專業(yè)在讀本科生。