• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      特征數(shù)據(jù)增廣探究

      2021-11-20 04:26:23張倫劉大鵬
      現(xiàn)代計(jì)算機(jī) 2021年10期
      關(guān)鍵詞:中間層集上樣本

      張倫,劉大鵬

      (貴州師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院,貴陽(yáng)550025)

      1 研究背景及意義

      數(shù)據(jù)增廣是深度學(xué)習(xí)分類任務(wù)中常用的方法之一,主要用于增加訓(xùn)練數(shù)據(jù)集的樣本,讓數(shù)據(jù)集的樣本盡可能的多樣化,使得訓(xùn)練的模型具有更強(qiáng)的泛化能力。

      機(jī)器學(xué)習(xí)需要數(shù)據(jù)增廣。大量機(jī)器學(xué)習(xí)任務(wù),如無(wú)人駕駛汽車的目標(biāo)預(yù)測(cè)、人臉識(shí)別、行人檢測(cè)、醫(yī)學(xué)圖像的分類與識(shí)別等,都需要大量的訓(xùn)練數(shù)據(jù)。數(shù)據(jù)增廣是解決訓(xùn)練樣本不足的主流方法之一。數(shù)據(jù)增廣技術(shù)通過(guò)對(duì)訓(xùn)練數(shù)據(jù)集做一系列的隨機(jī)改變,用來(lái)產(chǎn)生和原數(shù)據(jù)相似但又不相同的訓(xùn)練數(shù)據(jù),從而擴(kuò)大訓(xùn)練數(shù)據(jù)集的規(guī)模,增加數(shù)據(jù)集的多樣性。有研究表明[27],分類任務(wù)中數(shù)據(jù)增廣提高了模型分類的準(zhǔn)確率和泛化性。

      現(xiàn)在深度學(xué)習(xí)更需要數(shù)據(jù)增廣。深度學(xué)習(xí)是近十年來(lái)人工智能領(lǐng)域取得的重要突破。2012年,Krizhevsky等人[1]設(shè)計(jì)的AlexNet(8層)卷積神經(jīng)網(wǎng)絡(luò)在ImageNet圖像競(jìng)賽中取得冠軍[2]。GoogLeNet(22層)[3]和VGG-Net(19層)是2014年ImageNet競(jìng)賽的雙雄,兩類模型的共同特點(diǎn)是網(wǎng)絡(luò)結(jié)構(gòu)比以往的模型層數(shù)更多。在2015年ImageNet競(jìng)賽上,MSRT何凱明團(tuán)隊(duì)的深度殘差網(wǎng)絡(luò)(Residual Networks,ResNet)[4]大方異彩,殘差網(wǎng)絡(luò)結(jié)構(gòu)更深(達(dá)50層),分類正確率更高。隨著卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不斷加深,網(wǎng)絡(luò)的參數(shù)越來(lái)越多,在有限的訓(xùn)練數(shù)據(jù)集下,容易發(fā)生過(guò)擬合現(xiàn)象,使圖像分類的正確率下降。除通過(guò)標(biāo)注增加訓(xùn)練數(shù)據(jù)外,提高圖像分類正確率的方法可主要分為兩種:一種是調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)或者改進(jìn)網(wǎng)絡(luò)對(duì)各層特征的處理能力,例如通過(guò)改變網(wǎng)絡(luò)中的激活數(shù)(ReLU)[5]、引入dropout層[6]等方法來(lái)提高模型的學(xué)習(xí)能力;另外一種是通過(guò)增廣方法產(chǎn)生大量新的訓(xùn)練樣本。

      本文將從模型的第一層數(shù)據(jù)增廣和模型的中間層數(shù)據(jù)增廣兩方面對(duì)現(xiàn)有工作進(jìn)行綜述,提出開(kāi)放問(wèn)題、有價(jià)值的研究方向,并展望未來(lái)通過(guò)特征數(shù)據(jù)增廣更好地提升模型能力。

      2 研究現(xiàn)狀

      本文將神經(jīng)網(wǎng)絡(luò)模型的輸入層數(shù)據(jù)(圖像、視頻、音頻、文本,等等)看作模型第一層特征,模型中間層數(shù)據(jù)(中間各層的輸出)看做模型中間層特征。

      現(xiàn)有的主要研究集中在對(duì)模型的第一層特征進(jìn)行增廣[7-14,26],少量的工作對(duì)模型的中間層特征進(jìn)行增廣[18-21]。接下來(lái)將從模型第一層特征數(shù)據(jù)增廣和模型中間層特征數(shù)據(jù)增廣兩方面分別總結(jié)。

      2.1 模型第一層特征數(shù)據(jù)增廣

      現(xiàn)有工作可以主要分為人工設(shè)計(jì)和主動(dòng)學(xué)習(xí)兩類增廣方法。不同數(shù)據(jù)集有著不一樣的屬性,需要人工進(jìn)行設(shè)計(jì)數(shù)據(jù)增廣方法。如:在訓(xùn)練階段水平翻轉(zhuǎn)圖像是CIFAR-10上的有效數(shù)據(jù)增強(qiáng)方法,但不是MNIST上的有效增強(qiáng)方法。因而,研究人員為了減少數(shù)據(jù)增廣依賴于人工的部分,設(shè)計(jì)出網(wǎng)絡(luò)自主學(xué)習(xí)數(shù)據(jù)增廣方法成為一種不可缺少的需求。

      下面從人工設(shè)計(jì)的增廣方法和自動(dòng)學(xué)習(xí)的增廣方法兩方面介紹。

      (1)人工設(shè)計(jì)的增廣方法

      模型輸入層的增廣方法有很多,如基于顏色變換的增廣方法,即圖像亮度、飽和度、對(duì)比度變化等的增廣;基于隨機(jī)差值增廣方法,對(duì)圖像進(jìn)行裁剪、縮放;基于仿射變換的增廣方法,尺度和長(zhǎng)寬比增強(qiáng)變換,對(duì)圖像進(jìn)行水平、垂直翻轉(zhuǎn)或者平移變換;基于高斯噪聲的增廣方法,對(duì)圖像引入高斯噪聲或者對(duì)圖片進(jìn)行模糊處理;類別不平衡數(shù)據(jù)的增廣[7]。圖像識(shí)別的常用數(shù)據(jù)增廣方法是人工手動(dòng)設(shè)計(jì)的,在不同數(shù)據(jù)集上應(yīng)用的數(shù)據(jù)增廣技術(shù)是不一樣的,最佳的數(shù)據(jù)增廣策略是不同數(shù)據(jù)集特有的。例如在MNIST上大多數(shù)頂級(jí)模型使用彈性扭曲[8]、縮放[9]、平移[10]和旋轉(zhuǎn)[11]。在自然圖像數(shù)據(jù)集上,如CIFAR-10和ImageNet,隨機(jī)裁剪、圖像鏡像和色彩漂移、白化更為常見(jiàn)[12]。文獻(xiàn)[26]介紹了一種新的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)(CNN)的數(shù)據(jù)增強(qiáng)方法——隨機(jī)消除。在訓(xùn)練中,隨機(jī)消除隨機(jī)選擇圖像中的一個(gè)矩形區(qū)域,并用隨機(jī)值覆蓋其像素。在此過(guò)程中,生成了不同遮擋水平的訓(xùn)練圖像,從而降低了過(guò)度擬合的風(fēng)險(xiǎn),使模型對(duì)遮擋具有魯棒性,隨機(jī)消除參數(shù)是學(xué)習(xí)得到的,易于實(shí)現(xiàn),并可以與大多數(shù)基于CNN的識(shí)別模型集成。雖然簡(jiǎn)單,隨機(jī)消除是常用的數(shù)據(jù)處理技術(shù)(如隨機(jī)裁剪和翻轉(zhuǎn))組合而成,提高了在目標(biāo)檢測(cè),圖像識(shí)別的準(zhǔn)確性。隨機(jī)消除結(jié)合一般的操作方法對(duì)性能有所提高(如:翻轉(zhuǎn)、變換等)。由于這些方法需要人工經(jīng)驗(yàn),不同數(shù)據(jù)集的數(shù)據(jù)增廣方法需要專業(yè)的研究人員進(jìn)行判斷,增加了工作量,增加了成本,而且比較耗時(shí),并且模型的性能提升的比較有限。

      (2)自動(dòng)學(xué)習(xí)的增廣方法

      代替人工操作數(shù)據(jù)增廣,降低人工成本,研究人員尋找最佳數(shù)據(jù)自動(dòng)增廣策略。谷歌大腦的研究者在arXiv上發(fā)表論文,提出一種自動(dòng)搜索合適數(shù)據(jù)增強(qiáng)策略的方法AutoAugment[13],該方法創(chuàng)建一個(gè)數(shù)據(jù)增強(qiáng)策略的搜索空間,利用搜索算法選取適合的數(shù)據(jù)增強(qiáng)策略。此外,從一個(gè)數(shù)據(jù)集中學(xué)到的策略能夠很好地遷移到其他相似的數(shù)據(jù)集上。AutoAugment對(duì)性能提高貢獻(xiàn)是很大的,但是由于選擇參數(shù)多,造成的運(yùn)算量大,且比較耗時(shí),自動(dòng)化搜索是對(duì)每一個(gè)小的代理任務(wù)進(jìn)行單獨(dú)搜索,它的結(jié)果可能被轉(zhuǎn)移到一個(gè)更大的目標(biāo)任務(wù)中,這個(gè)方法不是最優(yōu)的。所以AutoAugment有兩大缺點(diǎn):一是大規(guī)模的采用這樣的方法會(huì)增加訓(xùn)練復(fù)雜度、加大計(jì)算成本;二是無(wú)法根據(jù)模型或數(shù)據(jù)集大小調(diào)整正則化強(qiáng)度。于是谷歌大腦團(tuán)隊(duì)又提出了一種數(shù)據(jù)增強(qiáng)的方法——RandAugment,主要思想是隨機(jī)選擇變換,調(diào)整它們的大小。改進(jìn)的關(guān)鍵問(wèn)題是單獨(dú)搜索,所以研究人員的目標(biāo)就是消除AutoAugment數(shù)據(jù)增強(qiáng)過(guò)程中對(duì)單獨(dú)搜索的需求。由于AutoAugment的參數(shù)多,研究團(tuán)隊(duì)要大幅度減少數(shù)據(jù)增強(qiáng)的參數(shù)空間,為了減少參數(shù)空間和同時(shí)保持?jǐn)?shù)據(jù)(圖像)的多樣性,故采用無(wú)參數(shù)過(guò)程替代了學(xué)習(xí)的策略和概率。RandAugment[14]更好完善了AutoAugment的耗時(shí),單獨(dú)搜索的缺點(diǎn),正確率也提升了。自動(dòng)數(shù)據(jù)增廣方法代替了人工工作,而且提高了模型性能,具有很大的貢獻(xiàn)。但是由于AutoAugment、RandAugment對(duì)數(shù)據(jù)增廣方法的隨機(jī)性,所構(gòu)成的增廣策略很多,比較耗時(shí),這些工作是在數(shù)據(jù)空間中進(jìn)行的研究。

      2.2 模型中間層特征數(shù)據(jù)增廣

      有研究表明[15-16],在訓(xùn)練的過(guò)程中數(shù)據(jù)流沿著網(wǎng)絡(luò)逐層傳播時(shí),對(duì)模型的中層特征進(jìn)行增廣比對(duì)輸入層特征增廣更有效。

      部分研究工作[17-19]在特征空間中采用生成模型(通過(guò)算法找到樣本數(shù)據(jù)的概率分布)生成數(shù)據(jù)。這類方法優(yōu)點(diǎn)是收斂速度快速,如當(dāng)樣本數(shù)量較多時(shí),能更快地收斂于真實(shí)模型,缺點(diǎn)是復(fù)雜,計(jì)算量大,在訓(xùn)練過(guò)程中耗時(shí),有時(shí)候原數(shù)據(jù)與生成的數(shù)據(jù)有較大差異,可信度并不是很高。

      在實(shí)際應(yīng)用中,適用于一個(gè)數(shù)據(jù)集上的增廣方法,換到另外一個(gè)數(shù)據(jù)集上,效果并不是很好[20-21,30-31],需要有專家必須參與。因此有研究工作[22,25,29]對(duì)具有通用性的增廣方法(有的作者并沒(méi)有意識(shí)到其工作也是一種增廣方法)進(jìn)行了研究。

      接下來(lái)從基于GAN的增廣方法、非通用性的一般增廣方法和有通用性的一般增廣方法三個(gè)方面介紹。

      (1)基于GAN的增廣方法

      很多時(shí)候研究人員在處理數(shù)據(jù)時(shí),會(huì)遇到數(shù)據(jù)不足的情況,這時(shí)研究人員會(huì)考慮使用生成模型(通過(guò)算法找到樣本數(shù)據(jù)的概率分布)生成數(shù)據(jù)。GAN[17]提出了一個(gè)通過(guò)對(duì)抗過(guò)程估計(jì)生成模型的新框架,在新的框架中同時(shí)訓(xùn)練兩個(gè)模型:一個(gè)用來(lái)捕獲數(shù)據(jù)分布的生成模型G,和一個(gè)用來(lái)估計(jì)樣本來(lái)自訓(xùn)練數(shù)據(jù)而不是G概率的判別模型D,G的訓(xùn)練過(guò)程是最大化D產(chǎn)生錯(cuò)誤的概率。但是GAN不適合處理離散形式的數(shù)據(jù),而且存在訓(xùn)練不穩(wěn)定、梯度消失、模式奔潰的問(wèn)題。最終會(huì)導(dǎo)致結(jié)果缺少一些信息特征。VAE[18]原來(lái)生成模型的下界,難用傳統(tǒng)的梯度下降方法計(jì)算,所以選用了隨機(jī)梯度下降,提出了生成模型可以解決復(fù)雜的后驗(yàn)分布計(jì)算難的問(wèn)題。論文通過(guò)重參數(shù)技巧構(gòu)建了隨機(jī)梯度的優(yōu)化方式,將神經(jīng)網(wǎng)絡(luò)與概率圖模型相結(jié)合,利用高斯分布讓后驗(yàn)估計(jì)能夠產(chǎn)生有效的數(shù)據(jù)。生成隨機(jī)網(wǎng)絡(luò)(GSN)[19]由兩個(gè)條件概率分布參數(shù)化,是去躁自編碼器的推廣,除可見(jiàn)變量(通常表示為x)之外,在生成馬爾科夫鏈中還包括潛變量h。它提出之初被用于對(duì)觀察數(shù)據(jù)x的概率分布P(x)進(jìn)行隱式建模。以上這幾種網(wǎng)絡(luò)都可以看著是特征空間的數(shù)據(jù)增廣,通過(guò)模型參數(shù)進(jìn)行調(diào)整獲得新數(shù)據(jù),但增加了計(jì)算量。

      (2)非通用性的一般增廣方法

      2016年在arXiv發(fā)表的論文[20]采用SMOTE:合成少數(shù)類過(guò)采樣技術(shù),對(duì)少數(shù)類樣本進(jìn)行分析并根據(jù)少數(shù)類樣本人工合成新樣本添加到數(shù)據(jù)集中;DBSMOTE:在SMOTE基礎(chǔ)上通過(guò)種子樣本與少數(shù)類樣本的中心距離,構(gòu)造新樣本分布函數(shù)。在模型中間層對(duì)特征進(jìn)行增廣,最后結(jié)果不是很理想,論文不好的原因是沒(méi)有考慮到增加特征空間的多樣性,用在不同數(shù)據(jù)集上的效果不佳。數(shù)據(jù)增廣是通過(guò)對(duì)訓(xùn)練數(shù)據(jù)的變換來(lái)生成樣本的過(guò)程,文獻(xiàn)[30]提出在模型中間層用一種新的自動(dòng)適應(yīng)算法來(lái)挑選用于數(shù)據(jù)增廣的樣本變換。自動(dòng)適應(yīng)算法也只是在兩個(gè)數(shù)據(jù)集上做了實(shí)驗(yàn),只比隨機(jī)變換的方法好一點(diǎn)。為了更好地識(shí)別被遮擋和變形的物體,文獻(xiàn)[31]采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增廣的訓(xùn)練方法,直接在特征空間對(duì)數(shù)據(jù)集進(jìn)行遮擋和變形。卷積神經(jīng)網(wǎng)絡(luò)下采樣操作過(guò)程不能保留輸入的全部特征,文獻(xiàn)[32]提出并行網(wǎng)格池(PGP)替代下采樣操作,PGP不丟棄任何特征,可以看著是特征空間數(shù)據(jù)增廣的補(bǔ)充。在研究特征空間中的數(shù)據(jù)增廣問(wèn)題[21],提出了一種新的結(jié)構(gòu),即特征遷移網(wǎng)絡(luò)(FATTEN)。FATTEN中外觀參數(shù)和位姿參數(shù)是為了生成新的特征,兩個(gè)參數(shù)平衡訓(xùn)練,對(duì)生成的特征是有益的。以上工作都是模型中間層的數(shù)據(jù)集增廣,一種增廣技術(shù)在不能在多個(gè)數(shù)據(jù)集上表現(xiàn)良好的性能,沒(méi)有考慮到數(shù)據(jù)集自身的特性(如:文獻(xiàn)[30]只是考慮遮擋和變形的情況,如果數(shù)據(jù)集沒(méi)有遮擋或者形變,這樣會(huì)降低模型分類正確率)。

      (3)有通用性的一般增廣方法

      增加數(shù)據(jù)集的多樣性,離不開(kāi)數(shù)據(jù)增廣方法,而數(shù)據(jù)增廣方法的通用性具有重要的意義??紤]在數(shù)據(jù)中同一類別做數(shù)據(jù)增廣,文獻(xiàn)[28]提出了在特征空間中兩個(gè)同類數(shù)據(jù)集做內(nèi)插的數(shù)據(jù)增廣技術(shù)(內(nèi)插:在兩個(gè)類樣本之間生成新的樣本)。文獻(xiàn)[29]進(jìn)一步在文獻(xiàn)[28]上提出了在特征空間中兩個(gè)同類數(shù)據(jù)集做外插的數(shù)據(jù)增廣技術(shù)(外插:在兩個(gè)類樣本之外生成新樣本)。在機(jī)器學(xué)習(xí)的模型中,如果模型的參數(shù)太多,而訓(xùn)練樣本又太少,訓(xùn)練出來(lái)的模型很容易產(chǎn)生過(guò)擬合的現(xiàn)象。如果模型過(guò)擬合,那么得到的模型幾乎不能用。訓(xùn)練樣本少的問(wèn)題可以使用數(shù)據(jù)增廣方法解決。Dropout[22-24]可以在模型訓(xùn)練中防止過(guò)擬合,Dropout是指:在向前傳播的時(shí)候,讓某個(gè)神經(jīng)元的激活值以一定的概率停止工作,這樣可以使模型的泛化增強(qiáng)。Dropout的工作可以看做是數(shù)據(jù)增廣,而且可以用在不同數(shù)據(jù)集上,具有通用性。但是Dropout一定概率丟棄特征,如果丟棄的是數(shù)據(jù)集主要特征,對(duì)于模型的貢獻(xiàn)將會(huì)降低。Disout[25]是一種通過(guò)研究特征圖擾動(dòng)來(lái)增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的泛化能力的方法,根據(jù)網(wǎng)絡(luò)中間層的Rademacher復(fù)雜度(ERC),確定給定深度神經(jīng)網(wǎng)絡(luò)的泛化誤差上界,并將擾動(dòng)引入特征圖,來(lái)降低網(wǎng)絡(luò)的Rademacher復(fù)雜度,從而提高其泛化能力。Disout保留了原有的主要特征進(jìn)行訓(xùn)練,在模型訓(xùn)練過(guò)程中,這是一種數(shù)據(jù)增廣技術(shù)。在各種數(shù)據(jù)集上的性能取得了不錯(cuò)的效果。數(shù)據(jù)增廣方法的局限性,一種增廣技術(shù)往往適合一種數(shù)據(jù)集的增廣,不能在多個(gè)數(shù)據(jù)集上通用。需要人工分析,人工操作,增加了人工成本。研究人員在尋找數(shù)據(jù)增廣技術(shù)的通用性而努力。

      3 結(jié)語(yǔ)

      在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中,對(duì)數(shù)據(jù)量的需求很大,所以考慮對(duì)數(shù)據(jù)進(jìn)行增廣,傳統(tǒng)的數(shù)據(jù)增廣需要人工經(jīng)驗(yàn),這樣就增加了時(shí)間和成本,目前有相關(guān)工作選擇最佳的增廣方法應(yīng)用于不同數(shù)據(jù)集。但是還有很多地方需要繼續(xù)研究:①在模型中間層尋找應(yīng)用于不同數(shù)據(jù)集的最佳數(shù)據(jù)增廣方法,目前是研究的熱點(diǎn);②對(duì)于模型中間層數(shù)據(jù)增廣,主要是增加特征空間的多樣性,增加的特征對(duì)于模型性能提升還需要進(jìn)一步研究;③在模型中間層增廣方法結(jié)合強(qiáng)化學(xué)習(xí),目前沒(méi)有人去做相關(guān)的工作,模型中間層數(shù)據(jù)增廣方法結(jié)合強(qiáng)化學(xué)習(xí)會(huì)對(duì)模型的分類有益。

      猜你喜歡
      中間層集上樣本
      用樣本估計(jì)總體復(fù)習(xí)點(diǎn)撥
      Cookie-Cutter集上的Gibbs測(cè)度
      鏈完備偏序集上廣義向量均衡問(wèn)題解映射的保序性
      推動(dòng)醫(yī)改的“直銷樣本”
      復(fù)扇形指標(biāo)集上的分布混沌
      隨機(jī)微分方程的樣本Lyapunov二次型估計(jì)
      村企共贏的樣本
      鎳基高溫合金TLP擴(kuò)散焊中間層材料研究進(jìn)展
      焊接(2016年8期)2016-02-27 13:05:10
      B含量對(duì)IC10合金TLP焊接用中間層材料及接頭組織的影響
      焊接(2016年6期)2016-02-27 13:04:55
      社會(huì)中間層建設(shè)與活動(dòng)機(jī)制網(wǎng)研究
      波密县| 邻水| 黄石市| 宜川县| 鹤岗市| 山阳县| 千阳县| 托克托县| 安乡县| 灌阳县| 临澧县| 佛坪县| 巴青县| 金塔县| 中方县| 伊宁县| 宕昌县| 富川| 南华县| 普宁市| 甘洛县| 繁昌县| 航空| 林周县| 井研县| 瑞昌市| 德安县| 隆化县| 谢通门县| 云梦县| 墨竹工卡县| 泰和县| 门头沟区| 蒙自县| 合肥市| 黄陵县| 杨浦区| 山丹县| 泰兴市| 汉寿县| 米易县|