剪枝
- 基于中間圖特征提取的卷積網(wǎng)絡雙標準剪枝
量化、知識蒸餾、剪枝等［8-9］，其中，低秩分解是通過分解權重矩陣的方式來減少網(wǎng)絡的計算量。LI 等［10］提出一種基于內(nèi)核分解的算法，同時設計相關的微架構，可以最大限度地優(yōu)化卷積網(wǎng)絡。量化算法以占用較少存儲空間的低精度參數(shù)權值來替代卷積神經(jīng)網(wǎng)絡中的高精度浮點型參數(shù)，目前最常見的是采用8 位整型參數(shù)來替代原有網(wǎng)絡中的32 位浮點型參數(shù)。HAN 等［11］提出基于量化和哈夫曼編碼的網(wǎng)絡壓縮方法，在AlexNet 網(wǎng)絡上獲得了35 倍的壓縮比。知識蒸餾的主要思
計算機工程 2023年3期2023-03-16
- 基于稀疏深度神經(jīng)網(wǎng)絡的電磁信號調(diào)制識別*
5-14]。模型剪枝作為模型壓縮中較為核心的方法，它可以清除網(wǎng)絡中冗余的參數(shù)與計算量。文獻[15]基于權重修剪網(wǎng)絡中不重要的連接，在ImageNet數(shù)據(jù)集上，在不損失精度的同時將AlexNet和VGG-16的參數(shù)數(shù)量分別減少了9倍和13倍。文獻[16]對整個層進行修剪，提出一種結構化稀疏學習(Structured Sparsity Learning，SSL)方法來正則化深度神經(jīng)網(wǎng)絡(Deep Neural Network，DNN)的結構，將20層的ResN
電訊技術 2023年2期2023-03-02
- 分塊壓縮學習剪枝算法
縮[3].而網(wǎng)絡剪枝技術是模型壓縮中常用的方法，并在處理復雜網(wǎng)絡模型效率上展現(xiàn)顯著優(yōu)勢[4].網(wǎng)絡剪枝技術是去除網(wǎng)絡中冗余的參數(shù)和結構以得到稀疏的網(wǎng)絡結構，可分為非結構化剪枝和結構化剪枝.非結構化剪枝通過去除每層不重要的權值以實現(xiàn)權重矩陣較高的稀疏度，Han等[5]提出基于閾值的剪枝方法去除網(wǎng)絡中冗余的權值，刪除權值絕對值低于閾值的權重參數(shù).但非結構化剪枝的實現(xiàn)需要借助特定的軟件[6]和硬件[7]，將帶來額外的計算成本.相比非結構化剪枝，結構化剪枝通過去除
小型微型計算機系統(tǒng) 2023年2期2023-02-17
- 面向垃圾圖像分類的改進注意力機制剪枝算法*
為研究熱點。模型剪枝具有原理簡單、易實現(xiàn)、壓縮效果顯著的特點，被廣泛應用于模型壓縮。剪枝主要分為非結構化剪枝和結構化剪枝，其中非結構化剪枝的模型需要專門的算法或硬件結構才能實現(xiàn)加速[2]；結構化剪枝是對通道、卷積核等結構進行剪枝，不依靠特定的軟硬件平臺，更有利于嵌入式設備的部署，目前得到了廣泛應用。如何準確評價網(wǎng)絡結構的重要程度是結構化剪枝過程中的主要問題。Li等人提出將濾波器的L1范數(shù)作為衡量標準[3]；Hassibi等人利用誤差函數(shù)的二階導數(shù)去對權重的
科學與信息化 2022年24期2023-01-05
- 融合改進通道和層剪枝的口罩人臉檢測*
標檢測算法和模型剪枝算法，針對實際場景中的目標檢測算法構建，提出一種融合通道和層剪枝的模型剪枝方法，以YOLOv4目標檢測算法作為初始模型在口罩人臉數(shù)據(jù)集上進行剪枝，并將剪枝后的模型與原模型以及YOLOv4的輕量化模型YOLOv4-tiny進行對比實驗。本文主要貢獻如下：(1)構建用于人臉口罩檢測的數(shù)據(jù)集，能更好地檢測口罩佩戴不完全的情況。(2)提出一種融合通道和層剪枝的模型剪枝方法，可以顯著減少模型的參數(shù)量，便于實時部署。(3)使用本文所提方法在構建的人
計算機工程與科學 2022年3期2022-12-22
- 基于網(wǎng)絡特征的分層剪枝方法
方法之一, 模型剪枝技術[6]已被證明是一種有效的方法[7-11], 可在盡量不損失精度(甚至更好)的情況下減小模型體積. 在剪枝技術中, 基于權重的剪枝是一種常用方法. 在范圍上, 剪枝技術可分為全局剪枝和分層剪枝. 分層剪枝方法對每層的參數(shù)單獨進行處理, 如果某個參數(shù)低于該層的重要性最低閾值, 則將其裁剪掉. 例如： 使用權重的絕對值衡量重要性, 先移除權重值低于閾值的所有參數(shù), 然后重新訓練剩余的稀疏網(wǎng)絡[8]或?qū)⑹Ｓ鄼嘀鼗謴偷匠跏紶顟B(tài)再進行訓練[1
吉林大學學報（理學版） 2022年6期2022-11-20
- 在軌目標檢測模型結構化條帶剪枝
分解、知識蒸餾、剪枝以及量化中的一種或多種方式來降低模型參數(shù)量和計算量.其中，剪枝是模型壓縮的重要手段之一.通過將深度模型中不重要的參數(shù)或者卷積核剪除掉，從而實現(xiàn)降低模型復雜度的目的.按照剪枝粒度可以將剪枝分為結構化剪枝和非結構化剪枝.非結構化剪枝的對象是模型中的單個參數(shù)，被剪參數(shù)不具有任何結構.結構化剪枝的對象是卷積核、通道或者分組.無論結構化剪枝還是非結構化剪枝，如何確定被剪除的參數(shù)是一個核心問題.權重剪枝可以追溯到OBD(optimal brain
空間控制技術與應用 2022年5期2022-11-02
- 基于可融合殘差卷積塊的深度神經(jīng)網(wǎng)絡模型層剪枝方法
度神經(jīng)網(wǎng)絡模型層剪枝方法徐鵬濤 曹健?孫文宇 李普 王源 張興?北京大學軟件與微電子學院, 北京 102600; ?通信作者, E-mail: caojian@ss.pku.edu.cn (曹健), zhx@pku.edu.cn (張興)針對當前主流的剪枝方法所獲得的壓縮模型推理時間較長和效果較差的問題, 提出一種易用且性能優(yōu)異的層剪枝方法。該方法將原始卷積層轉化為可融合殘差卷積塊, 然后通過稀疏化訓練的方法實現(xiàn)層剪枝, 得到一種具有工程易用性的層剪枝方法
北京大學學報（自然科學版） 2022年5期2022-10-11
- 基于梯度追蹤的結構化剪枝算法
餾[10]和網(wǎng)絡剪枝[5，11-12]等。他們在追求高精度的同時，能夠降低過參數(shù)化網(wǎng)絡的計算代價以及存儲需求。濾波器剪枝能夠剪除原始網(wǎng)絡中的冗余卷積核，從而獲得小網(wǎng)絡，有效降低模型的運算量和存儲量。作為模型壓縮技術，濾波器剪枝有以下幾個優(yōu)勢：首先，它可以應用于CNN的任何任務中，比如目標檢測，人臉識別和語義分割等。其次，濾波器剪枝可以在顯著減少FLOPs、加快推理速度的同時，不會損壞網(wǎng)絡結構。因此，可以利用其它模型壓縮技術(例如，知識蒸餾[10]、量化[8
計算機仿真 2022年8期2022-09-28
- 模型剪枝算法綜述
1]中研究人員將剪枝、模型量化與霍夫曼編碼結合將AlexNet模型參數(shù)壓縮至原模型的2.8%,將VGG-16參數(shù)壓縮至原模型的2.0%。1 問題描述本文主要介紹針對于模型剪枝方面的算法。模型壓縮算法主要分為剪枝、量化、低秩分解與知識蒸餾4個方面。剪枝的過程如圖1所示。在文獻[2]中提出在深度神經(jīng)網(wǎng)絡中權重參數(shù)存在顯著冗余，僅僅使用一小部分權重就可以預測出其余的權重。因此，網(wǎng)絡中的大多數(shù)權重并不需要學習。訓練網(wǎng)絡中小部分權重參數(shù)就可能達到和原網(wǎng)絡相近甚至超越
計算機與現(xiàn)代化 2022年9期2022-09-24
- 基于模型剪枝和知識蒸餾的船舶目標檢測方法
等問題,本文采用剪枝技術來對模型進行壓縮[2],并用知識蒸餾技術對剪枝后的模型進行蒸餾,補償剪枝后模型的檢測精度損失.1 模型選取1.1 卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡常用于分類與檢測等任務[3],主要由卷積層、池化層、全連接層組成.卷積層是通過感受野即卷積核在圖像上進行滑動卷積,以此來提取圖像中不同維度的特征;將卷積層輸出的特征放到池化層中對特征圖進行池化操作,池化層與卷積層相似,是在感受野上建立一個窗口來進行滑動操作,從而達到特征降維的作用;將池化后輸出的特
南京工程學院學報（自然科學版） 2022年2期2022-08-16
- 基于權重和BN層剪枝的晶界檢測模型壓縮算法探析
加速方面大致分為剪枝與量化、低秩因子分解、遷移或壓縮卷積濾波器、蒸餾學習等4類方法[2]。其中，網(wǎng)絡剪枝主要指在網(wǎng)絡訓練過程中尋求一種評判重要性的機制，剔除不重要的連接、節(jié)點甚至是卷積核，達到精簡網(wǎng)絡結構的目的。相比于其他模型壓縮的方法，網(wǎng)絡剪枝算法不僅原理簡單且操作方便，還可以在不影響性能的前提下，通過設定恰當?shù)?span id="j5i0abt0b" class="hl">剪枝準則去除網(wǎng)絡中對輸出特征貢獻小的無用部分。筆者旨在通過尋找合適的剪枝策略機制對晶界檢測EfficientDet網(wǎng)絡進行模型壓縮，采用權重剪枝
北京工業(yè)職業(yè)技術學院學報 2022年3期2022-07-29
- 工業(yè)場景下基于秩信息對YOLOv4的剪枝
對YOLOv4的剪枝秦曉1，2，成苗1，2，3*，張紹兵1，2，3，何蓮1，3，石向文1，2，王品學1，2，曾尚1，2（1.中國科學院 成都計算機應用研究所，成都 610041；2.中國科學院大學 計算機科學與技術學院，北京 100049；3.深圳市中鈔科信金融科技有限公司，廣東 深圳 518206）（?通信作者電子郵箱chengmiao@cbpm?kexin.com）在工業(yè)場景無線射頻識別（RFID）實時缺陷檢測任務中，為了保證檢測精度以及速度常采用YO
計算機應用 2022年5期2022-06-21
- 采用可替代濾波器的卷積神經(jīng)網(wǎng)絡模型剪枝方法
.將神經(jīng)網(wǎng)絡模型剪枝部署于移動邊緣設備具有優(yōu)勢[1]，在非結構化修剪方式方面，Guo 等[2]提出一種動態(tài)的參數(shù)剪枝算法以逼近神經(jīng)網(wǎng)絡模型壓縮的理論極限.Carreira-Perpinán等[3]通過兩步(學習和壓縮)交替優(yōu)化的剪枝方法將原參數(shù)向約束表示的可行集投影，自動找到每層的最優(yōu)稀疏比.Ding等[4]通過一階泰勒展開式判斷剪枝對最終輸出造成的影響排序，網(wǎng)絡中的權重根據(jù)排序進行分類.對造成影響較大的權重，采用常規(guī)的隨機梯度下降(SGD)更新，對其他的
華僑大學學報（自然科學版） 2022年2期2022-03-13
- 基于自動修補策略的網(wǎng)絡剪枝
低秩分解[6]、剪枝[7].剪枝作為一種加速預訓練較大模型的方法，可進一步分為非結構化剪枝[8]和結構化剪枝[9].結構化剪枝可簡化為2個問題：1)如何判斷是否應該剪去一個指定的卷積核;2)確定每層中應該剪去多少個卷積核.現(xiàn)有的剪枝方法試圖最大限度地壓縮網(wǎng)絡而不造成太大的精度損失,大多數(shù)遵循相同流程：訓練、剪枝、微調(diào).對于問題1)，通常使用人工規(guī)則選擇不重要的卷積核并將其剪去，剪枝過程方便快捷.一個典型的剪枝思想是:如果網(wǎng)絡中某個對象的值足夠小，就可對其進
模式識別與人工智能 2022年1期2022-02-17
- 深度卷積神經(jīng)網(wǎng)絡的柔性剪枝策略
積神經(jīng)網(wǎng)絡的柔性剪枝策略陳靚1,2，錢亞冠1,2，何志強1,2，關曉惠3，王濱4，王星4（1. 浙江科技學院理學院/大數(shù)據(jù)學院，浙江 杭州 310023；2. ?？低?浙江科技學院邊緣智能安全聯(lián)合實驗室，浙江 杭州 310023； 3. 浙江水利水電學院信息工程與藝術設計學院，浙江 杭州 310023；4. 浙江大學電氣工程學院，浙江 杭州 310063）盡管深度卷積神經(jīng)網(wǎng)絡在多種應用中取得了極大的成功，但其結構的冗余性導致模型過大的存儲容量和過高的計算
電信科學 2022年1期2022-02-12
- 基于模塊相似性的超分網(wǎng)絡剪枝
5-17]和網(wǎng)絡剪枝(network pruning)[18-22]。量化是一種像素級別的壓縮方法，通過將全精度(32 bit)的權重(weights)、激活值(activations)以及梯度值(gradients)量化到低精度(如8 bit)，從而達到壓縮和加速網(wǎng)絡的目的。然而量化的方法需要軟硬件都支持低精度運算，在使用范圍上大幅受限，并且容易帶來模型精度的明顯下降，并不適合所有網(wǎng)絡。而知識蒸餾則是使用一個復雜強大的教師網(wǎng)絡來監(jiān)督簡單小巧的學生網(wǎng)絡訓練
電子科技大學學報 2022年1期2022-01-26
- 基于遷移學習的卷積神經(jīng)網(wǎng)絡通道剪枝
層縮放因子的通道剪枝能否據(jù)此獲得更高的剪枝閾值，對其剪枝效果與迭代收斂性進行研究驗證，并從結構搜索的觀點對實驗結果進行解釋。主要工作如下：1)從多分類大數(shù)據(jù)集向小數(shù)據(jù)集實現(xiàn)遷移，對比加載預訓練權重初始化重新訓練、與凍結部分卷積層參數(shù)微調(diào)對稀疏化效果產(chǎn)生的影響。2)對稀疏化后的通道按權重排序并剪枝，考察通道剪枝閾值選取容限，測試新形成網(wǎng)絡結構的精度保持情況。3)進一步地，利用迭代剪枝方法，探究模型精度保持極限與結構收斂性。從而證明，遷移學習更易實現(xiàn)充分的權值
計算機與現(xiàn)代化 2021年12期2021-12-18
- 基于雙DDPG的全局自適應濾波器剪枝方法
數(shù)量化［13］。剪枝，作為壓縮深度神經(jīng)網(wǎng)絡模型的主流方法之一，可以極大地減小內(nèi)存占用和推理運算時間。在過去的十年內(nèi)，激起了廣大研究者的興趣。剪枝主要分為結構化剪枝和非結構化剪枝。非結構化剪枝是將不重要的權值設置為0，從而實現(xiàn)高稀疏性，但是稀疏操作需要專門的硬件或者軟件庫來加快推理過程，因此限制了非結構化剪枝的應用。結構化剪枝則是移除原始網(wǎng)絡中不重要的濾波器（通道）。這種濾波器（通道）級別的剪枝只是對網(wǎng)絡模型的架構進行修改，并不會影響它的實際可用性。本文致力
南京郵電大學學報(自然科學版) 2021年5期2021-11-24
- 利用KL散度度量通道冗余度的深度神經(jīng)網(wǎng)絡剪枝方法
近似[4]、權重剪枝[5-7]、參數(shù)量化[6]、二值化網(wǎng)絡[8]、知識蒸餾[9-11]、緊湊卷積濾波器設計[12]和通道剪枝[13-21]等。剪枝是實現(xiàn)網(wǎng)絡壓縮一種較為直接而且有效的方法，目前大多數(shù)剪枝算法都是先訓練一個大型的復雜預訓練模型，然后對這個模型進行剪枝，從而得到一個性能不錯且較為緊湊的小模型。本文采用結構化剪枝方法，利用KL散度定義通道的重要因子，根據(jù)重要因子對CNN的每層卷積層逐層進行通道剪枝，從而達到減少網(wǎng)絡參數(shù)數(shù)量和FLOPs的目的。Li
計算機應用與軟件 2021年11期2021-11-15
- 基于敏感度的YOLO網(wǎng)絡集成剪枝算法
量化方法主要包括剪枝［1-2］、低秩分解［3］、量化［4］、知識蒸餾［5-6］等。由于卷積神經(jīng)網(wǎng)絡中包含卷積層和全連接層等人為設定的訓練參數(shù)模塊，這種憑借經(jīng)驗通過重復實驗得到的局部最優(yōu)超參數(shù)不能代表網(wǎng)絡的實際需求。根據(jù)深度卷積神經(jīng)網(wǎng)絡的新雙U 型偏差-方差風險曲線［6］可知，在不考慮資源限制的條件下，參數(shù)越多、模型越復雜的網(wǎng)絡性能表現(xiàn)越好，但是過多參數(shù)的復雜模型沒有權衡成本和性能間的關系并且模型存在冗余。剪枝的目的是通過剪除網(wǎng)絡中冗余的模塊，從過參數(shù)化的復
計算機工程 2021年9期2021-09-15
- 基于全局信息的卷積神經(jīng)網(wǎng)絡模型剪枝微調(diào)優(yōu)化方法
縮方法, 如模型剪枝[1-5]、權重量化[6-9]和神經(jīng)網(wǎng)絡結構搜索[10-12]等。其中, 模型剪枝方法能大幅度地減少模型參數(shù)量和運算量, 成為模型壓縮的主流方法, 又可分為非結構化剪枝方法和結構化剪枝方法。非結構化剪枝方法[13]認為卷積神經(jīng)網(wǎng)絡中存在小值權重, 對網(wǎng)絡最終輸出貢獻少, 可將其置 0,以便減少網(wǎng)絡運算量。采用此類方法的模型壓縮效果較好, 但部署到端側設備時, 硬件平臺要具有相應的稀疏矩陣運算加速庫才能實現(xiàn)提速, 故非結構化剪枝方法在部署
北京大學學報（自然科學版） 2021年4期2021-08-24
- 基于權重關聯(lián)性的卷積神經(jīng)網(wǎng)絡模型剪枝方法
破這種限制，模型剪枝成為了一種在維持模型精度的情況下，十分有效地壓縮和加速模型的方法.模型剪枝通過剪除模型中不重要的參數(shù)，來減少模型的參數(shù)量和相關的計算量，從而使得模型輕量化.模型剪枝按照移除的粒度大小可以被分為兩種類別：非結構化剪枝[1]和結構化的剪枝[2].非結構化剪枝是一種對每個權重單獨進行評估的方法，它將被認為是冗余的權重置為零并移除.這樣的方法雖然可以更加精準的判斷權重的重要性，但也存在著在實際應用中難以部署落地，無法有效壓縮加速模型的問題.非結
小型微型計算機系統(tǒng) 2021年7期2021-07-08
- 基于改進YOLOv4的安全帽佩戴檢測算法
后對模型進行加速剪枝。實驗結果表明，提出的算法在檢測中mAP@0.5值提升了6.7%，檢測速度提升了35%，模型參數(shù)量減少了48%，改進后的模型更適用于實際場景中對安全帽佩戴行為的識別。關鍵詞：安全帽佩戴檢測;YOLOv4網(wǎng)絡;改進K-means;CBAM;剪枝中圖分類號：TP391.4 ? ? ?文獻標識碼：A文章編號：2096-4706（2021）22-0156-06Abstract： Aiming at the current problems in
現(xiàn)代信息科技 2021年22期2021-05-16
- 基于模型性能相關性的分級剪枝率剪枝方法
結構[1]，所以剪枝的根本意義在于找出這些相關性不大的結構，將其裁剪，從而簡化網(wǎng)絡結構。目前的剪枝方法中，例如Louizos等、Hao Li等、Yang He等[2-4]提出的按照結構正則化大小剪枝網(wǎng)絡的方法，He Yang等[5]、Lin Mingbao等[6]按照各種結構之間相關性進行裁剪，但是都沒有提出對深度卷積神經(jīng)網(wǎng)絡中的不同層設置不同剪枝量方法。盡管已有方法分析深度卷積神經(jīng)網(wǎng)絡各層對剪枝的敏感性[7]，但是此方法使用完整的深度卷積神經(jīng)網(wǎng)絡研究各層
計算機工程與設計 2021年4期2021-04-22
- 無人駕駛深度學習模型組合剪枝算法*
署到移動端。模型剪枝是一種網(wǎng)絡模型壓縮方法,對深度神經(jīng)網(wǎng)絡的稠密連接引入稀疏性,通過將“不重要”的權重刪掉來減少權重數(shù)量。LeCun Y等人[3]提出使用對角Hessian矩陣評價每個權重參數(shù)的重要性,將網(wǎng)絡中不重要的參數(shù)剔除,從而達到壓縮模型作用，方法能夠較好保證網(wǎng)絡測試準確率,但對網(wǎng)絡加速效果有限；Hassibi B等人[4]提出使用逆 Hessian 矩陣評價每個權重的重要性,將重要性低的權重刪減,剩余權重使用二階泰勒確定損失函數(shù)值增量更新；Luo
傳感器與微系統(tǒng) 2021年3期2021-03-26
- 基于YOLOv3的卷積層結構化剪枝
文中提出的結構化剪枝就是一種對卷積神經(jīng)網(wǎng)絡壓縮和優(yōu)化的方法。網(wǎng)絡剪枝能夠通過去除模型中的部分連接加速卷積神經(jīng)網(wǎng)絡。剪枝的主要步驟是：訓練原始網(wǎng)絡，更新網(wǎng)絡中各個參數(shù)的權值；對網(wǎng)絡中權重較低的參數(shù)進行修剪；重新訓練網(wǎng)絡，恢復神經(jīng)網(wǎng)絡精度[2]。剪枝可以分為結構化剪枝和非結構化剪枝兩類。結構化剪枝相對非結構化剪枝的最明顯特點是它產(chǎn)生的稀疏矩陣是有規(guī)則的，剪枝后網(wǎng)絡加速需要的運算量更少[3]。結構化剪枝按照剪枝依據(jù)可分為基于重要性和基于正則化的剪枝方法，本文采用
計算機工程與應用 2021年6期2021-03-23
- 面向星上目標提取的卷積神經(jīng)網(wǎng)絡優(yōu)化技術
幾類［2］：參數(shù)剪枝、權值量化、低秩分解、緊性卷積核設計和知識蒸餾。參數(shù)剪枝法通過對網(wǎng)絡進行結構或非結構化的剪枝操作，將模型中冗余的參數(shù)進行裁剪，從而降低網(wǎng)絡復雜度，并可在一定程度上防止過擬合。20 世紀末，CUN 等［3］和HASSIBI等［4］先后提出最優(yōu)腦損傷（Optimal Brain Damage，OBD）和最優(yōu)腦外科（Optimal Brain Surgeon，OBS）的參數(shù)剪枝方法，利用網(wǎng)絡的二階導數(shù)信息衡量參數(shù)的冗余性，從而對網(wǎng)絡進行修剪。
上海航天 2021年1期2021-03-04
- 基于參數(shù)子空間和縮放因子的YOLO剪枝算法
括低秩近似算法、剪枝算法、量化算法、知識蒸餾算法和緊湊型網(wǎng)絡設計算法等。低秩近似算法是將稠密的滿秩矩陣表示為若干低秩矩陣的組合，低秩矩陣又分解為小規(guī)模矩陣的乘積，從而達到簡化的目的。文獻［11］提出一種線性組合卷積核基底算法，用f×1+1×f卷積核替代f×f卷積核進行低秩近似。剪枝算法是通過修剪神經(jīng)網(wǎng)絡中冗余濾波器進行網(wǎng)絡優(yōu)化，刪除神經(jīng)網(wǎng)絡權重矩陣中不重要的部分權重，僅保留有用部分，再重新對網(wǎng)絡進行微調(diào)。量化算法是用低精度參數(shù)權值代替神經(jīng)網(wǎng)絡中32 bit
計算機工程 2021年2期2021-02-05
- 基于深度神經(jīng)網(wǎng)絡二階信息的結構化剪枝算法
絡壓縮方法有網(wǎng)絡剪枝［2-4］、網(wǎng)絡參數(shù)量化［5-6］與分解［7］、網(wǎng)絡結構輕量化設計［8］和知識蒸餾［9］等，其中網(wǎng)絡剪枝是對網(wǎng)絡中的冗余元素進行裁剪，是最常用的網(wǎng)絡壓縮方法之一，其能同時對卷積層和全連接層進行裁剪，尤其是結構化剪枝方法可以不受硬件條件的限制而直接達到減少網(wǎng)絡內(nèi)存占用和網(wǎng)絡加速的目的，并且網(wǎng)絡剪枝還可以與其他網(wǎng)絡壓縮方法進行兼容，如剪枝后的網(wǎng)絡能通過知識蒸餾提高網(wǎng)絡性能［10］，或者利用網(wǎng)絡結構輕量化設計進一步提升網(wǎng)絡壓縮效果［5］。網(wǎng)絡
計算機工程 2021年2期2021-02-05
- 基于頻集的Apriori關聯(lián)規(guī)則算法的應用研究
描、計數(shù)、比較、剪枝、連接等一系列操作，找出了數(shù)據(jù)間的強關聯(lián)規(guī)則，并由此推出數(shù)據(jù)關系，為改進網(wǎng)上教學提供了很好的參考依據(jù)。關鍵詞：Apriori;關聯(lián)規(guī)則;數(shù)據(jù)挖掘;剪枝;強關聯(lián);C++中圖分類號：TP311文獻標識碼：A文章編號：2095-1302（2020）10-00-050 引 言大數(shù)據(jù)時代，伴隨著計算機軟硬件及數(shù)據(jù)庫技術的飛速發(fā)展，人類積累的數(shù)據(jù)量正呈指數(shù)級增長，并曾一度因數(shù)據(jù)分析技術缺乏和數(shù)據(jù)質(zhì)量不符合要求而產(chǎn)生“數(shù)據(jù)豐富而信息貧乏”的現(xiàn)象。能夠
物聯(lián)網(wǎng)技術 2020年10期2020-11-06
- 基于剪枝AlexNet的普米語孤立詞識別
et模型利用迭代剪枝算法以逐層剪枝的方式進行修剪,然后從生成的稀疏網(wǎng)絡中探索一個具有比原網(wǎng)絡更快學習速度的剪枝網(wǎng)絡用于普米語語譜圖識別.1 相關工作目前,在深度學習研究領域大致有2個研究派別：一派為了追求更高的模型精度,不斷的擴充神經(jīng)網(wǎng)絡的網(wǎng)絡層數(shù)[9]或神經(jīng)元數(shù)量[10],通過將模型變得更為復雜,來使得神經(jīng)網(wǎng)絡具有更高的精度.另一派則旨在將模型高效、穩(wěn)定的部署于設備.但是,隨著神經(jīng)網(wǎng)絡結構的日趨復雜,網(wǎng)絡的訓練成本也變得越來越高,這些均使得復雜模型很難在
云南民族大學學報（自然科學版） 2020年4期2020-09-10
- 基于雙目視覺的獼猴桃剪枝機器人研究
至目前，獼猴桃樹剪枝方式大多仍為人工剪枝，而且需經(jīng)常找專業(yè)人員進行操作，嚴重依賴人工操作，不僅成本高昂，而且浪費人力、效率低下。另一方面，隨著我國城市化進程的加快，鄉(xiāng)村勞動力向城鎮(zhèn)轉移的速度也在加快，越來越多的農(nóng)村人民選擇到城鎮(zhèn)謀生。隨著現(xiàn)代果園種植規(guī)模擴大，技術工短缺、成本增加等問題突出。果樹枝干復雜性、剪枝技術性和不可逆性等問題導致剪枝機械發(fā)展緩慢，成為限制水果生產(chǎn)重要因素之一[2]。因此，在此大背景下，發(fā)展獼猴桃自動化剪枝技術，特別是研發(fā)獼猴桃智能剪
湖北農(nóng)機化 2020年9期2020-08-25
- 基于激活-熵的分層迭代剪枝策略的CNN模型壓縮
型壓縮技術分為：剪枝、量化、網(wǎng)絡分解、知識蒸餾和精細模型設計：剪枝包含基于正則化的剪枝［9］和基于重要性的剪枝，通過裁剪訓練好的神經(jīng)網(wǎng)絡模型中冗余的權值或神經(jīng)元，減少存儲空間和加速計算；量化［10］使用位運算代替浮點運算，減少權重的比特數(shù)來壓縮模型，加速模型計算；網(wǎng)絡分解利用張量或矩陣分解技術分解原始卷積核，有效減少了運算量；知識蒸餾［11］借助大模型學習知識，指導小模型訓練并代替原模型；精細模型設計重構了輕量級神經(jīng)網(wǎng)絡結構，如 MobileNets［12
計算機應用 2020年5期2020-06-07
- 一種改進的MEP決策樹剪枝算法
馬杰摘要?決策樹剪枝是將已生成的決策樹進行簡化的過程，包括預剪枝和后剪枝。為了提高后剪枝算法MEP的剪枝精度，防止因MEP影響因子選取不當造成決策樹修剪過度而丟失特征信息的問題，提出一種改進的MEP算法即IMEP方法。首先引入k-折交叉驗證（k-Fold?Cross-Validation）方法用于選取最優(yōu)的影響因子m，然后將m帶入到MEP算法，再對原始決策樹進行剪枝，可以得到最精確的決策樹，并保持決策樹的影響特征。其次，通過k次交叉驗證，可以避免產(chǎn)生過擬合
河北工業(yè)大學學報 2019年6期2019-09-10
- 單圖中的近似頻繁子圖挖掘算法
局部反單調(diào)性進行剪枝，提高了算法的效率.實驗表明，該算法能夠挖掘出傳統(tǒng)算法無法發(fā)現(xiàn)的近似頻繁子圖，且相比對比算法具有更好的時間性能.關鍵詞：近似; 圖;頻繁子圖挖掘;剪枝中圖分類號：TP391.4文獻標志碼：ADOI： 10.3969/j.issn.1000-5641. 2019.06.0080 引言圖是用來表示數(shù)據(jù)的一種特殊數(shù)據(jù)結構，它不僅可以用來表示實體本身的性質(zhì)，同時還可以用來表示實體之間的關系.圖的這種特點使得圖在多種領域具有廣泛應用，如生物信息學
華東師范大學學報（自然科學版） 2019年6期2019-09-10
- 基于濾波器注意力機制與特征縮放系數(shù)的動態(tài)網(wǎng)絡剪枝
到了有效的減少.剪枝是一種流行的模型壓縮方法,能夠有效地降低網(wǎng)絡運算量以及存儲量.早期階段,Han等人[5]提出了迭代剪枝,其思想是不斷剪枝訓練收斂后的神經(jīng)網(wǎng)絡,得到一個精簡的網(wǎng)絡模型.在此基礎上,Han等人[6]進一步提出對剪枝后的網(wǎng)絡模型參數(shù)進行量化和哈夫曼編碼(Huffman Coding),有效地減小了模型大小.然而,裁剪神經(jīng)元連接是一種非結構化剪枝方法,難以應用于現(xiàn)有的硬件設備,無法得到實際的加速.針對這些問題,結構化剪枝解決了非結構化剪枝存在的
小型微型計算機系統(tǒng) 2019年9期2019-09-09
- 基于重構的改進自然排序樹算法
持度降序方式結合剪枝操作實現(xiàn)樹結構的重構，得到高壓縮性的樹結構;最后，對重構的樹結構進行頻繁項集挖掘。實驗結果表明，基于重構的改進CAN-tree算法所構建的樹結構節(jié)點個數(shù)減少至原來的20%以下，執(zhí)行效率提高了4至6倍，在頻繁項集挖掘中有效地壓縮了樹結構，縮短了算法的執(zhí)行時間。關鍵詞：頻繁項集;頻繁項集頭表;重構;剪枝;最小支持度中圖分類號： TP301.6文獻標志碼：AAbstract： In order to solve the problems su
計算機應用 2019年2期2019-08-01
- 花匠(外一首)
民中午 那個人在剪枝下午 那個人在剪枝清晨 那個人還在剪枝歲月把他剪成了一個花匠他想把 花和日子都剪出他心中的模樣一把剪刀剪風 剪雨 剪霜雪甚至 他把自己也剪成最靈動的一朵一個花匠 陷在花叢中不愿自拔中年至此 天快黑了我下馬歇腳 不再星夜兼程至此 我看見所有的過往 皆落地生根比風輕 比山重至此 我從萬千風景中來不帶一朵柳綠桃紅我用盡了一江水的波浪不再水性楊花至此 我將沉浸在山水田園詩中 誠邀徜徉于此的隱士、名流我們沏茶 相談甚歡至此 我已擁有三件至寶丑妻、
詩選刊 2019年3期2019-03-18
- 一種用于卷積神經(jīng)網(wǎng)絡壓縮的混合剪枝方法
N models剪枝是用于降低網(wǎng)絡復雜度、加速網(wǎng)絡模型的有效方法，可以在幾乎不損失模型精度的前提下移除網(wǎng)絡中的冗余參數(shù)，達到模型壓縮的目的.20世紀90年代，LeCun等人[7]便提出了Optimal Brain Damage方法對模型進行剪枝，有效降低了網(wǎng)絡復雜性并緩解了過擬合問題.神經(jīng)網(wǎng)絡中包含很多參數(shù)，但有些參數(shù)對最終輸出的貢獻很小，可以認為這些參數(shù)是冗余的.因此，需要找到有效的評估方法，對不重要的參數(shù)進行剪枝以減少模型參數(shù)冗余.Han等人[8]提出
小型微型計算機系統(tǒng) 2018年12期2019-01-24
- 機器博弈主要技術分析
法;蒙特卡羅樹;剪枝中圖分類號：TP391 文獻標識碼：A文章編號：1009-3044（2019）33-0172-02機器博弈是人工智能領域最富挑戰(zhàn)性的項目之一，而六子棋作為一種典型的博弈類競技游戲，相比五子棋黑棋先手必勝的單調(diào)不公平性，其公平性到目前為止還不能被證偽，其狀態(tài)空間大小（約為10172）為五子棋（約為10105）的1072倍，搜索結點數(shù)大大增加，極具挑戰(zhàn)性。因此，以六子棋作為研究機器博弈的切人點既能促進六子棋的發(fā)展，同時也可推動機器博弈乃至人
電腦知識與技術 2019年33期2019-01-08
- 洞庭湖區(qū)大棚辣椒越冬與再生栽培技術
辣椒；越冬栽培；剪枝；再生栽培文章編號： 1005-2690（2018）06-0053-02 中圖分類號： S641.3 文獻標志碼： B洞庭湖區(qū)是辣椒消費主要區(qū)域，以常德市為例，2017年該市設施大棚面積達2 000 hm2，其中大棚辣椒越冬栽培面積達1 333 hm2，辣椒均產(chǎn)37.5 t/hm2，高產(chǎn)45 t/hm2，青椒售價4.5～6元/kg、紅椒5.2～8元/kg，效益達到22.5萬～30萬元/hm2。筆者連續(xù)3年開展了辣椒再生栽培推廣，對越冬辣
種子科技 2018年6期2018-09-10
- 融入差異性的帕累托集成剪枝方法
器效果更優(yōu)。集成剪枝又稱選擇性集成、集成簡化，它是在訓練出所有基學習器之后，基于某種準則，選擇一部分基學習器(所有基學習器的一個最優(yōu)子集)進行集成，最終得到一個強分類器。集成剪枝的過程主要包括3步：產(chǎn)生不同的分類器；根據(jù)驗證集選擇最優(yōu)的分類器子集；集成分類器子集。集成剪枝方法的異同主要取決于剪枝策略。剪枝策略可以根據(jù)分類器的不同劃分為基于分類問題的剪枝策略和基于回歸問題的剪枝策略。由于在回歸問題中，集成剪枝問題研究的較少且效果不明顯，所以本節(jié)主要討論基于分
數(shù)據(jù)采集與處理 2018年3期2018-06-29
- 面向不確定數(shù)據(jù)的概率障礙k聚集最近鄰查詢*
詢問題，通過構造剪枝區(qū)域去剪枝對障礙距離計算沒有影響的障礙，從而減少計算量，提高查詢效率。文獻[5]和文獻[6]利用障礙Voronoi圖的特性提出剪枝策略，減少了需要處理的數(shù)據(jù)點個數(shù)。文獻[8]研究了聚集最近鄰查詢，提出了3種利用R樹處理聚集最近鄰查詢的方法：MQM（multiple query method）、SPM（single point method）和 MBM（minimum bounding method）。這3種方法中，MBM是最優(yōu)算法。文獻
計算機與生活 2018年2期2018-02-05
- MAPKs and acetyl-CoA are associated with Curvularia lunata pathogenicity and toxin production in maize
pha-beta剪枝。Minimax算法是一種悲觀算法，即每步都假設對方選擇最優(yōu)的情況下，己方進行選擇；而Alpha-beta剪枝則可以簡化計算量，大體思路為我們不需要構建完整的樹，其中當前格局無法找到最好情況下，我們應該返回父節(jié)點，而舍棄當前節(jié)點。兩者的結合可以完成2048游戲的多步分析，使勝率達到較高水平。Gao J X, Liu T, Chen J. 2014. Insertional mutagenesis and cloning of the g
- 基于多叉樹Apriori的網(wǎng)絡管理數(shù)據(jù)挖掘
Apriori；剪枝中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）29-0235-02在網(wǎng)絡管理系統(tǒng)中的各類數(shù)據(jù)通過SNMP、探針、Agent等收集并匯集到數(shù)據(jù)庫中，想要快速地從系統(tǒng)數(shù)據(jù)庫挖掘出這些有用的信息，就需要先進的挖掘算法來實現(xiàn)。在數(shù)據(jù)挖掘技術中，關聯(lián)規(guī)則挖掘是一個經(jīng)典的挖掘方法[1]，本文針對上述問題對關聯(lián)規(guī)則中的Apriori算法進行優(yōu)化來提升關聯(lián)規(guī)則的質(zhì)量，更有組織的處理挖掘到的關聯(lián)規(guī)則，提高系統(tǒng)的挖掘效率，
電腦知識與技術 2017年29期2017-11-14
- 剪枝高度對茄子長季節(jié)栽培的影響
312000)剪枝高度對茄子長季節(jié)栽培的影響陳巧燕1，吳愛芳2(1.義烏市農(nóng)技推廣服務中心，浙江 義烏 322000； 2.紹興市蔬菜技術推廣站，浙江 紹興 312000)對浙茄3號新枝抽生、開花期、始收期、產(chǎn)量等性狀進行調(diào)查研究。結果表明，隨著剪枝高度增加，再生茄子抽枝早，開花期提前，前期產(chǎn)量增加，總產(chǎn)量差異不明顯，由此提出越冬早春大棚茄子剪枝再生方式的建議。茄子； 長季節(jié)栽培； 不同剪枝高度； 物候期； 產(chǎn)量近年來，浙江省茄子設施越冬、早春栽培、秋延
浙江農(nóng)業(yè)科學 2017年10期2017-11-06
- “剪枝”的學問
冊有一篇課文叫《剪枝的學問》，淺顯的課文包含著耐人尋味的道理。學生習作評價，其實也蘊含了類似的學問——教學時要激發(fā)和倡導什么，要擯棄和剪除什么，需要教師好好琢磨，認真把握好評價的方向和尺度。本文擬從當下的作文評價現(xiàn)狀出發(fā)，結合兩篇五年級學生的習作進行思考分析。一、確定主體枝干——習作評價標準的制定每位語文教師都會批改作文，但是對同一篇學生作文的評價，不同的教師往往會有較大的差異。除了個人主觀偏好，更多是源于作文評價標準的不一致。根據(jù)《義務教育語文課程標準（
教學月刊小學版·語文 2017年9期2017-10-26
- 搜索算法在大學生程序設計競賽中的應用
；廣度優(yōu)先搜索；剪枝；啟發(fā)式搜索；程序設計隨著社會的發(fā)展，計算機技術水平也變得越來越高，現(xiàn)階段，很多計算機都已經(jīng)具備高性能的操作方法，而搜索算法在計算機技術中起著至關重要的作用，它可以利用計算機的高性能在一定的時間內(nèi)有效的求出問題解決的方法，也正是因為這一點，很多學者都將目光放到了搜索算法當中，并且這種算法也得到了大多數(shù)人的關注?，F(xiàn)在，越來越多的大學生都開始關注起計算機程序設計競賽，參加到這類競賽，可以讓大學生提高利用編程解決實際問題的能力，同時也能將一些
科技尚品 2017年6期2017-07-06
- 決策樹剪枝研究
中，存在由于使用剪枝算法簡化決策樹而導致系統(tǒng)性能下降的情況。針對濫用剪枝問題，通過對決策樹技術的研究，闡述剪枝與過擬合現(xiàn)象的關系，并從奧卡姆剃刀原理、沒有免費午餐原理、人類本能、孤立點分析等方面對剪枝的合理性和必要性展開討論，提出了慎用剪枝的主張以及免剪枝措施。關鍵詞： 決策樹; 機器學習; 過擬合; 剪枝; 免剪枝措施中圖分類號：TP391 ? ? ? ? ?文獻標志碼：A ? ? 文章編號：1006-8228（2016）02-01-03Study on
計算機時代 2016年2期2016-02-19
- 剪枝象有效學名的厘清及常見種的鑒別
650091)剪枝象屬Cyllorhynchites 的種類常被俗稱為剪枝象，因該屬的所有種類都具有相似的剪枝行為:產(chǎn)卵前，雌蟲搜索合適果枝，常先將果枝(距果實約1-5 cm 的位置)部分剪斷，然后在板栗或橡子上尋找合適部位用喙向內(nèi)鉆咬一孔穴，然后倒轉身體產(chǎn)下1 卵(稀有2 或3 卵)，產(chǎn)卵后將卵用喙推入產(chǎn)卵孔，并用果屑堵塞孔穴，最后雌蟲將果枝完全咬斷(劉振陸和呼升久，1964;作者的行為觀察)。栗實剪枝象Cyllorhynchites cumulatu
環(huán)境昆蟲學報 2015年4期2015-12-09
- 棚室茄子老株剪枝再生栽培技術
條件下，老株實行剪枝再生栽培，可以充分利用地力和光能，解決田間通風透光問題，植株發(fā)枝快，長勢旺，實現(xiàn)一種多收，增加單位面積產(chǎn)量，提高經(jīng)濟效益的目的。1 品種選擇宜選生長勢旺盛，分枝性強，抗病，增產(chǎn)潛力大，商品性好，品質(zhì)優(yōu)的中晚熟品種。2 田間管理茄子剪枝再生栽培技術，在第一季栽培中，與常規(guī)棚室茄子保護地栽培相同。再生栽培是頭季生長的繼續(xù)，田間管理不可放松，尤其是剪枝更要加強，做到合理施肥，及時防治病蟲害，保持株體健壯。在剪枝前一般葉面噴施0.2%磷酸二氫鉀
吉林蔬菜 2015年6期2015-05-30
- 辣椒增產(chǎn)要合理修剪
其技術要求如下：剪枝時間 剪枝以在夏季高溫季節(jié)為宜，一般在7月下旬至8月上中旬進行。此時第一茬果實已摘完，植株在晝夜溫差不大的情況下處于歇枝階段，所以剪枝的增產(chǎn)效果最好。剪枝部位 合理的剪枝部位在4個大枝頂端，及時剪掉8個側枝。剪枝方法 用比較鋒利的修枝剪刀剪枝，剪口要光滑，以防剪口招致蟲害或誘發(fā)病害，不可用手直接折枝，以免造成植株損傷。剪枝時，順手剪去病蟲危害嚴重枝、前期結果過多的下垂枝、管理不當?shù)恼蹟嘀Φ取＜粝碌闹l應集中帶出園外處理，特別是病蟲枝不可
農(nóng)村農(nóng)業(yè)農(nóng)民·B版 2014年8期2014-09-16