基于SE_ResNeXt-50 的小麥不完善粒分類研究

熊浩添，王鵬博，劉亞孰，蔣玉英*，王 飛，高 輝

（1.河南工業(yè)大學(xué) 人工智能與大數(shù)據(jù)學(xué)院，鄭州 450001；2.河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院，鄭州 450001）

糧食安全是國(guó)家安全的戰(zhàn)略基礎(chǔ)，事關(guān)全面建成社會(huì)主義現(xiàn)代化強(qiáng)國(guó)[1]，小麥作為我國(guó)最重要的農(nóng)作物之一，保障小麥栽培質(zhì)量和安全儲(chǔ)藏為我國(guó)糧食安全和社會(huì)穩(wěn)定起到了關(guān)鍵的作用。其中，小麥不完善粒是指已受損傷但仍有使用價(jià)值的小麥粒，包括破損粒、蟲蝕粒、病斑粒（赤霉粒和黑胚粒）、發(fā)芽粒和霉變粒等。不完善顆粒的含量是對(duì)小麥種子定級(jí)及對(duì)儲(chǔ)藏小麥定質(zhì)的關(guān)鍵指標(biāo)。目前小麥質(zhì)量檢測(cè)工作普遍是由專業(yè)質(zhì)檢人員使用目測(cè)法[2]或使用小麥色選機(jī)[3]等傳統(tǒng)方式進(jìn)行，傳統(tǒng)的分類檢測(cè)方法主觀性強(qiáng)、工作量大、效率低且人力成本較高[4]。因此，實(shí)現(xiàn)小麥不完善粒的快速、精準(zhǔn)、無損檢測(cè)是我國(guó)亟待解決的問題。

近年來，國(guó)內(nèi)外研究學(xué)者對(duì)小麥不完善識(shí)別展開了大量的研究。張玉榮等[5]采用Python-OpenCV 圖像處理技術(shù)對(duì)小麥不完善粒識(shí)別研究。于重重等[6]采用CNN 神經(jīng)網(wǎng)絡(luò)，利用高光譜成像技術(shù)建立CNN 模型，實(shí)現(xiàn)了小麥不完善粒的檢測(cè)；曹婷翠等[7]提出一種基于LeNet-5 構(gòu)建神經(jīng)網(wǎng)絡(luò)的雙面圖像進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到90%以上。陳文根[8]構(gòu)建了一種五層卷積的神經(jīng)網(wǎng)絡(luò)深層次挖掘9種不同小麥的信息，準(zhǔn)確率達(dá)到94%。Saeed 等[9]采用人工神經(jīng)網(wǎng)絡(luò)（ANN）和粒子群優(yōu)化（PSO）算法相結(jié)合的方式對(duì)視頻進(jìn)行處理，實(shí)現(xiàn)對(duì)小麥粒雜質(zhì)的識(shí)別，準(zhǔn)確率達(dá)到97%以上。Barbedo 等[10]研究了使用近紅外（NIR）高光譜成像（HSI）檢測(cè)小麥籽粒中的芽害，證實(shí)了近紅外光譜范圍對(duì)檢測(cè)小麥籽?；瘜W(xué)變化的有用性。但是這些方法沒有很好地挖掘小麥的不完善粒的深層次特征，檢測(cè)精度和檢測(cè)目標(biāo)的多樣性有待提高。

本文以小麥單籽粒為研究對(duì)象，通過結(jié)合圖像處理技術(shù)和SE_ResNeXt-50 網(wǎng)絡(luò)的深度學(xué)習(xí)模型，實(shí)現(xiàn)小麥病斑粒、蟲蝕粒、發(fā)霉粒的快速、無損、精準(zhǔn)檢測(cè)與分析，在提升小麥不完善粒分類檢測(cè)精度的同時(shí)兼顧后期系統(tǒng)成品實(shí)用性和可行性，在提升生產(chǎn)工作效率同時(shí)，大幅降低了小麥粒在分類篩選階段的損耗率，降低生產(chǎn)成本。

1 材料與實(shí)驗(yàn)設(shè)備

1.1 樣本準(zhǔn)備

小麥不完善粒樣品的培養(yǎng)和數(shù)據(jù)采集均在河南工業(yè)大學(xué)糧食信息處理和控制教育部重點(diǎn)實(shí)驗(yàn)室完成。其中，小麥完善粒樣本是在河南興隆國(guó)家糧食儲(chǔ)備庫(kù)自行購(gòu)買。將一部分完善粒樣本按照GB 1351—2008《小麥》國(guó)家標(biāo)準(zhǔn)培養(yǎng)了病斑粒、蟲蝕粒、發(fā)霉粒等3 類不完善粒。蟲蝕粒：將完整的小麥粒放入有玉米象蟲的培養(yǎng)皿中；發(fā)霉、病斑粒：在特定濕度和溫度下的培養(yǎng)箱中培育而成。

1.2 圖像數(shù)據(jù)采集系統(tǒng)

實(shí)驗(yàn)采用河南工業(yè)大學(xué)糧食信息處理和控制教育部重點(diǎn)實(shí)驗(yàn)室糧食信息智能技術(shù)及系統(tǒng)團(tuán)隊(duì)的圖像數(shù)據(jù)采集系統(tǒng)。該圖像數(shù)據(jù)采集系統(tǒng)由?？低暩咔骞I(yè)相機(jī)、MVS 多視圖密集重建算法、小型電磁振動(dòng)臺(tái)、密胺材質(zhì)黑色托盤構(gòu)成，數(shù)據(jù)采集系統(tǒng)及拍攝設(shè)備如圖1 所示，系統(tǒng)具體參數(shù)見參考文獻(xiàn)[11]。

圖1 數(shù)據(jù)采集系統(tǒng)

1.3 開發(fā)環(huán)境

開發(fā)環(huán)境由硬件環(huán)境和實(shí)驗(yàn)平臺(tái)2 部分組成。

硬件環(huán)境：處理器為AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz，圖像處理器為NVIDIA GeForce GTX 1660ti。

實(shí)驗(yàn)平臺(tái)：Windows 10 操作系統(tǒng)上的飛槳Paddlep－Paddle 1.8.0 深度學(xué)習(xí)框架，運(yùn)行環(huán)境為GPU Tesla V100 Video Mem 32GB，python 3.7。

2 圖像采集與預(yù)處理

2.1 圖像采集

圖像采集時(shí)，使用MV-CE100-30GC 工業(yè)相機(jī)，結(jié)合電磁振動(dòng)臺(tái)，頻率50 Hz，垂直振動(dòng)，促使麥粒均勻分布，同時(shí)采用不反光密胺材質(zhì)的黑色托盤，增加小麥籽粒與背景的對(duì)比度，避免因背景在拍攝過程中對(duì)小麥圖像造成干擾，結(jié)合配套的MVS 多視圖密集重建算法來獲取小麥圖像。同時(shí)，為解決小麥籽粒上下重疊或邊緣粘連等問題，將黑色托盤做了改進(jìn)，在托盤的固定位置留出數(shù)個(gè)小麥籽粒大小小坑，通過結(jié)合托盤下的電磁振動(dòng)臺(tái)，可以使小麥粒均勻分布，利于采集到的小麥圖像清晰、有效。使用MVS 獲取小麥圖像如圖2 所示，小麥單籽粒形態(tài)、顏色、輪廓等特征信息完整、清晰呈現(xiàn)。

圖2 小麥原始圖像

2.2 圖像預(yù)處理

為了便于深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)小麥不完善粒特征提取，將MVS 獲取到的小麥不完善粒原始圖像進(jìn)行分割。根據(jù)黑色托盤上固定的放置小麥籽粒的點(diǎn)位，使用Python 坐標(biāo)分割的方法將大圖分割為小麥單籽粒圖像。數(shù)據(jù)清洗時(shí)，使用圖像降噪法、插值法對(duì)不可信的圖片數(shù)據(jù)以及缺失值和異常值進(jìn)行處理，增強(qiáng)樣本的區(qū)分度，提升模型精度。為增加樣本數(shù)據(jù)量，采用線下圖像擴(kuò)充和實(shí)時(shí)擴(kuò)充的概率圖像增強(qiáng)操作，模型訓(xùn)練前對(duì)數(shù)據(jù)樣本進(jìn)行強(qiáng)制縮放圖片（通過PIL 圖像庫(kù)中resize 方法），增加隨機(jī)旋轉(zhuǎn)角度（取numpy 庫(kù)中randint 方法范圍在-14~15，再放入PIL 庫(kù)中rotate 方法），調(diào)整亮度、對(duì)比度、飽和度、色度等處理，得到由1 800 張圖片組成的小麥不完善粒數(shù)據(jù)集。數(shù)據(jù)集共計(jì)4類，分別為完善粒、病斑粒、蟲蝕粒、發(fā)霉粒，見表1。隨機(jī)抽取每類小麥粒中的90%的小麥單籽粒圖片作為訓(xùn)練集，其余10%的圖片為測(cè)試集，即訓(xùn)練集為1 620 張小麥單籽粒圖像，測(cè)試集為180 張小麥單籽粒圖像。

表1 小麥不完善粒數(shù)據(jù)集 張

3 分類方法

3.1 殘差網(wǎng)絡(luò)

為了解決當(dāng)卷積網(wǎng)絡(luò)到達(dá)一定深度時(shí)就會(huì)出現(xiàn)訓(xùn)練錯(cuò)誤不降反增的問題，本文引入了殘差網(wǎng)絡(luò)。殘差學(xué)習(xí)是殘差網(wǎng)絡(luò)的方式方法，其由數(shù)個(gè)stack layers 組成的擬合底層映射稱為H（x），x 表示第一層的輸入信息。通過實(shí)驗(yàn)發(fā)現(xiàn)有多個(gè)非線性層可以逼近復(fù)雜函數(shù)（1）并逐漸接近殘差函數(shù)（3）。因此，期望讓stack layers 近似趨向于殘差函數(shù)而不是H（x）。

基于殘差學(xué)習(xí)的概念函數(shù)，殘差網(wǎng)絡(luò)是在普通網(wǎng)絡(luò)的基礎(chǔ)上插入了一個(gè)快捷連接，當(dāng)維度增加時(shí)，可以直接使用身份快捷鍵公式（1），為增加維度填充額外的零項(xiàng)且并不引入額外的參數(shù)，從而達(dá)到修正升維降維的錯(cuò)誤。殘差網(wǎng)絡(luò)由一系列殘差塊組成，一個(gè)殘差塊可以用公式表示為（1），網(wǎng)絡(luò)的一層通?？梢钥醋觯?），而殘差網(wǎng)絡(luò)的殘差塊也可以表示為（3）

在單位映射中，公式（4）便是觀測(cè)值，而H（x）是預(yù)測(cè)值，F(xiàn)（x）便對(duì)應(yīng)著殘差。

3.2 分組卷積

3.2.1 分組卷積的流程

分組卷積稀疏卷積的一個(gè)特殊用法。實(shí)驗(yàn)的訓(xùn)練環(huán)節(jié)中包括2 個(gè)階段：第一階段是壓縮階段，先通過稀疏性誘導(dǎo)的正則化重復(fù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行固定次數(shù)的迭代，再通過剪枝權(quán)值較低的不必要濾波器。第二階段是優(yōu)化階段，通過對(duì)濾波器效果擇優(yōu)，對(duì)其進(jìn)行分組固定處理。在實(shí)驗(yàn)過程中，要確保被剪枝的過濾器來自同一個(gè)分組并且共享相同的稀疏模式。

3.2.2 正則化器的選擇

為了減少權(quán)重剪枝對(duì)精度的負(fù)面效果，實(shí)驗(yàn)引入組級(jí)稀疏性，在同組下的卷積濾波器使用相同的輸入特征子集來進(jìn)行凝聚[12]。在實(shí)驗(yàn)訓(xùn)練過程中使用Group-Lasso正則化方法將FG 列的所有元素推到零，平方根中的項(xiàng)被該列中最大的元素所控制，從而產(chǎn)生了所要達(dá)到的組級(jí)稀疏性[13]。以下為Group-Lasso 正則化器

3.2.3 冷凝因子及過程

訓(xùn)練后，去除修剪后的權(quán)值，并將稀疏模型轉(zhuǎn)換成具有規(guī)則連接模式的網(wǎng)絡(luò)，可有效提高設(shè)備的計(jì)算能力，因此，引入一個(gè)索引層來實(shí)現(xiàn)特性選擇和重排操作。索引層輸出中的卷積濾波器被重新安排，以適應(yīng)常規(guī)組卷積的現(xiàn)有（和高度優(yōu)化的）實(shí)現(xiàn)。在訓(xùn)練過程中，1×1 卷積是一個(gè)學(xué)習(xí)的群卷積（L-CONV），而在測(cè)試過程中，在索引層的幫助下，則變成了一個(gè)標(biāo)準(zhǔn)的群卷積（G-CONV）。

3.3 Squeeze-and-Excitation

Squeeze-and-Excitation 是一個(gè)計(jì)算結(jié)構(gòu)模塊，其可以嵌入到X∈RH’×W’×C’映射到特征映射U∈RH×W×C的卷積操作中。設(shè)Ftr為一個(gè)卷積操作，并用V=[v1，v2，...，vC]來表示學(xué)習(xí)到的濾波器核集合，其中vC指的是第C 個(gè)濾波器的參數(shù)[14]。然后可以將輸出寫為U=[u1，u2，...，uC]

運(yùn)用到ResNeXt-50 網(wǎng)絡(luò)中，通過顯著改變信道的相互依賴關(guān)系來增強(qiáng)卷積特征學(xué)習(xí)，從而提高網(wǎng)絡(luò)對(duì)信息特征的敏感度。Squeeze-and-Excitation 模塊可以為網(wǎng)絡(luò)提供全局信息的訪問，通過Squeeze（擠壓）和Excitation（激勵(lì)）2 個(gè)步驟重新校準(zhǔn)濾波器響應(yīng)。SE_ResNeXt-50 模塊如圖3 所示。

圖3 SE_ResNeXt-50 模塊

3.3.1 Squeeze——全局信息嵌入

Squeeze 通過使用全局平均池生成的基于信道的統(tǒng)計(jì)信息將全局空間信息壓縮到信道描述符中，進(jìn)而解決不同特征信道間存在不同的局部特征學(xué)習(xí)域的問題，提升網(wǎng)絡(luò)對(duì)不同信息特征權(quán)重的感知。Z∈RC是通過將輸出U 縮小到空間維H×W。即通過Squeeze 操作，將輸入量H×W×C，壓縮為1×1×C 的結(jié)果輸出。Z 的第C 個(gè)元素可以通過以下方法計(jì)算

3.3.2 Excitation——自適應(yīng)重新校準(zhǔn)

為了充分利用Squeeze 操作中聚合的全局信息，在后續(xù)進(jìn)行Excitation 操作。在自適應(yīng)重新校準(zhǔn)階段，Excitation 模塊能夠?qū)W習(xí)通道間的非線性相互作用和非互斥關(guān)系，使多個(gè)通道被強(qiáng)調(diào)，即通過此過程學(xué)習(xí)網(wǎng)絡(luò)中各支路的權(quán)重，將各個(gè)通道進(jìn)行打分，作用到原輸入網(wǎng)絡(luò)信息中。非線性激活函數(shù)如下所示

式中：δ 指ReLU 函數(shù)。為了減低模型復(fù)雜度的同時(shí)更好的提升模型的泛化能力，首先通過一個(gè)降維比為R 的FC降維層做通道壓縮，提高了模型的計(jì)算效率，然后通過ReLU 函數(shù)，之后在FC 升維層中將之前壓縮的通道升維，最后通過Sigmoid 函數(shù)得到輸出結(jié)果s，再將輸出結(jié)果與原始輸入進(jìn)行通道相乘后得到經(jīng)過Squeeze-and-Excitation 模塊處理后的模型通道信息

4 結(jié)果與分析

4.1 優(yōu)化器選擇

為了獲取模型訓(xùn)練和模型輸出的網(wǎng)絡(luò)參數(shù)的最優(yōu)解，本文選用的優(yōu)化器為自適應(yīng)矩估計(jì)（Adam）。郝天軒等[15]實(shí)驗(yàn)表明，不同的優(yōu)化器也對(duì)模型的優(yōu)劣有著巨大的影響。在大量的數(shù)據(jù)測(cè)試下，Adam 優(yōu)化器呈現(xiàn)的效果最佳且Loss 下降速度最快，其繼承了RMSprop 優(yōu)化器的優(yōu)點(diǎn)，而RMSprop 優(yōu)化器繼承了Momentum 優(yōu)化器的優(yōu)點(diǎn)，Monmentum 優(yōu)化器在優(yōu)化方面增加了動(dòng)量原則故其也是SGD 的升級(jí)版，SGD 則是最原始效果最普通的加速器。各個(gè)優(yōu)化器的對(duì)比圖如圖4 所示（其中Loss 表示誤差），所以在大量數(shù)據(jù)驗(yàn)證后，發(fā)現(xiàn)Adam 優(yōu)化器是最適合SE_ResNeXt-50 的小麥不完善粒分類模型的優(yōu)化器。

圖4 優(yōu)化器對(duì)比

4.2 模型驗(yàn)證

為驗(yàn)證模型的實(shí)用性，在得到模型的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)后，使用SE_ResNeXt50 網(wǎng)絡(luò)框架訓(xùn)練模型[16]。按90%和10%的比例將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，經(jīng)過多次迭代訓(xùn)練后通過測(cè)試集對(duì)模型精度進(jìn)行測(cè)試，根據(jù)返還的測(cè)試結(jié)果不斷調(diào)整梯度下降算法的超參數(shù)（Epoch 和Batch_size）、不斷優(yōu)化數(shù)據(jù)集、選用合適的優(yōu)化器。通過對(duì)Epoch 和Batch_size 的調(diào)整，可以控制模型內(nèi)部參數(shù)更新之前控制的樣本數(shù)量和訓(xùn)練全部數(shù)據(jù)集的次數(shù)，選擇合適的梯度下降算法的超參數(shù)（Epoch 為15，Batch_size 為20），可以讓梯度下降達(dá)到最優(yōu)收斂；通過對(duì)數(shù)據(jù)集總量的調(diào)整同時(shí)結(jié)合提前終止訓(xùn)練、正則化、剪枝等策略，簡(jiǎn)化模型的深度，避免過擬合的發(fā)生。同時(shí)，最大限度地提高模型的測(cè)試精度；通過選取合適的優(yōu)化器，使影響模型訓(xùn)練和模型輸出的網(wǎng)絡(luò)參數(shù)逼近或達(dá)到最優(yōu)值，從而最小化損失函數(shù)。最終模型平均測(cè)試精度達(dá)到95%以上，測(cè)試結(jié)果如圖5 所示。

圖5 模型精度

4.3 系統(tǒng)驗(yàn)證

為驗(yàn)證模型的真實(shí)性和實(shí)用性，結(jié)合?？低暩咔骞I(yè)相機(jī)試驗(yàn)裝置開發(fā)了一款小麥不完善粒分類檢測(cè)系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證?；赟E_ResNeXt-50 的小麥不完善粒快速檢測(cè)系統(tǒng)可以根據(jù)用戶上傳發(fā)霉、蟲蝕、病斑單籽粒圖片快速將圖片數(shù)據(jù)發(fā)送給在AI Studio 上部署的SE_ResNeXt-50 小麥不完善粒分類模型，將模型的預(yù)測(cè)數(shù)據(jù)快速準(zhǔn)確的返還給用戶。系統(tǒng)界面如圖6 所示。隨機(jī)選取154 粒小麥不完善粒樣本進(jìn)行檢測(cè)。

圖6 系統(tǒng)檢測(cè)界面

根據(jù)測(cè)試結(jié)果，在154 粒小麥不完善粒測(cè)試樣本中，檢測(cè)正確的樣本數(shù)為146 粒，系統(tǒng)識(shí)別精度達(dá)到96.10%，小麥不完善粒分類混淆矩陣如圖7 所示。由混淆矩陣可知，66 粒發(fā)霉粒樣本中，4 粒被誤判為蟲蝕粒；42粒病斑粒樣本中，2 粒被判斷為蟲蝕粒；46 粒蟲蝕粒樣本則全部判斷正確。較好地解決了在小麥不完善粒分類領(lǐng)域?qū)⑾x蝕、病斑、發(fā)霉粒因小麥籽粒表面的黑斑類似而導(dǎo)致的分類不準(zhǔn)確等問題。表明小麥不完善粒檢測(cè)系統(tǒng)能夠大幅度提升檢測(cè)效率，降低檢測(cè)成本，有極強(qiáng)的實(shí)用價(jià)值和推廣性。同時(shí)也表明改進(jìn)的SE_ResNeXt-50 網(wǎng)絡(luò)結(jié)構(gòu)能夠較好地實(shí)現(xiàn)小麥蟲蝕粒、發(fā)霉粒、病斑粒的分類。

圖7 混淆矩陣

5 結(jié)論

本文在使用ResNeXt-50 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，通過引入Squeeze-and-Excitation 計(jì)算結(jié)構(gòu)模塊改進(jìn)原有的網(wǎng)絡(luò)結(jié)構(gòu)，提出了一種SE_ResNeXt-50 小麥不完善粒分類模型，實(shí)現(xiàn)了小麥病斑粒、蟲蝕粒、發(fā)霉粒的快速、精準(zhǔn)、無損分類檢測(cè)。結(jié)果表明，改進(jìn)后的SE_ResNeXt-50 網(wǎng)絡(luò)通過改進(jìn)模型通道間的相互依賴關(guān)系來增強(qiáng)卷積特征學(xué)習(xí)，提高了神經(jīng)網(wǎng)絡(luò)對(duì)信息特征的敏感度，從而大幅提升了模型的收斂度和計(jì)算效率。為驗(yàn)證模型的真實(shí)性和實(shí)用性，結(jié)合海康威視高清工業(yè)相機(jī)試驗(yàn)裝置開發(fā)了一款小麥不完善粒分類檢測(cè)系統(tǒng)進(jìn)行實(shí)驗(yàn)驗(yàn)證。經(jīng)測(cè)試，系統(tǒng)識(shí)別精度達(dá)到96.10%?？蓾M足日常生產(chǎn)生活中對(duì)小麥不完善粒分類檢測(cè)需求，提升生產(chǎn)效率，減少小麥粒在分類篩選階段的損耗率，降低生產(chǎn)成本。