基于CNN算法的缺秧與漂秧圖像識別技術(shù)研究

趙德安 趙璜曄

摘 要：插秧機(jī)是現(xiàn)代農(nóng)業(yè)向自動化方向發(fā)展過程中使用的重要工具之一，由于受到地理環(huán)境和設(shè)備等因素影響，插秧機(jī)在工作中難免會出現(xiàn)缺秧及漂秧等情況。傳統(tǒng)對缺秧和漂秧的識別主要依靠經(jīng)驗(yàn)與人工作業(yè)，效率低下、準(zhǔn)確度不高，因此提出基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法的缺秧與漂秧圖像識別技術(shù)。首先計(jì)算缺秧與漂秧數(shù)據(jù)圖像樣本的質(zhì)心位置，根據(jù)質(zhì)心間距離是否在合理范圍內(nèi)識別缺秧，然后提取秧苗樣本特征建立樣本庫，對采集的秧苗圖像數(shù)據(jù)進(jìn)行分析處理，再與樣本庫進(jìn)行對比，以此判斷插秧機(jī)在工作過程中是否存在缺秧和漂秧情況。通過對仿真算例進(jìn)行測試，驗(yàn)證了算法的有效性，其準(zhǔn)確率達(dá)到90%以上。該方法對于農(nóng)業(yè)自動化的發(fā)展具有重要意義，對于相關(guān)實(shí)踐能起到一定的推動作用。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);圖像識別;插秧機(jī)

DOI：10. 11907/rjdk. 192500 開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

中圖分類號：TP317.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2020）008-0230-04

Abstract： Transplanter is an important means in modern agricultural automation development. Due to the influence of geographical environment and equipment， ?the rice transplanter will inevitably suffer from lack of seedlings and floating seedlings. Traditional recognition of missing and floating seedlings mainly relies on experience and manual work， which is inefficient and inaccurate. Therefore， this paper proposes a recognition technology of missing and floating seedlings image based on deep convolution neural network （CNN） algorithm. Firstly， the centroid position of missing and floating seedlings data image samples are calculated to identify missing seedlings according to whether the distance between centroids is within a reasonable range， and then the characteristics of seedling samples are extracted to establish a sample database， and the collected image data are analyzed and processed. The sample databases are compared to determine whether the transplanter is lack of seedlings and floating seedlings in the process of work. This paper tests the simulation examples to verify the effectiveness of the algorithm， and its accuracy reaches more than 90%， which proves that this method is of great significance to the development of agricultural automation， and can play a certain role in promoting the relevant practice.

Key Words： deep learning; convolution neural network; image recognition; transplanter

0 引言

近年來，隨著科技的快速發(fā)展，農(nóng)業(yè)生產(chǎn)技術(shù)作為保障人類生存最基本的環(huán)節(jié)，受到世界各國的高度重視，大力發(fā)展農(nóng)業(yè)一直是我國的重要課題。如今，各種智能化農(nóng)業(yè)設(shè)備被廣泛應(yīng)用在生產(chǎn)活動中，自動化播種、插秧、收割等技術(shù)日益成熟，農(nóng)業(yè)現(xiàn)代化、智能化與精準(zhǔn)化已成為當(dāng)前農(nóng)業(yè)技術(shù)研究的熱點(diǎn)問題[1]。

在過去較長的一段歷史時間，我國農(nóng)業(yè)種植主要依賴于人工操作，但該模式需要耗費(fèi)大量人力資源，同時效率低下。插秧機(jī)的出現(xiàn)極大地提高了種植效率，減少了勞動人員數(shù)量，提高了生產(chǎn)效益。但由于我國地理地形因素以及機(jī)器運(yùn)行過程中出現(xiàn)的各種不可控因素，導(dǎo)致插秧機(jī)在工作過程中，使本該插入秧苗的土地上出現(xiàn)秧苗缺失的現(xiàn)象，稱為缺秧。另外由于耕地地形深淺不一，導(dǎo)致秧苗沒有插入的現(xiàn)象稱為漂秧。這兩種情況都會導(dǎo)致資源浪費(fèi)以及土地利用不充分，解決以上問題對于插秧機(jī)的大規(guī)模推廣與應(yīng)用具有重要意義。

值得指出的是，缺秧和漂秧現(xiàn)象是因不可控因素導(dǎo)致的，因此很難從根本上抑制其發(fā)生，但如何在插秧機(jī)工作過程中有效識別出漂秧和缺秧現(xiàn)象是可以實(shí)現(xiàn)的，這也是本文研究的主要目的。

截至目前，我國針對缺秧和漂秧問題還未能提出系統(tǒng)的智能化解決方案，大多還是依靠人工識別或借助經(jīng)驗(yàn)進(jìn)行操作，因此效率很低。相比之下，采用基于智能化識別及圖像處理等技術(shù)的收集與分析方法，效率將會大大提高[2-3]。目前隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，圖像識別技術(shù)在交通、偵查及安全等領(lǐng)域取得了極大進(jìn)展[4-7]，但在農(nóng)業(yè)方面應(yīng)用的還較少。因此，本文以插秧機(jī)采集的圖像為對象，提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)算法的缺秧與漂秧圖像識別技術(shù)，利用深度學(xué)習(xí)技術(shù)對采集到的秧苗圖像數(shù)據(jù)進(jìn)行分析與特征提取，并建立缺秧、漂秧數(shù)據(jù)庫。通過將采集的數(shù)據(jù)圖像特征與數(shù)據(jù)庫進(jìn)行對比，從而進(jìn)行識別，為缺秧與漂秧圖像識別研究提供了理論依據(jù)和實(shí)踐參考。

1 CNN原理

1.1 深度學(xué)習(xí)定義

深度學(xué)習(xí)（Deep Learning，DL）是機(jī)器學(xué)習(xí)（Machine Learning，ML）領(lǐng)域一個新的研究方向，其被引入機(jī)器學(xué)習(xí)，使其更接近最初的目標(biāo)——人工智能（Artificial Intelligence，AI）。深度學(xué)習(xí)是一類模式分析方法的統(tǒng)稱，就具體研究內(nèi)容而言，主要涉及3類方法[8]：

（1）基于卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，即卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN） [8]。

（2）基于多層神經(jīng)元的自編碼神經(jīng)網(wǎng)絡(luò)，包括自編碼（ Auto encoder）與近年來受到廣泛關(guān)注的稀疏編碼兩類（Sparse Coding） [9]。

（3）以多層自編碼神經(jīng)網(wǎng)絡(luò)方式進(jìn)行預(yù)訓(xùn)練，進(jìn)而結(jié)合鑒別信息，進(jìn)一步優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的深度置信網(wǎng)絡(luò)（DBN）[10]。

經(jīng)過多層分析與處理，逐漸將初始 “低層”特征進(jìn)一步轉(zhuǎn)化為“高層”特征表示后，采用“簡單模型”就能實(shí)現(xiàn)復(fù)雜的分類等。因而可以把深度學(xué)習(xí)理解為進(jìn)行“特征學(xué)習(xí)”（Feature Learning）或“表示學(xué)習(xí)”（Representation Learning）[11]。

1.2 深度卷積神經(jīng)網(wǎng)絡(luò)模型

深度學(xué)習(xí)模型主要分為卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度置信網(wǎng)絡(luò)（DBN）和堆棧自編碼網(wǎng)絡(luò)（Stacked Auto-encoder Network）模型3種。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型是受到視覺系統(tǒng)結(jié)構(gòu)啟發(fā)而產(chǎn)生的?；谏窠?jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。隨著研究的發(fā)展，采用誤差梯度設(shè)計(jì)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，在一些模式識別任務(wù)上取得了更好性能[12]。

深度置信網(wǎng)絡(luò)（DBN）模型可以解釋為貝葉斯概率生成模型，由多層隨機(jī)隱變量組成，上面的兩層進(jìn)行無向?qū)ΨQ連接，下面的層得到來自上一層自頂向下的有向連接，最底層單元狀態(tài)為可見輸入數(shù)據(jù)向量。在無監(jiān)督預(yù)訓(xùn)練過程中，DBN編碼輸入到頂層RBM后，解碼頂層狀態(tài)到最底層單元，實(shí)現(xiàn)輸入的重構(gòu)。RBM作為DBN的結(jié)構(gòu)單元，與每一層DBN共享參數(shù)[13-14]。

堆棧自編碼網(wǎng)絡(luò)模型結(jié)構(gòu)與DBN類似，由若干結(jié)構(gòu)單元堆棧組成，不同之處在于其結(jié)構(gòu)單元為自編碼模型（ Autoencoder）而不是RBM。自編碼模型是一個兩層神經(jīng)網(wǎng)絡(luò)，第一層稱為編碼層，第二層稱為解碼層。

1.3 CNN訓(xùn)練過程

Hinton提出在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個有效方法，分為兩步：首先逐層構(gòu)建單層神經(jīng)元;當(dāng)訓(xùn)練完所有層后，使用wake-sleep算法進(jìn)行調(diào)優(yōu)[15-17]。

自下上升的非監(jiān)督學(xué)習(xí)就是從底層開始，一層一層地往頂層訓(xùn)練。采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可看作是一個無監(jiān)督訓(xùn)練過程，也是與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分，可以看作特征學(xué)習(xí)過程。自頂向下的監(jiān)督學(xué)習(xí)就是通過帶標(biāo)簽的數(shù)據(jù)訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進(jìn)行微調(diào)。基于第一步得到的各層參數(shù)進(jìn)一步優(yōu)調(diào)整個多層模型參數(shù)，這一步是一個有監(jiān)督訓(xùn)練過程。

在CNN算法中一般采用正則化防止過度擬合，本文采用[Lp]正則化，定義損失函數(shù)如下：

其中，[u]表示特征圖轉(zhuǎn)換系數(shù)，當(dāng)[Zl]與[Zl-1]不同時，轉(zhuǎn)換系數(shù)對尺寸更小的特征圖進(jìn)行轉(zhuǎn)換，確保矩陣元素運(yùn)算成立。

CNN可以使用與其它深度學(xué)習(xí)算法類似的加速技術(shù)提升運(yùn)行效率，包括量化（quantization）、遷移學(xué)習(xí)（transfer learning）等[18-20]。

2 基于CNN的缺秧與漂秧識別算法

基于CNN算法的原理和特性，再結(jié)合本文需要自動識別缺秧和漂秧的項(xiàng)目任務(wù)，提出一種基于CNN算法的缺秧與漂秧圖像識別技術(shù)。該技術(shù)主要由3部分構(gòu)成，每一部分都密不可分，其中最主要的內(nèi)容是深度學(xué)習(xí)研究方法，也是本文研究的核心內(nèi)容。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一，基于卷積神經(jīng)網(wǎng)絡(luò)的缺秧與漂秧識別算法過程如圖1所示。

2.1 秧苗缺秧識別

（1）首先對采集到的圖片進(jìn)行像素過濾，將除綠色外的像素都設(shè)為黑，構(gòu)建掩膜。

（2）尋找每株秧苗的輪廓像素位置，按從大到小進(jìn)行排序。

（3）計(jì)算每株秧苗質(zhì)心坐標(biāo)，并按列計(jì)算相近兩株秧苗間的距離，設(shè)定閾值判斷其中間是否缺秧。

2.2 秧苗漂秧識別

（1）基于上述步驟（2），以覆蓋最大秧苗的正方形裁剪圖形中所有秧苗并進(jìn)行存儲，對每株秧苗貼標(biāo)簽，漂秧貼為0，正常秧苗貼為1，以此構(gòu)建秧苗漂秧樣本庫。

（2）將存儲的樣本劃分為訓(xùn)練樣本集與測試樣本集，比例為0.8：0.2。

（3）構(gòu)建CNN網(wǎng)絡(luò)對秧苗訓(xùn)練樣本庫進(jìn)行訓(xùn)練，采用一層卷積層、一層池化層、一層過濾層。

（4）采用上述訓(xùn)練好的網(wǎng)絡(luò)模型對秧苗測試樣本進(jìn)行模型驗(yàn)證，并給出相應(yīng)準(zhǔn)確率。

3 仿真測試

3.1 仿真環(huán)境

本文首先采集圖像樣本，之后對圖像樣本作初步加工，總共獲取1000張秧苗樣本圖，并在工作站的Python平臺上進(jìn)行程序編譯與加工，然后對圖像進(jìn)行識別與檢測處理，構(gòu)建特征樣本庫進(jìn)行分析驗(yàn)證。經(jīng)過多次比照與加工，得出最精確的實(shí)驗(yàn)數(shù)據(jù)。

3.2 結(jié)果分析

本文研究主要針對缺秧和漂秧兩種情況，缺秧識別分析仿真結(jié)果如圖2-圖5所示。

其中圖2是采樣圖像中的一張，圖3-圖5表示識別出來的缺秧情況，通過CNN算法可以準(zhǔn)確識別出缺秧情況。同樣對漂秧圖像進(jìn)行識別處理，得到結(jié)果如表1所示。

多分類問題類似于二分類問題，能夠通過混淆矩陣對模型進(jìn)行性能評估。采用準(zhǔn)確率（Precision）指標(biāo)測試分類精確度：

準(zhǔn)確率是預(yù)測為正的樣本數(shù)與所有實(shí)際為正的樣本數(shù)之比。

4 結(jié)語

本文提出一種基于CNN算法的缺秧與漂秧圖像識別技術(shù)，旨在彌補(bǔ)計(jì)算機(jī)技術(shù)在農(nóng)業(yè)領(lǐng)域的研究空白，同時利用計(jì)算機(jī)圖像識別技術(shù)替代人工作業(yè)，通過CNN算法對采集到的秧苗圖像數(shù)據(jù)進(jìn)行分析與特征提取，并建立缺秧、漂秧數(shù)據(jù)庫。在識別過程中，通過將采集的數(shù)據(jù)圖像特征與數(shù)據(jù)庫進(jìn)行對比以進(jìn)行判定。仿真實(shí)驗(yàn)結(jié)果表明，該算法判斷結(jié)果較為準(zhǔn)確，為缺秧與漂秧圖像識別研究提供了理論依據(jù)和實(shí)踐參考。

本文研究主要實(shí)現(xiàn)了對缺秧、漂秧的判定，而如何對缺秧、漂秧事件的發(fā)生進(jìn)行預(yù)測將是未來的研究方向。

參考文獻(xiàn)：

[1] 馬菁澤，甘詩潤，魏霖靜. 人工智能在農(nóng)業(yè)領(lǐng)域的應(yīng)用現(xiàn)狀與未來趨勢[J]. 軟件導(dǎo)刊，2019，18（10）： 8-11.

[2] 徐建國，肖海峰. 基于大數(shù)據(jù)的智慧農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)實(shí)現(xiàn)[J]. 軟件導(dǎo)刊，2018，17（8）：129-132.

[3] 王琴，米丹，周麗. 基于CNN的人臉識別課堂考勤系統(tǒng)[J]. 現(xiàn)代計(jì)算機(jī)，2019（25）：88-91.

[4] 張琦，張榮，梅陳彬. 基于深度學(xué)習(xí)的圖像識別技術(shù)研究綜述[J]. 河北省科學(xué)院學(xué)報，2019，36（3）：28-36.

[5] 楊斌，鐘金英. 卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展綜述[J]. 南華大學(xué)學(xué)報（自然科學(xué)版），2016，30（3）：66-72.

[6] 張旭，王斌. CNN在農(nóng)田雜草圖像識別的可行性探討[J]. 電腦知識與技術(shù) 2018，14（22）：187-189.

[7] 楊晉，丹楊，濤苗騰. 基于卷積神經(jīng)網(wǎng)絡(luò)的草莓葉部白粉病病害識別[J]. 江蘇農(nóng)業(yè)學(xué)報，2018，34（3）： 527-532.

[8] 劉方園，王水花，張煜東. 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)及其應(yīng)用的研究[J]. 新型工業(yè)化，2017，7（11）：40-51.

[9] 付鵬飛，許斌. 全卷積神經(jīng)網(wǎng)絡(luò)仿真與遷移學(xué)習(xí)[J]. 軟件，2019，40（5）： 216-221.

[10] 陳瑞森. 基于數(shù)字CNN及數(shù)學(xué)形態(tài)學(xué)的二值圖像處理系統(tǒng)[J]. 智能計(jì)算機(jī)與應(yīng)用，2015，5（4）：19-21，25.

[11] 周壯，李盛陽，張康. 基于CNN和農(nóng)作物光譜紋理特征進(jìn)行作物分布制圖[J]. 遙感技術(shù)與應(yīng)用 2019，34（4）：694-703.

[12] 曾向陽. 智能水中目標(biāo)識別[M]. 北京：國防工業(yè)出版社，2016.

[13] 周志華. 機(jī)器學(xué)習(xí)[M]. 北京：清華大學(xué)出版社，2015.

[14] 馬慧彬. 基于機(jī)器學(xué)習(xí)的乳腺圖像輔助診斷算法研究[M]. 長沙：湖南師范大學(xué)出版社，2016.

[15] 董海鷹. 智能控制理論及應(yīng)用[M]. 北京：中國鐵道出版社，2016.

[16] GUEAIEB W，MIAH M S. An intelligent mobile robot navigation technique using RFID technology[J]. IEEE Transactions on Instrumentation and Measurement，2008， 57（9）：1908-1917.

[17] 矯德余. 基于嵌入式系統(tǒng)的智能巡檢機(jī)器人研制[D]. 北京： 中國石油大學(xué)，2010.

[18] 何挺，楊向東，陳懇. 機(jī)器人雙目視覺目標(biāo)跟蹤研究[J]. 機(jī)械設(shè)計(jì)與制造，2008（3）：161-163.

[19] 龍慧，胡利，周宴宇. 迭代卡爾曼濾波在機(jī)器人定位中的應(yīng)用[J]. 現(xiàn)代電子技術(shù)，2010，33（22）：123-125.

[20] 楊長輝，王卓，熊龍燁. 基于Mask R-CNN的復(fù)雜背景下柑橘樹枝干識別與重建[J]. 農(nóng)業(yè)機(jī)械學(xué)報 2019，50（8）：22-30，69.

（責(zé)任編輯：黃 ?。?/p>