面向水稻穗上谷粒原位計(jì)數(shù)與遮擋還原的輕量級(jí)I2I深度學(xué)習(xí)方法

范圣哲，貢 亮，楊智宇，王文杰，劉成良

(上海交通大學(xué) 機(jī)械與動(dòng)力工程學(xué)院, 上海 200240)

水稻是世界上最重要的農(nóng)作物之一[1-2]。在水稻生產(chǎn)和育種過程中，使用適當(dāng)方法對(duì)水稻性狀進(jìn)行表型學(xué)分析具有重要的指導(dǎo)價(jià)值?，F(xiàn)代化表型學(xué)分析主要由自動(dòng)考種系統(tǒng)完成[3-4]。其中穗上谷粒原位計(jì)數(shù)是一件基礎(chǔ)、重要而又困難的工作。由于穗上谷粒數(shù)量巨大，且圖片中通常夾雜穗桿等雜物，存在嚴(yán)重的遮擋現(xiàn)象，因此是一件極具挑戰(zhàn)性的工作。

遮擋谷粒的還原對(duì)于精準(zhǔn)計(jì)算谷粒的幾何特征具有重要意義。在現(xiàn)有的視覺算法中，物體遮擋會(huì)極大影響算法準(zhǔn)確性[5-6]，且缺乏有效的解決方案。

近年來，計(jì)算機(jī)視覺已在多個(gè)領(lǐng)域取得落地成果：如作業(yè)目標(biāo)檢測(cè)[7]、葉綠素含量預(yù)測(cè)[8]、植物病害檢測(cè)[9]等。這些成果得益于深度學(xué)習(xí)技術(shù)的發(fā)展。在視覺領(lǐng)域中，深度學(xué)習(xí)的主要工具是卷積神經(jīng)網(wǎng)絡(luò)，其所能完成的任務(wù)主要可分為圖像分類[10]、目標(biāo)檢測(cè)[11]、語義分割[12]3大類。深度學(xué)習(xí)技術(shù)在上述3大領(lǐng)域的出色表現(xiàn)使其在復(fù)雜的圖像中對(duì)穗上谷粒計(jì)數(shù)成為可能。近年來，已有部分學(xué)者對(duì)使用深度學(xué)習(xí)算法進(jìn)行目標(biāo)計(jì)數(shù)進(jìn)行了初步探索。

目前主流的目標(biāo)計(jì)數(shù)方法可以分為“基于目標(biāo)檢測(cè)”和“基于語義分割”2大類。前者需要利用網(wǎng)絡(luò)在圖像中準(zhǔn)確標(biāo)出每個(gè)目標(biāo)的位置和尺寸，故廣泛應(yīng)用于交通場(chǎng)景的檢測(cè)和計(jì)數(shù)[13-14]。但現(xiàn)階段在密集、模糊的場(chǎng)景下對(duì)各類目標(biāo)進(jìn)行精確檢測(cè)仍是計(jì)算機(jī)視覺領(lǐng)域前沿的一大難題，且目標(biāo)檢測(cè)網(wǎng)絡(luò)通常結(jié)構(gòu)復(fù)雜，難以輕量化部署。因此，使用目標(biāo)檢測(cè)網(wǎng)絡(luò)完成穗上谷粒的計(jì)數(shù)并非理想的方法。相比之下，使用語義分割網(wǎng)絡(luò)解決谷粒計(jì)數(shù)問題僅需將圖像逐像素預(yù)測(cè)為屬于谷?；虮尘埃且活愑蓤D像到圖像 (Image to image，I2I)的二分類問題，且語義分割網(wǎng)絡(luò)相對(duì)簡(jiǎn)單，更便于輕量化部署。目前已有多種利用語義分割算法完成顆粒計(jì)數(shù)的成功案例，其計(jì)數(shù)對(duì)象包括人類胚胎細(xì)胞[15]、植物葉片上的蚜蟲[16]及高粱[17]等農(nóng)作物。由此可見，使用語義分割算法實(shí)現(xiàn)復(fù)雜穗上場(chǎng)景的顆粒計(jì)數(shù)問題更具有可行性。

而被遮擋谷粒的還原問題類似于圖像的語義分割，本質(zhì)上也可歸為I2I的映射問題。近年來，一系列學(xué)者也將語義分割的相關(guān)算法應(yīng)用于RGB[18]和深度圖[19]的修復(fù)任務(wù)。因此，將圖像分割網(wǎng)絡(luò)應(yīng)用于遮擋谷粒的還原任務(wù)也具有可行性。

除此之外，深度模型對(duì)存儲(chǔ)空間和算力的過高要求一直是其落地的一大阻礙。早期的大型網(wǎng)絡(luò)如 AlexNet[20]、VGG-16[21]、ResNet-152[10]無法在移動(dòng)設(shè)備有限的算力條件下部署。近年來出現(xiàn)了一系列針對(duì)移動(dòng)端的輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)和計(jì)算框架。網(wǎng)絡(luò)架構(gòu)方面，如MobileNet[22-24]使用深度可分離卷積替代傳統(tǒng)卷積，大大降低了計(jì)算量和參數(shù)量。其V3版本結(jié)合神經(jīng)架構(gòu)搜索(Neural architecture search，NAS)[25]和元學(xué)習(xí) (Meta learning)[26]技術(shù)，進(jìn)一步優(yōu)化了模型性能、降低了計(jì)算量和參數(shù)量。除此之外，MobileNet V3與 DeepLab系列的ASPP[27]技術(shù)結(jié)合，便可在輕量級(jí)設(shè)備上完成語義分割。計(jì)算框架方面，在TensorFlow框架中，開發(fā)人員針對(duì)邊緣計(jì)算設(shè)備設(shè)計(jì)了TensorFlow Lite runtime (TF Lite)解釋器，以便在邊緣設(shè)備上完成輕量級(jí)模型的調(diào)用。

基于上述背景和技術(shù)條件，本文提出了一種輕量級(jí)I2I穗上谷粒表型分析方法，針對(duì)稻穗上谷粒原位計(jì)數(shù)與被遮擋谷粒還原這2個(gè)復(fù)雜任務(wù)進(jìn)行階段分解，將其核心階段建模為一類I2I問題。在此基礎(chǔ)上基于現(xiàn)有的考種機(jī)設(shè)備，為穗上谷粒計(jì)數(shù)和遮擋谷粒還原任務(wù)分別設(shè)計(jì)了一套訓(xùn)練集圖像增廣算法，基于MobileNet V3和ASPP模塊建立了一套解決I2I問題的語義分割網(wǎng)絡(luò)，將其分別應(yīng)用于上述2個(gè)任務(wù)。使用TF Lite解釋器將算法部署在考種機(jī)的樹莓派設(shè)備上，并為穗上谷粒計(jì)數(shù)和遮擋谷粒還原任務(wù)分別設(shè)計(jì)了一套模型性能的評(píng)估方案。

1 問題建模與數(shù)據(jù)集制作

1.1 I2I問題與方法

在制作數(shù)據(jù)集前首先需要對(duì)問題加以建模和定義。對(duì)自動(dòng)化考種機(jī)而言，進(jìn)行穗上稻粒原位計(jì)數(shù)與被遮擋谷粒還原對(duì)高效、準(zhǔn)確地完成水稻表型學(xué)分析具有重要意義。由于原位計(jì)數(shù)和遮擋還原這2種任務(wù)過程十分復(fù)雜、需要實(shí)現(xiàn)的目標(biāo)相差較大，在傳統(tǒng)的考種機(jī)算法框架下，解決這2種任務(wù)的方法很難統(tǒng)一。本文通過對(duì)任務(wù)的拆解，一方面將復(fù)雜的、難以實(shí)現(xiàn)的任務(wù)整體拆分為若干個(gè)簡(jiǎn)單的、容易實(shí)現(xiàn)的算法單元，另一方面將上述2種任務(wù)的核心階段統(tǒng)一建模為1種I2I的映射問題。

具體而言，在本文考種機(jī)算法的框架下，完成穗上谷粒計(jì)數(shù)任務(wù)的算法被拆解為如下2個(gè)階段：1)由谷粒稻穗圖片得到谷粒分布概率圖；2)將谷粒分布概率圖先進(jìn)行二值化，再將二值圖進(jìn)行連通域計(jì)數(shù)，即可得到穗上谷粒的數(shù)量。其中第2階段是1個(gè)簡(jiǎn)單問題：圖像二值化可以使用大津法(OTSU)完成，連通域計(jì)數(shù)可以使用openCV中的findContours函數(shù)完成，二者在傳統(tǒng)數(shù)字圖像處理領(lǐng)域中都有十分成熟的解決方案。而第1階段是1個(gè)復(fù)雜問題：由復(fù)雜的穗上谷粒圖像得到谷粒分布概率圖目前尚無現(xiàn)成的解決方案。但這一問題本質(zhì)上是由RGB圖像到灰度圖的映射，因此可以歸納為I2I問題。

類似地，被遮擋谷粒的還原問題也可被拆解為如下2個(gè)階段：1)提取和移除“相互遮擋谷粒對(duì)”中的上層谷粒；2)將殘缺的下層谷粒進(jìn)行補(bǔ)全。其中第1階段是1個(gè)簡(jiǎn)單問題：由于“相互遮擋谷粒對(duì)”中的上層谷粒有清晰明顯的輪廓邊界，使用分水嶺、小波等傳統(tǒng)圖像分割算法便可以得到非常理想的結(jié)果。而第2階段是1個(gè)復(fù)雜問題：被遮擋的下層谷粒輪廓?dú)埲辈蝗糠诸伾?、紋理細(xì)節(jié)丟失，因此完成圖像恢復(fù)是很困難的工作。由被遮擋的谷粒圖像得到完整的谷粒圖像，其本質(zhì)上是RGB圖像到RGB圖像的映射問題，故也可以建模為一種I2I問題。

綜上所述，這2種任務(wù)中最困難且最核心的階段都可以建模為一類I2I的映射問題，本文將解決這一類問題的方法定義為I2I方法。由于原位計(jì)數(shù)和遮擋還原任務(wù)中的I2I問題都十分困難，本文為這2種任務(wù)設(shè)計(jì)1種基于卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的I2I方法。而由于I2I問題均具有“由圖像到圖像映射”的顯著共性，因此，本文為解決原位計(jì)數(shù)和遮擋還原的深度學(xué)習(xí)I2I方法設(shè)計(jì)一種統(tǒng)一網(wǎng)絡(luò)框架。

1.2 穗上谷粒原位計(jì)數(shù)數(shù)據(jù)集的制作

深度學(xué)習(xí)是一種基于統(tǒng)計(jì)學(xué)習(xí)的方法，其本質(zhì)是尋找由輸入分布至輸出分布的一種映射關(guān)系，因此使用深度學(xué)習(xí)方法解決I2I問題，首先需要制作足夠的試驗(yàn)樣本，以便后續(xù)針對(duì)數(shù)據(jù)集特點(diǎn)設(shè)計(jì)算法。應(yīng)用于深度學(xué)習(xí)算法的數(shù)據(jù)集通常包括訓(xùn)練集和測(cè)試集2部分。

1.2.1 訓(xùn)練集制作試驗(yàn)使用的水稻樣品為秈稻品種‘JP69’和‘交源5A’雜交所得的重組近交系群體，種植于上海市閔行區(qū) (N 31.03°、E 121.45°)的試驗(yàn)田中。所使用的試驗(yàn)樣本同時(shí)包括乳熟期、蠟熟期、完熟期3個(gè)階段。水稻圖像由上海交通大學(xué)貢亮副研究員所在實(shí)驗(yàn)室自制的考種機(jī)于2018年3月采集。原始數(shù)據(jù)集的RGB圖像(如圖1a所示)共45張，圖像中的谷穗經(jīng)吸鐵石壓塊固定，背景板為塑料材質(zhì)且略有反光，上方由LED光源照明。

圖1 谷粒計(jì)數(shù)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)Fig. 1 Training data of grain counting network

在深度監(jiān)督學(xué)習(xí)任務(wù)中，需要一定數(shù)量的人工標(biāo)記樣本作為標(biāo)簽。標(biāo)注過程中，考慮到完整標(biāo)注谷粒形狀的成本過于昂貴，且難以分辨黏連的谷粒，因此僅采用綠色圓點(diǎn)標(biāo)記對(duì)谷粒進(jìn)行大致標(biāo)注。標(biāo)記點(diǎn)的尺寸也需適中：過大的標(biāo)記易導(dǎo)致標(biāo)記間相互重疊，從而影響分割算法的精度；過小的標(biāo)記會(huì)造成模型對(duì)于標(biāo)記的位置過于敏感，且加劇樣本不均問題。經(jīng)試驗(yàn)測(cè)定，使用谷粒平均面積的30%，即直徑約4 mm的標(biāo)記，效果為佳。標(biāo)注后的訓(xùn)練圖像如圖1b所示，其中單獨(dú)提取的標(biāo)簽圖像如圖1c所示。標(biāo)簽圖像是單通道二值圖像，屬于谷粒的像素位置被標(biāo)注為1，其余位置被標(biāo)注為0。對(duì)于用于語義分割的神經(jīng)網(wǎng)絡(luò)，模型的輸出應(yīng)當(dāng)與該標(biāo)簽圖像保持盡量小的誤差。

數(shù)據(jù)集中圖像的像素分辨率高達(dá) 2 448×3 264，不宜直接輸入網(wǎng)絡(luò)：由于圖像尺寸過大且需計(jì)數(shù)的谷粒小而多，若通過縮小尺寸的方式輸入網(wǎng)絡(luò)，將導(dǎo)致谷粒細(xì)節(jié)丟失、難以分辨，從而大大影響計(jì)數(shù)的精度；而如果保持圖像的尺寸不變但增加網(wǎng)絡(luò)的輸入尺寸，將引起網(wǎng)絡(luò)的參數(shù)急劇增加，不僅容易發(fā)生過擬合，還會(huì)急劇提升所需的存儲(chǔ)空間和計(jì)算量，致使模型過度臃腫而難以在移動(dòng)端部署。

為解決輸入尺寸過大的問題，圖像輸入網(wǎng)絡(luò)前將進(jìn)行預(yù)切塊操作。為保證樣本切塊的隨機(jī)性和前景、背景像素?cái)?shù)量的均衡性，切塊策略被設(shè)計(jì)為2個(gè)交替執(zhí)行的階段：第1階段使用完全隨機(jī)的策略在原尺寸的圖像中采集像素為 4 89×652的圖像塊若干，第2階段將丟棄谷粒標(biāo)注面積占比小于全圖面積0.01%的圖像塊。經(jīng)過第2階段的篩選，不含谷粒的圖像塊將被過濾，這將保證訓(xùn)練集中的前景、背景像素所占比例與實(shí)際情況相差不大。2個(gè)階段將反復(fù)執(zhí)行，直至每張?jiān)紙D像中均已采集20張不含純背景的圖像塊，最終得到900張圖像塊用于深度網(wǎng)絡(luò)的訓(xùn)練。

為使訓(xùn)練集中的圖像樣本能夠盡可能逼近復(fù)雜的真實(shí)情況，同時(shí)提升深度模型的泛化能力以及降低過擬合的風(fēng)險(xiǎn)，需要對(duì)已生成的訓(xùn)練集圖像進(jìn)行樣本增強(qiáng)：采用TensorFlow提供的tf.data模塊將圖像通過隨機(jī)翻轉(zhuǎn)、隨機(jī)放縮、隨機(jī)亮度、隨機(jī)對(duì)比度、隨機(jī)飽和度等方式進(jìn)行增廣。除此之外為方便運(yùn)算，將所有圖像塊尺寸取整縮放至 4 90×650。得到的訓(xùn)練圖像塊樣本如圖2所示。

圖2 經(jīng)分塊后的圖像塊樣本Fig. 2 Image block samples after slicing

1.2.2 測(cè)試集制作 測(cè)試集用來測(cè)試模型訓(xùn)練后的性能，因此在模型預(yù)測(cè)時(shí)需保證圖像各分塊的相對(duì)位置不變，故圖像塊不再隨機(jī)采樣，而是將圖像按順序切塊。測(cè)試的圖像塊尺寸與訓(xùn)練集保持一致，即490像素×650像素。當(dāng)圖像塊的尺寸不足490×650時(shí)，直接縮放至該尺寸。模型推理完成后，將各個(gè)結(jié)果的圖像塊按順序恢復(fù)至原大小和位置，即可得到模型預(yù)測(cè)的完整谷粒分布概率圖。

1.3 谷粒去遮擋任務(wù)數(shù)據(jù)集的制作

在制作被遮擋谷粒還原任務(wù)的數(shù)據(jù)集時(shí)，若使用考種機(jī)采集真實(shí)的“相互遮擋谷粒對(duì)”圖像，將存在下列問題：1)需要大量的試驗(yàn)操作，數(shù)據(jù)采集工作量大、周期長(zhǎng)；2)在由“相互遮擋谷粒對(duì)”采集下層被遮擋谷粒圖像時(shí)，需要手動(dòng)移除上層谷粒，不可避免地會(huì)觸碰到下層谷粒，從而引入位置誤差，數(shù)據(jù)集的精度將難以保證。

為解決上述2點(diǎn)問題，本文采用計(jì)算機(jī)生成的模擬數(shù)據(jù)集完成谷粒去遮擋任務(wù)。具體而言，使用空白谷粒形狀遮擋單個(gè)谷粒的圖像作為被遮擋谷粒的圖像樣本，即模擬經(jīng)第1階段處理后已去除上層谷粒后的圖像，如圖3所示。該數(shù)據(jù)集原始的圖像尺寸為64像素×64像素，由于尺寸太小會(huì)影響模型的計(jì)算，輸入模型前將圖像縮放至1 2 8×128。原始數(shù)據(jù)集由100張圖片構(gòu)成，通過隨機(jī)旋轉(zhuǎn)、隨機(jī)亮度等方式，數(shù)據(jù)集被增廣至8 000張。

圖3 遮擋還原圖像樣本示例Fig. 3 Samples of occlusion restoration images

2 解決I2I問題的輕量級(jí)網(wǎng)絡(luò)

穗上谷粒原位計(jì)數(shù)的第1階段“由谷粒稻穗圖片得到谷粒分布概率圖”及被遮擋谷粒還原任務(wù)的第2階段“將殘缺的下層谷粒進(jìn)行補(bǔ)全”均為I2I問題，而深度學(xué)習(xí)中的語義分割網(wǎng)絡(luò)可以解決I2I問題。此外，由于算法部署在考種機(jī)的樹莓派開發(fā)板上，需要嚴(yán)格控制所需算力和模型體積，故選用帶有ASPP模塊的MobileNet V3輕量級(jí)網(wǎng)絡(luò)。該網(wǎng)絡(luò)保持了MobileNet系列深度可分離卷積的傳統(tǒng)，大大壓縮了計(jì)算量、提高了運(yùn)算效率。除此之外，MobileNet V3網(wǎng)絡(luò)在前代的基礎(chǔ)上引入了Squeese-and-Excite結(jié)構(gòu)，在前代Swish函數(shù)[28]的基礎(chǔ)上提出了h-Swish激活函數(shù)：

式中：x代表激活函數(shù)輸入的自變量，ReLU6[22]是對(duì)ReLU激活函數(shù)的優(yōu)化。

MobileNet V3使用神經(jīng)架構(gòu)搜索技術(shù)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的搜索，從而進(jìn)一步優(yōu)化網(wǎng)絡(luò)的性能。MobileNet V3有 Large和 Small 2個(gè)版本，為了盡可能地提升在邊緣設(shè)備的計(jì)算性能，本文選用文獻(xiàn)[24]提出的Small版本的網(wǎng)絡(luò)。在此網(wǎng)絡(luò)基礎(chǔ)上，針對(duì)穗上谷粒計(jì)數(shù)和遮擋谷粒還原任務(wù)的不同特點(diǎn)，將算法設(shè)計(jì)如下。

2.1 穗上谷粒計(jì)數(shù)網(wǎng)絡(luò)設(shè)計(jì)

在該任務(wù)中，網(wǎng)絡(luò)需要預(yù)測(cè)每個(gè)像素點(diǎn)屬于谷粒標(biāo)記(前景)還是背景，所以是分類問題。完成這一任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。網(wǎng)絡(luò)的輸出是分別對(duì)應(yīng)于正樣本(谷粒標(biāo)記)和負(fù)樣本(背景)的2張概率圖。由于最后一層前l(fā)ogits值被Softmax函數(shù)激活，得到的2張概率圖對(duì)應(yīng)位置的概率加和等于1。

圖4 用于谷粒分割的MobileNet V3網(wǎng)絡(luò)Fig. 4 MobileNet V3 network used for grain segmentation

由于該問題被建模為分類問題，根據(jù)極大似然估計(jì)原理，該模型的損失函數(shù)使用交叉熵(Cross entropy loss，CE Loss)，即對(duì)于每個(gè)像素點(diǎn)的損失(l)可計(jì)算如下：

對(duì)于每個(gè)訓(xùn)練批次(Mini-batch)而言，損失可計(jì)算如下：

為在宏觀尺度衡量語義分割的準(zhǔn)確度，本文使用交并比 (Intersection over union，IoU)作為評(píng)估指標(biāo)。以0.5為閾值對(duì)模型的輸出概率圖做二值化后，按下式與真實(shí)標(biāo)簽圖像求IoU：

為了避免大量繁復(fù)的調(diào)參工作，本文選用初始學(xué)習(xí)率為0.001的Adam優(yōu)化器[29]，對(duì)比了帶重啟的余弦學(xué)習(xí)率衰減策略[30]以及指數(shù)衰減策略。這2種學(xué)習(xí)率衰減策略的情況如圖5a所示。經(jīng)過50輪的訓(xùn)練，2種學(xué)習(xí)率衰減策略在訓(xùn)練集上的損失函數(shù)如圖5b所示。由此可見，在該任務(wù)中指數(shù)衰減策略的表現(xiàn)優(yōu)于余弦衰減策略。故使用指數(shù)衰減策略完成網(wǎng)絡(luò)的訓(xùn)練。

圖5 2種學(xué)習(xí)率衰減策略Fig. 5 Two strategies of learning rate decay

2.2 遮擋谷粒還原網(wǎng)絡(luò)設(shè)計(jì)

該任務(wù)本質(zhì)上是一種回歸問題，完成被遮擋谷粒還原任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。模型的輸入為被遮擋的谷粒圖像，模型的輸出是完整的谷粒圖像。遮擋還原任務(wù)中，網(wǎng)絡(luò)不僅需要保持輸入圖像中未被遮擋的部分，還需要還原已被遮擋的部分。

圖6 遮擋谷粒還原的網(wǎng)絡(luò)架構(gòu)Fig. 6 Network structure for occluded grain restoration

式中：x表示激活函數(shù)輸入的自變量。

除此之外，由于該模型完成回歸任務(wù)，故采用均方誤差損失函數(shù) (Mean square error loss，MSE Loss)。對(duì)于每個(gè)Mini-batch，其計(jì)算式如下：

3 計(jì)數(shù)網(wǎng)絡(luò)的訓(xùn)練、測(cè)試和部署

在建立訓(xùn)練集、測(cè)試集和確定網(wǎng)絡(luò)結(jié)構(gòu)后，需對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為在多個(gè)訓(xùn)練模型中挑選最優(yōu)的模型，需在驗(yàn)證集中對(duì)網(wǎng)絡(luò)的性能進(jìn)行評(píng)估。在驗(yàn)證集中表現(xiàn)最優(yōu)的模型將被選擇為最終部署的模型，通過TensorFlow導(dǎo)出并使用TF Lite解釋器在考種機(jī)的開發(fā)板-樹莓派端進(jìn)行部署。最終，為測(cè)試模型在樹莓派上運(yùn)行的性能，將整個(gè)測(cè)試集在樹莓派上進(jìn)行推理，與人工標(biāo)注的結(jié)果進(jìn)行比對(duì)，得到模型的準(zhǔn)確率和運(yùn)行效率。

3.1 谷粒計(jì)數(shù)網(wǎng)絡(luò)的訓(xùn)練

按照“1 問題建模與數(shù)據(jù)集制作”所述的方法分別建立容量為900的訓(xùn)練集和驗(yàn)證集，每輪的訓(xùn)練階段使用全部的訓(xùn)練集數(shù)據(jù)，驗(yàn)證階段在驗(yàn)證集中抽取10個(gè)Mini-batch完成驗(yàn)證。該模型訓(xùn)練過程中的各個(gè)超參數(shù)為初始學(xué)習(xí)率0.001、衰減步數(shù)2 000、衰減率 0.96、批容量 4、總輪數(shù) 300。

將每輪訓(xùn)練在訓(xùn)練集和驗(yàn)證集上的平均損失和IoU繪制成折線圖(圖7)。隨著訓(xùn)練過程的不斷推進(jìn)，模型在訓(xùn)練集和驗(yàn)證集的損失和IoU雖有小幅波動(dòng)，但最終趨于收斂。模型在驗(yàn)證集的損失降至0.33以下，IoU上升至0.98以上。

圖7 損失(a)和交并比(b)的可視化Fig. 7 Visualization of loss (a) and IoU (b)

為更加直觀地考察模型的性能，將最優(yōu)的模型參數(shù)保存，部分預(yù)測(cè)結(jié)果可視化如圖8所示。該模型對(duì)于谷粒相對(duì)稀疏的位置能夠比較精確地預(yù)測(cè)，而對(duì)于谷粒較為密集位置預(yù)測(cè)的置信度相對(duì)欠佳，但準(zhǔn)確率尚可。這是由于谷粒密集處谷粒間相互遮擋和變形嚴(yán)重，識(shí)別難度將大大增加。

圖8 6組遮擋還原圖像樣本Fig. 8 Samples of six sets of occlusion restoration image

3.2 部署、測(cè)試與評(píng)估

3.2.1 模型部署該模型在樹莓派4B開發(fā)板的部署使用TF Lite解釋器完成。經(jīng)優(yōu)化后的MobileNet V3模型文件僅占1.7 MB，在PC端前向推理1次需7 s左右，在樹莓派4B開發(fā)板運(yùn)行1次前向推理耗時(shí)約19 s。本文提出的算法模型的體積(1.7 MB)低于文獻(xiàn)[31]提出的算法模型的體積(H=48、K=10：8.8 MB、H=80、K=16：22.5 MB，H=112、K=24：50.5 MB，H=160、K=32：89.8 MB)，本文提出的算法具有明顯的輕量級(jí)特點(diǎn)。

為了使本文算法與多種分辨率的移動(dòng)設(shè)備相兼容，在進(jìn)行前向推理時(shí)，完整的圖片將被按照490×650的大小切分成40塊，對(duì)于尺寸不足該大小的塊，使用雙線性插值算法上采樣到該尺寸。若圖像被切分的塊數(shù)不足40，將補(bǔ)0至40塊。為充分發(fā)揮并行計(jì)算的優(yōu)勢(shì)，該40個(gè)圖像塊將被打包成1個(gè) Batch size為 40的 Mini-batch 輸入 TF Lite解釋器，進(jìn)行前向推理得到40個(gè)結(jié)果圖像。該40張結(jié)果圖像將按照原來的尺寸和位置被拼成1張完整圖片。將模型輸出的2張概率圖使用大津法進(jìn)行二值化，二值圖中為1的部分將被標(biāo)記為谷粒，且使用藍(lán)色被標(biāo)注在原圖像上，得到的結(jié)果如圖9所示。

圖9 穗上谷粒計(jì)數(shù)結(jié)果的可視化Fig. 9 Visualization of on-panicle grain counting results

3.2.2 常規(guī)測(cè)試集下的評(píng)估采集45張與訓(xùn)練集背景、光照條件完全一致的圖像作為測(cè)試集，如圖9a所示。由圖9b結(jié)果可見，該算法對(duì)于穗上谷粒的計(jì)數(shù)總體上較為精確?？紤]到訓(xùn)練時(shí)模型對(duì)于谷粒相對(duì)密集區(qū)域的預(yù)測(cè)難度較大，故將該測(cè)試圖像谷粒最密集的區(qū)域放大，如圖10所示。

圖10 谷粒計(jì)數(shù)結(jié)果及其局部放大圖像Fig. 10 Grain counting result and its local magnification image

由圖10可以看出，該算法在谷粒相對(duì)密集的區(qū)域也有不俗的標(biāo)記效果，對(duì)于飽滿粒的識(shí)別較為精確，對(duì)于癟粒和遮擋粒僅有少量遺漏。在45張測(cè)試樣本上測(cè)試該模型的性能，得到模型的平均準(zhǔn)確率為96.81%，超過了文獻(xiàn)[32]中小波方法的準(zhǔn)確率(94%)及文獻(xiàn)[33]中P-TRAP算法的準(zhǔn)確率(86%)。

另外，為了評(píng)估模型在不同切片大小情況下的性能，選取6種不同尺寸但長(zhǎng)寬比相同的切片，測(cè)試結(jié)果如表1所示。可以看到，所選用的650×490是使得模型性能最優(yōu)的切片尺寸，其余尺寸均會(huì)一定程度上損傷性能，且過大的切片會(huì)嚴(yán)重影響模型性能。

表1 不同切片尺寸下算法的準(zhǔn)確率對(duì)比Table 1 Accuracy comparison of algorithms for different slicing sizes

3.2.3 域偏移測(cè)試集下的評(píng)估常規(guī)測(cè)試集中測(cè)得的準(zhǔn)確率能夠體現(xiàn)該模型的基本性能，但卻無法衡量模型的泛化性能。模型的泛化性能是模型投入實(shí)際應(yīng)用所需要的一項(xiàng)重要指標(biāo)，它體現(xiàn)了算法對(duì)環(huán)境的魯棒性。在存在域偏移的測(cè)試集下測(cè)試模型性能能夠很好地體現(xiàn)模型的泛化性。

在統(tǒng)計(jì)學(xué)中，傳統(tǒng)測(cè)試集的數(shù)據(jù)分布應(yīng)當(dāng)與訓(xùn)練集數(shù)據(jù)分布共同服從于總體分布，而存在域偏移的數(shù)據(jù)集中，測(cè)試集與訓(xùn)練集的數(shù)據(jù)分布服從各自的總體，具有明顯的區(qū)別。由于其違背訓(xùn)練集、測(cè)試集共同服從于總體分布的統(tǒng)計(jì)假設(shè)，深度學(xué)習(xí)模型在域偏移數(shù)據(jù)集下的準(zhǔn)確率往往會(huì)大幅下降[34]。

為采集具有域偏移的圖像樣本，使用來自五常市古農(nóng)水稻種植專業(yè)合作社的稻花香‘五優(yōu)稻4號(hào)’水稻，在新一代考種機(jī)平臺(tái)上以不同的背景和光照條件采集50張如圖11所示的圖像。新版本的考種機(jī)將原有的頂光燈拍照更改為背光燈拍照，且將圖像的背景由白色塑料板更改為藍(lán)色背景板。除此之外，由于圖像采集的季節(jié)并非水稻收獲季節(jié)，用于采集圖像的稻穗樣本是枯黃的陳年樣本。以上諸多因素導(dǎo)致新采集的圖像已經(jīng)與原圖像相差甚遠(yuǎn)，為算法的泛化能力和魯棒性帶來了很大挑戰(zhàn)。

圖11 新采集樣本的計(jì)數(shù)結(jié)果Fig. 11 Counting results on newly collected samples

從圖11可以看出，該算法對(duì)于新采集的圖像樣本總體上也有較好的識(shí)別效果。為進(jìn)一步考量算法的性能，將圖像中谷粒較為密集的區(qū)域放大，如圖12所示。

如圖12所示，在該區(qū)域內(nèi)算法能夠標(biāo)記出絕大部分谷粒，個(gè)別谷粒的標(biāo)記較小但仍有標(biāo)記。按照連通域計(jì)數(shù)算法的要求，圖像中所有出現(xiàn)標(biāo)記的連續(xù)區(qū)域無論大小都會(huì)被標(biāo)記為谷粒，因此這些谷粒也會(huì)被計(jì)算在其中?？傮w而言，在該區(qū)域僅有小部分被遮擋嚴(yán)重的谷粒未能被標(biāo)記，該算法在新采集的圖像中表現(xiàn)良好。

圖12 域偏移數(shù)據(jù)集下的谷粒計(jì)數(shù)結(jié)果及其局部放大圖像Fig. 12 Grain counting result and its local magnification image under domain shift data set

為不失一般性，在新采集的50張圖像中對(duì)谷粒計(jì)數(shù)算法進(jìn)行準(zhǔn)確率計(jì)算，結(jié)果為76.17%，相比常規(guī)測(cè)試集下降20.64%。如文獻(xiàn)[34]所述，大多深度學(xué)習(xí)模型在存在域偏移的數(shù)據(jù)集下性能將下跌30%以上，相比較而言，本文的算法在新采集的樣本集上也有一定的泛化性能，且未來通過域適應(yīng)的方法，性能有進(jìn)一步提升的空間。

4 遮擋還原網(wǎng)絡(luò)的訓(xùn)練和測(cè)試

4.1 遮擋還原網(wǎng)絡(luò)的訓(xùn)練

由于訓(xùn)練的過程與谷粒計(jì)數(shù)的網(wǎng)絡(luò)別無二致，此處不再贅述。訓(xùn)練使用的超參數(shù)為初始學(xué)習(xí)率0.01，學(xué)習(xí)率衰減策略為帶重啟的余弦衰減策略，批容量為8，總輪數(shù)為300。

其中關(guān)于余弦衰減的參數(shù)為學(xué)習(xí)率衰減步數(shù)1 000，學(xué)習(xí)率衰減率 0.96，t_mul參數(shù) 2.0，m_mul參數(shù) 0.25，alpha參數(shù) 0.000 1。

4.2 測(cè)試與評(píng)估

使用部分新圖像測(cè)試模型的性能，可視化結(jié)果如圖13所示。從圖13可以看出，該遮擋還原網(wǎng)絡(luò)能夠比較好地還原谷粒缺失區(qū)域的大致形狀和顏色，但是網(wǎng)絡(luò)恢復(fù)的區(qū)域相對(duì)比較模糊，紋理等細(xì)節(jié)也隨之丟失，細(xì)節(jié)方面相較于計(jì)算機(jī)視覺圖像恢復(fù)領(lǐng)域中主流的Conditional GAN[35]雖有一定的距離，但對(duì)于幾何特征能夠比較好地還原，已經(jīng)可以滿足考種機(jī)對(duì)集合形狀測(cè)量的要求。

圖13 遮擋還原結(jié)果示例Fig. 13 Example of occlusion restoration result

為準(zhǔn)確量化模型的效果，使用100張圖像組成的測(cè)試集對(duì)該遮擋還原模型的性能進(jìn)行評(píng)估。使用面積、周長(zhǎng)、長(zhǎng)度、寬度、顏色分?jǐn)?shù)5個(gè)指標(biāo)進(jìn)行評(píng)估。其中顏色分?jǐn)?shù)指標(biāo)定義為下式：

式中：R、G、B分別表示紅色、綠色、藍(lán)色的像素點(diǎn)數(shù)。

本文提出的遮擋還原算法與文獻(xiàn)[31]提出的遮擋還原算法的平均準(zhǔn)確率對(duì)比如表2所示。從統(tǒng)計(jì)結(jié)果可以看出，本文提出的算法在大部分指標(biāo)中均超過文獻(xiàn)[31]所提出的算法。對(duì)于考種機(jī)的使用需求而言，該模型能夠十分準(zhǔn)確地恢復(fù)谷粒圖像的幾何特征，且保持了模型的輕量級(jí)特點(diǎn)。

表2 遮擋還原模型的平均準(zhǔn)確率對(duì)比Table 2 Comparison of average accuracy of occlusion restoring model%

5 結(jié)論

本文針對(duì)自動(dòng)化考種機(jī)設(shè)計(jì)了一種基于深度學(xué)習(xí)的輕量級(jí)I2I水稻穗上谷粒表型分析算法框架。針對(duì)水稻考種機(jī)的穗上谷粒原位計(jì)數(shù)任務(wù)和被遮擋谷粒還原任務(wù)，本文將復(fù)雜的、難以實(shí)現(xiàn)的任務(wù)整體拆分為若干個(gè)簡(jiǎn)單的、容易實(shí)現(xiàn)的算法單元，并將上述2種任務(wù)的核心階段統(tǒng)一建模為I2I的映射問題。針對(duì)這2種I2I問題，本文根據(jù)任務(wù)特點(diǎn)分別設(shè)計(jì)了樣本集的制作方法，改造了輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNet V3，使其適用于I2I問題，選擇了合理的優(yōu)化器和超參數(shù)對(duì)其進(jìn)行訓(xùn)練，并使用TF Lite將其部署在考種機(jī)的樹莓派4B開發(fā)板上。

為了驗(yàn)證模型的效果，分別為原位計(jì)數(shù)和遮擋還原任務(wù)建立相應(yīng)的測(cè)試集。經(jīng)測(cè)試，該算法在穗上谷粒原位計(jì)數(shù)任務(wù)中平均準(zhǔn)確率為96.81%，明顯優(yōu)于現(xiàn)有方法；該算法模型體積僅為1.7 MB，能夠在樹莓派4B開發(fā)板上以每次前向推理耗時(shí)約19 s的速度運(yùn)行，具有輕量級(jí)和快速性的特點(diǎn)；該模型于存在域偏移的樣本集上準(zhǔn)確率為76.17%，相比原測(cè)試集下降20.64%，低于大部分模型的下降比例，說明該模型具有一定的泛化能力，且未來通過域適應(yīng)的方法準(zhǔn)確率還有進(jìn)一步提升的空間。該算法在遮擋谷粒的還原任務(wù)中，谷?；謴?fù)圖像在面積、周長(zhǎng)、長(zhǎng)度、寬度和顏色分?jǐn)?shù)5個(gè)指標(biāo)的準(zhǔn)確率均高于97%，明顯優(yōu)于現(xiàn)有方法，說明本文提出的方法能夠良好地還原被遮擋谷粒的幾何形狀。

綜上所述，本文提出的基于深度學(xué)習(xí)的I2I方法能夠較好地解決穗上谷粒原位計(jì)數(shù)與被遮擋谷粒還原任務(wù)，且具有輕量級(jí)的優(yōu)點(diǎn)。