基于彩色和深度信息結(jié)合K-means聚類算法快速拼接植株圖像

沈 躍，朱嘉慧，劉 慧，崔業(yè)民，張炳南

?

基于彩色和深度信息結(jié)合-means聚類算法快速拼接植株圖像

沈 躍1，朱嘉慧1，劉 慧1※，崔業(yè)民2，張炳南1

（1. 江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江 212013；2. 南通廣益機(jī)電有限責(zé)任公司，南通 226631）

圖像拼接可以建立寬視角的高分辨率圖像，對(duì)實(shí)現(xiàn)農(nóng)業(yè)智能化有重要作用?；贙inect傳感器的圖像拼接方法利用彩色和深度雙源信息，能夠有效避免圖像缺失、亮暗差異、重影等拼接錯(cuò)誤，但是存在拼接時(shí)間較長和目標(biāo)植株不明顯等情況。針對(duì)這一問題，該文提出一種基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接方法。首先用-means聚類算法和植株深度信息提取彩色圖像中有效植株區(qū)域，再采用SURF（speeded up robust features）算法進(jìn)行特征點(diǎn)提取，利用相似性度量進(jìn)行特征點(diǎn)匹配并根據(jù)植株深度數(shù)據(jù)去除誤匹配，由RANSAC（random sample consensus）算法尋找投影變換矩陣，最后采用基于縫合線算法的多分辨率圖像融合方法進(jìn)行拼接。室內(nèi)外試驗(yàn)結(jié)果表明：該文圖像拼接方法更能突顯出目標(biāo)植株且極大縮短了拼接時(shí)間，該方法圖像拼接時(shí)間只需3.52 s（室內(nèi)）和7.11 s（室外），較基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法時(shí)間縮短了8.62 s（室內(nèi)）和38.56 s（室外），且平均匹配準(zhǔn)確率達(dá)96.8%。該文拼接后圖像信息熵、清晰度、互信息、空間頻率平均分別為6.34、50.36、11.70、11.28，圖像質(zhì)量較傳統(tǒng)方法均有提高。該研究可為監(jiān)測農(nóng)業(yè)植株生長狀態(tài)、精確噴灑藥物提供參考。

圖像處理；算法；機(jī)器視覺；-means聚類；SURF算法；圖像融合；彩色和深度信息

0 引 言

農(nóng)業(yè)智能化是近年來農(nóng)業(yè)信息技術(shù)研究的主要方向和發(fā)展趨勢。對(duì)農(nóng)業(yè)果實(shí)植株進(jìn)行檢測、田間管理、農(nóng)用機(jī)器人導(dǎo)航等田間工作，需要獲取整塊農(nóng)田作物的生長情況，因此圖像拼接技術(shù)具有較高的實(shí)用價(jià)值[1-4]。曹楠等[5]等提出的基于SIFT（scale-invariant feature transform）特征匹配的圖像無縫拼接算法是一種較為傳統(tǒng)的圖像拼接方法，雖然繼承了SIFT算法的魯棒性，且消除拼接縫，但是拼接后圖像可能存在重影、缺失等情況，拼接精度和時(shí)間也有待提高。赫更新等[6]提出SURF（speeded up robust features）與RANSAC（random sample consensus）組合圖像拼接算法可實(shí)現(xiàn)圖像快速拼接，是一種加快圖像拼接速度的圖像拼接方法，但其匹配精度不能滿足作業(yè)需求。沈躍等[7]提出基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法，能夠有效改善圖像缺失、重影等拼接錯(cuò)誤，且拼接精度高，但是其拼接時(shí)間較長，在農(nóng)田作業(yè)時(shí)無法滿足實(shí)時(shí)性需求。因此，本研究針對(duì)文獻(xiàn)[7]的圖像拼接方法進(jìn)行改進(jìn)以提高圖像拼接的效率。

本文在文獻(xiàn)[7]研究的基礎(chǔ)上，提出基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接方法，通過Kinect V2.0獲取彩色圖像和植株三維數(shù)據(jù)[8]，根據(jù)植株深度數(shù)據(jù)和K-means聚類算法得到彩色圖像中有效植株區(qū)域，采用SURF算法對(duì)有效區(qū)域進(jìn)行特征點(diǎn)提取，再利用相似性度量的方法對(duì)特征點(diǎn)進(jìn)行匹配，在進(jìn)行特征點(diǎn)匹配對(duì)篩選的過程中，提出采用左右位置深度距離不變的方法去除誤匹配，通過RANSAC算法尋找圖像間的最佳投影變換矩陣，再利用基于最佳縫合線的多分辨率融合的方法對(duì)待拼接圖像進(jìn)行融合，從而獲取整體目標(biāo)圖像。

1 材料與方法

1.1 彩色圖像和深度數(shù)據(jù)采集

為了采集植株彩色圖像和深度信息，搭建了數(shù)據(jù)采集平臺(tái)，平臺(tái)包括Kinect 2.0傳感器、PC機(jī)、相機(jī)支架、滑臺(tái)以及待測植株[7]。Kinect傳感器固定于相機(jī)支架或滑臺(tái)上，通過USB延長線接口連至PC機(jī)，待測植株距Kinect傳感器大約1 500 mm～1 800 mm。利用運(yùn)動(dòng)滑塊攜帶Kinect傳感器以0.5 m/s速度勻速前進(jìn)，運(yùn)動(dòng)方向與植株所在平面平行，由于滑臺(tái)是水平的，所以Kinect進(jìn)行水平直線運(yùn)動(dòng)，通過MATLAB調(diào)用Kinect每隔0.6 s獲取1次植株彩色圖像和深度距離信息并保存，對(duì)不同的植株圖像共進(jìn)行50次試驗(yàn)，每次試驗(yàn)共采集圖像20幅，圖像大小均為1 920×1 080像素。

1.2 彩色圖像目標(biāo)植株區(qū)域提取

1.2.1 深度數(shù)據(jù)預(yù)處理

由于Kinect拍攝的植株圖像包含復(fù)雜背景，在進(jìn)行特征點(diǎn)提取時(shí)會(huì)提取到很多不在目標(biāo)植株上的特征點(diǎn)，導(dǎo)致特征點(diǎn)提取時(shí)間增長，因此，去除植株背景是十分有必要的。在自然環(huán)境中，目標(biāo)植株圖像的背景中常常含有大量干擾植物，本研究采用深度信息與彩色圖像相結(jié)合的方法提取出目標(biāo)植株區(qū)域。

Kinect傳感器深度數(shù)據(jù)記錄的是待拍攝物體與傳感器之間的距離，經(jīng)常被應(yīng)用到人機(jī)交互領(lǐng)域，即能夠?qū)D像中的人從背景中提取出進(jìn)行開發(fā)應(yīng)用[9-10]。本試驗(yàn)充分利用傳感器的這一特性，通過深度圖像的檢測范圍的限制，對(duì)待檢測的植株樹木的深度特征進(jìn)行初步識(shí)別[11]。由于Kinect識(shí)別的最佳距離是1 500～1 800 mm，所以將目標(biāo)植株放置于傳感器前方1 500～1 800 mm范圍內(nèi)，在實(shí)際應(yīng)用可將kinect固定于行駛的小車上，小車距植株1 500～1 800 mm即可。從而通過距離的限制初步將目標(biāo)植株與背景分離，程序設(shè)置距離內(nèi)的區(qū)域像素值為1，將距離外的區(qū)域像素值為0。

1.2.2-means聚類算法

聚類分析算法[12-14]是數(shù)據(jù)挖掘的一個(gè)重要算法，其中，-means聚類算法在進(jìn)行數(shù)據(jù)集處理的效率非常高，特別是針對(duì)大數(shù)據(jù)集，且相對(duì)簡單，-means聚類算法工作過程為：首先從個(gè)數(shù)據(jù)對(duì)象任意選擇個(gè)對(duì)象作為初始聚類中心；而對(duì)于所剩下其他對(duì)象，則根據(jù)它們與這些聚類中心的相似度，分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然后再計(jì)算每個(gè)所獲新聚類的聚類中心（該聚類中所有對(duì)象的均值）；不斷重復(fù)這一過程直到標(biāo)準(zhǔn)測度函數(shù)開始收斂為止[15-16]。根據(jù)本文預(yù)處理后獲取的效果圖，只需要獲取目標(biāo)植株所在的圖像區(qū)域，因此試驗(yàn)中選取其聚類數(shù)2就能夠得到最好的分割效果。

此時(shí)得到的分割后圖像會(huì)存在很大誤差，尤其是在室外試驗(yàn)中，而圖像分割誤差越大，拼接后圖像誤差越大。所以為了保證后續(xù)圖像拼接準(zhǔn)確率，本文保留了植株所在的矩形區(qū)域。在得到的二值圖像的基礎(chǔ)上，至上往下對(duì)每一行進(jìn)行求和，直至找到第一個(gè)非空白行為止，記為第行，至下往上對(duì)每一行進(jìn)行求和，直至找到第一個(gè)非空白行為止，記為第行；至左往右對(duì)每一列進(jìn)行求和，直至找到第一個(gè)非空白列為止，記為第列，至右往左對(duì)每一列進(jìn)行求和，直至找到第一個(gè)非空白列為止，記為第列；在原彩色圖像上截取出第行到第行，第列到第列的圖形區(qū)域，此時(shí)得到的即是提取出的植株所在的矩形區(qū)域。處理后圖像如圖1所示。

a. 初始圖像 a. Original imageb. 去除背景后圖像 b. Image without complex background

圖1a是Kinect拍攝到的初始圖像，圖1b是去除復(fù)雜背景后的彩色圖像，其中黑色部分是被去除的無目標(biāo)植株的部分，保留了植株所在的矩形區(qū)域。

1.3 植株彩色圖像初步匹配

1.3.1 SURF特征點(diǎn)提取

對(duì)于圖像的匹配算法而言，能夠找到具有高魯棒性的特征點(diǎn)是其關(guān)鍵，SURF[17-18]（speeded up robust features）算法的速度是SIFT（scale-invariant feature transform）算法的3倍左右，并且在多幅圖片下具有更好的穩(wěn)定性[19]。

SURF算法主要分為4部分：生成尺度空間、檢測關(guān)鍵點(diǎn)、分配關(guān)鍵點(diǎn)方向、特征點(diǎn)描述子生成[20-21]。比起SIFT算法，SURF算法通過使用Hessian矩陣[22]和降維的特征描述子來增加執(zhí)行效率。SURF算法提取到的特征點(diǎn)如圖2所示。

注：圖中圓圈代表特征點(diǎn)的尺度，圓圈內(nèi)十字交叉點(diǎn)即為特征點(diǎn)。

1.3.2 相似性度量特征點(diǎn)匹配

相似性度量，即綜合評(píng)定2個(gè)事物之間相近程度的一種度量，可利用相似性度量進(jìn)行特征點(diǎn)匹配。本文采用算法簡單實(shí)現(xiàn)效率高的歐氏距離作為2幅圖中的相似度量。將1幅圖像中的某個(gè)關(guān)鍵點(diǎn)和另1幅圖像中與其距離最近的前2個(gè)關(guān)鍵點(diǎn)相比，若比值ratio小于某個(gè)閾值，則接受這1對(duì)匹配點(diǎn)。經(jīng)多次試驗(yàn)發(fā)現(xiàn)，當(dāng)取閾值為0.6時(shí)，存在的誤匹配較少。圖3是特征點(diǎn)匹配圖。

注：圖中直線為2幅圖中特征點(diǎn)匹配對(duì)的連線。

1.4 圖像融合

1.4.1 Kinect深度信息誤匹配消除

從圖3中可以看出通過相似性度量得到潛在匹配對(duì)中不可避免會(huì)產(chǎn)生一些錯(cuò)誤匹配，這會(huì)使拼接后圖像發(fā)生缺失、錯(cuò)位等情況。因此需要對(duì)錯(cuò)誤匹配進(jìn)行處理。

本文采用文獻(xiàn)[7]中利用深度信息去除誤匹配的方法。Kinect傳感器僅進(jìn)行水平平移，所以同一點(diǎn)在不同位置的深度距離相同。若匹配到的2個(gè)特征點(diǎn)深度距離相同，則保留此匹配，否則去除該匹配。由此得到的匹配對(duì)正確率較高。

1.4.2 RANSAC算法尋找最佳單應(yīng)性矩陣

單應(yīng)性矩陣描述的是針對(duì)同一事物，在不同的視角下拍攝的圖像之間的關(guān)系。本文采用文獻(xiàn)[7]中RANSAC算法尋找最佳單應(yīng)性矩陣[23-24]，RANSAC[25]算法目的是找到最優(yōu)的參數(shù)矩陣，使得滿足該矩陣的數(shù)據(jù)點(diǎn)個(gè)數(shù)最多，矩陣大小為3×3，通常令33=1，其變換形式如下

式中(,)表示目標(biāo)圖像角點(diǎn)位置，()為場景圖像角點(diǎn)位置，為尺度參數(shù)。

1.4.3 基于最佳縫合線的多分辨率圖像融合

圖像融合以圖像配準(zhǔn)為基礎(chǔ)，實(shí)現(xiàn)圖像自然平滑過渡。本文使用基于最佳縫合線的多分辨率算法進(jìn)行圖像拼接。

在2幅圖像重疊區(qū)域的差值圖像上，顏色、結(jié)構(gòu)強(qiáng)度差值最小的一條線被稱為理想的縫合線[26-27]。

由投影變換矩陣可以得到2幅圖像水平平移的像素量，2個(gè)位置的坐標(biāo)系歸一化到同一個(gè)坐標(biāo)系中，將2幅圖像重疊的部分作差運(yùn)算生成一幅差值圖像；對(duì)差值圖像從重疊區(qū)域的第一行出發(fā)，向下擴(kuò)展，對(duì)每行計(jì)算縫合線強(qiáng)度值到最后一行為止，然后將所有選中的點(diǎn)連接起來作為最佳縫合線。

在求得最佳縫合線之后進(jìn)行多分辨率融合拼接[28-29]，步驟如下：

1）根據(jù)拼接后圖像的大小，生成一幅模板圖像，將縫合線左側(cè)填充0，右側(cè)填充255，形成一副黑白模板圖像。

2）將原始2幅圖像、擴(kuò)展到拼接后圖像的大小，擴(kuò)展部分填充0。

3）生成模板的高斯圖像G，以及經(jīng)擴(kuò)展的、的拉普拉斯圖像L、L。

4）在每一層上分別進(jìn)行融合，求得融合后的拉普拉斯圖像fusion，像素值計(jì)算公式為

式中代表第幾層；(,)代表像素點(diǎn)坐標(biāo)。

5）對(duì)于融合后的拉普拉斯圖像fusion，從最高層開始差值擴(kuò)展，并與其下一層圖像相加，重復(fù)此過程直至與最后一層圖像相加完為止，得到最終需要的基于最佳縫合線的多分辨率融合圖像。

1.5 改進(jìn)的基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接

本研究基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接流程圖如圖4所示。

圖4 基于彩色和深度信息結(jié)合K-means聚類算法快速拼植株圖像接流程圖

第1步，Kinect獲取不同角度的彩色圖像和深度信息，對(duì)獲取到的深度信息進(jìn)行范圍限制，然后利用-means算法提取出彩色圖像中有效植株矩形區(qū)域。

第2步，用SURF算法進(jìn)行關(guān)鍵點(diǎn)搜索，再采用相似性度量的方法進(jìn)行特征點(diǎn)匹配。

第3步，用多幅圖像的深度距離不變性消除誤匹配，對(duì)得到的匹配對(duì)采用RANSAC算法尋求2幅圖之間的最佳投影變換矩陣。

第4步，采用基于最佳縫合線的多分辨率圖像融合算法對(duì)圖像進(jìn)行融合，最終實(shí)現(xiàn)了圖像的精確拼接。

文獻(xiàn)[7]所提出的圖像拼接方法沒有分割出有效植株區(qū)域，彩色圖像復(fù)雜的背景給圖像拼接造成很大干擾，并且本文采用的SURF特征點(diǎn)提取方法比文獻(xiàn)[7]中采用的SIFT特征點(diǎn)提取速度更快，最后本文采用基于最佳縫合線的多分辨率圖像融合，相比文獻(xiàn)[7]中最佳縫合線算法，本文融合算法使圖像融合更為平滑，盡可能地解決了因?yàn)榱涟挡町悓?dǎo)致的拼接線較為明顯的問題。因此本文圖像拼接方法更能突顯出目標(biāo)植株，且極大縮短了拼接時(shí)間。

2 試驗(yàn)設(shè)計(jì)與結(jié)果分析

2.1 試驗(yàn)設(shè)計(jì)

為了驗(yàn)證本文方法的精確性和實(shí)時(shí)性，設(shè)計(jì)了室內(nèi)與室外試驗(yàn)，試驗(yàn)所用計(jì)算機(jī)主機(jī)配置CPU為Intel Core i7，主頻為2.60 GHz，內(nèi)存為8GB，操作系統(tǒng)為Windows 10，程序編寫運(yùn)行環(huán)境為MATLAB R2016a。試驗(yàn)場景如圖 5所示。

圖5 室內(nèi)外試驗(yàn)場景圖

圖5a是室內(nèi)試驗(yàn)場景圖，將Kinect傳感器固定在一個(gè)6 m長的滑臺(tái)上進(jìn)行試驗(yàn)，滑臺(tái)距離地面高度1 500 mm，綠色植株與試驗(yàn)滑臺(tái)的垂直距離為1 500～1 800 mm，當(dāng)運(yùn)動(dòng)滑塊以0.5 m/s速度勻速前進(jìn)時(shí)，攜帶Kinect傳感器以同樣速度移動(dòng)，每隔0.6 s用MATLAB獲取1次植株彩色圖像和深度距離信息并保存。圖采集圖形共耗時(shí)12 s，共采集圖像20幅，圖像大小均為1 920×1 080像素。圖5b室外試驗(yàn)場景圖，室外試驗(yàn)在植株培育基地進(jìn)行，由于室外試驗(yàn)條件的限制，沒有在滑臺(tái)上進(jìn)行試驗(yàn)，而是將Kinect固定在相機(jī)支架上，水平移動(dòng)相機(jī)支架，用MATLAB獲取植株彩色圖像和深度距離信息并保存。

2.2 評(píng)價(jià)指標(biāo)

采用一些客觀評(píng)價(jià)指標(biāo)對(duì)圖像融合質(zhì)量進(jìn)行評(píng)價(jià)，由于不存在理想的標(biāo)準(zhǔn)參考圖像，因而采用基于融合圖像自身統(tǒng)計(jì)特性以及反映融合圖像與源圖像之間關(guān)系的性能指標(biāo)客觀地評(píng)價(jià)圖像的融合效果。

1）信息熵（information entropy，IE）

信息熵[30]是用來衡量一個(gè)隨機(jī)變量出現(xiàn)的期望值的一種指標(biāo)。當(dāng)一個(gè)變量的信息熵越大時(shí)，這個(gè)變量出現(xiàn)的情況也就越多，也就是包含的信息量越大。說明融合效果越好。計(jì)算公式如下

2）清晰度（clarity）

又稱平均梯度，其通過相鄰2像素灰度差的平方反映圖像細(xì)節(jié)反差程度和紋理變化特征，計(jì)算公式如下

式中()表示圖像對(duì)應(yīng)像素（）的灰度值，為圖像清晰度計(jì)算結(jié)果。清晰度值越大，表明圖像越清晰，融合效果越好。

3）互信息（mutual information，MI）

互信息是用于衡量2個(gè)域變量之間的依賴性的一個(gè)指標(biāo)。表示待融合圖像、與融合圖像之間的互信息，互信息越大，說明融合圖像從源圖像中提取的信息越多,融合的效果也越好?；バ畔⒌挠?jì)算公式如下

式中p(,,)、p(,)分別為融合圖像與原圖像之間、2幅原圖像之間的聯(lián)合灰度分布。表示融合后圖像，表示融合后圖像像素?cái)?shù)，表示原始圖像像素?cái)?shù)，p表示灰度值為的所有像素在整體圖像中所占的比例。

4）空間頻率（spatial frequency，SF）

空間頻率測量的是像素值的變化速度，反映了圖像整體活躍程度，而與像素本身值的大小沒有關(guān)系，可以評(píng)價(jià)圖像灰度的變化情況。

式中RF為空間行頻率；CF為空間列頻率，且

式中表示像素大小，（）表示圖像對(duì)應(yīng)像素()的灰度值。

SF值越大表明拼接圖像融合并非是重疊區(qū)簡單的疊加，而是2幅圖像的過渡融合。

2.3 結(jié)果與分析

2.3.1 室內(nèi)試驗(yàn)

順序抽取3個(gè)連續(xù)時(shí)間點(diǎn)獲取的3張彩色圖像作為待拼接圖像，如圖6a所示。用限制深度距離的范圍，程序設(shè)置距離為1 500～1 800 mm內(nèi)的區(qū)域像素值為1，距離外的區(qū)域像素值為0。再對(duì)處理后的彩色圖像采用-means聚類算法分割出目標(biāo)植株，將彩色圖像轉(zhuǎn)換成二值圖像進(jìn)行展現(xiàn)，減小數(shù)據(jù)量，突顯出感興趣目標(biāo)的輪廓。最后根據(jù)得到的二值圖像分割出目標(biāo)植株所在的最小矩形區(qū)域。處理后圖像如圖6b所示。

a. 原始圖像 a. Original image b. 提取的目標(biāo)植株區(qū)域 b. Target plant area extracted

圖6b是提取出的植株所在矩形區(qū)域，圖中黑色部分即是采用上述方法去除掉的目標(biāo)植株外的背景區(qū)域。在進(jìn)行試驗(yàn)時(shí)，這部分平均共耗時(shí)2.30 s。

SURF算法提取到特征點(diǎn)分別為143、158、153個(gè)，根據(jù)相似性度量的方法得到特征點(diǎn)匹配對(duì)117和94對(duì)，此時(shí)得到的特征點(diǎn)匹配對(duì)存在一些誤匹配，利用深度信息共消除誤匹配對(duì)23和18對(duì)（見表1），通過RANSAC算法尋求投影變換矩陣，2種方法的投影變換矩陣分別為

最后分別采用文獻(xiàn)[7]中最佳縫合線算法和本文中基于最佳縫合線的多分辨率圖像融合算法對(duì)3幅待融合圖像進(jìn)行處理，結(jié)果如圖7所示。

表1 3種不同拼接方法對(duì)比

Table 1 Comparison of 3 different mosaic method methods

試驗(yàn)組 Test groups算法 Algorithm試驗(yàn)次數(shù) Times of test特征點(diǎn)匹配 Feature points matching時(shí)間 Time/s 匹配數(shù) Matching number消除的誤匹配對(duì)數(shù) Mismatching eliminated正確匹配對(duì) Correct matching匹配準(zhǔn)確率 Accuracy of matching/% 文獻(xiàn)[5]50140－12488.614.04 室內(nèi)Indoor文獻(xiàn)[7]1172311396.612.14 本文94189196.83.52 文獻(xiàn)[5] 502 178－1 98891.356.32 室外Outdoor文獻(xiàn)[7]1 2399391 18095.245.67 本文98032893395.27.11

a. 文獻(xiàn)[7]方法的圖像拼接 a. Image mosaic result by method in literature[7] b. 本文方法圖像拼接 b. Image mosaic result by proposal method

圖7 室內(nèi)試驗(yàn)圖像拼接對(duì)比

Fig.7 Image mosaic comparison of indoor test

圖7b中黑色區(qū)域?yàn)槿コ舻牟糠直尘?。從圖中可以看出采用2種方法得到的拼接后圖像均沒有產(chǎn)生重影、缺失等明顯拼接錯(cuò)誤，這是因?yàn)槭覂?nèi)試驗(yàn)中光照較為均勻，2種圖像拼接方法均適用。試驗(yàn)數(shù)據(jù)表明：同樣3幅待拼接圖像下，文獻(xiàn)[5]圖像拼接方法平均耗時(shí)14.04 s，平均匹配準(zhǔn)確率為88.6%（見表1）；文獻(xiàn)[7]拼接方法平均耗時(shí)12.14 s，平均匹配準(zhǔn)確率為96.6%；本文圖像拼接方法平均耗時(shí)1.32 s，平均匹配準(zhǔn)確率為96.8%，試驗(yàn)總耗時(shí)平均為3.52 s，由此得出與文獻(xiàn)[5]圖像拼接方法相比，文獻(xiàn)[7]和本文方法匹配準(zhǔn)確率平均提高8個(gè)百分點(diǎn)左右，和文獻(xiàn)[7]相比，本文圖像拼接方法極大減少了圖像拼接時(shí)間（減少8.62 s），提高了圖像拼接效率，在進(jìn)行室內(nèi)圖像拼接時(shí)能更滿足作業(yè)需求。

2.3.2 室外試驗(yàn)

順序抽取3個(gè)連續(xù)時(shí)間點(diǎn)獲取的3張彩色圖像作為待拼接圖像，如圖8a所示，限制深度距離，采用-means聚類算法和植株深度信息提取出有效植株矩形區(qū)域，處理后圖像如圖8b所示。

a. 原始圖像 a. Original image b. 提取的目標(biāo)植株區(qū)域 b. Target plant area extracted

圖8b是提取出的植株所在矩形區(qū)域，圖中黑色部分即是采用上述方法去除掉的目標(biāo)植株外的背景區(qū)域。在進(jìn)行試驗(yàn)時(shí)，這部分平均共耗時(shí)2.81 s。

對(duì)處理后的彩色圖像和三維數(shù)據(jù)分別用文獻(xiàn)[7]的圖像拼接方法和本文改進(jìn)后拼接方法進(jìn)行處理，SURF算法提取到特征點(diǎn)分別為1 445、1 718、1 680個(gè)，根據(jù)相似性度量的方法得到特征點(diǎn)匹配對(duì)1 223和984對(duì)，利用深度信息共消除誤匹配對(duì)931和327對(duì)，通過RANSAC算法尋求投影變換矩陣，2種方法的投影變換矩陣分別為

圖9是分別采用本文方法和文獻(xiàn)[7]方法的試驗(yàn)效果對(duì)比圖。

從圖9a中可以看出，在對(duì)亮暗差異較大的圖像進(jìn)行融合時(shí)，出現(xiàn)了分割線明顯的情況，且縫合線兩側(cè)圖像的曝光差異很大，而圖9b中圖像平滑過渡，不會(huì)出現(xiàn)曝光差異。試驗(yàn)數(shù)據(jù)表明：文獻(xiàn)[5]圖像拼接方法耗時(shí)56.32 s，匹配準(zhǔn)確率為91.3%（見表1）；文獻(xiàn)[7]拼接方法耗時(shí)45.67 s，匹配準(zhǔn)確率為95.2%；本文圖像拼接方法耗時(shí)4.3 s，試驗(yàn)總耗時(shí)7.11 s，匹配準(zhǔn)確率為95.2%。由此得出文獻(xiàn)[7]和本文方法匹配準(zhǔn)確率提高3.9個(gè)百分點(diǎn)左右，并且與文獻(xiàn)[7]相比本文圖像拼接方法極大減少了圖像拼接時(shí)間38.56 s。

圖9 室外試驗(yàn)圖像拼接對(duì)比

基于SIFT特征匹配的圖像無縫拼接方法（即文獻(xiàn)[5]）圖像拼接方法、基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法（即文獻(xiàn)[7]）和本文拼接方法的拼接后圖像質(zhì)量對(duì)比分析如表2所示。

表2 不同拼接方法圖像質(zhì)量對(duì)比

從表2中可以看出，室內(nèi)試驗(yàn)中，文獻(xiàn)[5]、文獻(xiàn)[7]和本文圖像拼接方法得到的融合圖像的信息熵平均為6.24、6.35和6.38，本文的信息熵最大，包含的信息量越大；融合圖像的清晰度平均為47.56、49.32和50.15，本文方法的清晰度最大，圖像最清晰；融合圖像的互信息平均為10.03、10.52和11.56，本文方法的互信息最大，融合圖像從源圖像中提取的信息越多；融合圖像的空間頻率平均為9.21、9.89和11.32，本文方法的空間頻率最大，說明拼接圖像融合并非是重疊區(qū)簡單的疊加；室外試驗(yàn)中，本文方法信息熵、清晰度、互信息和清晰度均最大，因此，其圖像融合效果最好。

3 結(jié) 論

本文針對(duì)復(fù)雜背景的精確圖像拼接，提出一種基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接方法。先利用深度信息去除部分背景，再采用-means聚類算法提取有效植株區(qū)域，對(duì)有效植株區(qū)域采用SURF算法進(jìn)行特征點(diǎn)提取，利用相似性度量的方法進(jìn)行特征點(diǎn)匹配，根據(jù)深度距離信息篩除誤匹配對(duì)，再引入RANSAC算法得到投影變換矩陣，最后采用基于最佳縫合線的多分辨率圖像融合算法進(jìn)行圖像融合。試驗(yàn)結(jié)果表明：

1）本文基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接方法耗時(shí)較短。室內(nèi)試驗(yàn)中，沈躍等（2018）方法（基于深度和彩色雙信息特征源的Kinect植物圖像拼接方法拼）耗時(shí)12.14 s，本文方法耗時(shí)3.52 s；室外試驗(yàn)中，沈躍等（2018）方法接耗時(shí)45.67 s，本文方法耗時(shí)7.11 s。因此本文方法更能滿足實(shí)時(shí)作業(yè)的需求。

2）基于Kinect采集到的彩色圖像和三維數(shù)據(jù)對(duì)植株進(jìn)行圖像拼接，室內(nèi)試驗(yàn)中，沈躍等（2018）方法圖像匹配準(zhǔn)確率為96.6%，本文方法圖像匹配準(zhǔn)確率為96.8%；室外試驗(yàn)中，沈躍等（2018）方法圖像匹配準(zhǔn)確率為95.2%，本文方法圖像匹配準(zhǔn)確率為95.2%。因此本文方法依然保持了很高的拼接精確率。

3）室內(nèi)外試驗(yàn)中，沈躍等（2018）方法在對(duì)亮暗差異較大的圖像進(jìn)行拼接時(shí)縫合線較為明顯，且縫合線兩側(cè)圖像的曝光差異很大，但是本文方法拼接后圖像過渡平滑，無明顯亮暗差異。

綜上所述，本文基于Kinect傳感器彩色和深度信息的目標(biāo)植株圖像快速拼接方法耗時(shí)較短，能有效解決光照亮暗差異帶來的問題，且更能突顯出目標(biāo)植株，圖像匹配率準(zhǔn)確率高，更能滿足室內(nèi)外作業(yè)要求。該方法也可用于農(nóng)業(yè)植株生長狀態(tài)的監(jiān)測、藥物肥料的精確噴灑以及病蟲害的及時(shí)防治等農(nóng)田作業(yè)中。

[1] Zhang W, Guo B, Li M, et al. Improved seam-line searching algorithm for UAV image mosaic with optical flow[J]. Sensors, 2018, 18(4): 1210－1219.

[2] Guo S, Sun S, Guo J. The application of image mosaic in information collecting for an amphibious spherical robot system[C]//IEEE International Conference on Mechatronics and Automation. IEEE, 2016: 1547－1552.

[3] 姚立健，周高峰，倪忠進(jìn)，等. 基于尺度不變特征轉(zhuǎn)換算子的水果表面圖像拼接方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(9)：161－166. Yao Lijian, Zhou Gaofeng, Ni Zhongjin, et al. Matching method for fruit surface image based on scale invariant feature transform algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2015, 31(9): 161－166. (in Chinese with English abstract)

[4] 周志艷，閆夢璐，陳盛德，等. Harris角點(diǎn)自適應(yīng)檢測的水稻低空遙感圖像配準(zhǔn)與拼接算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(14)：186－193. Zhou Zhiyan, Yan Menglu, Chen Shengde, et al. Image registration and stitching algorithm of rice low-altitude remote sensing based on harris corner self-adaptive detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 186－193. (in Chinese with English abstract)

[5] 曹楠，王萍. 基于SIFT特征匹配的圖像無縫拼接方法[J]. 計(jì)算機(jī)與應(yīng)用化學(xué)，2011，28(2)：242－244. Cao Nan，Wang Ping. Seamless image stitching based on SIFT feature matching[J]. Computer and Applied Chemistry, 2011, 28(2): 242－244. (in Chinese with English abstract)

[6] 赫更新，馬嘉文，張西克，等. SURF與RANSAC 組合圖像拼接算法[J]. 應(yīng)用科技，2017，44(10)：198－205.He Gengxin, Ma Jiawen, Zhang Xike, et al. An improved image mosaic algorithm based on SURF and RANSAC[J]. Applied Science and Technology, 2017, 44(10): 198－205. (in Chinese with English abstract)

[7] 沈躍，朱嘉慧，劉慧，等. 基于深度和彩色雙信息特征源的Kinect植物圖像拼接[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(5)：176－182.Shen Yue, Zhu Jiahui, Liu Hui, et al. Plant image mosaic based on depth and color dual information feature source from Kinect[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 176－182.(in Chinese with English abstract)

[8] Khoshelham K, Elberink S O. Accuracy and resolution of Kinect depth data for indoor mapping application[J]. Sensors, 2012, 12(2): 1437－1454.

[9] 何東健，邵小寧，王丹，等. Kinect獲取植物三維點(diǎn)云數(shù)據(jù)的去噪方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(1)：331－336. He Dongjian, Shao Xiaoning, Wang Dan, et al. Denoising method of 3D point cloud data of plants obtained by kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(1): 331－336. (in Chinese with English abstract)

[10] Smisek J, Jancosek M, Pajdla T. 3D with Kinect[C]//IEEE International Conference on Computer Vision Workshops. IEEE Computer Society, 2011: 1154－1160.

[11] 沈躍，潘成凱，劉慧，等. 基于改進(jìn)SIFT-ICP算法的Kinect植株點(diǎn)云配準(zhǔn)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2017，48(12)： 183－189.Shen Yue, Pan Chengkai, Liu Hui, et al. A method of improved SIFT-ICP plant point cloud registration based on Kinect[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 183－189. (in Chinese with English abstract)

[12] 沈躍，徐慧，劉慧，等. 基于-means 和近鄰回歸算法的 Kinect 植株深度圖像修復(fù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(19)：188－194. Shen Yue, Xu Hui, Liu Hui, et al. Kinect scanning plant depth image restoration based K-means and K-nearest neighbor algorithms[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(19): 188－194. (in Chinese with English abstract)

[13] Chao G. Discriminative-means laplacian clustering[J]. Neural Processing Letters, 2018(8): 1－13.

[14] Ula? Yurtsever, Hayrettin Evirgen, Mustafa Cihat Avunduk. A new augmented-means algorithm for seed segmentation in microscopic images of the colon cancer[J]. Tehnicki Vjesnik, 2018, 25(2): 34－40.

[15] El-Shorbagy M A, Ayoub A Y, El-Desoky I M, et al. A novel genetic algorithm based-means algorithm for cluster analysis[C]//International Conference on Advanced Machine Learning Technologies and Applications. Springer, Cham, 2018: 92－101.

[16] Malinen M I, Mariescu-Istodor R, Franti P.-means*: Clustering by gradual data transformation[J]. Pattern Recognition, 2014, 47(10): 3376－3386.

[17] Watada J, Zhang H, Melo H, et al. SURF algorithm-based panoramic image mosaic application[C]//International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Springer Cham, 2017: 349－358.

[18] Dong Q, Liu J H, Zhou Q F. Improved SURF algorithm used in image mosaic[J]. Journal of Jilin University, 2017, 47(5): 1644－1652.

[19] 趙曉華. 基于SURF特征點(diǎn)的圖像拼接技術(shù)研究[J]. 艦船電子工程，2018，38(4)：78－83. Zhao Xiaohua. Research on image mosaic technology based on SURF feature points[J]. Ship Electronic Engineering, 2018, 38(4): 78－83. (in Chinese with English abstract)

[20] Fan P, Cheng W U, Yang R, et al. An improved SURF infrared image mosaic method based on BRISK[J]. Infrared Technology, 2018, 31(17): 168－174.

[21] Nam S H, Kim W H, Mun S M, et al. A SIFT features based blind watermarking for DIBR 3D images[J]. Multimedia Tools & Applications, 2018: 1－40.

[22] 陳敏, 湯曉安. SIFT與SURF特征提取算法在圖像匹配中的應(yīng)用對(duì)比研究[J]. 現(xiàn)代電子技術(shù)，2018，41(7)：41－45. Chen Min, Tang Xiaoan. Comparison study on application of SIFT and SURF feature extraction algorithms in image matching[J]. Modern Electronics Technique, 2018, 41(7): 41－45. (in Chinese with English abstract)

[23] Dai X L, Deng S. Image mosaic technology based on improved SIFT and RANSAC[J]. Information. & Communications, 2017, 83(6): 142－150.

[24] Du H, Xu Z, Ding Y. The fast lane detection of road using RANSAC algorithm[J]. International Conference on Applications and Techniques in Cyber Security and Intelligence. 2018(7): 1－7.

[25] Ge Y, Gao C, Liu G D. An improved RANSAC image stitching algorithm based similarity degree[C]//International Conference on Multimedia Modeling. Springer International Publishing, 2016, Duke University, Durham, America: ASME, c2016: 185－196.

[26] Li Aiguo, Zhou Shuai, Wang Rui. An improved method for eliminating ghosting in image stitching[C]//Intelligent Human-Machine Systems and Cybernetic, Zhe Jiang University , Zhe Jiang, China: IHMSC, 2017: 415－418.

[27] 秦緒佳，王琪，王慧玲，等. 基于最佳縫合線的序列遙感圖像拼接融合方法[J]. 計(jì)算機(jī)科學(xué)，2015，42(10)：306－310.

Qin Xujia, Wang Qi, Wang Huiling, et al. Image fusion method based on best seam-line for serial remote sensing images mosaic[J]. Computer Science, 2015, 42(10): 306－310. (in Chinese with English abstract)

[28] 谷雨，周陽，任剛，等. 結(jié)合最佳縫合線和多分辨率融合的圖像拼接[J]. 中國圖象圖形學(xué)報(bào)，2017，22(6)：842－851. Gu Yu, Zhou Yang, Ren Gang, et al. Image stitching by combining optimal seam and multi-resolution fusion[J]. Journal of Image and Graphics, 2017, 22(6): 842－851. (in Chinese with English abstract)

[29] 李偉. 像素級(jí)圖像融合方法及應(yīng)用研究[D]. 廣州：華南理工大學(xué)，2006.

Li Wei. A Dissertation Submitted for the Degree of Doctor of Philosophy[D]. Guangzhou: South China University of Technology, 2006. (in Chinese with English abstract)

[30] 萬國挺. 圖像拼接技術(shù)與質(zhì)量評(píng)價(jià)方法研究[D]. 西安：西安電子科技大學(xué)，2012.

Wan Guoting. Study on Image and Quality Assessment[D]. Xi’an, Xidian University, 2012. (in Chinese with English abstract)

Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm

Shen Yue1, Zhu Jiahui1, Liu Hui1※, Cui Yemin2, Zhang Bingnan1

(1.212013,; 2.226631,)

Image mosaic can establish high resolution images with wide viewing angle, which is very important for realizing agricultural intelligence. Because of the light or wind and some other factors, traditional image mosaic methods have some disadvantages, such as dislocation, missing and long mosaic time. The method of plant image mosaic based on depth and color dual information feature source from Kinect has high accuracy, but it cannot meet the real-time requirement. It is difficult to meet the requirements of the reliability of agricultural vehicle applications by using image feature element method for image mosaic.Aiming at this problem, in this paper, we proposed a method of feature plant image mosaic based on color and depth information of Kinect sensor. First of all, the effective plant parts of color image were obtained by-means algorithm and plant depth information. SURF (speeded-up robust features) algorithm was used to extract the effective parts, because the speed of SURF algorithm is three times of SIFT (scale-invariant feature transform) algorithm. It is helpful to reduce the number of feature points matching and improve the speed and accuracy of feature point matching.Thirdly, feature points matches were gotten by similarity measure. But some wrong matches existed with this method. Too many mismatches may result in mosaic errors. Therefore, a solution was needed to remove mismatches to improve the accuracy of the matches.From the nature of Kinect, if Kinect moves horizontally, the depth data of a fixed point is the same. Based on this characteristic, some mismatches would be removed. Then the RANSAC (random sample consensus) algorithm was used to find the projection transformation matrix. The RANSAC algorithm uses the least possible points to estimate the model and then as far as possible to expand scope of the influence of the model. The projection transformation matrix is more accurate than image mosaic method reported in literature of Shen et al (2018) on account of the removing of mismatches. Finally, the multi-resolution image fusion method based on the suture line algorithm was used. The method was used for image fusion. From indoor and outdoor test, the mosaic method based on color and depth dual information feature source had obvious advantages, it can effectively overcome the light, wind and other environmental factors and avoid mosaic errors such as the loss of image and the difference of brightness. In the indoor test, the mosaic method of this article took 3.52 s, the accuracy of matches was 96.8%, in comparison with traditional method of 14.04 s with the accuracy of matches of 88.6%, and with image mosaic method reported in literature hat uses 12.14 s with the accuracy of matches of 96.6%. In the outdoor test, the mosaic method of this article took 7.11 s, the accuracy of matches was 95.2%, compared with the traditional method which takes 56.32 s, with the accuracy of matches of 91.3%, and with image mosaic method reported in literature that takes 45.67 s with the accuracy of matches of 95.2%. So, the mosaic method in this article used less time than the traditional method and method in literature. The data of mosaic accuracy showed that the average matching accuracy of the method in this article was 96.8%, and the average accuracy was higher than traditional image mosaic. So, this method can be further applied in other occasions of image mosaic. It can realize precise spraying of drug fertilizers and the control of pests and diseases based on information collected by Kinect.

image processing; algorithms; machine vision;-means clustering; SURF algorithm; image fusion; color and depth information

沈 躍，朱嘉慧，劉 慧，崔業(yè)民，張炳南.基于彩色和深度信息結(jié)合-means聚類算法快速拼接植株圖像[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(23)：134－141. doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

Shen Yue, Zhu Jiahui, Liu Hui, Cui Yemin, Zhang Bingnan. Rapid target plant image mosaic based on depth and color information from Kinect combining-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 134－141. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.23.016 http://www.tcsae.org

10.11975/j.issn.1002-6819.2018.23.016

TP391；S24

A

1002-6819(2018)-23-0134-08

2018-08-04

2018-09-04

江蘇省國際科技合作項(xiàng)目（BZ2017067）；江蘇省重點(diǎn)研發(fā)計(jì)劃（BE2018372）；江蘇省自然科學(xué)基金（BK20181443）；鎮(zhèn)江市重點(diǎn)研發(fā)計(jì)劃（NY2018001）；江蘇高校青藍(lán)工程資助

沈 躍，博士，教授，主要從事農(nóng)業(yè)電氣化與自動(dòng)化、嵌入式系統(tǒng)與控制等研究。Email：shen@ujs.edu.cn

劉 慧，博士，副教授，主要從事農(nóng)業(yè)電氣化與自動(dòng)化、智能控制與信號(hào)處理等研究。Email：amity@ujs.edu.cn

中國農(nóng)業(yè)工程學(xué)會(huì)高級(jí)會(huì)員：劉 慧（E041200772S）、沈 躍（E041200771S）。