龍耀威,孫 紅,高德華,張智勇,李民贊,楊 瑋
中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室,北京 100083
應(yīng)用多光譜成像技術(shù)快速無損分析作物冠層或葉片葉綠素、氮素等營養(yǎng)含量的信息,已經(jīng)成為檢測農(nóng)田作物長勢的重要手段[1]。當(dāng)前光譜成像技術(shù)不斷升級(jí),應(yīng)用不同成像原理的光學(xué)傳感器快速獲取田間作物對(duì)象信息時(shí),對(duì)實(shí)時(shí)檢測與數(shù)據(jù)處理的方法需求也不盡相同,因而結(jié)合光學(xué)成像傳感器的具體原理、工藝和特性,開展作物葉綠素含量診斷方法研究有現(xiàn)實(shí)意義和實(shí)用價(jià)值。
通常獲取作物反射光譜的成像傳感器,根據(jù)單色器系統(tǒng)中色散元件的不同可以分為棱鏡、光柵和鍍膜型三種主要方式[2]。應(yīng)用這些傳感器系統(tǒng),針對(duì)作物葉綠素、水分、氮素等營養(yǎng)含量檢測,國內(nèi)外學(xué)者已經(jīng)開展了系統(tǒng)標(biāo)定、數(shù)據(jù)預(yù)處、變量篩選、診斷模型等相關(guān)的理論和應(yīng)用研究[3-7]。
基于棱鏡分光技術(shù),以丹麥JAI公司2CCD(Charge-coupled Device)成像傳感器為例,通過棱鏡將白光分為可見光與NIR(near infrared)兩通道后獲取圖像。應(yīng)用該類傳感器可分別提取R(red),G(green),B(blue)和NIR波段光譜圖像,可對(duì)玉米作物冠層葉綠素指標(biāo)和覆蓋度等參數(shù)進(jìn)行診斷。該類型傳感器光學(xué)透射率高,價(jià)格相對(duì)便宜,但是僅有4個(gè)波段,數(shù)目較少且每個(gè)波段帶寬約為100 nm, 因而其光譜分辨率不高,導(dǎo)致對(duì)營養(yǎng)含量分辨能力與診斷精度有限。
應(yīng)用光柵分光技術(shù),以芬蘭SPECIM公司的Imspector高光譜成像傳感器為例,通過與探測目標(biāo)相對(duì)運(yùn)動(dòng)完成空間與光譜的掃描, 成像范圍為400~1 000 nm內(nèi)256個(gè)波長光譜數(shù)據(jù),結(jié)構(gòu)精密且光譜分辨率高,波段數(shù)目多。在小麥、玉米、馬鈴薯和黃瓜等作物葉片葉綠素含量的檢測方面,在實(shí)驗(yàn)室條件下對(duì)采樣樣本獲取數(shù)據(jù),建模模型的決定系數(shù)均達(dá)到了0.75以上[8-9]。此類傳感器是基于傳感器的推掃式運(yùn)動(dòng)成像,采集速度比基于棱鏡分光的相機(jī)慢。由于樣品和成像平臺(tái)之間的相對(duì)運(yùn)動(dòng)可能產(chǎn)生信號(hào)干擾,通常是通過暗電流校準(zhǔn)和標(biāo)準(zhǔn)白板校準(zhǔn)來處理。在大田應(yīng)用推廣方面,由于成像質(zhì)量與物體空間運(yùn)動(dòng)速度、狀態(tài)控制等因素緊密相關(guān),使其在便攜性與適應(yīng)性方面還有待提高[10]。
鍍膜型光譜成像傳感器是應(yīng)用半導(dǎo)體薄膜工藝原理,通過在探測器像元上鍍膜實(shí)現(xiàn)光信號(hào)的窄帶選擇透過,進(jìn)而實(shí)現(xiàn)多光譜成像。近年來鍍膜工藝不斷提高,如美國XIMEA公司的IMEC馬賽克式鍍膜傳感器以5×5為一個(gè)成像單元,探測器各光譜帶寬約為10 nm,灰度分辨率最高為10位,可以采集673~951 nm范圍內(nèi)的25個(gè)波長的光譜圖像[11]。其波段數(shù)較棱鏡分光傳感器多,面陣成像較光柵線掃快速而穩(wěn)定,具有面陣直接成像速度快、波段數(shù)量多、體積小、成本低等優(yōu)點(diǎn),在農(nóng)作物田間現(xiàn)場檢測中有較好的應(yīng)用前景。
盡管鍍膜型光譜成像傳感器技術(shù)已經(jīng)相對(duì)成熟,但是如何應(yīng)用鍍膜型光譜成像傳感器開展作物葉綠素檢測,在馬賽克分布陣列光學(xué)數(shù)據(jù)的提取、光譜與圖像成像的標(biāo)定與校準(zhǔn)、作物光譜圖像的處理與葉綠素指標(biāo)診斷能力等方面還沒有系統(tǒng)和深入的研究報(bào)道。本研究針對(duì)鍍膜型光譜成像傳感器的特點(diǎn),開展光譜成像數(shù)據(jù)提取和田間作物葉綠素分布探測研究。以期研究鍍膜型光譜成像數(shù)據(jù)中光強(qiáng)值的提取與反射率校準(zhǔn)方法,通過對(duì)玉米植株多光譜圖像的分割,基于譜圖融合分析,建立葉片光譜反射率與葉綠素含量指標(biāo)診斷模型,繪制作物冠層葉綠素含量分布圖,為田間玉米植株葉綠素分布檢測提供技術(shù)和應(yīng)用支持。
鍍膜型傳感器光譜成像通過在CMOS傳感器像素陣列上修改濾波器的設(shè)計(jì)實(shí)現(xiàn)。針對(duì)不同數(shù)量的頻帶,頻帶寬度和光譜范圍來設(shè)計(jì)光譜濾波器,其原理如圖1所示,其中圖1(a)為標(biāo)準(zhǔn)RGB CMOS感光片原理圖,圖1(b)為CMOS鍍膜型多光譜傳感器感光片原理圖。與標(biāo)準(zhǔn)的RGB CMOS感光片分布類似,鍍膜型多光譜傳感器將成像單元中的RGB分布式感知替換為規(guī)則排列的窄帶鍍膜濾光單元,與濾光片的作用相似。近似為面陣CMOS上采用光譜濾光片集成馬賽克圖案的技術(shù),實(shí)現(xiàn)不同波段像素光強(qiáng)值的獲取。由原理可知,如果需要獲取各個(gè)波段的光譜圖像,需要進(jìn)行原始光譜圖像的拆分和重組。
圖1 鍍膜型傳感器光譜成像原理圖(a): 標(biāo)準(zhǔn)紅、綠、藍(lán)三色; (b): 鍍膜型光譜傳感器Fig.1 Schematic of CMOS sensor(a): Red, Greed and Blue; (b): Coating sensor
各個(gè)成像單元中的窄帶濾光片排列一致,單個(gè)成像單元中每個(gè)窄帶濾光片的QE(quantum efficiency)響應(yīng)分布圖如圖2所示,圖中“active range”表示相機(jī)鏡頭前帶通濾光片的有效通過波段范圍。分析認(rèn)為25個(gè)波段頻譜響應(yīng)帶寬、QE強(qiáng)度幅值差異明顯。因而對(duì)非均一性光學(xué)響應(yīng)特征對(duì)原始光譜圖像的校準(zhǔn)至關(guān)重要。
試驗(yàn)于2018年11月21日在北京市農(nóng)林科學(xué)院溫室大棚內(nèi)進(jìn)行。采用自然光照,設(shè)置相機(jī)的采集高度為2 000 mm。玉米品種為實(shí)驗(yàn)品種GET-B104,物候期為苗期,植株高度為30~70 cm。一共采集47株玉米植株。光譜圖像數(shù)據(jù)采集通過基于鍍膜原理的XIMEA公司的IMEC多光譜相機(jī)及配套的采集系統(tǒng)來完成。多光譜相機(jī)CMOS中的成像單元為5×5排列,波段數(shù)為25,波段范圍是673~951 nm,視場角為50度[11]。相機(jī)與搭載Linux操作系統(tǒng)的Jetson TX2開發(fā)板相連接,實(shí)現(xiàn)圖像的采集控制與處理。采集系統(tǒng)示意圖如圖3所示。
為避免破壞采樣后成分改變導(dǎo)致的測量誤差。試驗(yàn)中利用SPAD-520葉綠素儀同步測量每株玉米冠層葉片上2~3個(gè)采樣點(diǎn),每點(diǎn)測量3次取平均SPAD值作為葉綠素含量指標(biāo),共計(jì)251個(gè)樣本數(shù)據(jù)。同時(shí)采用ASD Handheld2 型光譜儀采集相應(yīng)位置區(qū)域的反射率曲線,以分析利用鍍膜型光譜
圖2 鍍膜型傳感器濾光QE分布圖[11]Fig.2 Filter QE distribution map of CMOS sensor
圖3 采集系統(tǒng)示意圖Fig.3 Schematic diagram of imaging acquisition system
成像傳感器提取玉米植株冠層葉片反射率曲線的特性,其波段范圍為325~1 025 nm,分辨率為3 nm。
鍍膜型光譜圖像的提取包括對(duì)原始采集圖像的拆分和重組。拆分是提取成像單元中相同波段的像素灰度值,重組是利用相同波段的像素灰度值重構(gòu)單波段光譜圖像。具體步驟為:
(1) 原始光譜圖像按照像素位置建立數(shù)據(jù)存儲(chǔ)表。
(2) 按照成像單元中各波段排列規(guī)則建立25個(gè)獨(dú)立數(shù)據(jù)存儲(chǔ)表。
(3) 依次從數(shù)據(jù)存儲(chǔ)表中讀取成像單元中相對(duì)位置相同的單波段數(shù)據(jù)。
(4) 將讀取的單波段數(shù)據(jù)存入相應(yīng)的獨(dú)立數(shù)據(jù)存儲(chǔ)表。
(5) 將各獨(dú)立數(shù)據(jù)存儲(chǔ)表灰度值重構(gòu)為單波段的光譜圖像。
以上處理得到25個(gè)波段光譜圖像,圖中每一像素的灰度值表示該位置的原始反射光強(qiáng)值,研究通過反射率校準(zhǔn)計(jì)算相對(duì)反射率值。
反射率校準(zhǔn)中,由于各窄帶濾光片QE響應(yīng)分布差異明顯,為了避免利用唯一標(biāo)準(zhǔn)白板標(biāo)定引起的縮小響應(yīng)范圍的影響,采用多灰度級(jí)標(biāo)準(zhǔn)板進(jìn)行校正。本研究采用美國Labsphere公司的Spectralon標(biāo)準(zhǔn)板,由四個(gè)灰度級(jí)并排排列,各級(jí)標(biāo)準(zhǔn)板尺寸均為6 cm×25 cm?;叶劝鍨闃?biāo)準(zhǔn)的朗伯面,對(duì)于理想朗伯面, 反射光強(qiáng)與入射光強(qiáng)比值(反射率值)僅與波長相關(guān)。利用傳感器采集該灰度板的光譜圖像,建立圖像灰度值和灰度板標(biāo)準(zhǔn)反射率之間的線性反演公式。采用最小二乘法進(jìn)行灰度值與反射率之間的線性擬合。由于反射率和灰度值是線性描述標(biāo)準(zhǔn)灰度板的光照強(qiáng)度的參數(shù),對(duì)于某一波段反射率與灰度值為線性換算公式可以表示為
Ri=kigi+bi
(1)
其中Ri表示第i波段的反射率,gi表示第i波段的灰度值,ki和bi都是線性關(guān)系系數(shù)。
玉米植株冠層是本研究的目標(biāo)對(duì)象,為了剔除圖像中土壤和培養(yǎng)盆的背景的影響,設(shè)計(jì)如圖4所示流程,利用Open CV工具開發(fā)程序進(jìn)行玉米植株冠層的分割。具體過程包括:
圖4 多光譜圖像數(shù)據(jù)處理流程圖Fig.4 Multi-spectral image data processing flow chart
(1) 采用OTSU分割算法進(jìn)行圖像的初次分割,剔除土壤背景。
(2) 針對(duì)培養(yǎng)盆圓形特征,研究采用霍夫圓變換識(shí)別花盆形狀并進(jìn)行二次分割剔除。其中,霍夫圓變換的原理是計(jì)算圓心所在圓周所有法線的交點(diǎn),檢測圓半徑的方法是到圓心距離(即半徑)滿足閾值的點(diǎn)為圓周。
(3) 針對(duì)兩次圖像分割過程中因灰度分割、花盆圓形與葉片交叉因素導(dǎo)致的葉片上存在的點(diǎn)狀或細(xì)縫孔洞,采用形態(tài)學(xué)閉運(yùn)算處理,實(shí)現(xiàn)區(qū)域填充和還原。
(4) 以形態(tài)學(xué)處理后的圖像為模板,對(duì)25個(gè)獨(dú)立光譜圖像依次進(jìn)行掩模處理,處理后的光譜圖像中僅包含有玉米植株冠層圖像信息。
基于玉米葉片采樣點(diǎn)SPAD值和光譜反射率建立葉綠素含量指標(biāo)診斷模型。數(shù)據(jù)處理過程包括: 異常樣本剔除、樣本集劃分、偏最小二乘回歸法(partial least squares regression, PLSR)回歸建模和繪制葉綠素含量分布圖[12-13]。
首先利用馬氏距離算法剔除與樣本平均數(shù)據(jù)偏差的絕對(duì)值超過3倍標(biāo)準(zhǔn)差的異常樣本數(shù)據(jù)。其次,利用SPXY算法將樣本按照7∶3劃分為建模集和驗(yàn)證集。然后建立葉綠素含量指標(biāo)光譜學(xué)診斷PLSR模型,通過逐步紛解輸入變量矩陣和輸出變量矩陣,利用主成分分析方法提取出的前若干個(gè)主成分?jǐn)y帶了原輸入變量矩陣的主要信息,消除相互重疊部分的信息,綜合考慮提取的主成分對(duì)輸入變量矩陣和輸出變量矩陣的解釋能力。最后將光譜圖像中每個(gè)像素點(diǎn)上的光譜數(shù)據(jù)代入到建立葉綠素含量診斷模型中計(jì)算出相應(yīng)像素點(diǎn)的SPAD值,得到SPAD值分布圖像; 再利用Matlab對(duì)SPAD值分布圖像進(jìn)行偽彩色圖像處理,將不同的SPAD值用不同的顏色表示,繪制出單株玉米冠層的葉綠素可視化分布圖。
利用鍍膜型光譜成像傳感器進(jìn)行溫室玉米植株的光譜數(shù)據(jù)采集,試驗(yàn)采集原始多光譜圖像如圖5所示,原始光譜圖像為2 045×1 085像素,拆分重組后的25波段多光譜圖像如圖6所示,由于對(duì)空間像素進(jìn)行了抽取,拆分后各個(gè)波段圖像為409×217像素。
圖5 原始光譜圖像Fig.5 Original multi-spectral image
圖6 拆分重組后的25波段多光譜圖像Fig.6 Single-band images after multi-spectral split and reorganization
基于4灰度級(jí)標(biāo)準(zhǔn)板建立歸一化灰度值的反射率線性反演公式?;叶戎蹬c反射率之間的最小二乘法線性擬合結(jié)果決定系數(shù)如表1所示,擬合模型決定系數(shù)均達(dá)0.99以上。
表1 光譜反射率校準(zhǔn)模型結(jié)果Table 1 Results of spectral bands calibration
利用擬合公式對(duì)25波段光譜反射率進(jìn)行校準(zhǔn)。分別提取采樣點(diǎn)校準(zhǔn)前、校準(zhǔn)后和相應(yīng)區(qū)域ASD反射率曲線的樣例如圖7中所示。其中曲線A是原始光譜曲線,曲線B是校準(zhǔn)后的光譜曲線,曲線C是ASD光譜儀檢測的采樣點(diǎn)對(duì)應(yīng)波段的光譜反射率曲線。比較可知,673~951 nm是植物光譜由紅到近紅外的區(qū)間,主要反映了碳(C)、氫(H)、氧(O)、氮(N)等作物發(fā)育必備元素構(gòu)建分子化學(xué)鍵的倍頻吸收特征,劃分四個(gè)光譜區(qū)間,①680~720 nm由紅外進(jìn)入近紅外區(qū)域急劇上升和820~870 nm近紅外區(qū)域內(nèi),校準(zhǔn)后反射率與ASD光譜反射率基本一致。②720~760 nm內(nèi),校準(zhǔn)后反射率高于校正前和ASD測定曲線,但是校準(zhǔn)后曲線與ASD反射曲線反映的O—H和C—H健的倍頻吸收導(dǎo)致的峰谷波動(dòng)較為一致。③760~820 nm內(nèi),校準(zhǔn)前后反射率明顯低于ASD測定反射率,其中校準(zhǔn)后的光譜曲線低于校準(zhǔn)前; 盡管如此,校準(zhǔn)前后與ASD反射率曲線中存在的760,775和790 nm附近由于作物O—H,C—H和N—H健振動(dòng)吸收導(dǎo)致的峰谷波動(dòng)趨勢較為一致。
分析760~820 nm內(nèi)鍍膜型傳感器提取反射率與ASD光譜測定反射率曲線的差異,其原因是ASD光譜儀采用光柵進(jìn)行單色光的處理,而鍍膜型光譜成像傳感器是利用窄帶濾光片進(jìn)行單色光的處理,由圖2 QE分布圖中760~820 nm中包含有767,780,791和804 nm 4個(gè)窄帶其帶寬均在10 nm,遠(yuǎn)大于ASD光譜儀的3 nm分辨率,光譜分辨率與參與擬合點(diǎn)的數(shù)量可能導(dǎo)致不同傳感器之間玉米冠層光譜反射率存在差異; 其次,由圖6中767 nm相鄰成像673 nm為例,由于鍍膜型成像的馬賽克分布不是依照波長順序排列方式,鄰近光學(xué)通道可能會(huì)產(chǎn)生交互影響,但并不影響其對(duì)特定分子光譜吸收導(dǎo)致的峰谷波動(dòng)特征的體現(xiàn)。
綜上所述,鍍膜型成像傳感器獲取玉米冠層反射光譜總體與ASD采集反射率體現(xiàn)的光譜特征一致,且校正后數(shù)據(jù)比校正前與ASD光譜反射率的一致性得到了提升。
圖7 采樣點(diǎn)反射率曲線A: 原始光譜曲線; B: 校準(zhǔn)后的光譜曲線;C: ASD光譜儀光譜反射率曲線Fig.7 Reflectance spectra curves of sampling pointsA: Original spectrum; B: Calibrated spectrum;C: ASD measured spectrum
為了準(zhǔn)確提取玉米植株相關(guān)信息,研究開展了消除土壤影響的初步圖像分割和培養(yǎng)盆背景剔除的二次分割處理。多光譜圖像經(jīng)過OTSU初次分割后的結(jié)果如圖8(a)所示,圖中有效的剔除了土壤背景噪聲,但是除玉米植株外,存在培養(yǎng)盆背景噪聲。因而基于霍夫圓變換開展圖像二次分割,將檢索圓形像素設(shè)置為灰度級(jí)255(白色),其他像素保留原始灰度后的效果結(jié)果如圖8(b)所示。結(jié)果顯示,培養(yǎng)盆被準(zhǔn)確識(shí)別,但是由于培養(yǎng)盆與植株葉片有重疊的影響可能存在分割細(xì)縫。開展形態(tài)學(xué)閉運(yùn)算處理結(jié)果如圖8(c)所示,玉米植株對(duì)象信息被完整的保留,為后續(xù)葉綠素檢測奠定基礎(chǔ)。
圖8 多光譜圖像處理結(jié)果圖(a): OTSU變換結(jié)果; (b): 霍夫變換結(jié)果; (c): 形態(tài)學(xué)運(yùn)算結(jié)果Fig.8 Results of multi-spectral image processing(a): Results of OTSU; (b): Result of Hough transform; (c): Result of morphology
將多光譜圖像中采樣點(diǎn)對(duì)應(yīng)的光譜反射率數(shù)據(jù)作為X變量,將采樣點(diǎn)的SPAD值作為Y變量,建立玉米植株葉片葉綠素含量指標(biāo)診斷PLSR模型。
圖9 建模集主成分回歸結(jié)果Fig.9 Result of PCA for modeling set
將建立的模型帶入到多光譜圖像中,可以得到玉米植株冠層SPAD值的二維分布圖,對(duì)圖像進(jìn)行偽彩色圖像處理后的結(jié)果如圖11所示,在冠層坐標(biāo)平面上,各像素點(diǎn)的葉綠素含量值用從藍(lán)到黃的不同顏色表示,越接近藍(lán)色說明該點(diǎn)葉綠素含量越低,越接近黃色則相反。
圖10 SPAD值的PSLR建模結(jié)果Fig.10 Result of PLSR model for SPAD value detection
圖11 玉米冠層SPAD值分布圖Fig.11 SPAD value visualization distributionmap of maize canopy
依據(jù)偽彩色變換圖像,分析玉米植株葉綠素含量分布特征。如圖11所示樣本為例,單個(gè)葉片的葉綠素含量分布呈現(xiàn)階梯形式的分布,距離植株中心越遠(yuǎn)的位置葉綠素指標(biāo)值越大,且上層葉片高于下部葉片。分析其原因有: ①玉米作物在生長期需要通過光合作用進(jìn)行營養(yǎng)積累,葉綠素是光吸收的物質(zhì),葉片上葉尖位置葉綠素的累積是葉片生長干物質(zhì)生長和光合作用活躍的體現(xiàn); ②由于作物植株體上葉片分布的差異,作物植株葉片上層葉片光吸收水平較高,而下部葉片因?yàn)槭艿缴蠈尤~片遮蔭、葉齡老化等因素的影響,其葉綠素指標(biāo)較低。說明了基于鍍膜型成像光譜數(shù)據(jù)建立玉米植株葉綠素含量指標(biāo)檢測模型,并利用葉綠素分布圖分析玉米生長參數(shù)的可行性。
盡管如此,由于本試驗(yàn)數(shù)據(jù)處于玉米苗期,SPAD值集中于25~38之間,樣本數(shù)據(jù)的顯著聚集性導(dǎo)致目前所建立的葉綠素含量指標(biāo)診斷模型精度還不高,未來還將進(jìn)一步對(duì)不同生長期連續(xù)測量,獲取大量數(shù)據(jù)對(duì)本模型進(jìn)行優(yōu)化與校正,提高模型的精度與生長期應(yīng)用的適應(yīng)性。并進(jìn)一步提高鍍膜型光譜成像傳感器在農(nóng)田玉米作物生長監(jiān)測研究中的實(shí)用性。
針對(duì)鍍膜型光譜成像傳感器的特點(diǎn),開展了光譜成像數(shù)據(jù)提取和作物葉綠素分布探測研究。主要結(jié)論如下:
(1) 基于鍍膜型多光譜傳感器,通過對(duì)25波段多光譜圖像提取和反射率線性校準(zhǔn)算法,校準(zhǔn)結(jié)果的決定系數(shù)全部在0.99以上。對(duì)比校準(zhǔn)前、后與ASD光譜儀采集反射率曲線的顯示,鍍膜型成像傳感器獲取玉米冠層反射光譜總體與ASD采集反射率體現(xiàn)的光譜特征一致,且校正后數(shù)據(jù)比校正前與ASD光譜反射率的一致性得到了提升。
(2) 利用圖像分布特性,開展玉米植株冠層的分割研究。建立初次OTSU分割算法和基于霍夫圓變換識(shí)別的二次分割算法,可以分別剔除光譜圖像中的土壤和培養(yǎng)盆背景的干擾。
(3) 基于鍍膜型成像傳感器提取的光譜反射率,建立了葉綠素含量指標(biāo)SPAD值的光譜學(xué)PLSR診斷模型,建模集決定系數(shù)為0.545 1,驗(yàn)證集決定系數(shù)為0.472 6,并通過繪制并分析玉米作物冠層葉綠素分布可視化偽彩色圖。
本研究圍繞鍍膜型光譜成像傳感器在作物葉綠素含量檢測中的應(yīng)用進(jìn)行探索。未來可通過玉米植株生長期的連續(xù)測量,進(jìn)一步提高診斷模型精度,以為田間玉米植株生長動(dòng)態(tài)快速檢測提供技術(shù)和應(yīng)用支持。