無人機影像拼接軟件在農業(yè)中應用的比較研究

陳鵬飛 徐新剛

1 中國科學院地理科學與資源研究所 / 資源與環(huán)境信息系統(tǒng)國家重點實驗室, 北京100101; 2 江蘇省地理信息資源開發(fā)與利用協(xié)同創(chuàng)新中心, 江蘇南京 210023; 3 國家農業(yè)信息化工程技術研究中心, 北京100097

遙感技術是反演作物生理、生化參數(shù)的重要工具[1-3], 其在作物長勢監(jiān)測、產(chǎn)量估測中有廣泛應用。到目前為止, 人們最常用到的對地觀測平臺有衛(wèi)星、有人機和觀測塔。與其他平臺相比, 低空無人機遙感具有成本低、能根據(jù)天氣隨時起降等優(yōu)勢。它提供了一種新的、多樣化的對地觀測數(shù)據(jù)獲取手段。當其攜帶高質量、低成本傳感器開展對地觀測時, 可實現(xiàn)對目標區(qū)域高頻次、便捷快速監(jiān)測[4-6]。因此, 無人機遙感對及時獲取作物長勢狀況, 支撐精準農業(yè)管理具有重要意義。

目前, 基于無人機遙感已開展許多和農業(yè)相關的研究工作[7-9]。但是在無人機的應用過程中, 仍有許多問題需要解決, 其中之一就是無人機影像正射拼接問題[10-12]。由于無人機影像飛行高度比較低,它獲取的一景影像的覆蓋范圍很小[13]。要想獲取整個研究區(qū)的單幅影像, 需要拼接成千上百張的無人機影像。將海量的無人機數(shù)據(jù)拼接, 以代表地球表面的狀態(tài)信息是一件非常有挑戰(zhàn)性的工作。由于非常耗時, 傳統(tǒng)航空測量中使用的基于自動空中三角網(wǎng)和光束法平差的方法, 很難在無人機影像拼接中使用[14]。近年來, 研究者提出基于現(xiàn)代計算機機器視覺和運動結構算法可以很好解決這一問題[15-17]。目前, 已有一系列軟件基于這一思想設計, 比如Photoscan 軟件、Pix4D 軟件等。然而, 由于缺乏對這些新設計軟件系統(tǒng)比較和驗證, 用戶在選擇時存在一定的盲目性。

幾何精度和光譜精度是衡量拼接效果的兩個重要指標。對于幾何精度, 目前已有一些對比不同拼接軟件性能的研究[18]。Gross 和Heumann[14]比較了Pix4D 軟件、Photoscan 軟件和ICE (Microsoft Image Composite Editor)軟件拼接影像的幾何精度, 發(fā)現(xiàn)Pix4D 軟件的精度最高, 然后是 Photoscan 軟件;Turner 等[19]比較了Pix4D 軟件、Photoscan 軟件和一款同樣基于機器視覺和運動結構算法開發(fā)的非商用軟件, 結果表明Photoscan 軟件的精度最高, 然后是Pix4D 軟件?？傮w而言, 已有研究表明在幾何精度方面, 所有比較的商用和開源軟件中 Pix4D 和Photoscan 的精度最高。對于光譜精度, 還較少有人詳細比較不同軟件的性能。僅見Gross 和Heumann[14]目視比較了Photoscan, Pix4D 和ICE 拼接影像的清晰度。不同拼接軟件在拼接過程中對無人機原始影像的影響如何？從光譜角度看, 哪個是最好的拼接軟件？這些問題對于無人機農業(yè)應用來說是非常重要的。

考慮到Photoscan 和Pix4D 這兩款拼接軟件是目前幾何精度最高和最常被人們使用的軟件, 本研究通過設計實驗, 對比分析了它們在拼接過程中對原始光譜的影響。

1 材料與方法

1.1 田間試驗

本研究數(shù)據(jù)來自北京市昌平區(qū)小湯山精準農業(yè)示范基地開展的冬小麥氮肥梯度試驗(116°26′35″E,40°10′46″N)。研究區(qū)處于半濕潤大陸性季風氣候區(qū),陽光充足, 溫度溫和, 降雨適中。冬小麥和夏玉米輪作是該地區(qū)典型的耕作模式。田間試驗面積4800 m2。選用2 個小麥品種, 4 個氮肥處理和4 個重復。一共32 個田間試驗小區(qū)。小區(qū)大小9 m × 15 m。小麥品種是Lunxuan 167 和Jingdong 18。氮肥處理分別為0、90、180 和270 kg hm-2。除氮肥外, 其他田間管理措施相同。

1.2 數(shù)據(jù)獲取

1.2.1 無人機數(shù)據(jù)獲取 在冬小麥生長的挺身期進行無人機飛行。飛行時, 無人機搭載RedEdge-M(MicaSense, 美國華盛頓州)相機來獲取多光譜影像。所用無人機為3DR Solo (3DR, 美國加利福尼亞州)四旋翼無人機。RedEdge-M 相機包含5 個波段,中心波長分別位于475、560、668、717 和840 nm, 波段寬度為20、20、10、10 和40 nm。鏡頭焦距為5.5 mm,水平視場角為47.2°, 垂直視場角為35.4°, 采用全局快門模式成像, 分辨率為1280×960 像素。無人機在中午12：00 左右, 晴空無云時飛行, 飛行高度為30 m,對應影像空間分辨率約為1.99 cm。無人機飛行時,所拍影像的旁向和航向重疊率均設定為75%。無人機飛行前, 采用手動模式拍攝白板。白板信息用來后期將影像DN 值轉換為反射率。本次飛行共獲得329 景影像, 其中無人機飛行平臺及一景獲取的影像如圖1 所示。

圖1 無人機飛行平臺及獲取的一景影像Fig. 1 UAV platform and an acquired image

1.2.2 無人機數(shù)據(jù)預處理 Pix4D 軟件(Pix4D,洛桑, 瑞士)和Photoscan 軟件(Agisoft, 圣彼得堡,俄羅斯)被分別用來拼接獲取的無人機影像。本研究使用了Pix4D AG 的4.2.25 版和Photoscan 的1.4.2版。此外, 為了檢驗軟件在拼接處理中對原始影像光譜信息的保留程度, 基于相機制造商提供的開源程序, 本研究制作了每次相機拍攝獲取5 個波段影像所合成的多光譜影像。相關Python 程序可以從網(wǎng)站https：//github.com/micasense/imageprocessing 下載,包括各波段影像的畸變校正、反射率計算和不同波段影像的對齊處理?；谝陨咸幚? 共有3 種類型的數(shù)據(jù)源, 包含2 個用不同拼接軟件拼接的影像和沒有拼接的單張多光譜影像。為了保證它們有相同的空間基準, 用Trimble Geo 7X (Trimble, 加利福尼亞州, 美國)差分GPS 采集厘米級誤差GPS 點數(shù)據(jù),來對Pix4D 拼接的影像和Photoscan 拼接的影像進行幾何校正。另外, 在每個小區(qū)隨機布設樣點, 選擇對應樣點天頂?shù)膯螐垷o人機影像, 參照校正好的拼接影像進行幾何校正。其中, 各小區(qū)布設的樣點信息如圖2 所示。

圖2 樣點空間分布圖Fig. 2 Distribution map for sampling points

1.3 數(shù)據(jù)分析

首先, 提取每個樣點在Pix4D 拼接影像、Photoscan拼接影像和單張影像上的光譜信息。提取時, 在每個采樣點提取半徑為0.75 m 圓形區(qū)域內所有像元的光譜值。其次, 對于每一來源的影像數(shù)據(jù), 以各樣點提取的所有像元光譜值的平均值代表樣點光譜值,用以分析不同來源影像光譜反射率之間的相關性與差異。其中, 差異分析采用了散點圖分析和成對數(shù)據(jù)t檢驗。最后, 對于每個來源的影像數(shù)據(jù), 基于提取的各樣點處所有像元光譜反射率計算變異系數(shù)(CV), 對比不同來源影像變異系數(shù)的差異。變異系數(shù)反映了影像的對比度。同樣, 用散點圖分析和成對數(shù)據(jù)t檢驗來分析它們之間的差異。流程圖如圖3所示。

2 結果與分析

2.1 不同數(shù)據(jù)源光譜反射率的比較

從圖4 可以看出, 用P i x 4 D 拼接的影像和Photoscan拼接的影像均沒有出現(xiàn)模糊和偽影區(qū)域?？紤]到相關性分析結果, 樣點處兩種拼接影像反射率與單張影像反射率間均存在較好的相關性, 相關系數(shù)0.68以上, 達到0.001顯著水平(圖5)。但從它們的散點圖看, 代表Pix4D拼接影像的樣點基本都在1∶1線以下, 說明Pix4D拼接影像的反射率在各個波段均小于單張影像反射率, 所用方法傾向于將原始影像各波段反射率變小。在藍光波段、綠光波段、紅光波段, 代表Photoscan拼接影像的樣點基本都在1∶1線周圍, 而在紅邊波段、近紅外波段, 代表Photoscan拼接影像的樣點大部分在1∶1線的上方,說明Photoscan拼接軟件所用方法在反射率值較低波段, 能較好地保留原始影像光譜信息, 但在反射率值較高波段, 會增大波段反射率值?？傮w說來, 與Pix4D相比,Photoscan能保留更多的原始影像光譜反射率信息。

圖3 數(shù)據(jù)分析流程圖Fig. 3 Flow chart for data analysis

圖4 Pix4D 拼接影像(a)、Photoscan 拼接影像(b)、一些單張影像(c)的假彩色合成影像和小區(qū)施氮量空間分布圖(d)Fig. 4 False color images for Pix4D mosaicked image (a), Photoscan mosaicked image (b), some single images (c), and map of applied nitrogen in each zone (d)

圖5 單張影像與拼接影像在各波段的反射率散點圖Fig. 5 Reflectance scatter plots of single image and mosaicked image in each band

從成對數(shù)據(jù)t檢驗的結果看, Pix4D拼接影像的反射率與單張影像反射率在各波段均存在顯著性差異, 達0.001顯著水平(表1)。對于Photoscan拼接影像來說其在紅邊波段和近紅外波段的反射率與單張影像對應波段的反射率存在顯著性差異(P＜0.001)。但在藍光波段、綠光波段和紅光波段, Photoscan拼接影像的波段反射率與單張影像的波段反射率不存在顯著性差異(P＜0.001)。以上結果表明, 在藍、綠、紅波段, Photoscan軟件在拼接影像時能比Pix4D軟件在拼接影像時保留更多的原始光譜反射率信息。除此之外, 當比較Pix4D拼接影像和Photoscan拼接影像之間光譜反射率的差異時, 它們分布于散點圖的不同區(qū)域, 且各個波段均表現(xiàn)出顯著性差異(P＜0.001)。說明Pix4D和Photoscan在拼接單張影像時采用了不同的數(shù)據(jù)處理策略。

2.2 不同數(shù)據(jù)源影像對比度的比較

表1 Pix4D 拼接影像、Photoscan 拼接影像和單張影像之間反射率成對數(shù)據(jù)t 檢驗結果Table 1 Paired t-test results of reflectance data among the Pix4D mosaicked image, the Photoscan mosaicked image, and the single image

Pix4D拼接影像、Photoscan拼接影像和單張影像樣點處光譜反射率平均變異系數(shù)和散點圖, 如表2、圖6 所示。與P i x 4 D 拼接影像的變異系數(shù)相比,Photoscan 拼接影像每個波段的變異系數(shù)與單張影像相應波段的變異系數(shù)更加接近(表2)。從散點圖上看, 對于Pix4D 拼接影像, 其在藍光波段和紅光波段的變異系數(shù)與對應單張影像相應波段的變異數(shù)據(jù)有較好的對應關系, 樣點均分布在1∶1 線周圍, 但其在綠光波段、紅邊波段和近紅外波段的變異系數(shù)明顯低于單張影像相應波段的變異系數(shù), 絕大部分樣點分布在1∶1 線的下部; 對于Photoscan 拼接影像,除在紅邊波段, 樣點略偏向1∶1 線的下部, 其在其他各個波段的變異系數(shù)與對應單張影像相應波段的變異系數(shù)均有較好的對應關系, 樣點均分布在1∶1 線周圍。從成對數(shù)據(jù)t檢驗結果看, 除紅光波段和藍光波段外,Pix4D 拼接影像在其他波段的變異系數(shù)與單張影像顯著不同, 顯著性大于0.001 水平(表3); Photoscan 拼接影像除在紅邊波段與單張影像對應波段的變異系數(shù)存在顯著性差異外, 在其他波段的變異系數(shù)均與單張影像不存在顯著性差異(P＜0.001)。以上結果說明, 與Pix4D拼接影像相比, Photoscan 拼接影像能保留更多的單張影像的對比度信息。此外, 除藍光波段外, Photoscan 拼接影像各波段的變異系數(shù)與Pix4D 拼接影像相應波段的變異系數(shù)在散點圖中處于不同位置, 它們之間存在顯著性差異(P＜ 0.001)。

3 討論

表2 Pix4D 拼接影像、Photoscan 拼接影像和單張影像樣點處光譜反射率平均變異系數(shù)(CV)Table 2 Averaged coefficient of variation (CV) data for Pix4D, Photoscan, and the single image

圖6 單張影像與拼接影像在各波段的反射率變異系數(shù)散點圖Fig. 6 Reflectance coefficient of variation (CV) scatter plots of single image and mosaicked image in each band

Gross 和Heumann[14]通過目視觀測發(fā)現(xiàn)Pix4D拼接影像和Photoscan 拼接影像均有模糊和偽影區(qū)域, 從側面說明兩個軟件在拼接無人機數(shù)據(jù)時均改變了原始影像光譜信息。如前所述, 本研究中用Pix4D 拼接的影像和Photoscan 拼接的影像均沒有出現(xiàn)模糊和偽影區(qū)域。但是, 當進行定量比較時,Pix4D 拼接影像、Photoscan 拼接影像和單張影像間在光譜反射率和其變異系數(shù)上均存在差異。這與Gross 和Heumann 的結果一致。此外, 3 種不同來源數(shù)據(jù)的光譜反射率和其變異系數(shù)的比較表明, Photoscan 在拼接無人機影像過程中, 比Pix4D 保留了更多的原始影像信息。

表3 Pix4D 拼接影像、Photoscan 拼接影像和單張影像之間反射率變異系數(shù)的成對數(shù)據(jù)t 檢驗結果Table 3 Paired t test results of reflectance coefficients of variation (CV) among the Pix4D mosaicked image, the Photoscan mosaicked image, and the single image

幾何精度和光譜精度是兩個衡量拼接軟件性能的關鍵技術指標。在幾何精度方面, Gross 和Heumann 的研究表明與其他軟件相比, Pix4D 軟件拼接影像的幾何精度最高[14], 但是Sona 等[18]和Turner等[19]的研究則表明Photoscan 軟件拼接影像的幾何精度要好于Pix4D。顯然, 這兩款拼接軟件拼接影像的幾何精度取決于具體的應用場景。不過, 基于這些研究的結果看, Pix4D 和Photoscan 拼接影像的幾何精度差異并不大。此外, 即使拼接影像存在細微的幾何校正誤差, 后期還可以用野外采集的高精度的GPS 點對它們進行幾何精校正。本研究僅僅比較了兩款拼接軟件拼接影像光譜信息的差異。考慮到光譜信息, 盡管兩款拼接軟件拼接影像的光譜反射率都與單張影像光譜反射率有很高的相關性, 但與Pix4D 軟件拼接的影像相比, Photoscan 軟件拼接影像的反射率與單張未拼接影像的反射率具有更好的對應關系, 且反射率的變異系數(shù)與原始影像也更加接近。說明Photoscan 在拼接影像時保留了更多的原始影像信息, 特別是對比度信息。好的對比度, 會使基于Photoscan 軟件拼接的影像在復雜區(qū)域進行目標分類時比基于Pix4D 軟件拼接的影像表現(xiàn)更好。除了幾何精度和光譜精度這兩個標準, 價格也是用戶在使用拼接軟件時應該考慮的因素。Photoscan 專業(yè)版的售價為3499 美元, Pix4D Mapper 專業(yè)版的售價為8700 美元。Pix4D AG 為農業(yè)版, 它的售價為5185 美元。顯然, Photoscan 更加便宜。

本研究只是比較了兩款軟件在平原區(qū)農業(yè)地塊應用的情況。今后, 需要在不同地形條件, 對結果進行更廣泛的驗證。目前來說, 本研究提供了一個比較軟件拼接影像光譜精度的實例, 其結論適合于類似區(qū)域。

4 結論

Pix4D 軟件和Photoscan 軟件在拼接無人機影像時, 盡管拼接影像的光譜反射率均與單張影像光譜反射率有較高的相關性, 但在拼接處理影像的過程中均改變了原始單張影像的反射率。其中, Pix4D 軟件會導致各波段反射率變低, 而Photoscan 軟件能較好地處理具有低反射率值的光譜波段, 但在具有高反射率值的光譜波段會導致處理后的反射率變大。與Pix4D 相比, 基于Photoscan 拼接的影像, 其反射率及影像對比度與原始單張影像更加接近。對于與本研究類似區(qū)域的應用來說, 推薦Photoscan 為性價比較好的軟件。

致謝 感謝孫剛、劉金然、徐志濤在田間實驗過程中給予的支持與幫助。