基于魚眼鏡頭的樹高測量方法

宋佳音，池志祥，張曉鵬，朱慶林，宋文龍，楊柳松

(1. 東北林業(yè)大學(xué)機(jī)電工程學(xué)院，哈爾濱 150040； 2. 國網(wǎng)黑龍江省送變電工程有限公司，哈爾濱 150040)

森林是陸地生態(tài)系統(tǒng)的重要組成部分，對保持水土和維持氣候具有重要作用。及時掌握林分蓄積量及森林生物量對生態(tài)系統(tǒng)研究具有重要價值。樹高作為當(dāng)前衡量森林系統(tǒng)穩(wěn)定最廣泛的指標(biāo)，其高度的精確測量具有重要意義[1-2]。目前常用的測量樹高方法主要有布魯萊斯測高器[3]測量和超聲波測高器[4]測量，布魯萊斯測高器結(jié)構(gòu)簡單，但測量時需要先用皮尺測出儀器與待測樹木的距離，存在讀數(shù)誤差及測量精度低、應(yīng)用不便等缺點(diǎn)；超聲波測高器是以超聲波完成距離測量，再輔助角度數(shù)據(jù)計算樹木高度，該方法測量時較為煩瑣，且超聲波測距時存在發(fā)散角，因此在林區(qū)樹木較密的情況下，信號容易被其他樹木遮擋反射，造成測距的不準(zhǔn)確而影響高度的測量。

為提高測量精度，減小測量復(fù)雜度，近景攝影測量技術(shù)[5-6]發(fā)揮了重要作用。陳相武等[7]提出了一種基于單目視覺的立木高度測量方法，該方法具有較高的精度，但測量視角小，不能在近距離獲取樹木的完整圖像，不適用于密集的森林測量。對于解決視角問題的有效方法是采用雙目視覺測量，佘銀海等[8]提出了一種雙目視覺測量方法，該方法有效解決了測量視角的問題，但因?yàn)樾枰獙Σ杉淖笥覂煞鶊D像進(jìn)行特征點(diǎn)提取，匹配和三維像素點(diǎn)重建，存在特征點(diǎn)匹配困難的缺點(diǎn)。魚眼鏡頭具有短焦距、大視角的特點(diǎn)，且采集的魚眼圖像特征點(diǎn)提取簡單，宋佳音等[9]提出了一種基于半球圖像的立木高度測量方法，解決了測量視角和特征點(diǎn)匹配的問題，但是忽略了魚眼鏡頭虛擬距離，導(dǎo)致測量結(jié)果精度不足。

在魚眼鏡頭測量樹高的基礎(chǔ)上，現(xiàn)引入Scaramuzza魚眼鏡頭標(biāo)定模型和魚眼鏡頭虛擬距離參數(shù)，提高測量的精確度。首先根據(jù)魚眼鏡頭成像模型確立世界坐標(biāo)系與圖像像素坐標(biāo)系中對應(yīng)點(diǎn)的關(guān)系；然后以畸變系數(shù)的等距投影模型為基礎(chǔ)，建立測量系統(tǒng)模型，測量系統(tǒng)所需參數(shù)用Scaramuzza魚眼鏡頭標(biāo)定方法求?。蛔詈罄枚嗨阕尤诤纤惴▽︳~眼圖像進(jìn)行輪廓提取，用改進(jìn)四叉樹算法進(jìn)行圖像分割，Hough變換直線檢測提取極值點(diǎn)，實(shí)現(xiàn)樹高的測量。利用手機(jī)搭配魚眼鏡頭，對黑白棋盤格進(jìn)行魚眼圖像獲取，利用棋盤格內(nèi)角點(diǎn)距離去驗(yàn)證測量系統(tǒng)模型的準(zhǔn)確性；對待測樹木進(jìn)行魚眼圖像采集，用該測量系統(tǒng)模型對樹高進(jìn)行反演，用提出的計算樹木高度方法與文獻(xiàn)[9]測量樹高方法進(jìn)行對比，檢驗(yàn)該測量方法的優(yōu)越性。

1 魚眼相機(jī)成像模型

魚眼鏡頭成像模型能確定世界坐標(biāo)系與圖像像素坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將世界坐標(biāo)系中的目標(biāo)點(diǎn)投影到圖像像素坐標(biāo)系中，魚眼鏡頭成像模型如圖1所示。

圖1中坐標(biāo)系OwXwYwZw是世界坐標(biāo)系，它是一個在適當(dāng)空間中選取的參考坐標(biāo)系，P(xw，yw，zw)表示世界坐標(biāo)系中目標(biāo)點(diǎn)P的坐標(biāo)。坐標(biāo)系OXYZ是魚眼鏡頭的參考坐標(biāo)系。坐標(biāo)系OcXcYcZc是相機(jī)坐標(biāo)系，原點(diǎn)Oc位于攝像機(jī)光學(xué)中心，坐標(biāo)軸Xc和Yc分別平行于X軸和Y軸，Zc軸是相機(jī)的主光軸實(shí)際上點(diǎn)Oc和O重合，P′(xc，yc，zc)是相機(jī)坐標(biāo)系中點(diǎn)P對應(yīng)的成像點(diǎn)，r′是點(diǎn)P′到光軸的距離。坐標(biāo)系ouv是圖像像素坐標(biāo)系，原點(diǎn)o是光學(xué)中心點(diǎn)，坐標(biāo)軸u和v分別平行于Xc軸和Yc軸，P″(u，v)是圖像像素坐標(biāo)系中點(diǎn)P對應(yīng)的成像點(diǎn)，r″是點(diǎn)P″到光軸的距離。

根據(jù)等距投影定理[10]得

r′=fω

(1)

ω=tan-1(r/L)=tan-1[(xω2+yω2)1/2/L]

(2)

式中：f為光學(xué)系統(tǒng)的物方焦距；ω為點(diǎn)P相對于光軸的入射角；L為世界坐標(biāo)系中的點(diǎn)到魚眼鏡頭中心的水平距離。

由于魚眼鏡頭存在畸變，為保證圖像的均勻性，引入失真系數(shù)λ得

r′=λfω

(3)

相機(jī)平面中心點(diǎn)為Oc(x0，y0)，P′點(diǎn)坐標(biāo)為(xc，yc)，P點(diǎn)坐標(biāo)為(xw，yw，zw)，令Xc和Yc軸方向的畸變系數(shù)分量為λx和λy，則

(4)

(5)

式中：θ為點(diǎn)P的方位角，也是相機(jī)坐標(biāo)系中點(diǎn)P′的方位角。

圖像像素坐標(biāo)系中心點(diǎn)o的坐標(biāo)為(u0，v0)，P′通過等距投影得到P″，相機(jī)坐標(biāo)系與圖像像素坐標(biāo)系中對應(yīng)點(diǎn)關(guān)系為

(6)

式中：mx、my為放大系數(shù)。

令kx=λxmxf，ky=λymyf，聯(lián)立式(2)～式(6)得

(7)

式中：kx、ky為畸變系數(shù)。式(7)是引入畸變系數(shù)的等距投影模型，建立世界坐標(biāo)系與圖像像素坐標(biāo)系中對應(yīng)點(diǎn)的轉(zhuǎn)換關(guān)系。該模型需要求取的參數(shù)為光學(xué)中心點(diǎn)o(u0，v0)，畸變系數(shù)kx和ky，水平距離L。根據(jù)圖1可得

L=h+l

(8)

式(8)中：l為魚眼鏡頭的虛擬成像距離；h為世界坐標(biāo)系中的點(diǎn)到魚眼鏡頭頂部的水平距離。

2 測量模型的建立

以畸變系數(shù)的魚眼鏡頭等距投影模型為基礎(chǔ)，構(gòu)建測量系統(tǒng)模型。測量系統(tǒng)模型由魚眼鏡頭、測距儀和智能手機(jī)組成，如圖2所示。

圖2 測量系統(tǒng)模型Fig.2 Measurement system model

2.1 測量系統(tǒng)數(shù)學(xué)模型

在圖2中，A′和B′為成像平面中的參考點(diǎn)，處于圖像像素坐標(biāo)系中，設(shè)A′坐標(biāo)為(uA′，vA′)，B′坐標(biāo)為(uB′，vB′)。A、B為被測物中兩點(diǎn)，處于世界坐標(biāo)系中。A′和A存在對應(yīng)關(guān)系，B′和B存在對應(yīng)關(guān)系，由式(7)可得，世界坐標(biāo)系與圖像像素坐標(biāo)系中對應(yīng)點(diǎn)的關(guān)系為

聯(lián)立式(7)～式(9)可得

(10)

令zw=0，根據(jù)式(10)，可得坐標(biāo)A(xA，yA)，B(xB，yB)的值。計算AB之間的距離H，H為測量系統(tǒng)模型所求的結(jié)果。

H=[(xA-xB)2+(yA-yB)2]1/2

(11)

2.2 光學(xué)中心點(diǎn)獲取

為獲取光學(xué)中心點(diǎn)，引入Scaramuzza魚眼鏡頭標(biāo)定模型[11]。在Scaramuzza模型中，世界坐標(biāo)系與相機(jī)坐標(biāo)系中對應(yīng)點(diǎn)的關(guān)系為

(12)

式(12)中：R為旋轉(zhuǎn)矩陣；T為平移矩陣。

相機(jī)坐標(biāo)系中的點(diǎn)與理想圖像像素點(diǎn)的關(guān)系為

(13)

式(13)中： (u″，v″)為沒有發(fā)生畸變的理想圖像像素點(diǎn)；μ為標(biāo)量因子；a0、a2、a3、a4為Scaramuzza模型的多項(xiàng)式系數(shù)；p為關(guān)于u″、v″的函數(shù)。

(14)

實(shí)際圖像像素坐標(biāo)系中的點(diǎn)與理想圖像像素點(diǎn)的關(guān)系為

(15)

式(15)中： (u0，v0)為光學(xué)中心點(diǎn)； (u，v)為發(fā)生畸變的實(shí)際圖像像素坐標(biāo)系中的點(diǎn)。

2.3 虛擬成像距離的獲取

世界坐標(biāo)系是一個參考坐標(biāo)系，可以人為選擇。根據(jù)式(12)，當(dāng)zw=0時，zc=t3，由圖1得，世界坐標(biāo)系到相機(jī)坐標(biāo)系的距離為

t3=L

(16)

聯(lián)立式(8)、式(16)得

l=t3-h

(17)

2.4 畸變系數(shù)的獲取

引入畸變系數(shù)kx和ky，為求取畸變系數(shù)，確定標(biāo)定板平面與成像平面的對應(yīng)關(guān)系，建立標(biāo)定畸變系數(shù)模型，標(biāo)定板平面位于世界坐標(biāo)系中，成像平面位于圖像像素坐標(biāo)系中，標(biāo)定畸變系數(shù)模型如圖3 所示。

圖3 標(biāo)定畸變系數(shù)模型Fig.3 Calibration distortion coefficient model

o為光學(xué)中心點(diǎn)，坐標(biāo)為(u0，v0)，r″為點(diǎn)P″到光學(xué)中心點(diǎn)o的距離，r1″為r″在u軸方向的分量，r2″為r″在v軸方向的分量。ow為光軸與標(biāo)定板平面的交點(diǎn)，坐標(biāo)為(xow，yow)，r為點(diǎn)P到ow的距離，r1為r在Xw軸方向的分量，r2為r在Yw軸上的分量。

a、b、c、d分別對應(yīng)圖 5中的圖5(a)、圖 5(b)、圖 5(c)和圖 5(d)； Fmax表示對兩幅圖像取合集； Fmin表示對兩幅圖像取交集圖4 多算子融合算法示意圖 Fig.4 Schematic diagram of multi operator fusion algorithm

(18)

ω=tan-1(r/h+l)

(19)

聯(lián)立式(12)、式(13)、式(15)得

(20)

通過式(20)求得ow，根據(jù)圖3可得

(21)

(22)

聯(lián)立式(18)～式(22)，畸變系數(shù)的計算公式為

(23)

3 圖像處理與特征點(diǎn)提取

使用多算子融合算法對樹木進(jìn)行輪廓提取[12]，算法步驟如圖4所示。為增強(qiáng)圖像的處理能力，將采集到的彩色圖像轉(zhuǎn)換成灰度圖像，如圖5(a)所示；對灰度圖像進(jìn)行灰度變換增強(qiáng)，如圖5(b)所示；由于相機(jī)自身缺陷和外界因素的限制，使獲取到的圖像含有噪聲，對圖像進(jìn)行自適應(yīng)濾波去除噪聲[13]，如圖5(c)所示；多算子融合算法的輪廓提取效果如圖5(d)所示；用改進(jìn)四叉樹算法對圖像進(jìn)行分割[14]，如圖5(e)所示；最后運(yùn)用Hough變換直線提取樹木極值點(diǎn)[15]，通過Hough變換檢測提取全幅圖像直線信息，標(biāo)識的直線中包含著樹木輪廓的邊緣，直線的交點(diǎn)可以選擇性地獲取樹木輪廓極值點(diǎn)信息，進(jìn)而得到其像素坐標(biāo)值，如圖5(f)為Hough變換檢測提取的樹木圖像，選出直線相交的紅色點(diǎn)A即為樹木冠層的最高點(diǎn)，紅色交點(diǎn)B為樹木的最低點(diǎn)。

圖5 圖像處理過程Fig.5 Processing of the images

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)設(shè)備包括手機(jī)、魚眼鏡頭、黑白棋盤標(biāo)定板和激光測距儀，魚眼圖像的有效像素為3156×3156，棋盤格的間隔為50mm。選取10幅平行于標(biāo)定板但距離不同的魚眼圖像。實(shí)驗(yàn)在Windows10系統(tǒng)平臺上進(jìn)行，處理軟件為MATLAB2018b。

圖 6 魚眼圖像Fig.6 Fisheye image

4.2 實(shí)驗(yàn)結(jié)果分析

求光學(xué)中心點(diǎn)用Scaramuzza模型，直接調(diào)用MATLAB2018b自帶魚眼鏡頭標(biāo)定工具箱對魚眼圖進(jìn)行處理。圖6(a)是棋盤格圖，圖6(b)是棋盤格角點(diǎn)提取圖。求得光學(xué)中心點(diǎn)o(1578.50，1579.60)。

表 1 l和ow的值

表 2 AB、AC、AD測量結(jié)果

表 3 樹木高度測量結(jié)果

圖 7 kx與ky標(biāo)定結(jié)果Fig.7 kx and ky calibration results

圖 8 A、B、C、D位置圖Fig.8 Location map of A，B，C and D

為驗(yàn)證模型的精度，拍攝5組不同距離的棋盤格圖片，圖8為拍攝距離612mm和1502mm下的棋盤格圖。在棋盤格上取3組距離來檢驗(yàn)測量模型精度。表2為AB、AC和AD之間距離的測量結(jié)果。根據(jù)表2中棋盤格的計算值與實(shí)測值的誤差分析可知，測量距離時，最大測量誤差為8.283mm，最大相對誤差為1.274%，最小相對誤差為0.323%，平均相對誤差為0.823%，證明了模型的有效性和準(zhǔn)確性。利用模型對樹高進(jìn)行測量，實(shí)際樹高用全站儀獲取，測量結(jié)果如表3所示。

表 3 可得利用本文方法測量樹高，測量誤差在-0.196～0.195m，測量最高相對誤差為2.75%，平均相對誤差為1.505%；用文獻(xiàn)[9]測樹高方法測量，最高相對誤差為6.13%，平均相對誤差為3.509%。通過對比可以得出所提出的測量樹高方法更加準(zhǔn)確。

5 結(jié)論

提出一種基于魚眼鏡頭的樹高測量方法。通過建立測量模型、求解參數(shù)來反演樹高，用黑白棋盤格間的角點(diǎn)驗(yàn)證測量模型，并通過該模型對樹木進(jìn)行實(shí)驗(yàn)測量，得到如下結(jié)論。

(1)棋盤格內(nèi)角點(diǎn)間距測量實(shí)驗(yàn)結(jié)果表明，棋盤格的實(shí)際距離與測量距離最大誤差為8.283mm，最大相對誤差為1.274%，最小相對誤差為0.323%，平均相對誤差為0.823%，說明了該測量模型的有效性。

(2)用該測量模型對樹木高度進(jìn)行測量，測量誤差介于-0.196～0.195m，樹木測量最高相對誤差為2.75%，平均相對誤差為1.505%，與文獻(xiàn)[9]提出的測量方法進(jìn)行對比，測量誤差更小，測量結(jié)果更加精確。