多源空間數(shù)據(jù)輔助的云臺(tái)控制攝像機(jī)幾何定位方法

孟小亮，胡予萱，王明霞，周志宇，劉昆波，王 騰，高 廣

（1.武漢大學(xué) 遙感信息工程學(xué)院，湖北 武漢 430079；2.江漢大學(xué) 人工智能學(xué)院，湖北 武漢 430056；3.廣東省國土資源測繪院，廣東 廣州 510663；4.寶略科技（浙江）有限公司，浙江 杭州 315042）

隨著科技的快速進(jìn)步和創(chuàng)新，定位技術(shù)在各個(gè)領(lǐng)域中變得越來越普遍和重要。借助攝像機(jī)來實(shí)現(xiàn)定位功能的方法日益常見，而用于監(jiān)控的攝像機(jī)主要包含2 種：固定式和可轉(zhuǎn)動(dòng)式。傳統(tǒng)單目相機(jī)定位的研究主要集中在理想條件下使用固定中心投影相機(jī)的小范圍定位[1]，難以滿足現(xiàn)有桿塔攝像機(jī)監(jiān)測應(yīng)用場景中全方位和大范圍等需求。因此，能夠調(diào)整水平，俯仰角且可進(jìn)行焦距變換的PTZ攝像機(jī)就得到了大家的青睞[2-5]，PTZ攝像機(jī)也可稱為云臺(tái)控制攝像機(jī)，由CCD高清攝像頭，360°全景變換云臺(tái)和一些相關(guān)的附屬設(shè)備組成[6]。

在上世紀(jì)末，基于PTZ攝像機(jī)的智能視頻監(jiān)控在國外已迅速發(fā)展，美國國防部率先啟動(dòng)了VSAM[7]。盡管我國在PTZ攝像機(jī)的研究應(yīng)用方面起步較晚，但現(xiàn)在也逐步趕上。2011 年清華大學(xué)研究人員采用2 個(gè)PTZ 攝像機(jī)開發(fā)出仿變色龍跟蹤系統(tǒng)[8]。2013 年中南大學(xué)研究人員實(shí)現(xiàn)了一種用于交通監(jiān)控的PTZ 球機(jī)的運(yùn)動(dòng)目標(biāo)自主跟蹤系統(tǒng)[9]。2016 年電子科技大學(xué)研究人員設(shè)計(jì)了一個(gè)多PTZ 攝像頭的目標(biāo)檢測定位系統(tǒng)[10]。這些利用PTZ 的系統(tǒng)在其跟蹤與定位上都有較好效果，但由于都只利用了單一相機(jī)所提供的參數(shù)，在精準(zhǔn)定位上有所欠缺。因此，本文提出一種利用多源空間數(shù)據(jù)輔助PTZ 攝像機(jī)實(shí)現(xiàn)定位的方法。首先利用DSM 數(shù)據(jù)和衛(wèi)星影像提供地理空間信息對PTZ 采集影像進(jìn)行內(nèi)業(yè)“刺點(diǎn)”和位姿解算，形成基準(zhǔn)數(shù)據(jù)庫；然后通過圖像檢索與特征點(diǎn)匹配獲取基準(zhǔn)數(shù)據(jù)庫中的控制點(diǎn)信息完成影像定向，最后通過姿態(tài)射線-DSM 求交實(shí)現(xiàn)興趣點(diǎn)定位；該方法不僅減少了外業(yè)的人力成本，而且可以適應(yīng)缺少相機(jī)內(nèi)參的環(huán)境，確保了目標(biāo)位置的定位精度和穩(wěn)定性。此外，利用高塔視頻定位技術(shù)，可以自動(dòng)監(jiān)測和定位高塔周邊區(qū)域，從而替代人工監(jiān)測，提高效率并降低人力成本。

1 方法技術(shù)路線

本方法以高精度衛(wèi)星產(chǎn)品數(shù)據(jù)源作為參照，以內(nèi)業(yè)少量“刺點(diǎn)”取代外業(yè)密集“布控”，結(jié)合攝影測量相關(guān)理論，最終實(shí)現(xiàn)PTZ 攝像機(jī)高精度幾何定位。方法包含3 個(gè)部分：控制數(shù)據(jù)集制作、圖像檢索與定向、目標(biāo)幾何定位。首先，利用已有高精度DOM 與DSM 作為控制數(shù)據(jù)源，選取不同方位攝像機(jī)樣本影像，制作控制數(shù)據(jù)集。隨后，利用圖像檢索與特征點(diǎn)匹配，將待計(jì)算影像與控制數(shù)據(jù)集進(jìn)行匹配，獲取特征點(diǎn)與對應(yīng)三維坐標(biāo)，進(jìn)行影像位姿解算。最后，利用高精度DSM 作為約束，通過姿態(tài)射線-DSM 求交解算待定點(diǎn)的地面坐標(biāo)，完成目標(biāo)點(diǎn)位幾何坐標(biāo)計(jì)算。方法技術(shù)路線如圖1所示。

圖1 方法技術(shù)路線

1.1 控制數(shù)據(jù)集制作

本文利用攝像頭采集的場景影像構(gòu)建基準(zhǔn)數(shù)據(jù)庫，首先獲取攝像機(jī)拍攝實(shí)驗(yàn)區(qū)域視頻數(shù)據(jù)；然后抽取、篩選視頻幀；再參考實(shí)驗(yàn)區(qū)DOM 及DSM 控制數(shù)據(jù)進(jìn)行人工刺點(diǎn)；最后利用后方交會(huì)等位姿求解方法得到帶位姿影像，構(gòu)成基準(zhǔn)數(shù)據(jù)庫。

本文實(shí)驗(yàn)區(qū)域位于湖南省湘潭市湘潭縣排頭鄉(xiāng)排頭紫山，攝像頭經(jīng)緯度坐標(biāo)為112.676 389，27.624 520，高度為39.9 m，實(shí)驗(yàn)區(qū)域包括以攝像頭為中心，水平距離2 km以內(nèi)的監(jiān)測范圍。以15°俯仰角（T）采集間隔，20°水平角（P）采集間隔，在參數(shù)T為1.0和2.0 時(shí)分別進(jìn)行攝像頭視頻數(shù)據(jù)采集，保證盡可能覆蓋設(shè)備監(jiān)視范圍之內(nèi)的地物。在采集的同時(shí)，記錄攝像機(jī)監(jiān)測平臺(tái)提供的影像PTZ 參數(shù)以供后續(xù)的圖像檢索使用。在保證抽取留下的影像圖滿足匹配標(biāo)準(zhǔn)的情況下，對已經(jīng)獲得的影像進(jìn)一步抽幀篩選。篩選主要包括去除模糊或者低對比度（暗沉的）影像、去除重疊影像、去除無重要特征的大片樹叢影像。篩選的作用是為了確保匹配的準(zhǔn)確性和可靠性，防止因?yàn)橛跋褓|(zhì)量差而導(dǎo)致匹配失敗或誤匹配。

實(shí)驗(yàn)區(qū)控制數(shù)據(jù)來源于資源三號線陣影像和高分七號立體影像。其中，資源三號線陣影像正視地面分辨率為2.1 m，前視和后視地面分辨率為3.5 m；高分七號立體影像后視地面分辨率為0.65 m，前視地面分辨率為0.8 m。經(jīng)過幾何處理后，得到地面分辨率5 m的DSM和分辨率0.7 m的DOM。其中DOM的幾何精度優(yōu)于3 m，DSM的幾何精度優(yōu)于5 m。人工刺點(diǎn)主要選擇的特征點(diǎn)類型有池塘角點(diǎn)、道路拐點(diǎn)、田埂角點(diǎn)、房屋下角點(diǎn)四類。具體流程是：首先從攝像機(jī)圖像中均勻選擇一定數(shù)量的特征點(diǎn)，隨后在衛(wèi)星DOM 上對每個(gè)特征點(diǎn)拾取其平面坐標(biāo)，再利用平面坐標(biāo)在DSM上內(nèi)插其高程。需要注意的是，一張影像需要至少8 個(gè)分布均勻的控制點(diǎn)，并且利用多余控制點(diǎn)進(jìn)行精度檢查。通過反復(fù)調(diào)整與刪減控制點(diǎn)，直到檢查點(diǎn)精度均小于3 m時(shí)為止。

1.2 圖像檢索與定向

對于輸入的待計(jì)算圖片，需要通過圖片檢索從基準(zhǔn)數(shù)據(jù)庫中獲取相似拍攝角度和焦距的鄰近影像，然后通過特征點(diǎn)匹配獲取影像的空間信息。本文采用基于詞匯樹的圖像檢索算法和sift 特征提取算法，最后利用雙向匹配[11-12]方法匹配特征點(diǎn)。

在基準(zhǔn)數(shù)據(jù)庫的構(gòu)建和待定位影像的定向中，均需要對相機(jī)姿態(tài)求解。針對不同的需求，本文提出了2 種求解精確內(nèi)外方位元素的方法：如果當(dāng)前影像給出了內(nèi)方位元素的初始值，則采用單片空間后方交會(huì)法求解精確內(nèi)外方位元素；如果當(dāng)前影像沒有給出內(nèi)方位元素的初始值，則采用直接線性變化方法，通過建立控制點(diǎn)二維像點(diǎn)坐標(biāo)到三維地面坐標(biāo)之間的映射關(guān)系，求解內(nèi)外方位元素。

1.2.1 基于詞匯樹的圖像檢索算法

在本文中利用PTZ攝像機(jī)獲取影像的水平旋轉(zhuǎn)角度（P）與俯仰角度（T）篩選出基準(zhǔn)數(shù)據(jù)庫中類似角度的圖片，縮小圖片檢索范圍。然后，利用分層詞匯樹[13-15]進(jìn)行影像相似度計(jì)算，以檢索出最為相似的控制片影像。

本文采用SIFT特征向量集合進(jìn)行詞匯樹構(gòu)建。提取影像的SIFT特征后，利用K-means算法將特征向量集合劃分為幾組，每組由特征向量集合中距離該組聚類中心最近的描述子組成。然后將該過程遞歸應(yīng)用到每組描述子向量中，從而將其劃分為新的k組，每層都重復(fù)上述過程，直至達(dá)到詞匯樹深度d，k的經(jīng)驗(yàn)值一般取10。

當(dāng)詞匯樹創(chuàng)建完成后，每張影像則可以表示為加權(quán)后不同視覺單詞的組合。采用影像檢索系統(tǒng)中的倒排索引方法，對不同的視覺單詞計(jì)算對應(yīng)權(quán)重，然后計(jì)算兩張影像的相似性得分因子。影像相似度計(jì)算過程如圖2所示。

圖2 影像相似度計(jì)算過程

1.2.2 特征點(diǎn)提取與匹配

本研究中采用SIFT特征提取算法[16]對待計(jì)算影像和檢索出最相似的樣本控制片影像的特征點(diǎn)進(jìn)行匹配，然后在完成特征點(diǎn)的匹配后，將樣本控制片特征點(diǎn)的三維坐標(biāo)信息賦予待計(jì)算影像。

只有在參考影像和待配準(zhǔn)影像之間找到一定數(shù)量的同名特征點(diǎn)，才能從待配準(zhǔn)影像中獲取足夠的控制點(diǎn)信息，從而進(jìn)行云控制攝影測量[17]。因此，特征點(diǎn)的匹配情況是影響基于影像特征庫的云控制攝影測量精度的主要因素。本文通過計(jì)算特征向量的歐氏距離[18]來判斷2 個(gè)特征點(diǎn)是否為匹配點(diǎn)，并使用雙向匹配[11-12]，即取2 次單向匹配結(jié)果的交集作為匹配點(diǎn)集，從而提高匹配的精確度。

在參考影像中尋找其最鄰近與次鄰近的關(guān)鍵點(diǎn)，獲得其特征向量之間最鄰近與次鄰近歐氏距離的比值與設(shè)定的匹配閾值T作對比，如式（1）：

式中，Dmin為關(guān)鍵點(diǎn)與其待匹配影像上特征點(diǎn)之間特征向量歐氏距離的最小值；DSecmin為2點(diǎn)特征向量歐氏距離的次小值。若兩者的比值小于匹配閾值，則該關(guān)鍵點(diǎn)與參考影像中的最鄰近關(guān)鍵點(diǎn)為一對匹配點(diǎn)。針對攝像機(jī)監(jiān)測場景，經(jīng)驗(yàn)閾值是0.5 時(shí)特征點(diǎn)的匹配效果較好。

1.2.3 影像定向

利用匹配得到的連接點(diǎn)，通過相對定向，可以獲取待計(jì)算影像的位姿初始值，隨后利用控制點(diǎn)后方交會(huì)或直接線性變換模型計(jì)算最終位姿參數(shù)。

1）后方交會(huì)法。由共線方程原理，可知像點(diǎn)坐標(biāo)為觀測值，所以將像點(diǎn)坐標(biāo)量測值作為觀測值，將單張影像的內(nèi)外方位元素及畸變系數(shù)作為未知數(shù)建立誤差方程，如式（2）。

式中，采用的畸變模型如式（3）；k1、k2為徑向畸變系數(shù)。

將式（2）進(jìn)行線性化，化簡可得如下式（4）：

式中，X、Y、Z為已知的地面控制點(diǎn)坐標(biāo)；Xs、Ys、Zs為未知的待確定點(diǎn)坐標(biāo)；A為外方位元素改正數(shù)的系數(shù)；C為內(nèi)方位元素改正數(shù)系數(shù)；D為檢校系數(shù)改正數(shù)系數(shù)；V為像點(diǎn)坐標(biāo)的殘差；t、x2、xad分別為外方位元素改正數(shù)、內(nèi)方位元素改正數(shù)、檢校系數(shù)改正數(shù)。

按照式（5）對式（4）進(jìn)行法化求解，解算得到各未知數(shù)的改正數(shù)：

由于有13個(gè)未知數(shù)，故需要至少7個(gè)控制點(diǎn)才可以完成解算，將未知數(shù)改正后代回，進(jìn)行反復(fù)迭代，直至改正數(shù)小于給定閾值后停止迭代，得到未知數(shù)的精確解。

2）直接線性變換法。直接線性變換是建立像點(diǎn)坐標(biāo)和相應(yīng)物點(diǎn)物方空間坐標(biāo)之間直接的線性關(guān)系的算法。式（6）為直接線性變換的一般形式：

式中，x、y為圖像坐標(biāo)；X、Y、Z為物方空間坐標(biāo)。由于該線性方程并不嚴(yán)格，所以解算出的系數(shù)并不能直接當(dāng)作準(zhǔn)確值使用，而是為后續(xù)精確解的解算提供初值。

由于影像成像可能發(fā)生畸變，所以在直接線性變換一般式的基礎(chǔ)上增加偏心畸變和徑向畸變的畸變改正系數(shù)，如式（7）所示，以提升解算精度。其中，畸變模型同式（8）。

在解算出像點(diǎn)坐標(biāo)的徑向畸變和偏心畸變參數(shù)后，還需對原始像點(diǎn)坐標(biāo)做畸變改正，以便后續(xù)使用立體像對解算物方點(diǎn)。在解算完成2 張相片的直接線性變換系數(shù)和畸變系數(shù)后，可對相片重疊區(qū)域的像點(diǎn)計(jì)算其對應(yīng)的三維空間物方坐標(biāo)。

1.3 目標(biāo)幾何定位

由于像主點(diǎn)到特征點(diǎn)的射線上的所有空間三維點(diǎn)的反投影像點(diǎn)都在同一位置，所以即使獲取了視頻幀的投影矩陣，也無法實(shí)現(xiàn)從二維到三維的計(jì)算。因此本文利用DSM作為約束，通過高程迭代內(nèi)插方式逐漸逼近特征點(diǎn)的真實(shí)地面坐標(biāo)，而基于高精度DSM的單視圖特征點(diǎn)位地面坐標(biāo)解算的關(guān)鍵在于如何實(shí)現(xiàn)射線與不規(guī)則DSM 面的求交，本文通過高程迭代逼近的方式實(shí)現(xiàn)精準(zhǔn)定位，其具體計(jì)算過程如圖3所示。

圖3 基于高精度DSM的單視圖特征點(diǎn)位地面坐標(biāo)解算流程

如圖4所示，利用投影矩陣P，可以建立從像素坐標(biāo)（x,y,1）到世界坐標(biāo)（X,Y,Z,1）的投影變換，即（x,y,1）=P（X,Y,Z,1）。但對一個(gè)特征點(diǎn)而言，只能建立2 個(gè)方程，而未知數(shù)有3 個(gè)，即（X,Y,Z）。因此，本文預(yù)設(shè)一個(gè)初始高程平面Z0代入該投影變換，可以計(jì)算得到初始平面坐標(biāo)（X0,Y0）。隨后利用該平面坐標(biāo)內(nèi)插DEM，可得到更接近真實(shí)高程的Z1高程面。迭代上述過程，不斷更新高程面，直到反投影誤差小于閾值，即可得到精度極高的目標(biāo)三維坐標(biāo)。

圖4 高程迭代逼近過程

2 實(shí)驗(yàn)設(shè)計(jì)

本研究分別選取了攝像頭監(jiān)測范圍內(nèi)不同焦距下，不同范圍和場景的3張影像作為待定位的測試影像，以測試本方法在與攝像頭不同水平距離，不同焦距及覆蓋范圍下的定位情況。第一張影像為距離攝像頭500 m 左右的區(qū)域，覆蓋場景直徑小于100 m，焦距較大；第二張影像為距離攝像頭500 m 左右的區(qū)域，地勢起伏相對更大，覆蓋場景長度達(dá)到800～1 000 m，焦距較小；第三張影像為距離攝像頭1 000 m左右的區(qū)域，覆蓋場景長度達(dá)到1 000～5 000 m，焦距最小。

實(shí)驗(yàn)使用本文研究中的方法對這3 張影像上的點(diǎn)進(jìn)行定位，輸入影像使用基準(zhǔn)數(shù)據(jù)庫構(gòu)建的相同的方法進(jìn)行刺點(diǎn)，利用檢查點(diǎn)驗(yàn)證本文方法。

此外，實(shí)驗(yàn)討論了攝像頭內(nèi)方位元素初始值未知、攝像頭內(nèi)方位元素初始值已知2 種情況，分別使用直接線性變換和共線方程方法進(jìn)行定向，并對定位結(jié)果進(jìn)行了對比。實(shí)驗(yàn)使用的待定位影像及檢查點(diǎn)分布圖如表1所示。

表1 輸入影像及刺點(diǎn)分布

實(shí)驗(yàn)采用張正友棋盤格標(biāo)定法[19]對實(shí)驗(yàn)所用攝像頭進(jìn)行內(nèi)參及畸變系數(shù)標(biāo)定。由于PTZ相機(jī)的焦距可變，攝像頭在參數(shù)T為1.0和2.0的情況下分別進(jìn)行了標(biāo)定，得到的內(nèi)參結(jié)果如表2所示。

表2 輸入影像及刺點(diǎn)分布

第一張影像的焦距較大，使用焦距為2.0 時(shí)的標(biāo)定結(jié)果作為影像內(nèi)參的初值。第二、三張影像的焦距則使用焦距為1.0時(shí)的標(biāo)定結(jié)果作為初值。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 定位實(shí)驗(yàn)

表3 展示了3 張輸入的待定位影像以及通過詞匯樹方法檢索到的最相似匹配影像。

表3 輸入影像及匹配結(jié)果

對于第①組輸入影像，其匹配結(jié)果如圖5 所示；對于第②組輸入影像，其匹配結(jié)果如圖6 所示；對于第③組輸入影像，其匹配結(jié)果如圖7所示。

圖5 第一組匹配結(jié)果

圖6 第二組匹配結(jié)果

圖7 第三組匹配結(jié)果

實(shí)驗(yàn)中三組測試影像檢查點(diǎn)與DSM交會(huì)解算出的坐標(biāo)對比，得到誤差結(jié)果如表4、5、6 所示，主要包含三維坐標(biāo)誤差與大地高差。

表4 第一組誤差表

表5 第二組誤差表

表6 第三組誤差表

根據(jù)上述3 組誤差表的分析結(jié)果可得出結(jié)論：在圖像采集范圍為500 m 以內(nèi)時(shí)，三維坐標(biāo)誤差平均為20 m 左右，最大不超過40 m，并且大地高差也較小，最大大地高差在6 m 左右；在圖像采集范圍擴(kuò)大至1 km 以內(nèi)時(shí)，相對于500 m 范圍，坐標(biāo)誤差略有增加，平均在30 m左右，最大不超過60 m。此外，大地高差范圍也有所增加，最大誤差增加到了8 m 左右；當(dāng)圖像采集范圍擴(kuò)大至5 km 以內(nèi)時(shí)，相對于之前的500 m和1 km范圍，坐標(biāo)誤差與實(shí)驗(yàn)二基本持平，平均值在30 m左右，最大值不超過60 m，但大地高差的最大誤差范圍增加到了12 m左右。

隨著圖像采集范圍的增大，大地高差變化相對較小，誤差值范圍也相對較小。然而，三維坐標(biāo)誤差會(huì)呈現(xiàn)一定范圍的增加，從而導(dǎo)致定位精度的降低。隨著距攝像頭水平距離的增加，三維坐標(biāo)誤差和大地高差也隨之增加，這可能是因?yàn)樵诰嚯x更遠(yuǎn)時(shí)，攝像頭姿態(tài)的誤差對三維坐標(biāo)誤差的影像會(huì)更大。

除此之外，可以注意到有一些點(diǎn)的誤差比較大，比如第一組實(shí)驗(yàn)中的4 號點(diǎn)，第3 組實(shí)驗(yàn)中的1 號點(diǎn)。這可能是因?yàn)? 組實(shí)驗(yàn)4 號點(diǎn)為房屋頂點(diǎn)，房屋的高度影響了精度，而3 組實(shí)驗(yàn)1 號點(diǎn)處在拍攝范圍邊緣的位置，并且周圍房屋較多，因此平面和高程誤差較大。

3.2 無內(nèi)參初值定位實(shí)驗(yàn)

不使用相機(jī)標(biāo)定的內(nèi)參初值，采用直接線性變換方法進(jìn)行定向，對第二張影像進(jìn)行定位實(shí)驗(yàn)，得到的誤差結(jié)果如表7。

表7 第二組誤差表-無內(nèi)參初值

與采用共線方程所得的結(jié)果（表5）相比，在無內(nèi)參初始值時(shí)使用直接線性變換定向得到的定位結(jié)果誤差明顯增加。共線方程使用的模型更加精確，在有內(nèi)參初值的情況下可以獲得更加精確的定位結(jié)果。

4 結(jié)語和展望

針對單目攝像機(jī)的精準(zhǔn)定位問題，本研究提出了利用多源空間數(shù)據(jù)輔助的PTZ 攝像機(jī)幾何定位方法。該方法通過利用PTZ攝像機(jī)對不同焦距和俯仰角進(jìn)行視頻采集，并從采集的視頻中抽取視頻幀，結(jié)合高精度DSM 數(shù)據(jù)和衛(wèi)星正射影像進(jìn)行內(nèi)業(yè)“刺點(diǎn)”，從而減少了布設(shè)外業(yè)控制點(diǎn)的人力成本。在研究過程中，本文使用分層詞匯樹檢索相似樣本控制片影像，并通過特征點(diǎn)提取和雙向匹配獲取樣本控制片的特征點(diǎn)坐標(biāo)信息；然后，基于后方交會(huì)或DLT模型完成影像位姿求解；最后，利用高精度DSM進(jìn)行迭代求交，以實(shí)現(xiàn)定位。該方法借助多源數(shù)據(jù)輔助定位，旨在確保定位的精度和穩(wěn)定性。

通過本文的研究結(jié)果可知：基于PTZ攝像機(jī)的定位方法在圖像采集范圍增大時(shí)，精確度會(huì)逐漸降低，誤差范圍會(huì)增大。這表明在較大范圍內(nèi)進(jìn)行精準(zhǔn)定位時(shí)，需要進(jìn)一步改進(jìn)和優(yōu)化算法，以提高定位精度并減小誤差范圍。

隨著對定位精度要求的不斷提高，本文的研究方法在實(shí)現(xiàn)高精度定位方面仍存在一定的限制，尚未能有效滿足精密定位的要求。為了進(jìn)一步提高定位精度，下一步的研究可以集中在改進(jìn)特征點(diǎn)提取算法和視頻幀的抽取方法上，以實(shí)現(xiàn)更精準(zhǔn)的定位結(jié)果。