單光子探測三維點云與可見光圖像融合處理算法研究

張飛飛，彭 雷，袁 韜

（1.中國航空無線電電子研究所,上海 200233；2.中國人民解放軍92697 部隊,河北 唐山 063000）

引言

單光子探測技術是一種新型的光電探測技術，具有靈敏度高、成像精度高、作用距離遠、體積功耗小等優(yōu)點，主要應用于激光雷達等主動三維成像系統(tǒng)，通過二維掃描可實現(xiàn)對目標表面三維成像探測，在無人駕駛輔助導航、對地測繪、遠距離目標成像等領域獲得了廣泛的應用[1]?；谝陨霞夹g優(yōu)勢，將單光子探測獲取到的三維點云數(shù)據(jù)同傳統(tǒng)光電系統(tǒng)中的可見光、紅外圖像進行融合處理，能夠在二維灰度圖像上增加目標的距離、深度、位置等信息，有效提升了成像系統(tǒng)對于目標的探測識別能力[2-5]。本文主要針對以上兩種數(shù)據(jù)的不同特征，提出了一種面向單光子探測成像系統(tǒng)的主被動圖像融合處理算法，實現(xiàn)了單光子三維點云和可見光圖像的融合處理。

1 單光子探測三維點云與二維圖像融合處理原理

1.1 系統(tǒng)融合處理流程

單光子探測成像系統(tǒng)主要由單光子探測激光雷達、可見光相機兩個傳感器組成，分別獲取目標場景的三維點云數(shù)據(jù)和可見光圖像，通過融合處理可實現(xiàn)激光主動探測和可見光被動探測數(shù)據(jù)的疊加顯示。系統(tǒng)融合處理流程如圖1所示，融合處理的輸入數(shù)據(jù)分別為單光子探測三維點云數(shù)據(jù)以及可見光相機圖像，進行融合處理的主要流程[6-7]如下：

圖1 單光子探測三維點云數(shù)據(jù)與可見光相機圖像融合處理流程Fig.1 Fusion processing of single-photon detection for 3D point cloud data and visible camera image

1）對三維點云和二維圖像分別進行預處理，提取相應的特征點。對于論文中采用的單光子探測系統(tǒng)，由于靈敏度極高，獲取的點云數(shù)據(jù)中包含了大量的單光子噪聲，需要采用相應的距離相關檢測和泊松濾波算法將無效的噪聲信號進行濾除，實現(xiàn)真實目標三維信息的提取[8-9]。

2）三維坐標系與二維坐標系下的特征點匹配處理與轉(zhuǎn)換參數(shù)求解。將所提取的同名特征點進行坐標匹配，帶入融合算法模型中，求解融合的坐標系轉(zhuǎn)換參數(shù)。

3）三維點云與二維影像融合處理。將二維圖像中的每一個像素轉(zhuǎn)換為三維坐標系下，將其強度信息疊加至相應的三維點云數(shù)據(jù)上。

4）完成融合處理，輸出疊加可見光灰度信息的三維融合影像數(shù)據(jù)。

1.2 融合處理算法原理

單光子探測成像系統(tǒng)融合處理算法的基本原理如圖2所示，即：將像空間坐標系下的灰度圖像轉(zhuǎn)換到物空間，進而同經(jīng)過預處理的三維點云信息疊加處理，在物空間坐標系下生成疊加灰度圖像紋理的三維模型。在投影變換過程中，主要利用了直接線性變換方法，基于像點像平面坐標和相應物點物方空間坐標之間的直接線性關系，對單張影像與3D 模型進行配準并進行計算[10-12]。

圖2 融合處理算法的基本原理Fig.2 Principle of fusion processing algorithm

單光子探測成像系統(tǒng)中，可見光相機的影像在像空間坐標系下，單光子探測得到的三維點云數(shù)據(jù)在物空間坐標系下。在成像過程中，2 個不同空間的對應像素點遵循共線方程[13-16]：

其中：(x,y)是可見光相機各個像元在像方坐標系下的坐標；(x0,y0)是可見光相機的像主點坐標；f是可見光相機的焦距；(X,Y,Z)是三維點云數(shù)據(jù)的坐標；(XS,YS,ZS)是可見光相機攝影中心在物空間坐標系下的坐標；是空間變化旋轉(zhuǎn)矩陣中的方向余弦。

對（1）式進行直接線性變換，可以得到可見光相機二維影像和物空間對應像點坐標轉(zhuǎn)換的基本公式：

考慮到影像畸變等非線性因素，可將像點坐標表達為（3）式：

當有n個觀測值時，對（2）式同乘分母，并將其線性展開得觀測方程（4）式：

根據(jù)（4）式中的直接線性變換模型，整個系統(tǒng)在進行投影變換的過程中，一共有11 個位置參數(shù)需要解算，這11 個參數(shù)中，包含了成像系統(tǒng)的3 個內(nèi)方位元素、6 個外方位元素、1 個坐標軸不正交系數(shù)、1 個坐標軸比例不一系數(shù)。因此，在成像系統(tǒng)中將11 個位置參數(shù)求解出來，即可以完整描述該系統(tǒng)的二維影像和三維點云的投影疊加關系。本文中，采用了間接平差法，選取多組特征點，設置迭代閾值ε，通過數(shù)值迭代解算求解系統(tǒng)的變換參數(shù)矩陣L。系統(tǒng)的誤差方程和法方程為

式中：

1.3 融合處理軟件方案設計

為了對單光子探測成像系統(tǒng)獲取的三維點云數(shù)據(jù)進行解算，并將其同可見光相機獲取的相應視場范圍內(nèi)的二維圖像進行融合處理，生成疊加三維信息的融合圖像，論文基于直接線性變換原理設計了融合處理軟件。在獲取單光子探測成像系統(tǒng)的二維圖像和三維點云后，將選擇的同名特征點采用最小二乘的方法計算二維圖像與三維點云間的變換參數(shù)，然后根據(jù)計算出的轉(zhuǎn)換參數(shù)將相應視場范圍內(nèi)的三維點云進行賦色。融合處理軟件的總體方案如圖3所示。

圖3 融合處理軟件總體方案Fig.3 Overall scheme of fusion processing software

2 融合成像實驗驗證

2.1 單光子探測成像系統(tǒng)

單光子探測成像系統(tǒng)的構成如圖4所示，分為單光子探測激光雷達、可見光相機2 個獨立的工作模塊，可實現(xiàn)單光子三維成像探測，并對二維被動圖像數(shù)據(jù)進行融合處理。系統(tǒng)采用了高靈敏度單光子探測器，由于探測靈敏度的提高，系統(tǒng)對于望遠鏡口徑、激光功率等要求不高，使得遠距離多元并行探測成為可能，這一方面充分利用了單光子探測體制的技術優(yōu)勢，另一方面提高了成像速度和目標表面的數(shù)據(jù)采樣率。單光子探測激光雷達的激光脈沖重復頻率10 kHz，單脈沖能量1 μJ，脈寬400 ps，激光束散角100 μrad，激光發(fā)射時將激光波束排成線列，對應焦面上的9 元陣列探測器，通過記錄激光的發(fā)射時間與回波接收時間，實現(xiàn)針對目標的距離測量，最終反演出目標的表面三維形貌。單光子探測激光雷達收發(fā)共用一個直徑30 mm 的望遠鏡，利用二維掃描鏡作為掃描機構，實現(xiàn)23.5°×17.7°的掃描視場，系統(tǒng)成像的角分辨率0.4 mrad，測距精度優(yōu)于0.07 m。可見光相機采用高靈敏度的CMOS 傳感器，工作在可見光波段，成像視場20°×15°，分辨率1 024×768 像素，幀率25 Hz，通過安裝接口配準安裝在單光子探測激光雷達上部。

圖4 單光子探測成像系統(tǒng)組成結構Fig.4 Structure of single-photon detection imaging system

2.2 融合處理變換參數(shù)的確定

為驗證融合處理方法的合理性，論文利用單光子探測成像系統(tǒng)對目標進行了成像探測，對獲取到的單光子探測三維點云和可見光二維圖像進行處理驗證。在數(shù)據(jù)處理過程中，同名特征點的選取采用人工標定方式，由于成像系統(tǒng)的視場較大，可選取單光子探測三維點云數(shù)據(jù)和可見光二維圖像數(shù)據(jù)中樓宇的顯著邊界點，選取的特征點坐標如表1所示。經(jīng)過平差迭代后，解算完成的直接線性變換參數(shù)如表2所示。

表1 選取的同名特征點坐標Table 1 Coordinates of selected homonymous feature points

表2 融合處理的直接線性變換參數(shù)解算結果Table 2 Calculated results of direct linear transformation parameters by fusion processing

2.3 融合處理結果

在確定融合處理變換參數(shù)后，利用融合處理軟件對整個場景的三維點云、二維圖像進行坐標變換處理，將所有數(shù)據(jù)統(tǒng)一變換至三維點云坐標系下，利用融合顯示模塊將二維灰度圖像疊加至三維數(shù)據(jù)上，輸出融合處理后的三維數(shù)據(jù)。圖5 是單光子探測成像系統(tǒng)獲取到的原始三維點云和可見光二維圖像，圖6 是經(jīng)過融合處理疊加灰度信息的三維數(shù)據(jù)。

圖5 原始三維點云與可見光二維圖像Fig.5 Original 3D point cloud and visible light 2D image

圖6 融合處理后疊加灰度信息的三維數(shù)據(jù)Fig.6 Three dimensional data with gray information after fusion processing

3 結論

本文分析了單光子探測成像系統(tǒng)的數(shù)據(jù)融合處理算法原理，設計了單光子探測三維點云和二維圖像融合處理軟件，采用直接線性變換、最小二乘間接平差方法確定了二維圖像到三維空間的映射變換參數(shù)，從而將二維圖像整體轉(zhuǎn)換到三維點云空間，實現(xiàn)融合疊加處理和顯示。利用系統(tǒng)獲取的數(shù)據(jù)進行處理分析，實驗結果表明，本文提出的融合處理算法能夠有效實現(xiàn)三維點云和二維圖像的融合處理，生成了具有目標灰度圖像信息的三維模型。