融合無人機載雷達與RGB 影像的建筑物特征研究

羅瀟姝

（四川建筑職業(yè)技術(shù)學(xué)院 四川 德陽 618000）

0 引言

隨著城市化進程的加速和城市規(guī)模的不斷擴大，對于建筑物的識別、分類變得越來越重要。 傳統(tǒng)的建筑物特征研究主要依賴于人工勘察和地面調(diào)查，耗時耗力且效率低下。 然而，無人機技術(shù)的快速發(fā)展為建筑物特征研究帶來了新的機遇［1］。 RGB（red、green、blue）影像是指由紅、綠和藍3 個波段組成的彩色影像。 無人機載雷達和RGB 影像作為兩種常用的無人機數(shù)據(jù)源，提供多種角度和維度的建筑物信息。 無人機載雷達可以通過發(fā)射和接收雷達波，獲得建筑物的結(jié)構(gòu)特征、高程信息和反射特性，即使在復(fù)雜地形和植被覆蓋的情況下也能有效探測。 RGB 影像則能夠提供建筑物的視覺信息，包括外觀特征、紋理和色彩等［2］。 借助計算機視覺、機器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)，可以開發(fā)自動化算法和模型，實現(xiàn)建筑物的自動分類、提取和分析，有助于提高研究的效率和準(zhǔn)確性，減輕人工分析的工作量。

1 無人機載雷達技術(shù)在建筑物特征研究中的挑戰(zhàn)

無人機載雷達系統(tǒng)采集的數(shù)據(jù)量龐大，對于數(shù)據(jù)的存儲、管理和處理提出了挑戰(zhàn)。 有效的大數(shù)據(jù)處理和分析方法亟須被開發(fā)。 在數(shù)據(jù)處理和配準(zhǔn)方面，無人機載雷達數(shù)據(jù)的預(yù)處理、配準(zhǔn)和濾波等步驟需要高度精確的算法和技術(shù)支持。 無人機載雷達數(shù)據(jù)的質(zhì)量和精度直接影響建筑物特征提取的準(zhǔn)確性和可靠性。 需要開發(fā)相應(yīng)的質(zhì)量控制方法，包括數(shù)據(jù)校正、誤差估計和精度評估等。 如何實現(xiàn)自動化的建筑物分類和功能分析仍是挑戰(zhàn)。

2 RGB 影像及建筑物特征

2.1 RGB 影像獲取與處理

在建筑物特征研究中，RGB 影像是一種常用的數(shù)據(jù)源，用于提取建筑物的視覺特征和紋理信息。 RGB 影像可以通過多種方式獲取，包括航空攝影、衛(wèi)星遙感和無人機航拍等。 無人機航拍則是利用無人機平臺進行低空拍攝，具有靈活性和高分辨率的優(yōu)勢。

2.2 建筑物特征提取方法

建筑物特征提取是建筑物研究中的重要任務(wù)，它能夠從圖像或點云數(shù)據(jù)中提取出建筑物的形狀、紋理、高程等信息［3］。 傳統(tǒng)方法主要基于計算機視覺和圖像處理技術(shù)，包括特征描述子、邊緣檢測、分割和形狀分析等方法。 深度學(xué)習(xí)方法利用深度神經(jīng)網(wǎng)絡(luò)對圖像或點云數(shù)據(jù)進行特征學(xué)習(xí)和提取，能夠自動學(xué)習(xí)和表示建筑物的特征。 基于圖像分割的方法是將建筑物從背景中分離出來，以獲得建筑物的輪廓和形狀信息，常用的圖像分割方法包括基于閾值、基于邊緣、基于區(qū)域和基于圖割等。 基于形狀描述的方法是將建筑物的形狀信息進行描述和匹配，以獲得建筑物的特征，常用的方法包括形狀上下文、形狀分析和輪廓匹配等。 基于高程數(shù)據(jù)的方法是基于點云或激光雷達數(shù)據(jù)的建筑物特征提取，可以利用高程信息進行分析，高程數(shù)據(jù)可以提供建筑物的高度、坡度和屋頂形態(tài)等特征。 基于多源數(shù)據(jù)的方法是結(jié)合多源數(shù)據(jù)，如多光譜影像、熱紅外影像和雷達數(shù)據(jù)，進行建筑物特征提取可以獲得更全面和多維的信息。 多源數(shù)據(jù)融合可以利用各種數(shù)據(jù)的優(yōu)勢，提高建筑物特征的準(zhǔn)確性和魯棒性。

3 數(shù)據(jù)獲取與預(yù)處理

3.1 無人機載雷達數(shù)據(jù)采集

無人機載雷達數(shù)據(jù)采集是利用搭載在無人機上的雷達設(shè)備對地面進行掃描和測量，以獲取地物的距離、高程和反射特性等信息，詳見表1。

表1 無人機載雷達數(shù)據(jù)采集步驟

對于特定的研究項目，可以結(jié)合其他傳感器數(shù)據(jù)進行多源數(shù)據(jù)融合，以獲得更全面和多維的信息。

3.2 RGB 影像獲取與校正

RGB 影像獲取和校正是指獲取彩色圖像并對其進行校正和處理，以獲得準(zhǔn)確的顏色信息和圖像質(zhì)量，對于遙感、地理信息系統(tǒng)、計算機視覺和圖像分析等都具有重要意義［4］。 通過數(shù)據(jù)采集和校正，獲得可靠的圖像數(shù)據(jù)，并為后續(xù)的分析和應(yīng)用提供準(zhǔn)確的信息基礎(chǔ)，詳見表2。

表2 RGB 影像獲取與校正步驟

3.3 數(shù)據(jù)預(yù)處理和配準(zhǔn)

數(shù)據(jù)預(yù)處理和配準(zhǔn)可以消除數(shù)據(jù)之間的差異性，提高數(shù)據(jù)質(zhì)量和一致性，為后續(xù)的特征提取和分析提供可靠的基礎(chǔ)。 同時減少誤差和不確定性，從而增強對建筑物特征的準(zhǔn)確性和可靠性的分析和解釋。

（1）數(shù)據(jù)預(yù)處理。 噪聲去除：使用濾波算法（如高斯濾波、中值濾波）去除數(shù)據(jù)中的噪聲，提高數(shù)據(jù)質(zhì)量。 數(shù)據(jù)平滑：應(yīng)用平滑算法（如均值濾波、卷積核濾波）降低數(shù)據(jù)中的噪聲和離群值數(shù)據(jù)插值：對缺失或不完整的數(shù)據(jù)進行插值處理，填補缺失值以恢復(fù)數(shù)據(jù)的完整性。 影像校正：如去除輻射畸變、幾何畸變或傳感器響應(yīng)不均勻性等。

（2）數(shù)據(jù)配準(zhǔn)。 幾何配準(zhǔn)：對數(shù)據(jù)進行幾何配準(zhǔn)，將不同源或不同時間的數(shù)據(jù)對齊。 輻射配準(zhǔn)：校正不同數(shù)據(jù)源的輻射度，使其具有相同的輻射單位和參考標(biāo)準(zhǔn)。 影像配準(zhǔn)：將不同傳感器或不同分辨率的影像進行配準(zhǔn)，使其空間對應(yīng)關(guān)系準(zhǔn)確。

（3）數(shù)據(jù)校正和標(biāo)定。 輻射校正：將數(shù)據(jù)轉(zhuǎn)換為可比較的輻射度或反射率，消除由于不同傳感器、觀測條件或大氣效應(yīng)引起的亮度差異。 色彩校正：調(diào)整數(shù)據(jù)的色彩和亮度，以保持一致的顏色表現(xiàn)和可視化效果。 尺度校正：根據(jù)地面控制點等，對數(shù)據(jù)進行尺度校正，確保準(zhǔn)確的空間尺度。

4 數(shù)據(jù)融合方法

4.1 點云與影像數(shù)據(jù)融合算法

點云與影像數(shù)據(jù)融合算法用于將來自激光掃描儀或無人機搭載的激光雷達采集的點云數(shù)據(jù)與來自RGB 影像的圖像數(shù)據(jù)進行融合，以獲得更豐富和全面的地理信息。

4.1.1 影像投影法

①影像像素到點云的投影：將影像上的像素坐標(biāo)轉(zhuǎn)換為對應(yīng)的地理坐標(biāo)，然后通過插值或最近鄰的方法找到對應(yīng)的點云數(shù)據(jù)點，將像素值賦予該點云點。 ②點云到影像的反投影：將點云數(shù)據(jù)點的地理坐標(biāo)投影到影像平面上，然后通過插值或最近鄰的方法找到對應(yīng)的影像像素，將點云的屬性信息賦予該像素。

4.1.2 特征匹配法

①特征提取與匹配：從點云數(shù)據(jù)和影像數(shù)據(jù)中提取特征，如角點、邊緣、紋理等。 然后通過特征描述子或相似度度量方法進行特征匹配，找到點云和影像中相對應(yīng)的特征點。 ②姿態(tài)估計與配準(zhǔn)：基于匹配的特征點，使用姿態(tài)估計算法計算點云和影像之間的相對姿態(tài)（平移和旋轉(zhuǎn)），進而進行點云和影像的配準(zhǔn)，使其對齊。

4.1.3 深度學(xué)習(xí)方法

①語義分割與對齊：使用深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)或語義分割網(wǎng)絡(luò)，對影像數(shù)據(jù)進行語義分割，得到每個像素點的語義類別。 然后將語義分割結(jié)果與點云數(shù)據(jù)進行對齊，將每個點云點的屬性信息賦予對應(yīng)的語義類別。 ②生成對抗網(wǎng)絡(luò)（GAN）：使用GAN 模型，通過學(xué)習(xí)影像數(shù)據(jù)和點云數(shù)據(jù)之間的映射關(guān)系，生成逼真的點云數(shù)據(jù)，以填補點云數(shù)據(jù)的缺失或不完整部分。

4.1.4 運動估計與融合

通過運動估計算法，估計無人機或激光掃描儀在采集數(shù)據(jù)時的運動軌跡和姿態(tài)變化。 將點云數(shù)據(jù)和影像數(shù)據(jù)根據(jù)估計的運動軌跡和姿態(tài)變化進行融合，實現(xiàn)點云和影像數(shù)據(jù)的空間對齊和一致性。

4.2 三維重建和紋理映射

三維重建是將點云數(shù)據(jù)轉(zhuǎn)換為幾何模型的過程，它包括點云的三角化和表面重建。 常用的三維重建方法包括以下幾種：Delaunay 三角化、法向量估計與平滑、體素化重建、基于特征的重建。 紋理映射是將影像數(shù)據(jù)中的紋理信息映射到三維模型表面的過程，以實現(xiàn)真實感和細(xì)節(jié)的增強。 常用的紋理映射方法包括點云投影、紋理坐標(biāo)映射、多視角紋理融合、基于光照的紋理合成。

綜合考慮三維重建和紋理映射，可以將點云數(shù)據(jù)與影像數(shù)據(jù)無縫地融合，生成具有高質(zhì)量紋理的真實感三維模型。 通過三維重建，可以獲得準(zhǔn)確的幾何信息，而通過紋理映射，可以為模型賦予真實的外觀和細(xì)節(jié)。 這種融合可以提供更真實、更直觀的可視化效果。

5 建筑物特征提取與分析

5.1 建筑物輪廓提取

建筑物輪廓提取是從圖像或點云數(shù)據(jù)中提取出建筑物的邊界或輪廓線。 這個過程可以獲取建筑物的幾何形狀信息，進而進行建筑物的分析、識別和重建等任務(wù)。

Canny 算法是一種經(jīng)典的邊緣檢測方法，可以檢測出圖像中的邊緣信息，通過設(shè)定適當(dāng)?shù)拈撝岛瓦吘夁B接策略，以提取出建筑物的邊界。 區(qū)域生長算法是一種基于像素相似性的圖像分割方法，可以將具有相似屬性的像素聚合成區(qū)域，通過設(shè)定建筑物的種子點和生長準(zhǔn)則，在圖像中提取出建筑物的輪廓。 圖割算法是一種圖論算法，可以將圖像分割成多個具有相似屬性的區(qū)域。 通過設(shè)定建筑物的前景和背景標(biāo)簽，實現(xiàn)建筑物輪廓的提取。 卷積神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練具有建筑物輪廓標(biāo)注的數(shù)據(jù)集，可使用卷積神經(jīng)網(wǎng)絡(luò)模型進行建筑物輪廓的預(yù)測和提取。

5.2 高程信息提取

高程信息提取是指從地形數(shù)據(jù)中提取出地表點的垂直高程信息。 可利用激光雷達數(shù)據(jù)中的地面點，通過一系列濾波和分割算法提取出地面的點云，從而得到地表的高程信息。 還可通過將激光雷達點云進行插值或柵格化，生成高精度的數(shù)字高程模型，其中每個像素都代表了地表的高程值。 也可通過分析多幅SAR 圖像的相位差異，推斷出地表點的高程信息，這種方法在獲取大范圍地表高程信息方面具有優(yōu)勢，適用于地表形變監(jiān)測和地形重建等應(yīng)用。 還可通過對具有重疊區(qū)域的光學(xué)影像進行立體匹配，計算出地表點的高程信息，這種方法需要至少兩個視角的影像，并利用視差或特征點匹配來計算高程。 還可利用全球?qū)Ш叫l(wèi)星系統(tǒng)接收器獲取地表點的位置信息，通過差分定位或?qū)崟r動態(tài)定位算法，計算出點的高程信息，這種方法適用于實時監(jiān)測和測量應(yīng)用。 將不同數(shù)據(jù)源（如激光雷達數(shù)據(jù)、SAR 數(shù)據(jù)、光學(xué)影像等）進行融合，可以綜合利用它們的優(yōu)勢，提高高程信息提取的精度和完整性。

5.3 紋理特征提取

紋理特征提取是指從圖像或物體表面中提取出紋理信息的過程。

灰度共生矩陣（ gray-level co-occurrence matrix，GLCM）通過計算圖像中像素間的灰度級對出現(xiàn)的頻率來描述紋理。 基于GLCM 可以提取出統(tǒng)計特征，如能量、對比度、均勻性和熵等。

灰度直方圖通過計算圖像中像素的灰度級分布，可以獲取圖像的灰度紋理特征。

小波變換可以將圖像分解成不同尺度和方向的頻帶。通過分析各個頻帶的能量分布和紋理信息，可以提取出具有多尺度和多方向特征的紋理描述子。

局部二值模式是一種局部紋理描述子，通過比較像素與其鄰域像素的灰度關(guān)系來表示紋理信息。 局部二值模式特征可以通過計算圖像中每個像素的二進制編碼來提取。

Gabor 濾波器是一組用于提取紋理信息的濾波器。通過在不同尺度和方向上對圖像進行Gabor 濾波，可以提取出不同頻率和方向的紋理特征。

通常，將多個紋理特征提取方法結(jié)合起來可以獲得更全面和豐富的紋理描述。 可以將不同方法提取的特征進行組合或串聯(lián)，以得到更具辨別能力的紋理特征。

6 展望

未來的研究可以繼續(xù)探索和拓展相關(guān)技術(shù)和應(yīng)用，以提高建筑物分類與功能分析的準(zhǔn)確性、效率和實用性，為城市規(guī)劃、環(huán)境監(jiān)測、智能交通等領(lǐng)域的發(fā)展提供更好的支持。 還需進一步改進。

①算法改進：進一步改進數(shù)據(jù)融合和特征提取的算法，提高建筑物分類與功能分析的準(zhǔn)確性和魯棒性。 可以嘗試引入更復(fù)雜的深度學(xué)習(xí)模型、多模態(tài)數(shù)據(jù)融合方法和語義推理技術(shù)等。 ②多尺度建筑物分析：建筑物具有不同的尺度和層次，從單個建筑物到城市級別，研究如何在不同尺度下進行建筑物特征提取和分析，可以提供更全面和細(xì)粒度的信息。 ③實時處理和大規(guī)模數(shù)據(jù)：建筑物數(shù)據(jù)的實時處理和大規(guī)模數(shù)據(jù)的處理是具有挑戰(zhàn)性的任務(wù)，需要開發(fā)高效的算法和系統(tǒng)，以滿足實時性和處理效率的要求。 ④應(yīng)用拓展：可以探索將該方法應(yīng)用于城市規(guī)劃、環(huán)境監(jiān)測、智能交通等領(lǐng)域，為相關(guān)決策和應(yīng)用提供更準(zhǔn)確、全面的建筑物信息支持。 ⑤跨領(lǐng)域合作與應(yīng)用：與地理信息系統(tǒng)、機器學(xué)習(xí)、遙感等領(lǐng)域共同研究建筑物分類與功能分析的方法和應(yīng)用，獲得更多的專業(yè)知識和技術(shù)支持，推動建筑物特征研究的發(fā)展。 ⑥算法可解釋性和可視化：開發(fā)可視化工具來展示建筑物特征和分析結(jié)果，幫助用戶更好地理解和應(yīng)用算法，提高用戶的信任和接受度。