基于Tv-SECOND 的自動駕駛場景下的３D 目標(biāo)檢測

摘 要：針對自動駕駛場景中復(fù)雜環(huán)境下的３Ｄ 目標(biāo)檢測任務(wù)，特別是遠(yuǎn)距離和遮擋條件下，為提高模型的檢測準(zhǔn)確率，在ＳＥＣＯＮＤ 的基礎(chǔ)上提出了Ｔｖ-ＳＥＣＯＮＤ 兩階段算法。該算法提出一種基于Ｔｒａｎｓｆｏｒｍｅｒ 架構(gòu)的提案框特征提取模塊，并在傳統(tǒng)體素特征編碼基礎(chǔ)上提出可變形的體素特征編碼模塊。在ＫＩＴＴＩ 數(shù)據(jù)集上進(jìn)行測試，結(jié)果顯示，所提出的算法相比ＳＥＣＯＮＤ 在遠(yuǎn)距離和遮擋嚴(yán)重的情況下分別提高了７． ４９％ 、９． ７２％ 。同時與其他先進(jìn)的兩階段方法相比，檢測精度有不同程度的提升，證明了Ｔｖ-ＳＥＣＯＮＤ 算法的有效性。新算法能夠建立特征之間的依賴關(guān)系，聚合周邊廣域的上下文信息，增強(qiáng)模型的學(xué)習(xí)推理能力，有效提升了模型在遠(yuǎn)距離和遮擋的情況下的檢測性能。

關(guān)鍵詞：自動駕駛；３Ｄ 目標(biāo)檢測；Ｔｒａｎｓｆｏｒｍｅｒ；ＳＥＣＯＮＤ

中圖分類號：ＴＰ３９１． ４１ 文獻(xiàn)標(biāo)志碼：Ａ 開放科學(xué)（資源服務(wù)）標(biāo)識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０４－０８２３－０８

０ 引言

自動駕駛技術(shù)可以減輕駕駛員工作負(fù)擔(dān)和提高行車安全性，近年來受到了越來越多的關(guān)注［１－３］。３Ｄ 目標(biāo)檢測作為自動駕駛系統(tǒng)的關(guān)鍵技術(shù)之一，扮演這重要角色。其主要任務(wù)是準(zhǔn)確估計駕駛環(huán)境中目標(biāo)的位置、大小和類別等信息，為環(huán)境感知、決策規(guī)劃、未來預(yù)測和碰撞預(yù)防等多個關(guān)鍵環(huán)節(jié)提供支持。

目前３Ｄ 目標(biāo)檢測算法主要分為兩大類：基于圖像的算法和基于點(diǎn)云的算法。基于圖像的算法從圖像中獲取更加詳細(xì)的目標(biāo)形狀信息，通過投影和渲染，并比較損失得到更準(zhǔn)確的檢測結(jié)果。文獻(xiàn)［４－５］等方法使用改進(jìn)過的２Ｄ 目標(biāo)檢測框架和單目相機(jī)直接從圖像中回歸３Ｄ 框的參數(shù)。文獻(xiàn)［６］則對多視圖數(shù)據(jù)進(jìn)行處理，生成用于３Ｄ 目標(biāo)檢測的密集３Ｄ 框表示。盡管基于圖像的３Ｄ 物體檢測已經(jīng)取得了顯著的進(jìn)步，但其精度比基于點(diǎn)云的３Ｄ檢測方法低?；邳c(diǎn)云的算法，一類方法充分利用點(diǎn)云數(shù)據(jù)的本質(zhì)屬性———排列不變性，以此直接整合點(diǎn)特征，盡管文獻(xiàn)［７］本身并未涉足３Ｄ 目標(biāo)檢測領(lǐng)域，但它所提出的方法為一系列后續(xù)研究奠定了基礎(chǔ)。文獻(xiàn)［８ ］通過感興趣區(qū)域（Ｒｅｇｉｏｎ ｏｆＩｎｔｅｒｅｓｔ，ＲｏＩ）特征池化和基于點(diǎn)的多層感知機(jī)（Ｍｕｌｔｉ Ｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）進(jìn)一步完善３Ｄ ＲｏＩ，生成點(diǎn)特征。文獻(xiàn)［９］為每個點(diǎn)構(gòu)建一個局部鄰域圖，使用圖神經(jīng)網(wǎng)絡(luò)（Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＧＮＮ）來推斷和聚合局部鄰域圖中點(diǎn)的上下文信息。文獻(xiàn)［１０］提出了一種新的點(diǎn)云采樣方法———特征距離復(fù)合（Ｆｅａｔｕｒｅ Ｄｉｓｔａｎｃｅ Ｃｏｍｐｏｓｉｔｅ）。文獻(xiàn)［１１］使用語義分割算法分離點(diǎn)云中的前景和背景點(diǎn)。另一類方法將離散的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為規(guī)則稠密的體素表示。文獻(xiàn)［１２ ］ 采用３Ｄ 卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）沿每個維度進(jìn)行卷積。文獻(xiàn)［１３］引入３Ｄ 稀疏卷積，提高算法效率，并減少空體素導(dǎo)致的不必要的計算開銷。文獻(xiàn)［１４－１５］將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為點(diǎn)柱，再轉(zhuǎn)換為２Ｄ 偽圖像，這更高效但降低了Ｚ 軸的分辨率，不利于從點(diǎn)云中提取特征。文獻(xiàn)［１６ －１８］通過ＲｏＩ 空間量化、關(guān)鍵點(diǎn)采樣和集合抽象來提取３Ｄ 提案特征。

雖然這些先進(jìn)３Ｄ 目標(biāo)檢測方法在ＫＩＴＴＩ 測試集上取得良好的效果，但在遠(yuǎn)距離目標(biāo)和嚴(yán)重遮擋的情況下效果不佳。這種性能差異的原因主要源于在遮擋或遠(yuǎn)距離情況下，對目標(biāo)進(jìn)行編碼并從３Ｄ提案中提取穩(wěn)定的特征變得極其困難。因此，如何在提案特征精煉階段有效地模擬點(diǎn)之間的幾何關(guān)系，并在提案特征精煉階段利用精確的位置信息，對于方法取得良好檢測性能至關(guān)重要。

針對這一挑戰(zhàn)，本文以ＳＥＣＯＮＤ 算法為基礎(chǔ)做出以下兩方面的改進(jìn)：① 提出一種基于Ｔｒａｓｆｏｒｍｅｒ［１９］架構(gòu)的提案框特征提取模塊對提案框內(nèi)點(diǎn)云進(jìn)行空間上下文建模，通過雙向交叉注意力機(jī)制來捕獲提案框點(diǎn)云之間的豐富上下文依賴關(guān)系，加強(qiáng)模型對３Ｄ 空間中目標(biāo)的理解能力，提升對遠(yuǎn)距離目標(biāo)和遮擋場景的適應(yīng)能力。② 提出一種可變形的體素特征編碼模塊，以增強(qiáng)體素特征表達(dá)能力和模型的定位能力，最終生成符合遠(yuǎn)距離和遮擋場景的提案框。

１ Ｔｖ-ＳＥＣＯＮＤ 模型

１． １ ＳＥＣＯＮＤ 網(wǎng)絡(luò)

ＳＥＣＯＮＤ 網(wǎng)絡(luò)可以分為四部分：① 輸入數(shù)據(jù)預(yù)處理。模型將輸入的點(diǎn)云數(shù)據(jù)映射到體素網(wǎng)格上，將離散的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為規(guī)則稠密的體素表示。② 傳統(tǒng)編碼模塊。通過卷積操作，對數(shù)據(jù)預(yù)處理后的體素特征進(jìn)行一對一編碼，提升特征維度獲取更高級、更有代表性的特征。③ 骨干網(wǎng)絡(luò)（３Ｄ 稀疏卷積）。骨干網(wǎng)絡(luò)由兩個階段組成，每個階段包含多個子流形卷積和一個稀疏卷積。對編碼后的特征進(jìn)行特征提取，并在Ｚ 軸上執(zhí)行下采樣操作，將稀疏的數(shù)據(jù)轉(zhuǎn)化為密集的特征圖。④ 區(qū)域提案網(wǎng)絡(luò)。采用的是類似ＳＳＤ［２０］式的架構(gòu)構(gòu)建，最后分別進(jìn)行類別預(yù)測和檢測框的回歸。ＳＥＣＯＮＤ 網(wǎng)絡(luò)框架如圖１ 所示。

１． ２ 網(wǎng)絡(luò)的改進(jìn)

提升３Ｄ 目標(biāo)檢測模型在遠(yuǎn)距離目標(biāo)和復(fù)雜遮擋場景下的檢測能力，是實(shí)現(xiàn)自動駕駛系統(tǒng)更高安全性和優(yōu)化決策的重要前提。本研究在ＳＥＣＯＮＤ的基礎(chǔ)上提出了基于Ｔｒａｎｓｆｏｒｍｅｒ 的網(wǎng)絡(luò)框架。具體而言，在體素特征編碼階段采用可變形的體素特征編碼模塊替換傳統(tǒng)編碼模塊。并且在單階段方法ＳＥＣＯＮＤ 上添加基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊用于處理區(qū)域提案網(wǎng)絡(luò)生成的３Ｄ 提案特征，詳細(xì)網(wǎng)絡(luò)框架如圖２ 所示。

１． ３ 基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征細(xì)化提取模塊設(shè)計

傳統(tǒng)的提案特征提取模塊通過空間量化、關(guān)鍵點(diǎn)采樣和集合抽象來提?。常?提案特征，但這種方式損害原始點(diǎn)云幾何結(jié)構(gòu)，帶來信息損失，影響檢測效果尤其是在遠(yuǎn)距離目標(biāo)和復(fù)雜遮擋情況下。因此，本文提出基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊代替?zhèn)鹘y(tǒng)提案特征提取模塊，通過雙向交叉注意力機(jī)制捕捉提案特征，增強(qiáng)模型學(xué)習(xí)能力。該模塊由三部分組成：編碼器、中間多層前饋神經(jīng)網(wǎng)絡(luò)、解碼器。

１． ３． １ 特征嵌入

本文提出將提案框特征與對應(yīng)框內(nèi)的每個點(diǎn)云特征進(jìn)行融合，形成新的融合特征表示。具體來說，對每個點(diǎn)ｉ，將其原始提案特征嵌入與點(diǎn)云特征，得到統(tǒng)一表達(dá)ｆｉ（ｉ∈ｎ）。最后將每一個融合特征組合起來構(gòu)建輸入集Ｘ∈Ｒ ｎ×ｄ。其中，融合特征ｆｉ 用于聯(lián)合表示目標(biāo)在語義與空間上的信息：

ｆｉ ＝Ａ（［ｐｄｉ，ｌ，ｗ，ｈ，θ，ρｉ］）， （１）

式中：ｐｄｉ＝ ｐｉ －ｐｄ 表示點(diǎn)云與提案中心點(diǎn)的距離特征，ｌ、ｗ、ｈ 和θ 分別代表提案的長、寬、高和方向角信息，ρｉ 為每個點(diǎn)云的原始特征，Ａ（·）為一個全連接層，用于提升特征的維度。

１． ３． ２ 基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊編碼器

基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊編碼器，如圖３ 所示。該模塊從輸入集Ｘ 隨機(jī)選?。?個融合特征ｆＫｉ（ｉ∈ｋ ｜ ｋ ＝ Ｒａｎｄｏｍ（ｎ））初始化誘導(dǎo)集Ｌ∈Ｒ ｋ×ｄ，并通過線性投影獲取查詢ＱＥ。同樣通過線性投影將輸入集Ｘ 映射到鍵ＫＥ 和值ＶＥ。在鍵ＫＥ 和查詢ＱＥ 之間執(zhí)行交叉注意力生成注意力矩陣，并對其進(jìn)行歸一化獲取注意力分?jǐn)?shù)Ａ′，與值ＶＥ相乘，獲取隱藏特征Ｈ，相應(yīng)的計算公式表示為：

１． ３． ３ 多層前饋神經(jīng)網(wǎng)絡(luò)

基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊的核心思想是使用雙向交叉注意力機(jī)制在ＲｏＩ 內(nèi)提取特征，融合全局上下文的感知信息實(shí)現(xiàn)提案特征的提取。但是注意力機(jī)制本身依賴線性運(yùn)算（如矩陣乘法和加法），對于密集預(yù)測任務(wù)的擬合能力有限。因此，應(yīng)用多層前饋神經(jīng)網(wǎng)絡(luò)來為模型引入非線性操作，使不同位置之間進(jìn)行特征交互，引入更多的信息，增加非線性建模能力。隱藏特征Ｈ經(jīng)過多層前饋神經(jīng)網(wǎng)絡(luò)后生成豐富的隱藏特征Ｈ′。

１． ３． ４ 解碼器

基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊解碼器的任務(wù)是通過編碼的豐富隱藏特征更新輸入集的特征。具體來說，基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊的解碼器將特征Ｈ′ 進(jìn)行廣播，得到形狀為Ｒ ｎ×ｋ×ｄ 的廣播特征Ｈ″，其長度與輸入集相同。通過線性投影運(yùn)算獲取到鍵ＫＤ 和值ＶＤ，并從輸入集中獲取查詢矩陣ＱＤ，在廣播特征中獲取鍵和值，解碼器的輸出特征Ｏ 計算可以表示為：

１． ４ 可變形的體素特征編碼模塊設(shè)計

為進(jìn)一步提升模型對遠(yuǎn)距離和遮擋目標(biāo)的檢測精度，本文提出一種可變形的體素特征編碼模塊，采用可變形的注意力機(jī)制在體素間進(jìn)行關(guān)聯(lián)性建模，構(gòu)建豐富的上下文信息，提高了模型對３Ｄ 場景中目標(biāo)的檢測和理解能力，最終生成的提案框更適合遠(yuǎn)距離和遮擋情況下的場景需求。傳統(tǒng)編碼方式通常僅關(guān)注單個體素的信息，如圖４（ａ）所示，這種方式忽略了體素間的相互作用和全局上下文。因此本文在編碼模塊融入了可變形的自注意力機(jī)制，如圖４（ｂ）所示，具體來說，首先，可變形的體素特征編碼模塊使用卷積神經(jīng)網(wǎng)絡(luò)基于當(dāng)前查詢體素的空間位置動態(tài)生成采樣偏移量（Δｘ，Δｙ，Δｚ），這些偏移量指導(dǎo)被查詢體素的精確定位。其次，由查詢體素提供注意力計算中的查詢，鍵和值則由被查詢體素來提供。最后，進(jìn)行矩陣運(yùn)算和全連接層，獲取編碼特征（Ｖｏｘｅｌ-ｗｉｓｅ Ｆｅａｔｕｒｅ）。此外為加快特征編碼的過程，本研究在ＧＰＵ 上構(gòu)建一個哈希表，該哈希表將非空體素的索引進(jìn)行存儲，方便快速查詢。

１． ５ 檢測頭

檢測頭使用兩層的ＭＬＰ，網(wǎng)絡(luò)對基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊的輸出特征做最后的處理，預(yù)測相對于輸入３Ｄ 候選框的大小和位置（即中心、大小和方向）。設(shè)置了兩個分支，分別用于預(yù)測置信度和進(jìn)行候選框的回歸工作。

２ 實(shí)驗(yàn)驗(yàn)證與分析

本節(jié)詳細(xì)介紹了數(shù)據(jù)集、訓(xùn)練細(xì)節(jié)和評估設(shè)置。通過在ＫＩＴＴＩ 基準(zhǔn)測試中全面評估兩個模塊，并與現(xiàn)有檢測方法進(jìn)行了比較。為驗(yàn)證模塊設(shè)計的有效性，對兩個模塊進(jìn)行了全面深入的分析。

２． １ 實(shí)驗(yàn)數(shù)據(jù)

ＫＩＴＴＩ 數(shù)據(jù)集是自動駕駛中最常用的３Ｄ 目標(biāo)檢測數(shù)據(jù)集之一［２１］，分為簡單、中等和困難３ 種不同遮擋程度，簡單遮擋程度最低，中等次之，困難遮擋程度最高。數(shù)據(jù)集包含７ ４８１ 個訓(xùn)練樣本和７ ５１８ 個測試樣本。模型的評估通?；谄骄_率（ｍｅａｎＡｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ，ｍＡＰ）指標(biāo)。實(shí)驗(yàn)在數(shù)據(jù)集中最常見的汽車類別上進(jìn)行，使用ＩｏＵ 閾值為０． ７ 的ｍＡＰ 作為評估指標(biāo)。真值采用４０ 個位置的召回率（Ｒ４０）計算。為了與ＫＩＴＴＩ ３Ｄ 檢測基準(zhǔn)上的其他方法進(jìn)行更全面的比較，本實(shí)驗(yàn)按４ ∶ １ 的比例將ＫＩＴＴＩ 訓(xùn)練數(shù)據(jù)集劃分為訓(xùn)練和驗(yàn)證集，并報告在ＫＩＴＴＩ 測試數(shù)據(jù)集上的性能。

２． ２ 訓(xùn)練設(shè)置

訓(xùn)練細(xì)節(jié)，對于ＫＩＴＴＩ 數(shù)據(jù)集，檢測范圍分別設(shè)置為Ｘ 軸［０，７０． ４］ｍ，Ｙ 軸［－４０，４０］ｍ 和Ｚ 軸［－３，１］ｍ，體素大小為（０． ０５，０． ０５，０． １０）ｍ。采用ＡＤＡＭ 優(yōu)化器，訓(xùn)練過程涉及利用８ 個ＧＴＸ ２０８０Ｔｉ ＧＰＵ 以批量大?。保?訓(xùn)練完整網(wǎng)絡(luò)８０ ｅｐｏｃｈ，大約需要６ ｈ。學(xué)習(xí)率采用余弦退火進(jìn)行衰減，初始值設(shè)置為０． ００１。在提案特征提取階段３ＤＩｏＵ 的閾值是０． ５５。更詳細(xì)的配置信息請參考ＯｐｅｎＰＣＤｅｔ［２２］代碼庫。

推理階段，利用非最大抑制選擇最佳的１００ 個提案框。具體來說，將３Ｄ ＩｏＵ 閾值設(shè)置為０． ７，使用非極大值抑制對不滿足條件的候選框進(jìn)行過濾；在提案特征提取階段后，利用ＩｏＵ 為０． ０１ 排除不符合標(biāo)準(zhǔn)的框。

２． ３ 實(shí)驗(yàn)結(jié)果與分析

不同檢測模型在ＫＩＴＴＩ 數(shù)據(jù)集上檢測結(jié)果如表１ 所示，可以看出，與其他先進(jìn)的工作相比，本文提出的方法在性能上取得了實(shí)質(zhì)性的改進(jìn)。與基線實(shí)驗(yàn)ＳＥＣＯＮＤ 相比，該方法在汽車類別的３ 個難度級別上分別提高了４． ５２％ 、８． ０６％ 、９． ７２％ 的ｍＡＰ性能。此外，與Ｖｏｘｅｌ ＲＣＮＮ［１６］、ＰＶ-ＲＣＮＮ［２３］和ＥＰ-Ｎｅｔ［２４］方法相比均有提升，特別是在遮擋最嚴(yán)重的困難級別上，分別提升了１． ２１％ 、１． ３８％ 、３． ９３％ 的ｍＡＰ 性能，這主要?dú)w功于采用注意力機(jī)制捕捉特征間的上下文信息，增強(qiáng)目標(biāo)區(qū)域特征的表達(dá)能力，提高模型對３Ｄ 空間中目標(biāo)的感知和理解能力。在嚴(yán)重遮擋的場景下，注意力機(jī)制對未遮擋區(qū)域的點(diǎn)云特征賦予更多的權(quán)重，同時保留與被遮擋區(qū)域的點(diǎn)云特征間的必要聯(lián)系。這樣的處理不僅提升了未遮擋區(qū)域的特征表達(dá)，還保持了對整體目標(biāo)的連續(xù)性和完整性，極大地增強(qiáng)了模型對復(fù)雜場景中被遮擋目標(biāo)的感知和理解。通過這種方法，模型能夠以更加靈活和動態(tài)的方式響應(yīng)不同遮擋情況，實(shí)現(xiàn)對目標(biāo)的精確識別和定位，有效的提高遮擋目標(biāo)的檢測精度。

２． ４ 消融實(shí)驗(yàn)

為了評估所提出的可變形的體素特征編碼模塊和基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊的有效性，本研究進(jìn)行消融實(shí)驗(yàn)。在驗(yàn)證集上報告了４０ 個召回位置處的ｍＡＰ 指標(biāo)，由表２ 可以看出，基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊的增益效果更顯著。與基線實(shí)驗(yàn)相比，模型在３ 個不同難度等級上的ｍＡＰ 性能分別提高了２． ５１％ 、６． ５８％ 和８． ８２％ 。與基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊相比，可變形的體素特征編碼模塊帶來的性能提升較為平緩，它分別提高了２． ３％ 、４． ０６％ 、５． ５８％ 的ｍＡＰ 性能，并且兩個模塊都在遮擋最嚴(yán)重的困難級別上提升最為顯著，進(jìn)一步證明所提方法在嚴(yán)重遮擋情況下的效果有整體提升。

表３ 展示了不同模型在不同距離下的表現(xiàn)，將距離分為３ 個級別（０ ～ ２０ ｍ、２０ ～ ４０ ｍ、４０ ｍ 以上）。從表３ 中可以看出。可變形的體素特征編碼模塊和基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊對于遠(yuǎn)距離模型檢測性能均有提升。同時加入兩個模塊后模型在遠(yuǎn)距離（４０ ｍ 以上）的檢測精度也要優(yōu)于Ｖｏｘｅｌ ＲＣＮＮ［１１］和ＰＶ-ＲＣＮＮ［６］這兩種二階段的方法，證明本文提出兩個模塊在遠(yuǎn)距離檢測的有效性。

２． ５ 定性實(shí)驗(yàn)

圖５ 為檢測效果圖，其中，圖５（ａ）～ 圖５（ｃ）為交通實(shí)際場景圖，圖５（ｄ）～ 圖５（ｆ）為本文提出方法檢測的結(jié)果圖，圖５（ｇ）～ 圖５（ｉ）為基線實(shí)驗(yàn)的檢測結(jié)果圖。

為了方便觀察檢測結(jié)果選擇點(diǎn)云場景下的鳥瞰圖視角。檢測結(jié)果表明，本文提出的方法增強(qiáng)了遠(yuǎn)距離和遮擋條件下的檢測性能，通過測試檢測速度為２５ 幀／ ｓ，基本滿足滿足檢測實(shí)時性的要求。

３ 結(jié)束語

本文針對自動駕駛３Ｄ 目標(biāo)檢測算法在遠(yuǎn)距離和遮擋情況下檢測準(zhǔn)確率不高的問題，在ＳＥＣＯＮＤ算法的基礎(chǔ)上提出一種改進(jìn)的Ｔｖ-ＳＥＣＯＮＤ 算法。Ｔｖ-ＳＥＣＯＮＤ 提出的基于Ｔｒａｎｓｆｏｒｍｅｒ 的提案框特征提取模塊相比對提案和點(diǎn)云的融合特征進(jìn)行空間上下文建模，加強(qiáng)模型的學(xué)習(xí)和理解３Ｄ 空間中目標(biāo)的能力，而可變形的體素特征編碼模塊增強(qiáng)特征表達(dá)能力，生成更適合遠(yuǎn)距離和遮擋場景的提案框?；诖?，改進(jìn)后的模型能更有效的處理遠(yuǎn)距離和遮擋情況下的目標(biāo)檢測任務(wù)，具有良好的工程應(yīng)用潛力。

參考文獻(xiàn)

［１］ ＭＡＯ Ｊ Ｇ，ＳＨＩ Ｓ Ｓ，ＷＡＮＧ Ｘ Ｇ，ｅｔ ａｌ． ３Ｄ ＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ：Ａ Ｒｅｖｉｅｗ ａｎｄ ＮｅｗＯｕｔｌｏｏｋｓ［ＥＢ／ ＯＬ］． （２０２２ －０６ －０５）［２０２４ － ０３ － ２３］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／２２０６． ０９４７４．

［２］ ＱＩＡＮ Ｒ，ＬＡＩ Ｘ，ＬＩ Ｘ Ｒ． ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ：Ａ Ｓｕｒｖｅｙ ［ＥＢ／ ＯＬ］． （２０２１ － ０６ － ２１ ）［２０２４－０３－２３］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／２１０６． １０８２３．

［３］ ＡＲＮＯＬＤ Ｅ，ＡＬＪＡＲＲＡＨ Ｏ Ｙ，ＤＩＡＮＡＴＩ Ｍ，ｅｔ ａｌ． Ａ Ｓｕｒｖｅｙ ｏｎ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ ＡｕｔｏｎｏｍｏｕｓＤｒｉｖｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ，２０１９，２０（１０）：３７８２－３７９５．

［４］ ＬＩ Ｐ Ｘ，ＺＨＡＯ Ｈ Ｃ，ＬＩＵ Ｐ Ｆ，ｅｔ ａｌ． ＲＴＭ３Ｄ：ＲｅａｌｔｉｍｅＭｏｎｏｃｕｌａｒ ３Ｄ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｏｂｊｅｃｔ Ｋｅｙｐｏｉｎｔｓ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ［Ｃ］∥Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｃｈａｍ：Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ，２０２０：６４４－６６０．

［５］ ＬＵＯ Ｓ Ｊ，ＤＡＩ Ｈ，ＳＨＡＯ Ｌ，ｅｔ ａｌ． Ｍ３ＤＳＳＤ：Ｍｏｎｏｃｕｌａｒ ３ＤＳｉｎｇｌｅ Ｓｔａｇｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ［Ｃ］∥２０２１ ＩＥＥＥ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｎａｓｈｖｉｌｌｅ：ＩＥＥＥ，２０２１：６１４５－６１５４．

［６］ ＷＡＮＧ Ｙ，ＧＵＩＺＩＬＩＮＩ Ｖ Ｃ，ＺＨＡＮＧ Ｔ，ｅｔ ａｌ． ＤＥＴＲ３Ｄ：３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｍｕｌｔｉｖｉｅｗ Ｉｍａｇｅｓ ｖｉａ ３Ｄｔｏ２ＤＱｕｅｒｉｅｓ［ＥＢ／ ＯＬ］． （２０２１ － １０ － １３）［２０２４ － ０３ － ２３］．ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／２１１０． ０６９２２．

［７］ ＱＩ Ｃ Ｒ，ＳＵ Ｈ，ＭＯ Ｋ，ｅｔ ａｌ． Ｐｏｉｎｔｎｅｔ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｎＰｏｉｎｔ Ｓｅｔｓ ｆｏｒ ３Ｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：６５２－６６０．

［８］ ＳＨＩ Ｓ Ｓ，ＷＡＮＧ Ｘ Ｇ，ＬＩ Ｈ Ｓ． Ｐｏｉｎｔｒｃｎｎ：３Ｄ Ｏｂｊｅｃｔ Ｐｒｏｐｏｓａｌ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄ［Ｃ］∥２０１９ ＩＥＥＥ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｌｏｎｇ Ｂｅａｃｈ：ＩＥＥＥ，２０１９：７７０－７７９．

［９］ ＳＨＩ Ｗ Ｊ，ＲＡＪＫＵＭＡＲ Ｒ． ＰｏｉｎｔＧＮＮ：Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ ａ Ｐｏｉｎｔ Ｃｌｏｕｄ［Ｃ］∥２０２０ＩＥＥＥ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｓｅａｔｔｌｅ：ＩＥＥＥ，２０２０：１７１１－１７１９．

［１０］ＹＡＮＧ Ｚ Ｔ，ＳＵＮ Ｙ Ｎ，ＬＩＵ Ｓ，ｅｔ ａｌ． ３ＤＳＳＤ：Ｐｏｉｎｔｂａｓｅｄ３Ｄ Ｓｉｎｇｌｅ Ｓｔａｇｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ［Ｃ］∥２０２０ ＩＥＥＥ／ ＣＶＦＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｓｅａｔｔｌｅ：ＩＥＥＥ，２０２０：１１０４０－１１０４８．

［１１］ＹＡＮＧ Ｚ Ｔ，ＳＵＮ Ｙ Ｎ，ＬＩＵ Ｓ，ｅｔ ａｌ． ＳＴＤ：ＳｐａｒｓｅｔｏＤｅｎｓｅ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｏｒ ｆｏｒ Ｐｏｉｎｔ Ｃｌｏｕｄ［Ｃ］∥２０１９ ＩＥＥＥ／ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｓｅｏｕｌ：ＩＥＥＥ，２０１９：１９５１－１９６０．

［１２］ ＺＨＯＵ Ｙ，ＴＵＺＥＬ Ｏ． Ｖｏｘｅｌｎｅｔ：ＥｎｄｔｏＥｎｄ Ｌｅａｒｎｉｎｇ ｆｏｒＰｏｉｎｔ Ｃｌｏｕｄ Ｂａｓｅｄ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥２０１８ ＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：４４９０－４４９９．

［１３］ＹＡＮ Ｙ，ＭＡＯ Ｙ Ｘ，ＬＩ Ｂ． ＳＥＣＯＮＤ：Ｓｐａｒｓｅｌｙ ＥｍｂｅｄｄｅｄＣｏｎｖｏｌｕｔｉｏｎａｌ Ｄｅｔｅｃｔｉｏｎ［Ｊ］． Ｓｅｎｓｏｒｓ，２０１８，１８（１０）：３３３７．

［１４］ＬＡＮＧ Ａ Ｈ，ＶＯＲＡ Ｓ，ＣＡＥＳＡＲ Ｈ，ｅｔ ａｌ． Ｐｏｉｎｔｐｉｌｌａｒｓ：ＦａｓｔＥｎｃｏｄｅｒｓ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ［Ｃ］∥２０１９ ＩＥＥＥ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｌｏｎｇ Ｂｅａｃｈ：ＩＥＥＥ，２０１９：１２６９７－１２７０５．

［１５］ ＹＩＮ Ｔ Ｗ，ＺＨＯＵ Ｘ Ｙ，ＫＲＡＨＥＮＢＵＨＬ Ｐ． Ｃｅｎｔｅｒｂａｓｅｄ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ［Ｃ］∥２０２１ ＩＥＥＥ／ ＣＶＦＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｎａｓｈｖｉｌｌｅ：ＩＥＥＥ，２０２１：１１７８４－１１７９３．

［１６］ＤＥＮＧ Ｊ Ｊ，ＳＨＩ Ｓ Ｓ，ＬＩ Ｐ Ｗ，ｅｔ ａｌ． Ｖｏｘｅｌ ＲＣＮＮ：ＴｏｗａｒｄｓＨｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｖｏｘｅｌｂａｓｅｄ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥２０２１ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｏｎｌｉｎｅ：ＡＡＡＩ ，２０２１：１２０１－１２０９．

［１７］ＳＨＩ Ｓ Ｓ，ＷＡＮＧ Ｚ，ＳＨＩ Ｊ Ｐ，ｅｔ ａｌ． Ｆｒｏｍ Ｐｏｉｎｔｓ ｔｏ Ｐａｒｔｓ：３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄ ｗｉｔｈ Ｐａｒｔａｗａｒｅａｎｄ Ｐａｒｔａｇｇｒｅｇａｔｉｏｎ Ｎｅｔｗｏｒｋ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎＰａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２０，４３（８）：２６４７－２６６４．

［１８］ＹＯＯ Ｊ Ｈ，ＫＩＭ Ｙ，ＫＩＭ Ｊ，ｅｔ ａｌ． ３ＤＣＶＦ：Ｇｅｎｅｒａｔｉｎｇ ＪｏｉｎｔＣａｍｅｒａ ａｎｄ Ｌｉｄａｒ Ｆｅａｔｕｒｅｓ Ｕｓｉｎｇ Ｃｒｏｓｓｖｉｅｗ Ｓｐａｔｉａｌ Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ ２０２０：１６ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ． Ｇｌａｓｇｏｗ：Ｓｐｒｉｎｇｅｒ，２０２０：７２０－７３６．

［１９］ＶＡＳＷＡＮＩ Ａ，ＳＨＡＺＥＥＲ Ｎ，ＰＡＲＭＡＲ Ｎ，ｅｔ ａｌ． Ａｔｔｅｎｔｉｏｎｉｓ Ａｌｌ Ｙｏｕ Ｎｅｅｄ［ＥＢ／ ＯＬ］． （２０１７－０７－１２）［２０２４－０３－２３］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ／ ａｂｓ／１７０６． ０３７６２．

［２０］ ＬＩＵ Ｗ，ＡＮＧＵＥＬＯＶ Ｄ，ＥＲＨＡＮ Ｄ，ｅｔ ａｌ． ＳＳＤ：ＳｉｎｇｌｅＳｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ ［Ｃ］∥ Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ２０１６：１４ｔｈ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ． Ａｍｓｔｅｒｄａｍ：Ｓｐｒｉｎｇｅｒ，２０１６：２１－３７．

［２１］ ＧＥＩＧＥＲ Ａ，ＬＥＮＺ Ｐ，ＵＲＴＡＳＵＮ Ｒ． Ａｒｅ Ｗｅ Ｒｅａｄｙ ｆｏｒＡｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ？Ｔｈｅ Ｋｉｔｔｉ Ｖｉｓｉｏｎ Ｂｅｎｃｈｍａｒｋ Ｓｕｉｔｅ［Ｃ］∥２０１２ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｗａｓｈｉｎｇｔｏｎ Ｄ． Ｃ． ：ＩＥＥＥ，２０１２：３３５４－３３６１．

［２２］ＯｐｅｎＰＣＤｅｔ Ｄｅｖｅｌｏｐｍｅｎｔ Ｔｅａｍ． ＯｐｅｎＰＣＤｅｔ：Ａｎ Ｏｐｅｎｓｏｕｒｃｅ Ｔｏｏｌｂｏｘ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ Ｐｏｉｎｔ Ｃｌｏｕｄｓ［ＥＢ／ ＯＬ］． （２０２１ －１１ －０３）［２０２４ －０３ －２３］． ｈｔｔｐｓ：∥ｇｉｔｈｕｂ． ｃｏｍ／ ｏｐｅｎｍｍｌａｂ／ ＯｐｅｎＰＣＤｅｔ．

［２３］ ＳＨＩ Ｓ Ｓ，ＧＵＯ Ｃ Ｘ，ＪＩＡＮＧ Ｌ，ｅｔ ａｌ． ＰＶＲＣＮＮ：Ｐｏｉｎｔｖｏｘｅｌ Ｆｅａｔｕｒｅ Ｓｅｔ Ａｂｓｔｒａｃｔｉｏｎ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥２０２０ ＩＥＥＥ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓｅａｔｔｌｅ：ＩＥＥＥ，２０２０：１０５２９－１０５３８．

［２４］ＨＵＡＮＧ Ｔ Ｔ，ＬＩＵ Ｚ，ＣＨＥＮ Ｘ Ｗ，ｅｔ ａｌ． ＥＰＮｅｔ：ＥｎｈａｎｃｉｎｇＰｏｉｎｔ Ｆｅａｔｕｒｅｓ ｗｉｔｈ Ｉｍａｇｅ Ｓｅｍａｎｔｉｃｓ ｆｏｒ ３Ｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ［Ｃ］∥Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ ２０２０：１６ｔｈ ＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅ． Ｇｌａｓｇｏｗ：Ｓｐｒｉｎｇｅｒ，２０２０：３５－５２．

作者簡介：

魏海躍 男，（１９９７—），碩士研究生。主要研究方向：圖像處理、深度學(xué)習(xí)、３Ｄ 目標(biāo)檢測。

楊奎河 男，（１９６６—），博士后，教授，碩士生導(dǎo)師。主要研究方向：數(shù)據(jù)庫應(yīng)用技術(shù)、人工智能和機(jī)器學(xué)習(xí)。

畢江峰 男，（１９９８—），碩士研究生。主要研究方向：圖像處理、深度學(xué)習(xí)、３Ｄ 目標(biāo)檢測。

基金項(xiàng)目：河北省自然科學(xué)基金（Ｆ２０１３２０８１０５）