面向無人平臺(tái)的視覺空間關(guān)系模型

皇甫潤南,田江鵬,游 雄,屠銥成

(1. 信息工程大學(xué),河南 鄭州 450052; 2. 61175部隊(duì),江蘇 南京 210046)

伴隨以大數(shù)據(jù)和深度學(xué)習(xí)為代表的新一輪人工智能技術(shù)浪潮,人工智能與武器裝備的結(jié)合日趨緊密,無人平臺(tái)已成為影響未來戰(zhàn)爭制勝機(jī)理的顛覆性技術(shù),也是形成顛覆性軍事能力的重大發(fā)展方向。無人平臺(tái)是一個(gè)多學(xué)科交叉的前沿領(lǐng)域,涉及的理論問題和關(guān)鍵技術(shù)非常廣泛,從測繪學(xué)的視角來看,最有價(jià)值且最富挑戰(zhàn)的問題之一是,如何提高無人平臺(tái)對復(fù)雜環(huán)境的感知、認(rèn)知和理解水平。時(shí)至今日,這一問題已取得一定突破,特別是傳感器技術(shù)和機(jī)器學(xué)習(xí)算法的進(jìn)步將無人平臺(tái)推向了新的高度。自動(dòng)駕駛汽車已經(jīng)開始進(jìn)入開放環(huán)境路測[1],搭載傳感器的無人機(jī)可在野外環(huán)境中自由穿行[2],無人艦艇也逐漸出現(xiàn)在多個(gè)行業(yè)和領(lǐng)域[3]。然而,無人平臺(tái)對環(huán)境的自主感知與理解、推理和決策的問題并未得到根本性解決,在新一輪人工智能的賦能下,逐漸成為不同領(lǐng)域競相追逐的前沿?zé)狳c(diǎn)。

測繪領(lǐng)域已經(jīng)對這一研究熱點(diǎn)產(chǎn)生積極響應(yīng)。文獻(xiàn)[4]指出,新時(shí)期測繪與地圖的服務(wù)領(lǐng)域應(yīng)實(shí)現(xiàn)從地球表面向多維空間拓展,實(shí)現(xiàn)為“人”服務(wù)的測繪產(chǎn)品拓展到為智能機(jī)器人服務(wù)的平臺(tái)或系統(tǒng)提供測繪保障。地學(xué)領(lǐng)域與無人系統(tǒng)結(jié)合最為緊密的是面向自動(dòng)駕駛高精地圖[5-7]的研究與應(yīng)用。高精地圖是普通導(dǎo)航地圖的顛覆性升級,因而以地圖作為無人平臺(tái)記錄和傳播地理信息的語言,將人類使用地圖的模式和機(jī)制移植到自動(dòng)駕駛車輛上,是高精地圖作為橋梁銜接地圖學(xué)與無人平臺(tái)的內(nèi)在發(fā)展邏輯。事實(shí)上,機(jī)器人、自動(dòng)控制等領(lǐng)域已經(jīng)采用各式各樣的地圖對客觀環(huán)境進(jìn)行抽象和描述,如特征地圖、柵格地圖、語義地圖等。從地圖學(xué)視角而言,隨著交叉研究的不斷深入和統(tǒng)一,一種適用于無人系統(tǒng)認(rèn)知理解環(huán)境信息、建立環(huán)境認(rèn)知模型、進(jìn)行空間推理決策的機(jī)器地圖[8]將出現(xiàn)在地圖家族序列之中。

當(dāng)認(rèn)知主體由人類變?yōu)闊o人平臺(tái),地圖的結(jié)構(gòu)和應(yīng)用模式也發(fā)生了相應(yīng)的變化,其中較為典型的是關(guān)于空間關(guān)系的記錄和描述。人用地圖并非顯式地記錄要素之間的各種關(guān)系,而是通過地圖閱讀在人類的視覺系統(tǒng)和大腦中重建要素之間的關(guān)系[9]。若使得無人平臺(tái)具備類似于人腦的理解和推理能力,就需要在地圖中顯式地描述要素間的空間關(guān)系,具體表現(xiàn)為3個(gè)層次的問題。一是空間關(guān)系檢測,即無人平臺(tái)通過各類傳感器,實(shí)時(shí)感知并解譯空間關(guān)系。其中,引用計(jì)算機(jī)視覺領(lǐng)域?qū)@一問題的定義[10],本文將通過視覺傳感器獲得的空間關(guān)系稱為視覺空間關(guān)系。二是空間關(guān)系記錄,即需要設(shè)計(jì)一種能夠描述地理要素及其相互關(guān)系的數(shù)據(jù)結(jié)構(gòu),如場景圖[11]使用三元組結(jié)構(gòu),以清晰地表達(dá)場景中的對象、屬性及對象間的關(guān)系。三是空間關(guān)系模型,即需要為無人平臺(tái)建立空間關(guān)系的分類模式和描述規(guī)范,建立空間關(guān)系模型,實(shí)現(xiàn)無人平臺(tái)地圖在空間關(guān)系記錄和描述上的統(tǒng)一。上述3個(gè)問題中,空間關(guān)系檢測和記錄在機(jī)器視覺領(lǐng)域取得了一定的突破[12-13],已經(jīng)能夠從算法層面實(shí)現(xiàn)視覺場景空間關(guān)系的實(shí)時(shí)預(yù)測。然而,不同檢測算法和支撐數(shù)據(jù)集中空間關(guān)系實(shí)例是隨意和分散的,無人平臺(tái)缺乏統(tǒng)一的視覺空間關(guān)系模型。

本文針對無人平臺(tái)視覺空間關(guān)系模型缺失的問題,將地圖學(xué)和機(jī)器視覺中關(guān)于空間關(guān)系的分類、模型和算法進(jìn)行交叉融合,提出一種面向無人平臺(tái)的視覺空間關(guān)系模型,并通過試驗(yàn)對模型的可行性進(jìn)行檢驗(yàn)。

1 視覺空間關(guān)系模型

1.1 相關(guān)研究

地圖上表達(dá)的空間關(guān)系側(cè)重對空間實(shí)體對象之間所具有的空間特性的形式化,且大多用于描述空間對象之間的幾何關(guān)系[14]。文獻(xiàn)[15]將空間關(guān)系分為5類:拓?fù)潢P(guān)系(包含、鄰接、相交、相離等)、方位關(guān)系(東、南、西、北、上、下、左、右等)、順序關(guān)系(在……內(nèi)部、在……旁邊、在……外部等)、距離關(guān)系(基于度量表示的地理實(shí)體之間的距離遠(yuǎn)近程度)及模糊關(guān)系(接近、疏遠(yuǎn)、貼近等)。文獻(xiàn)[16]認(rèn)為拓?fù)潢P(guān)系、方位關(guān)系和度量關(guān)系是傳統(tǒng)空間關(guān)系的3種基本關(guān)系類型。在拓?fù)淇臻g中,拓?fù)潢P(guān)系所表示的關(guān)系與實(shí)體的位置和距離無關(guān),因而不會(huì)因空間實(shí)體的放大、縮小和位移而發(fā)生變化[17]。地圖對空間關(guān)系的分類模式系統(tǒng)性更強(qiáng),實(shí)例的定義空間分布特征更為明顯,且在拓?fù)?、方位和度?個(gè)基本分類上已經(jīng)形成共識。

在機(jī)器人領(lǐng)域,目標(biāo)檢測和語義分割技術(shù)日趨成熟,推動(dòng)了視覺空間關(guān)系檢測技術(shù)的發(fā)展。當(dāng)前,視覺空間關(guān)系檢測最新進(jìn)展依托于深度學(xué)習(xí)技術(shù),是一種描述主客體視覺空間關(guān)系的數(shù)據(jù)驅(qū)動(dòng)檢測流派。文獻(xiàn)[18]提出了首個(gè)面向場景圖、包含超過30個(gè)視覺空間關(guān)系類型的數(shù)據(jù)集Scene Graph。隨后,文獻(xiàn)[19]又提出了包含70個(gè)關(guān)系類別的VRD(visual relationship dataset)數(shù)據(jù)集,其中,描述關(guān)系的謂詞根據(jù)語法被分為活動(dòng)、空間、介詞、比較和謂詞5個(gè)類別。以此為基礎(chǔ),進(jìn)一步將靜態(tài)空間關(guān)系拓展為動(dòng)態(tài)空間關(guān)系,如在分析實(shí)體間空間關(guān)系時(shí)考慮時(shí)間因素影響的VG(visual genome)[18]數(shù)據(jù)集;聚焦動(dòng)態(tài)場景中時(shí)空特征表達(dá)的AG(action genome)[19]數(shù)據(jù)集,通過注意關(guān)系、空間關(guān)系和接觸關(guān)系3類關(guān)系,描述了視頻關(guān)鍵幀中人和其他物體的關(guān)系。

上述兩方面的現(xiàn)狀進(jìn)一步表明:對機(jī)器人領(lǐng)域和經(jīng)典地圖學(xué)的空間關(guān)系進(jìn)行研究,并沒有得到積極的交叉和相互啟發(fā)。在機(jī)器人領(lǐng)域,目標(biāo)識別和語義分割的日趨成熟,使得視覺空間關(guān)系檢測成為研究熱點(diǎn);而在地圖學(xué)領(lǐng)域,空間關(guān)系的研究仍主要面向人類主體,缺乏面向無人主體的拓展。鑒于此,參照地圖學(xué)在空間關(guān)系研究方面的經(jīng)驗(yàn),將不同機(jī)器視覺算法和數(shù)據(jù)集中分散的關(guān)系實(shí)例進(jìn)行統(tǒng)一整合,建立一種基于空間認(rèn)知機(jī)理,由機(jī)器視覺算法支撐的視覺空間關(guān)系模型,將會(huì)是提高無人平臺(tái)空間關(guān)系認(rèn)知和表達(dá)能力的可行方案之一。

1.2 分類模式

關(guān)于空間關(guān)系的表達(dá),在人工智能與地學(xué)領(lǐng)域存在一定差異[20],人工智能領(lǐng)域更注重空間關(guān)系的形式化表達(dá)與推理,而地理空間關(guān)系則聚焦于空間定位,以及地物的位置和屬性特征。二元定性空間關(guān)系的形式化表達(dá)及其組合是地學(xué)研究的核心內(nèi)容[21],主要體現(xiàn)為拓?fù)潢P(guān)系、方位關(guān)系和度量關(guān)系。作為地理學(xué)語言的地圖,則基于數(shù)學(xué)、符號和注記等規(guī)范記錄空間要素,空間關(guān)系蘊(yùn)含在其中。因此,關(guān)于位置的相互關(guān)系的表示,應(yīng)是無人平臺(tái)空間關(guān)系描述的關(guān)鍵問題。

綜上所述,本文提出了統(tǒng)一的視覺空間關(guān)系分類模式,見表1?？傮w上將視覺空間關(guān)系分為位置關(guān)系與語義關(guān)系兩大類。位置關(guān)系進(jìn)一步分為拓?fù)潢P(guān)系、方位關(guān)系和距離關(guān)系,繼承了地學(xué)空間關(guān)系的一般表達(dá)規(guī)律。語義關(guān)系包括主體帶有目的性的動(dòng)作關(guān)系及主客體自身的屬性關(guān)系。動(dòng)作關(guān)系受認(rèn)知與視覺領(lǐng)域的啟發(fā),主要應(yīng)用于人或其他具有執(zhí)行動(dòng)作能力主體時(shí)的場景,根據(jù)主客體之間是否接觸及主體對客體的注意力情況分為注意關(guān)系與接觸關(guān)系。屬性關(guān)系主要對空間對象的類別、特征、屬性等其他語義關(guān)系進(jìn)行描述,可分為類屬關(guān)系、比較關(guān)系和相似關(guān)系。類屬關(guān)系主要用于描述具有相同類別或?qū)傩缘闹骺腕w,反映對象之間的特征、層次與實(shí)例情況;比較關(guān)系側(cè)重對主客體的屬性特征進(jìn)行對比分析;相似關(guān)系描述主客體之間某一屬性的相關(guān)性。

表1 統(tǒng)一的視覺空間關(guān)系分類模式

1.3 表達(dá)模型

基于上述無人平臺(tái)環(huán)境描述和空間關(guān)系表達(dá)的特殊性,結(jié)合統(tǒng)一的視覺空間關(guān)系分類模式,可以進(jìn)一步建立視覺空間關(guān)系表達(dá)模型。無人平臺(tái)在場景S中所建立的視覺空間關(guān)系圖表達(dá)模型,可表示為五元組,即

ReS=(O,R,E,T,F)

(1)

2 數(shù)據(jù)集設(shè)計(jì)

構(gòu)建無人平臺(tái)視覺空間關(guān)系模型,旨在提高其空間關(guān)系的預(yù)測和表達(dá)能力,而這種能力的評測最終需落在機(jī)器算法層面。因此,本文在現(xiàn)有視覺空間關(guān)系檢測算法的基礎(chǔ)上,通過構(gòu)建融合視覺空間關(guān)系模型的數(shù)據(jù)集,訓(xùn)練視覺空間關(guān)系檢測模型,比較不同模型的視覺空間關(guān)系檢測能力,從而對關(guān)系模型的可行性進(jìn)行驗(yàn)證。

2.1 數(shù)據(jù)集構(gòu)建

數(shù)據(jù)集構(gòu)建的步驟主要包括:①數(shù)據(jù)采集與處理,圍繞視覺空間關(guān)系模型包含的關(guān)系類型和實(shí)例,以室內(nèi)和室外園區(qū)環(huán)境為原型,以無人平臺(tái)自主導(dǎo)航尋路為任務(wù)背景,通過無人車及其搭載的視覺傳感器采集并獲得視頻數(shù)據(jù);同時(shí),采用FFmpeg插件從視頻中提取關(guān)鍵幀,并使用Faster R-CNN[22]工具從關(guān)鍵幀中提取視覺目標(biāo),以便后續(xù)試驗(yàn)處理。②視覺空間關(guān)系標(biāo)注,以視覺空間關(guān)系模型規(guī)定的關(guān)系類型和實(shí)例為依據(jù),采用人工標(biāo)注的方式,標(biāo)注關(guān)鍵幀圖像上目標(biāo)之間的空間關(guān)系,形成視覺空間關(guān)系數(shù)據(jù)集。數(shù)據(jù)集構(gòu)建流程如圖1所示。

圖1 數(shù)據(jù)集構(gòu)建流程

2.2 數(shù)據(jù)統(tǒng)計(jì)情況

本文構(gòu)建了3種測評數(shù)據(jù)集,以滿足試驗(yàn)方案中設(shè)計(jì)的3個(gè)模型評測需求。①自建數(shù)據(jù)集(self build dataset,SBD):嚴(yán)格按照視覺空間關(guān)系模型進(jìn)行數(shù)據(jù)采集和關(guān)系標(biāo)注構(gòu)建的數(shù)據(jù)集,以較為客觀地反映一個(gè)完整任務(wù)的視覺數(shù)據(jù)閉環(huán),該數(shù)據(jù)集主要用于空間關(guān)系分布特征分析試驗(yàn)和模型有效性分析試驗(yàn)。②AG抽樣集(Sampling AG,SamAG)[19]:是研究視覺關(guān)系檢測與動(dòng)態(tài)場景圖生成的常用數(shù)據(jù)集,可作為本文視覺空間關(guān)系模型和數(shù)據(jù)集的比照對象?？紤]數(shù)據(jù)規(guī)模、關(guān)系分布等一致性問題,本文采用隨機(jī)抽樣方法構(gòu)建SamAG數(shù)據(jù)集,以支撐與SBD數(shù)據(jù)集的橫向比較。③認(rèn)知數(shù)據(jù)集(Cognition Vision Relation Dataset,CogVRD):以自采數(shù)據(jù)集和AG數(shù)據(jù)集為基礎(chǔ),以視覺空間關(guān)系模型為依據(jù)進(jìn)行圖像篩選(按照場景和任務(wù)的相似性選取了部分圖像)、關(guān)系補(bǔ)齊等操作獲得的數(shù)據(jù)集,主要用于空間關(guān)系預(yù)測能力分析試驗(yàn)。4種試驗(yàn)數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息見表2。

表2 試驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)

2.3 空間關(guān)系分布特征分析

以SBD數(shù)據(jù)集和SamAG數(shù)據(jù)集為基礎(chǔ),對空間關(guān)系構(gòu)成、分布特征和獨(dú)立性進(jìn)行分析,驗(yàn)證基于視覺空間關(guān)系模型構(gòu)建的數(shù)據(jù)集是否反映模型的結(jié)構(gòu)。

圖2為兩個(gè)數(shù)據(jù)集包含的空間關(guān)系分布情況?？梢钥闯?①以視覺空間關(guān)系模型中的關(guān)系類型為比較依據(jù),SBD比SamAG具有更好的空間關(guān)系覆蓋度,基本保證了每種空間關(guān)系都具有一定的出現(xiàn)頻次,說明了數(shù)據(jù)集構(gòu)建遵循空間關(guān)系模型的結(jié)構(gòu);②兩個(gè)數(shù)據(jù)集中少部分空間關(guān)系頻次很高,而大部分空間關(guān)系出現(xiàn)的次數(shù)很少,空間關(guān)系分布均呈現(xiàn)典型的長尾分布特點(diǎn),一定程度上能夠說明基于空間關(guān)系模型構(gòu)建的數(shù)據(jù)集符合統(tǒng)計(jì)學(xué)特征;③SamAG中“in＿front＿of”“holding”“not＿contacting”等關(guān)系出現(xiàn)頻次較多,SBD中“meet”“not＿contacting”“in＿front＿of”等關(guān)系更為集中,兩者有所重疊但不完全一致。

圖2 數(shù)據(jù)集空間關(guān)系分布情況

圖3更為細(xì)致地比較了兩個(gè)數(shù)據(jù)集中空間關(guān)系分布的差異性。可以看出,SamAG的關(guān)系分布與SBD關(guān)系曲線具有一定的差異,兩個(gè)數(shù)據(jù)集中頻次靠前的空間關(guān)系也不盡相同,因而兩種數(shù)據(jù)集在一定程度上是相互獨(dú)立的。為進(jìn)一步驗(yàn)證這種獨(dú)立性,將兩個(gè)數(shù)據(jù)集的空間關(guān)系頻次歸一化到[0,1]區(qū)間內(nèi),使用歐式距離函數(shù)對兩個(gè)數(shù)據(jù)集的空間關(guān)系分布擬合度進(jìn)行計(jì)算,得出相似度為11.66%。

結(jié)果表明,SBD數(shù)據(jù)集和SamAG數(shù)據(jù)集在關(guān)系分布上具有獨(dú)立性,且SBD數(shù)據(jù)集具有更豐富的空間關(guān)系類型。一定程度上證明了SBD數(shù)據(jù)集能夠反映本文所提出的視覺空間關(guān)系模型,且數(shù)據(jù)集的獨(dú)立性特點(diǎn)為后續(xù)的比較試驗(yàn)奠定了基礎(chǔ)。

3 基于STTran的視覺關(guān)系檢測

3.1 時(shí)空Transformer

本文采用時(shí)空Transformer方法[13]完成視覺空間關(guān)系檢測模型的訓(xùn)練。時(shí)空Transformer是Transformer模型在視覺語言領(lǐng)域的拓展,由一個(gè)空間編碼器和一個(gè)時(shí)間解碼器構(gòu)成,能夠有效利用時(shí)空上下文信息進(jìn)行空間關(guān)系動(dòng)態(tài)預(yù)測,適用于本文無人平臺(tái)時(shí)空連續(xù)視覺數(shù)據(jù)的處理需求。

3.2 評測任務(wù)和策略

引入視覺空間關(guān)系檢測常用的3個(gè)評測任務(wù)[23],即謂詞分類(predicate classification,PredCls)、場景圖分類(scene graph classification,SGCls)、場景圖預(yù)測(scene graph detection,SGDet)。其中,謂詞分類任務(wù)是根據(jù)對象標(biāo)簽和位置預(yù)測空間關(guān)系;場景圖分類是根據(jù)對象位置預(yù)測對象標(biāo)簽及其相互之間的空間關(guān)系;場景圖預(yù)測則是從關(guān)鍵幀中預(yù)測出標(biāo)簽、位置和空間關(guān)系。

評測策略方面,引入文獻(xiàn)[13]的無約束(no constraint)、有約束(with constraint)和半約束(semi constraint)3種策略。其中,對于空間關(guān)系三元組,無約束策略允許每個(gè)主客體對有多個(gè)謂詞猜測,可以反映多標(biāo)簽預(yù)測的能力,但錯(cuò)誤率較高;有約束策略允許每個(gè)主客體對中最多一個(gè)謂詞,要求更為嚴(yán)格;半約束方法可以允許主客體有多個(gè)謂詞,當(dāng)且只有對應(yīng)關(guān)系的置信度高于設(shè)定閾值時(shí),才認(rèn)定該謂詞有效。

對于空間關(guān)系預(yù)測結(jié)果的評價(jià),本文使用召回率(Recall@K)作為評估指標(biāo)。召回率[10]是指對預(yù)測得到的空間關(guān)系三元組進(jìn)行排序,在排序?yàn)榍癒(本文取K=10,20,50,100)個(gè)預(yù)測中,計(jì)算預(yù)測正確關(guān)系所占的比例。

3.3 關(guān)系預(yù)測能力分析

對本文構(gòu)建的CogVRD數(shù)據(jù)集進(jìn)行空間關(guān)系預(yù)測試驗(yàn),與AG數(shù)據(jù)集的預(yù)測結(jié)果進(jìn)行對比分析,從而對比本文模型的空間關(guān)系預(yù)測能力。

表3為AG數(shù)據(jù)集與CogVRD數(shù)據(jù)集在3種評測任務(wù)和成圖策略下的預(yù)測結(jié)果?？梢钥闯?整體上,CogVRD基于視覺空間關(guān)系模型和AG數(shù)據(jù)集進(jìn)行構(gòu)建,類似于AG數(shù)據(jù)集,任務(wù)難度越高,建模策略越復(fù)雜,召回率越低。數(shù)據(jù)細(xì)節(jié)上,CogVRD和AG數(shù)據(jù)集的表現(xiàn)總體趨于同等,在不同任務(wù)下各有優(yōu)劣:對于謂詞分類(PredCls)任務(wù),AG數(shù)據(jù)集訓(xùn)練的模型整體優(yōu)于CogVRD數(shù)據(jù)集;對于場景圖分類(SGCls)任務(wù),4種召回率下,CogVRD數(shù)據(jù)集均有所提高,CogVRD數(shù)據(jù)集訓(xùn)練模型的場景圖分類能力在局部略優(yōu)于AG數(shù)據(jù)集;難度較高的場景圖預(yù)測任務(wù)中,CogVRD數(shù)據(jù)集和AG數(shù)據(jù)集在不同策略下表現(xiàn)基本等同。

表3 CogVRD數(shù)據(jù)集和AG數(shù)據(jù)集的空間關(guān)系預(yù)測對比結(jié)果 (%)

試驗(yàn)結(jié)果表明,基于視覺空間關(guān)系構(gòu)建的CogVRD數(shù)據(jù)集,在保證與AG數(shù)據(jù)集相媲美的空間關(guān)系預(yù)測性能基礎(chǔ)上,擁有更加適合無人平臺(tái)環(huán)境地圖建模的空間關(guān)系分布情況,表明本文構(gòu)建的視覺空間關(guān)系模型在一定程度上優(yōu)化了視覺空間關(guān)系的建模能力。

4 結(jié) 論

無人平臺(tái)對環(huán)境理解能力受限是影響其自主能力整體提升的瓶頸之一,而為無人平臺(tái)構(gòu)建更加科學(xué)和智能的地圖模型,是未來提高其自主能力的重要方向之一。本文針對無人平臺(tái)視覺空間關(guān)系模型缺失問題,將地圖學(xué)和機(jī)器視覺中關(guān)于空間關(guān)系的分類、模型和算法進(jìn)行交叉融合,提出了基于空間認(rèn)知的無人平臺(tái)視覺空間關(guān)系模型。將地圖學(xué)中空間關(guān)系的分類和描述方法,與機(jī)器視覺領(lǐng)域的視覺空間關(guān)系檢測和建模算法相結(jié)合,采用交叉融合式研究范式建立視覺空間關(guān)系模型,能夠改善當(dāng)前機(jī)器視覺領(lǐng)域空間關(guān)系不統(tǒng)一的問題,對提高無人平臺(tái)視覺關(guān)系檢測、實(shí)現(xiàn)空間關(guān)系記錄和地圖模型構(gòu)建等具有一定的研究意義。

本文的局限性為:①視覺空間關(guān)系模型的進(jìn)一步完善,可根據(jù)應(yīng)用場景的差異性建立場景相關(guān)的視覺空間關(guān)系模型,提高關(guān)系預(yù)測的準(zhǔn)確性,推動(dòng)模型的應(yīng)用落地;②加強(qiáng)空間關(guān)系標(biāo)注準(zhǔn)確度和數(shù)據(jù)集建設(shè),以關(guān)系模型作為約束條件進(jìn)行數(shù)據(jù)標(biāo)注,也是非常耗時(shí)和耗力的工程,數(shù)據(jù)集的擴(kuò)充、優(yōu)化、按應(yīng)用場景分化等,都需要投入更多的努力;③深化視覺空間關(guān)系檢測與地圖建模的銜接,打通觀測、制圖和推理決策的一體化建模流程。