數(shù)據(jù)知識驅(qū)動的城市作戰(zhàn)元宇宙建?？蚣?/h1>
2023-04-24 11:26:38鄭文博劉文禮費愛國王飛躍
指揮與控制學(xué)報 2023年1期
鄭文博 李 強 劉文禮 費愛國 王飛躍
1.武漢理工大學(xué)計算機與人工智能學(xué)院 湖北 武漢 430070 2.陸軍研究院科技創(chuàng)新中心 北京 100012 3.國防科學(xué)技術(shù)大學(xué)軍事計算實驗與平行系統(tǒng)技術(shù)研究中心 湖南 長沙 410073 4.解放軍93216部隊 北京 100085 5.中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室 北京 100190
2021年被稱為元宇宙元年,隨著當(dāng)年10月Facebook 公司更名為“Meta”,“元宇宙”（metaverse）這一概念被點燃和引爆[1],迅速引起世界各國的廣泛關(guān)注[2].元宇宙概念最早來源于1992年美國科幻小說《雪崩》. 但在20 世紀90年代,錢學(xué)森先生就在書信中將虛擬現(xiàn)實（virtual reality）技術(shù),稱之為符合中國傳統(tǒng)文化語境的“靈境”[3],“靈境”能夠擴展人腦的感知,從而使人進入到前所未有的新空間,這一重要思考被認為是我國對元宇宙的思想啟蒙雛形. 從認知概念上講,元宇宙是整合虛擬現(xiàn)實技術(shù)、人工智能技術(shù)、數(shù)字孿生技術(shù)等多種信息高新技術(shù)而誕生的新型智能運用和社會形態(tài)[4].
元宇宙時代的到來將帶來一場“技術(shù)革命”,尤其是在實現(xiàn)身臨其境的態(tài)勢感知方面. 之前的研究表明,繼機械化、電氣化、信息化、網(wǎng)絡(luò)化之后,面向平行化技術(shù)的指揮與控制體系、理論、方法和技術(shù),即5.0 的平行指揮與控制,是未來技術(shù)的發(fā)展方向. 其核心思路是虛實交互的ACP 方法[5],通過物理實際環(huán)境與虛擬信息系統(tǒng)之間的虛實交互進行計算與數(shù)字化模擬來完成給定軍事行動及目標,并能反饋實時效果,提升了作戰(zhàn)能力與作戰(zhàn)效果,這也暗合了孫子“夫未戰(zhàn)而廟算勝者,得算多也”的道理. 沿著先前研究進行深入研究,本文聚焦“元宇宙”中的軍事斗爭或?qū)a(chǎn)生的新作戰(zhàn)形態(tài)與新樣式.
隨著現(xiàn)代化戰(zhàn)爭的發(fā)展,大規(guī)模陸?？兆鲬?zhàn)可能成為不可及的未來[6]. 目前,世界局勢以多點爆發(fā)的城市暴亂為主,也就是圍繞城市爭奪和城市巷戰(zhàn)展開,例如俄烏之戰(zhàn)下的基輔. 城市化的不斷發(fā)展也使得城市作戰(zhàn)逐步成為現(xiàn)代戰(zhàn)爭的一種重要作戰(zhàn)形式[7]. 本文利用人工智能技術(shù),著眼于城市作戰(zhàn)（urban warfare）這一作戰(zhàn)形式進行探索,提出了一套新型的數(shù)據(jù)知識驅(qū)動的研究框架,其目的在于彌補現(xiàn)有建模表現(xiàn)力不足、擴展性不強的問題. 并基于此框架,設(shè)計了針對問題的案例分析與實驗設(shè)計,案例和實驗說明了本框架的合理性與有效性.
1 相關(guān)工作與問題提出
元宇宙建模實際上是作戰(zhàn)環(huán)境建模問題,本質(zhì)上是營造一個面向各類受訓(xùn)人員的、貼近實戰(zhàn)的訓(xùn)練環(huán)境,能夠?qū)ψ鲬?zhàn)計劃進行科學(xué)的模擬檢驗,能夠?qū)ψ鲬?zhàn)行動進行輔助決策,能夠?qū)ψ鲬?zhàn)環(huán)境建設(shè)、環(huán)境態(tài)勢認知等進行預(yù)測與估計. 美軍充分認識到現(xiàn)代化戰(zhàn)爭對作戰(zhàn)環(huán)境建模保障的迫切需求[8].自2004年以來,美軍在理論上進入了以“數(shù)字為中心”的地理空間情報（geospatial intelligence,GEOINT）時代,摒棄了傳統(tǒng)的紙質(zhì)地圖. 值得注意的是,美軍已經(jīng)使用“元宇宙”的相關(guān)技術(shù)進行部隊的合成訓(xùn)練；在2019年,美軍啟動高逼真度、高分辨率虛擬世界建設(shè)項目,為部隊遂行全球作戰(zhàn)任務(wù)打造更高質(zhì)量的訓(xùn)練環(huán)境合成訓(xùn)練環(huán)境（synthesis environment training,SET）[9],把作戰(zhàn)環(huán)境建模為一個統(tǒng)一的“元宇宙”空間,使士兵和指揮作戰(zhàn)人員實現(xiàn)多層級/多領(lǐng)域戰(zhàn)術(shù)和指揮訓(xùn)練,通過逼近真實的作戰(zhàn)環(huán)境中反復(fù)訓(xùn)練提升其作戰(zhàn)能力. 可見,研究面向“元宇宙”的作戰(zhàn)環(huán)境建模是現(xiàn)代化戰(zhàn)爭的必要手段之一. 但是當(dāng)前元宇宙建模,還存在著以下兩個缺陷：
1）元宇宙建模真實感不強
當(dāng)前的元宇宙建模環(huán)境雖然擁有海量數(shù)據(jù)的場景建模,嵌入物理模型,模擬實時的光照和紋理,支持高精度碰撞檢測,但真實感比較低,與真實物理環(huán)境差異較大,無法充分表現(xiàn)環(huán)境信息.
2）元宇宙建模擴展性不強
真實的物理環(huán)境是由海、陸、空及復(fù)雜的電磁環(huán)境構(gòu)成的,而且千絲萬縷的聯(lián)系存在于各環(huán)境之間. 這種復(fù)雜情景和聯(lián)系毫無疑問地影響著作戰(zhàn)人員及裝備的作戰(zhàn)性能. 由于環(huán)境本體建模是按照要素劃分的,難以呈現(xiàn)各要素內(nèi)部之間的聯(lián)系,也就更加難以建立科學(xué)的、可信的環(huán)境模型；任何區(qū)域的作戰(zhàn)環(huán)境狀態(tài)具有鮮明的時變性、動態(tài)性,這就要求作戰(zhàn)環(huán)境模型不僅要了解作戰(zhàn)環(huán)境的基本特征,還要能夠使作戰(zhàn)人員協(xié)同編輯,并且可以科學(xué)預(yù)測其動態(tài)變化趨勢,掌握其發(fā)展變化規(guī)律. 換句話說,元宇宙建模需要可拓展和可編輯.
2 新型元宇宙框架的構(gòu)建
如圖1 所示,先前的研究[5]提出了平行軍事與ACP 方法,其主要觀點是構(gòu)建虛擬系統(tǒng),與現(xiàn)實系統(tǒng)一同虛實交互,進行推演計算與涌現(xiàn)演化. 關(guān)鍵是交互的構(gòu)造方式與演化方法. 另一方面,知識在交互應(yīng)用中起到了不可忽視的作用[10].“知識就是力量”,知識自動化的運用是傳統(tǒng)空間中信息自動化的自然延伸與提高[11],也是轉(zhuǎn)向元宇宙空間的智能化的基礎(chǔ),進而實現(xiàn)能夠動態(tài)變化、實時反饋的智能化元宇宙建模. 據(jù)此,提出引入結(jié)構(gòu)化知識,并建立為知識空間的表征,然后與元宇宙空間結(jié)合起來. 深度學(xué)習(xí)、知識圖譜、大數(shù)據(jù)等新興技術(shù)是其技術(shù)的核心支持. 從本質(zhì)上講,這種框架的基本思想是將結(jié)構(gòu)化的人類知識構(gòu)建為復(fù)雜系統(tǒng)的虛擬代理,并在此基礎(chǔ)上進行定量的計算實驗,以更有效地解決復(fù)雜問題.
圖1 平行智能與元宇宙Fig.1 Parallell intelligence and metaverse
由此,利用本體技術(shù)針對元宇宙城市作戰(zhàn)環(huán)境的數(shù)字資源中不同層次的概念、實體、關(guān)系等進行知識抽取,從而構(gòu)建數(shù)字資源語義的作戰(zhàn)環(huán)境模型.資源標引和實體或者事理關(guān)聯(lián)構(gòu)建是元宇宙城市作戰(zhàn)模型的關(guān)鍵,也是利用數(shù)字資源實現(xiàn)元宇宙敘事的基礎(chǔ). 元宇宙城市作戰(zhàn)模型的構(gòu)建要進行知識獲取,針對不同結(jié)構(gòu)的、不同來源的數(shù)據(jù)進行知識獲取要有不同方法,但是無論哪種都需要從數(shù)據(jù)源中獲取描述實體關(guān)系信息,構(gòu)建三元組形式,需要對知識信息執(zhí)行特定操作以提取出關(guān)鍵的數(shù)據(jù)信息；具體來說,要從數(shù)據(jù)源與第三方數(shù)據(jù)庫中提取出知識實體、關(guān)系和屬性,在此過程中要結(jié)合自動化和半自動化技術(shù)把這些提取內(nèi)容以邏輯順序的形式存儲. 其次,利用人工智能技術(shù)實現(xiàn)實體對齊、本體構(gòu)建、知識表示與知識推理等一系列操作.
如圖2 所示,作戰(zhàn)環(huán)境模型的總體部署框架包括基礎(chǔ)數(shù)據(jù)層、知識建模層、知識計算層和智能應(yīng)用層,如下所示：
圖2 數(shù)據(jù)知識驅(qū)動的城市作戰(zhàn)元宇宙建?？蚣蹻ig.2 Data-knowledge-driven metaverse modeling framework for urban warfare
1）基礎(chǔ)數(shù)據(jù)層：是元宇宙城市作戰(zhàn)模型的數(shù)據(jù)基礎(chǔ),主要包括事件、地理信息、環(huán)境實體、氣象、海洋、電磁、網(wǎng)絡(luò)等基礎(chǔ)數(shù)據(jù),知識存儲模態(tài)包括文本、圖像、視頻、音頻、地圖等.
2）知識建模層：是元宇宙城市作戰(zhàn)模型的核心計算引擎,主要實現(xiàn)由多源異構(gòu)信息構(gòu)造具有表現(xiàn)力的仿真模型和具有擴展性的多模態(tài)知識圖譜（詳細見第3 章案例設(shè)計）,能夠?qū)崿F(xiàn)自動的知識抽取、知識表示、知識關(guān)聯(lián)和知識推理等.
3）知識計算層：主要包括元宇宙作戰(zhàn)建模的環(huán)境綜合要素表達、可視分析和知識計算3 個模塊,能夠?qū)崿F(xiàn)環(huán)境影響模擬、知識推理、知識搜索、圖計算等分析計算功能.
4）智能應(yīng)用層：主要是面向多種典型城市作戰(zhàn)場景,實現(xiàn)城市作戰(zhàn)環(huán)境信息的推理與關(guān)聯(lián)分析等智能服務(wù)應(yīng)用.
3 案例設(shè)計
本文采用深度學(xué)習(xí)為主要研究手段,運用知識圖譜、生成式對抗網(wǎng)絡(luò)、“元宇宙”等相關(guān)理論和方法,結(jié)合提出的數(shù)據(jù)知識驅(qū)動的新型框架,針對以實現(xiàn)傳統(tǒng)作戰(zhàn)環(huán)境建模的表現(xiàn)力差、擴展性弱的現(xiàn)狀進行一種改進,即案例分析：1）針對現(xiàn)有作戰(zhàn)環(huán)境建模表現(xiàn)力不足的問題,利用生成式對抗網(wǎng)絡(luò)來生成與擴充具有真實感的數(shù)據(jù),以圖像數(shù)據(jù)為例,結(jié)合人類的視覺信息的規(guī)律設(shè)計結(jié)構(gòu)化知識模型. 2）針對現(xiàn)有作戰(zhàn)環(huán)境建模擴展性不強的問題,利用知識圖譜的優(yōu)良性能完成作戰(zhàn)環(huán)境的本體描述,引入人類元認識的結(jié)構(gòu)化元學(xué)習(xí),設(shè)計元宇宙框架的知識模型協(xié)同編輯技術(shù).
3.1 基于生成式對抗網(wǎng)絡(luò)的表現(xiàn)力改進設(shè)計
元宇宙城市作戰(zhàn)建模的復(fù)雜性決定了城市元宇宙所在的虛實空間的數(shù)據(jù)具有高維、極其巨大空間,按現(xiàn)有深度學(xué)習(xí)技術(shù)對這樣高維巨大空間進行表征和描述,所亟需的數(shù)據(jù)量遠超想象. 但有效數(shù)據(jù)樣本不足和海量數(shù)據(jù)標注困難,一直是元宇宙城市作戰(zhàn)建模研究的瓶頸問題. 獲取這種數(shù)據(jù)的一種途徑是通過積累歷史數(shù)據(jù),但由于歷史數(shù)據(jù)往往難以獲取且成本昂貴,所以很難展開系統(tǒng)的研究；另一種途徑是通過仿真得到數(shù)據(jù),但想要得到真實多樣的樣本,仍然非常困難.
2014年,人工智能領(lǐng)域知名專家古德菲勒提出一種新型生成式模型——生成式對抗網(wǎng)絡(luò)[12],這種模型主要采用博弈思想和深度學(xué)習(xí)的技術(shù)來生成數(shù)據(jù).生成式對抗網(wǎng)絡(luò),一般來說,是由兩個神經(jīng)網(wǎng)絡(luò)組成,即生成器和判別器. 生成器通過接受給定的輸入,不斷生成某一樣本；判別器主要負責(zé)生成器的優(yōu)化,隨著時間的積累越來越詳細地告知生成器怎樣更新和迭代. 換言之,生成器嘗試不停生成新樣本,判別器聯(lián)動地判定樣本是否真實. 兩者在此過程中都不斷更新自身,直到完成博弈平衡,也就是假樣本與真樣本完全不可區(qū)分. 在模擬作戰(zhàn)環(huán)境方面,以圖像信息為例,可將生成圖像生成擴充為真實樣式（內(nèi)容、風(fēng)格）圖像,模擬真實光線,給定特定天氣和特殊地點,從而生成與擴充各種虛擬作戰(zhàn)環(huán)境數(shù)據(jù).
但是,目前的生成式對抗網(wǎng)絡(luò)技術(shù)用以生成與擴充數(shù)據(jù)并非沒有不足[13].以圖像信息為例,可以分為兩類主流方法：特征級的生成式對抗網(wǎng)絡(luò)方法（例如最大均值差[14]、相關(guān)距離[15]、對抗識別器精度[16]）,在沒有任何標定目標樣本的情況下,這些方法將會導(dǎo)致較高級別的深度表征的對齊可能無法模擬對于其他視覺任務(wù)至關(guān)重要的較低級的信息或者特征的改變；像素級的生成式對抗網(wǎng)絡(luò)模型,如CycleGAN[17]、DiscoGAN[18]、UNIT[19]、DRIT[20]等,可以進行與特征的對齊相似的分布對齊. 這類方法雖保留了自然場景中的局部內(nèi)容,但沒有考慮到視覺效果逼真設(shè)計,導(dǎo)致生成的圖像看起來不真實.
為此,針對復(fù)雜元宇宙城市作戰(zhàn)建模中的圖像信息,結(jié)合本文提出的新型框架,如圖3 所示,將韋伯定律[21]這一知識轉(zhuǎn)換為一種受人類視覺系統(tǒng)啟發(fā)的結(jié)構(gòu)化收斂,并建立基于生成式對抗網(wǎng)絡(luò)的生成與擴充方法. 該方法受到了人類視覺系統(tǒng)的啟發(fā),將像素級表征與模擬的人類視覺系統(tǒng)信息相結(jié)合,從而實現(xiàn)了逼真圖像的生成與擴充,以解決表現(xiàn)力不足的問題. 具體來說,如圖4 所示,利用變分自動編碼器[22]和循環(huán)生成式對抗網(wǎng)絡(luò)[17]：有兩個域的圖像編碼器E1和E2、兩個域的圖像生成器G1和G2、以及兩個域的判別器D1和D2,以及x1∈XS和x2∈XT為例,編碼器E1將圖像映射到不變的共享隱空間. 生成器G2生成圖像的條件是x2圖像和在經(jīng)過E1編碼和G2的生成過程之后的x1圖像之間的韋伯定律的知識信息. 判別器G2的目的是辨別生成圖像是否屬于目標圖像的域XT.
圖3 基于新型生成式對抗網(wǎng)絡(luò)的生成與擴充技術(shù)Fig.3 A generation and expansion technology based on a new generative confronation network
圖4 受人類視覺系統(tǒng)啟發(fā)的生成式對抗網(wǎng)絡(luò)Fig.4 A novel generative confrontation network inspired by the human visual system
3.2 基于知識圖譜的擴展性改進設(shè)計
元宇宙環(huán)境面臨環(huán)境要素維度多、裝備類型多、對象目標多、對象對手多等問題,信息更加復(fù)雜. 元宇宙城市建模主要通過地圖、影像、各類信息平臺等工具實現(xiàn),在統(tǒng)一時空框架下,難以充分考慮多種環(huán)境要素的影響,例如對研究的武器裝備對元宇宙建模性能的影響,需要充分考慮土質(zhì)、地形、氣象、電磁等多種要素,當(dāng)前的地圖、影像等產(chǎn)品多是單一要素（領(lǐng)域）環(huán)境數(shù)據(jù),難以實現(xiàn)全域多維環(huán)境要素的綜合影響分析；再如跨領(lǐng)域的元宇宙建模環(huán)境,需要關(guān)聯(lián)地理空間信息、人工信息等多源要素進行綜合分析. 元宇宙環(huán)境在統(tǒng)一時空框架下難以實現(xiàn)非時空多源多模態(tài)信息的關(guān)聯(lián)挖掘. 作為本體描述技術(shù)的知識圖譜可有效解決這些問題[23].
知識圖譜是一種用圖模型來描述知識和建模世界萬物之間的關(guān)聯(lián)關(guān)系的技術(shù)方法. 這一概念由谷歌在2012年提出,它通過一個多關(guān)系圖來表示現(xiàn)實世界中的實體和關(guān)系,基本單位是“實體-關(guān)系-實體”,圖結(jié)構(gòu)中實體的關(guān)鍵值與屬性相關(guān),實體與實體之間通過關(guān)系連接. 關(guān)鍵技術(shù)包括命名實體識別、關(guān)系抽取、知識表示、知識推理、知識融合等[24]. 知識圖譜技術(shù)已經(jīng)逐漸成為智能認知的重要手段,其核心是大規(guī)模的網(wǎng)狀知識庫,通過知識表示、知識推理等技術(shù)能夠?qū)崿F(xiàn)不同模態(tài)、不同源、不同領(lǐng)域信息知識的關(guān)聯(lián)鏈接. 知識圖譜可以將元宇宙建模涉及到多傳感、多模態(tài)、多類別的信息,以及不同來源、分散無序、相對獨立的數(shù)字對象進行聚類、融合和重組,而且顯式地呈現(xiàn)出不同粒度的知識.
單個元宇宙城市環(huán)境要素如地形環(huán)境分析、氣象要素影響等已經(jīng)在各自的領(lǐng)域得到了深入的研究,但該環(huán)境對作戰(zhàn)行動、武器裝備的影響需要綜合考慮全域多維環(huán)境要素的影響,例如地面土質(zhì)、地形起伏、當(dāng)前的降雨、能見度、城鎮(zhèn)的人文構(gòu)設(shè)等均會對武器裝備的機動速度、射界產(chǎn)生綜合影響. 尚缺乏能夠快速檢索、自動關(guān)聯(lián)到全域多維要素的數(shù)據(jù)驅(qū)動模型.
現(xiàn)在常用的基于知識圖譜的應(yīng)用,大都采用如YAGO[25]、NELL[26]和Wikidata[27]等大型知識圖譜,這種圖譜通常以（頭尾）實體對（節(jié)點）之間的關(guān)系（邊）形式表示事實. 然而,面臨元宇宙環(huán)境的多變性以及復(fù)雜性,即使是大型知識圖譜對于其本體描述也是不完整的. 另外,大型知識圖譜中的每個關(guān)系都需要大量的實體對. 然而,真實環(huán)境中的本體關(guān)系的頻率分布往往有長尾. 很大一部分關(guān)系在知識圖譜中只有少數(shù)實體對. 知識圖譜和處理實體對數(shù)量有限的關(guān)系是非常重要和具有挑戰(zhàn)性的. 在這種情況下,以前的模型假設(shè)所有的關(guān)系都有足夠多的訓(xùn)練實例,這就造成了模型的不可行性. 另一方面,針對變化的元宇宙城市環(huán)境,知識圖譜的本體描述不可能是一成不變的. 因此,對于環(huán)境的反饋,對于修正環(huán)境的本體描述是一種非常重要的手段,而目前的知識圖譜顯然對此不支持.
鑒于上面兩個挑戰(zhàn),結(jié)合人類元認識的少樣本學(xué)習(xí)或元學(xué)習(xí),設(shè)計知識圖譜構(gòu)造方案以及協(xié)同編輯技術(shù). 一方面,嘗試建立一個基于少樣本學(xué)習(xí)和元學(xué)習(xí)的關(guān)系模型,目的是學(xué)習(xí)一個匹配函數(shù). 即使在給定每個關(guān)系的少量參考實體對集合的情況下,該技術(shù)也能夠有效地推斷出真實的實體對；另一方面,本項目嘗試利用預(yù)訓(xùn)練多模態(tài)模型在數(shù)據(jù)理解和生成方面的出色能力,用于彌合知識圖譜編碼和協(xié)同編輯內(nèi)容的語義差距,以學(xué)習(xí)原有知識圖譜和新信息之間的對應(yīng)關(guān)系.
綜合上述兩點,整體技術(shù)期待可以解決目前模型擴展性不強的問題.
具體來說,元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識圖譜采用“自頂向下”方法構(gòu)建,主要分為模式層和數(shù)據(jù)層構(gòu)建,如圖5 所示. 模式層主要是作戰(zhàn)環(huán)境各要素本體和概念,數(shù)據(jù)層主要是作戰(zhàn)環(huán)境各要素實體和相關(guān)屬性,其思路是根據(jù)本體概念分類體系實現(xiàn)地理本體和概念的構(gòu)建,然后基于地質(zhì)、地形、氣象、海洋、電磁、網(wǎng)絡(luò)等領(lǐng)域數(shù)據(jù),實現(xiàn)實體和相關(guān)屬性的抽取,利用知識融合方法實現(xiàn)跨域、多源異構(gòu)作戰(zhàn)環(huán)境數(shù)據(jù)的關(guān)聯(lián)融合,最終形成元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識圖譜. 但這種城市作戰(zhàn)的知識圖譜有著擴展性不強的弊端,因此,通過下面的方式來完善：在知識圖譜的構(gòu)建中,運用新型的基于元學(xué)習(xí)（少樣本學(xué)習(xí)）的關(guān)系學(xué)習(xí)模型,旨在通過作戰(zhàn)士兵或者前線的少量發(fā)現(xiàn)增補新關(guān)系的事實. 該模型意圖有效地從異質(zhì)圖結(jié)構(gòu)中捕獲知識,聚合少數(shù)樣本的表示,并為每個關(guān)系匹配相似實體對. 具體來說,意圖構(gòu)建一個關(guān)系感知的異質(zhì)鄰居編碼器,以學(xué)習(xí)基于異質(zhì)圖結(jié)構(gòu)和注意力機制的實體嵌入、捕捉到不同的關(guān)系類型和本地鄰居的影響差異. 擬設(shè)計一個遞歸自動編碼器的聚合網(wǎng)絡(luò),來模擬幾張照片的參考實體對的相互作用,并積累它們對每個關(guān)系的表達能力. 在少量樣本的聚合嵌入的情況下,擬采用一個匹配網(wǎng)絡(luò)來發(fā)現(xiàn)相似實體對. 基于元學(xué)習(xí)的元訓(xùn)練的梯度下降法被用來優(yōu)化模型參數(shù). 學(xué)到的模型可以進一步應(yīng)用于推斷任何新關(guān)系的真實實體對,而無需任何微調(diào)步驟.
圖5 元宇宙城市作戰(zhàn)知識圖譜構(gòu)建Fig.5 Knowledge graph for urban warfare in the metaverse
為了實現(xiàn)協(xié)同編輯,進一步地提出新型的基于預(yù)訓(xùn)練多模態(tài)模型和元學(xué)習(xí)的知識圖譜協(xié)同編輯技術(shù),如圖6 所示. 為了彌補語義上的差距,通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并編碼來自知識圖譜的表征和基于預(yù)訓(xùn)練多模態(tài)模型的編輯過的實體表征之間的對應(yīng)關(guān)系,來加強表征的一致性.為了將編輯過的實體輸入知識圖譜,提出了一個基于關(guān)系的廣度優(yōu)先搜索策略,將知識圖譜線性化為一個規(guī)劃良好的實體序列. 從而實現(xiàn)了編輯小樣本或者少樣本的情況下,知識圖譜可以動態(tài)更新,以至于達到協(xié)同編輯的目的.
圖6 基于知識圖譜的協(xié)同編輯技術(shù)Fig.6 Knowledge graph-based collaborative editing technolgy
4 案例實驗與分析
結(jié)合之前的第2 章和第3 章進行元宇宙建模的案例實驗,進行框架的部署,使用OpenKG 的中國地理信息圖譜進行實驗驗證；對于第3 章案例設(shè)計中相關(guān)設(shè)計進行定量對比實驗. 此外,將上述代碼和系統(tǒng)送去具有中國計量認證（China Metrology Accreditation,CMA）和中國合格評定國家認可委員會（China National Accreditation Service for conformity assessment,CNAS）資質(zhì)的第三方實驗室進行驗證,驗證結(jié)果表明該系統(tǒng)與本文論述結(jié)果一致,而且系統(tǒng)具有一定的可靠性和有效性.
4.1 基于Neo4j 的環(huán)境模型部署
如何用語言進行信息描述是本體建模領(lǐng)域經(jīng)久不衰的話題. 1998年,美軍的作戰(zhàn)管理語言（battle management language,BML）開始進行研究. 2004年成立作戰(zhàn)管理語言研究小組,利用仿真互操作標準化組織（Simulation Interoperability Standard Organization,SISO）,設(shè)計聯(lián)盟作戰(zhàn)管理語言（coalition BML,CBML）,并試圖將該語言用在聯(lián)盟作戰(zhàn)中LVC 建模仿真系統(tǒng)、指揮控制系統(tǒng)、自治無人系統(tǒng)之間需求、計劃、命令和報告的描述和交換,還能夠為實戰(zhàn)化訓(xùn)練、聯(lián)合作戰(zhàn)方案分析（course of action analysis,COAA）和使命演練（mission rehearsal）提供支持,計劃發(fā)布數(shù)據(jù)模型、形式化結(jié)構(gòu)（語法）、形式化語義（本體）3 個階段產(chǎn)品,當(dāng)前只正式發(fā)布了第一階段的數(shù)據(jù)模型標準,并研究了第二階段及后續(xù)的標準開發(fā)框架[28].2008年SISO 組織制定了軍事想定語言（military scenario definition language,MSDL）,用于規(guī)范仿真系統(tǒng)之間及其指揮控制系統(tǒng)之間共享信息的描述. 當(dāng)前C-BML 語言雖然具備聯(lián)合作戰(zhàn)方案信息描述能力,但其語法和語義規(guī)范尚在制定過程中,因此,急需一種語義級的作戰(zhàn)環(huán)境方案描述語言[29]. Python 被昵稱為膠水語言,能夠把用其他語言制作的各種模塊很輕松地聯(lián)結(jié)在一起.Python 具有強大、豐富的（開源）庫,它的應(yīng)用領(lǐng)域非常廣泛. 而且語言簡潔易懂,易于開發(fā),但Python 使用時由編譯器解釋執(zhí)行,效率較低. 所以常見的一種應(yīng)用領(lǐng)域是,由Python 快速生成原型,然后對其中有功能需求的部分,改用合適的其他語言,例如,在本體建構(gòu)過程中,與圖數(shù)據(jù)庫語言結(jié)合. 據(jù)此,使用Neo4j 進行元宇宙城市作戰(zhàn)的環(huán)境模型部署.
第1 步：本體解析.使用類似結(jié)構(gòu)查詢語言（structured query language,SQL）的知識圖譜查詢語言,三元組模式是查詢的基本單元,多個查詢基本單元可構(gòu)成基本圖模式. 這種語言還支持多種運算符,將基本圖模式擴展為復(fù)雜圖模型. 常用的Python 開源庫為RDFLIB,它為知識圖譜提供服務(wù),包含Microdata、N3、Ntriples、RDFA、RDF/XML、Turtle 的序列化和分析化功能,并提供一個多種存儲方式. 可以使用這種在計算機內(nèi)存中建立起領(lǐng)域本體的模型,為后續(xù)工作做好準備. 通過生成類似于SQL 的數(shù)據(jù)庫查詢語句、進行查詢,并處理得到的查詢結(jié)果,就能建立起本體的模型.
第2 步：數(shù)據(jù)映射. Neo4j 由一種圖數(shù)據(jù)庫,其結(jié)構(gòu)與之前構(gòu)建的知識本體有所不同. 為了存儲由上一步本體解析得到的知識圖譜三元組數(shù)據(jù),需要將知識圖譜數(shù)據(jù)映射為Neo4j 專屬模型. 進行關(guān)系映射時,Neo4j 節(jié)點存儲的是不同知識點間的聯(lián)系. 通過這種方式,就可以完成本體模型數(shù)據(jù)到數(shù)據(jù)庫的映射.
第3 步：知識庫生成. 完成作戰(zhàn)環(huán)境本體到Neo4j 的存儲,需要將完成解析的本體存儲至Neo4j.Py2neo 是Python 的另一開源庫,能夠使用該庫與Neo4j 建立連接. 利用Py2neo 可以在計算機內(nèi)存中建立與存儲Neo4j 的模型. 通過生成節(jié)點與關(guān)系、過濾重復(fù)的數(shù)據(jù),最終可生成Neo4j 知識數(shù)據(jù)庫.
4.2 案例設(shè)計的實驗驗證
根據(jù)第3 章的案例設(shè)計,分別進行實驗驗證：
1）基于生成式對抗網(wǎng)絡(luò)改進的實驗驗證
使用黑夜→白天圖像轉(zhuǎn)換任務(wù)為例,使用街景數(shù)據(jù)集Alderley[30]與BDD100K[31]進行驗證,與其他常見的基于生成式對抗網(wǎng)絡(luò)的仿真環(huán)境生成與擴充數(shù)據(jù)算法CycleGAN[17],Disco-GAN[18],UNIT[19]和DRIT[20]做對比,利用學(xué)習(xí)感知圖像補丁相似度（learned perceptual image patch similarity,LPIPS）指標來對生成圖像的逼真性的定量評價. LPIPS 度量值越小,該算法生成的圖像越逼真.
如圖7 所示,來自夜晚域的源圖像被放在每一列的最上方,每一行對應(yīng)于每種方法的轉(zhuǎn)換輸出. 左邊兩列代表Alderley 的定性結(jié)果,右邊兩列代表BDD100K 的結(jié)果. 盡管CycleGAN 在物體清晰可見的區(qū)域進行了適當(dāng)?shù)木庉?但在黑暗或模糊區(qū)域的轉(zhuǎn)換結(jié)果顯示出較差的視覺質(zhì)量. 雖然DiscoGAN 和UNIT 在Alderley 數(shù)據(jù)集的實驗中與CycleGAN 相比呈現(xiàn)出更好的編輯能力,但它們在使用BDD100K 時產(chǎn)生了一些假象,而且輸出結(jié)果也沒有正確轉(zhuǎn)換. 同樣,利用兩個域的共同編碼空間的DRIT 在BDD100K 的實驗中產(chǎn)生了整體模糊的圖像. 模型可以成功地用兩個數(shù)據(jù)集進行惡劣天氣轉(zhuǎn)換. 與其他方法相比,在大多數(shù)區(qū)域（包括黑暗和模糊區(qū)域）輸出了視覺上的優(yōu)越結(jié)果. 此外,現(xiàn)有的物體在轉(zhuǎn)換后的圖像中得到了很好的保留. 由此可以看出,案例設(shè)計的方法的表現(xiàn)力更強. 另外,如表1 所示,方法的LPIPS 的值是最小的,而且與DRIT 相比,生成圖像的逼真性提升5%以上,所以,我們的設(shè)計方法的表現(xiàn)力更強.
表1 轉(zhuǎn)換對比方法結(jié)果表Table 1 Comparison method results for conversion
圖7 對比結(jié)果圖Fig.7 Comparison results
2）基于知識圖譜的擴展性改進實驗驗證
使用知識圖譜查詢?nèi)蝿?wù)為例進行驗證,與其他常用的本體建模方法RESCAL[32]、Trans-E[33]、Dist－Mult[34]、ComplEx[35]和Gmatching[36]進行了對比. 量化指標為知識三元組的查詢排名MRR；它的全稱是Mean Reciprocal Ranking（排名的倒數(shù)）,其中Reciprocal 是指“倒數(shù)的”的意思. 該指標越大越好.
如表2 所示,本文方法的MRR 的值是最大的,而且比Gmatching 相比,提升5%以上,所以,本文設(shè)計方法的擴展性更強.
表2 查詢對比方法結(jié)果表Table 2 Comparison results for knowledge retrieval
5 結(jié)論
隨著現(xiàn)代化戰(zhàn)爭的發(fā)展,大規(guī)模陸?？兆鲬?zhàn)已經(jīng)成為歷史和不可及的未來. 目前,世界局勢以多點爆發(fā)的城市暴亂為主,也就是圍繞城市爭奪和城市巷戰(zhàn)展開. 但是,為了經(jīng)濟發(fā)展與人民生活安定,幾乎不可能在超大城市或者大型城市里進行實戰(zhàn)演練.因此,建設(shè)面向未來戰(zhàn)爭的智能作戰(zhàn)環(huán)境模型是輔助作戰(zhàn)籌劃與決策的一種有效方法. 而沉浸感強、虛實融合與協(xié)作性強的元宇宙,給作戰(zhàn)建模的發(fā)展帶來更多新可能. 據(jù)此,提出了面向城市作戰(zhàn)的數(shù)據(jù)知識驅(qū)動的元宇宙建?？蚣埽徊⒒诖丝蚣?探索了當(dāng)前環(huán)境建模表現(xiàn)力差、擴展性弱的改進方案,而且對改進方案進行了定量實驗驗證. 未來,基于此框架,期望可以積極開展元宇宙城市作戰(zhàn)指揮控制基本理論與應(yīng)用方面的探索,推進元宇宙城市作戰(zhàn)空間關(guān)鍵功能模塊的完善與實戰(zhàn)應(yīng)用.
猜你喜歡
Abstracts and Key Words哲學(xué)分析(2023年4期)2023-12-21 05:30:27 繪一張成長圖譜少先隊活動(2020年12期)2021-01-14 01:47:40 對姜夔自度曲音樂本體的現(xiàn)代解讀中國音樂學(xué)(2020年4期)2020-12-25 02:58:06 宇宙第一群百家講壇(2020年4期)2020-08-03 02:01:25 補腎強身片UPLC指紋圖譜中成藥(2017年3期)2017-05-17 06:09:01 這宇宙課堂內(nèi)外(高中版)(2017年1期)2017-03-22 08:45:17 主動對接你思維的知識圖譜領(lǐng)導(dǎo)科學(xué)論壇(2016年9期)2016-06-05 14:59:58 《我應(yīng)該感到自豪才對》的本體性教學(xué)內(nèi)容及啟示文學(xué)教育(2016年27期)2016-02-28 02:35:15 宇宙最初的大爆炸科普童話·百科探秘(2014年1期)2014-01-13 09:13:11 Care about the virtue moral education卷宗(2013年6期)2013-10-21 21:07:52
鄭文博 李 強 劉文禮 費愛國 王飛躍
1.武漢理工大學(xué)計算機與人工智能學(xué)院 湖北 武漢 430070 2.陸軍研究院科技創(chuàng)新中心 北京 100012 3.國防科學(xué)技術(shù)大學(xué)軍事計算實驗與平行系統(tǒng)技術(shù)研究中心 湖南 長沙 410073 4.解放軍93216部隊 北京 100085 5.中國科學(xué)院自動化研究所復(fù)雜系統(tǒng)管理與控制國家重點實驗室 北京 100190
2021年被稱為元宇宙元年,隨著當(dāng)年10月Facebook 公司更名為“Meta”,“元宇宙”（metaverse）這一概念被點燃和引爆[1],迅速引起世界各國的廣泛關(guān)注[2].元宇宙概念最早來源于1992年美國科幻小說《雪崩》. 但在20 世紀90年代,錢學(xué)森先生就在書信中將虛擬現(xiàn)實（virtual reality）技術(shù),稱之為符合中國傳統(tǒng)文化語境的“靈境”[3],“靈境”能夠擴展人腦的感知,從而使人進入到前所未有的新空間,這一重要思考被認為是我國對元宇宙的思想啟蒙雛形. 從認知概念上講,元宇宙是整合虛擬現(xiàn)實技術(shù)、人工智能技術(shù)、數(shù)字孿生技術(shù)等多種信息高新技術(shù)而誕生的新型智能運用和社會形態(tài)[4].
元宇宙時代的到來將帶來一場“技術(shù)革命”,尤其是在實現(xiàn)身臨其境的態(tài)勢感知方面. 之前的研究表明,繼機械化、電氣化、信息化、網(wǎng)絡(luò)化之后,面向平行化技術(shù)的指揮與控制體系、理論、方法和技術(shù),即5.0 的平行指揮與控制,是未來技術(shù)的發(fā)展方向. 其核心思路是虛實交互的ACP 方法[5],通過物理實際環(huán)境與虛擬信息系統(tǒng)之間的虛實交互進行計算與數(shù)字化模擬來完成給定軍事行動及目標,并能反饋實時效果,提升了作戰(zhàn)能力與作戰(zhàn)效果,這也暗合了孫子“夫未戰(zhàn)而廟算勝者,得算多也”的道理. 沿著先前研究進行深入研究,本文聚焦“元宇宙”中的軍事斗爭或?qū)a(chǎn)生的新作戰(zhàn)形態(tài)與新樣式.
隨著現(xiàn)代化戰(zhàn)爭的發(fā)展,大規(guī)模陸?？兆鲬?zhàn)可能成為不可及的未來[6]. 目前,世界局勢以多點爆發(fā)的城市暴亂為主,也就是圍繞城市爭奪和城市巷戰(zhàn)展開,例如俄烏之戰(zhàn)下的基輔. 城市化的不斷發(fā)展也使得城市作戰(zhàn)逐步成為現(xiàn)代戰(zhàn)爭的一種重要作戰(zhàn)形式[7]. 本文利用人工智能技術(shù),著眼于城市作戰(zhàn)（urban warfare）這一作戰(zhàn)形式進行探索,提出了一套新型的數(shù)據(jù)知識驅(qū)動的研究框架,其目的在于彌補現(xiàn)有建模表現(xiàn)力不足、擴展性不強的問題. 并基于此框架,設(shè)計了針對問題的案例分析與實驗設(shè)計,案例和實驗說明了本框架的合理性與有效性.
1 相關(guān)工作與問題提出
元宇宙建模實際上是作戰(zhàn)環(huán)境建模問題,本質(zhì)上是營造一個面向各類受訓(xùn)人員的、貼近實戰(zhàn)的訓(xùn)練環(huán)境,能夠?qū)ψ鲬?zhàn)計劃進行科學(xué)的模擬檢驗,能夠?qū)ψ鲬?zhàn)行動進行輔助決策,能夠?qū)ψ鲬?zhàn)環(huán)境建設(shè)、環(huán)境態(tài)勢認知等進行預(yù)測與估計. 美軍充分認識到現(xiàn)代化戰(zhàn)爭對作戰(zhàn)環(huán)境建模保障的迫切需求[8].自2004年以來,美軍在理論上進入了以“數(shù)字為中心”的地理空間情報（geospatial intelligence,GEOINT）時代,摒棄了傳統(tǒng)的紙質(zhì)地圖. 值得注意的是,美軍已經(jīng)使用“元宇宙”的相關(guān)技術(shù)進行部隊的合成訓(xùn)練；在2019年,美軍啟動高逼真度、高分辨率虛擬世界建設(shè)項目,為部隊遂行全球作戰(zhàn)任務(wù)打造更高質(zhì)量的訓(xùn)練環(huán)境合成訓(xùn)練環(huán)境（synthesis environment training,SET）[9],把作戰(zhàn)環(huán)境建模為一個統(tǒng)一的“元宇宙”空間,使士兵和指揮作戰(zhàn)人員實現(xiàn)多層級/多領(lǐng)域戰(zhàn)術(shù)和指揮訓(xùn)練,通過逼近真實的作戰(zhàn)環(huán)境中反復(fù)訓(xùn)練提升其作戰(zhàn)能力. 可見,研究面向“元宇宙”的作戰(zhàn)環(huán)境建模是現(xiàn)代化戰(zhàn)爭的必要手段之一. 但是當(dāng)前元宇宙建模,還存在著以下兩個缺陷：
1）元宇宙建模真實感不強
當(dāng)前的元宇宙建模環(huán)境雖然擁有海量數(shù)據(jù)的場景建模,嵌入物理模型,模擬實時的光照和紋理,支持高精度碰撞檢測,但真實感比較低,與真實物理環(huán)境差異較大,無法充分表現(xiàn)環(huán)境信息.
2）元宇宙建模擴展性不強
真實的物理環(huán)境是由海、陸、空及復(fù)雜的電磁環(huán)境構(gòu)成的,而且千絲萬縷的聯(lián)系存在于各環(huán)境之間. 這種復(fù)雜情景和聯(lián)系毫無疑問地影響著作戰(zhàn)人員及裝備的作戰(zhàn)性能. 由于環(huán)境本體建模是按照要素劃分的,難以呈現(xiàn)各要素內(nèi)部之間的聯(lián)系,也就更加難以建立科學(xué)的、可信的環(huán)境模型；任何區(qū)域的作戰(zhàn)環(huán)境狀態(tài)具有鮮明的時變性、動態(tài)性,這就要求作戰(zhàn)環(huán)境模型不僅要了解作戰(zhàn)環(huán)境的基本特征,還要能夠使作戰(zhàn)人員協(xié)同編輯,并且可以科學(xué)預(yù)測其動態(tài)變化趨勢,掌握其發(fā)展變化規(guī)律. 換句話說,元宇宙建模需要可拓展和可編輯.
2 新型元宇宙框架的構(gòu)建
如圖1 所示,先前的研究[5]提出了平行軍事與ACP 方法,其主要觀點是構(gòu)建虛擬系統(tǒng),與現(xiàn)實系統(tǒng)一同虛實交互,進行推演計算與涌現(xiàn)演化. 關(guān)鍵是交互的構(gòu)造方式與演化方法. 另一方面,知識在交互應(yīng)用中起到了不可忽視的作用[10].“知識就是力量”,知識自動化的運用是傳統(tǒng)空間中信息自動化的自然延伸與提高[11],也是轉(zhuǎn)向元宇宙空間的智能化的基礎(chǔ),進而實現(xiàn)能夠動態(tài)變化、實時反饋的智能化元宇宙建模. 據(jù)此,提出引入結(jié)構(gòu)化知識,并建立為知識空間的表征,然后與元宇宙空間結(jié)合起來. 深度學(xué)習(xí)、知識圖譜、大數(shù)據(jù)等新興技術(shù)是其技術(shù)的核心支持. 從本質(zhì)上講,這種框架的基本思想是將結(jié)構(gòu)化的人類知識構(gòu)建為復(fù)雜系統(tǒng)的虛擬代理,并在此基礎(chǔ)上進行定量的計算實驗,以更有效地解決復(fù)雜問題.
圖1 平行智能與元宇宙Fig.1 Parallell intelligence and metaverse
由此,利用本體技術(shù)針對元宇宙城市作戰(zhàn)環(huán)境的數(shù)字資源中不同層次的概念、實體、關(guān)系等進行知識抽取,從而構(gòu)建數(shù)字資源語義的作戰(zhàn)環(huán)境模型.資源標引和實體或者事理關(guān)聯(lián)構(gòu)建是元宇宙城市作戰(zhàn)模型的關(guān)鍵,也是利用數(shù)字資源實現(xiàn)元宇宙敘事的基礎(chǔ). 元宇宙城市作戰(zhàn)模型的構(gòu)建要進行知識獲取,針對不同結(jié)構(gòu)的、不同來源的數(shù)據(jù)進行知識獲取要有不同方法,但是無論哪種都需要從數(shù)據(jù)源中獲取描述實體關(guān)系信息,構(gòu)建三元組形式,需要對知識信息執(zhí)行特定操作以提取出關(guān)鍵的數(shù)據(jù)信息；具體來說,要從數(shù)據(jù)源與第三方數(shù)據(jù)庫中提取出知識實體、關(guān)系和屬性,在此過程中要結(jié)合自動化和半自動化技術(shù)把這些提取內(nèi)容以邏輯順序的形式存儲. 其次,利用人工智能技術(shù)實現(xiàn)實體對齊、本體構(gòu)建、知識表示與知識推理等一系列操作.
如圖2 所示,作戰(zhàn)環(huán)境模型的總體部署框架包括基礎(chǔ)數(shù)據(jù)層、知識建模層、知識計算層和智能應(yīng)用層,如下所示：
圖2 數(shù)據(jù)知識驅(qū)動的城市作戰(zhàn)元宇宙建?？蚣蹻ig.2 Data-knowledge-driven metaverse modeling framework for urban warfare
1）基礎(chǔ)數(shù)據(jù)層：是元宇宙城市作戰(zhàn)模型的數(shù)據(jù)基礎(chǔ),主要包括事件、地理信息、環(huán)境實體、氣象、海洋、電磁、網(wǎng)絡(luò)等基礎(chǔ)數(shù)據(jù),知識存儲模態(tài)包括文本、圖像、視頻、音頻、地圖等.
2）知識建模層：是元宇宙城市作戰(zhàn)模型的核心計算引擎,主要實現(xiàn)由多源異構(gòu)信息構(gòu)造具有表現(xiàn)力的仿真模型和具有擴展性的多模態(tài)知識圖譜（詳細見第3 章案例設(shè)計）,能夠?qū)崿F(xiàn)自動的知識抽取、知識表示、知識關(guān)聯(lián)和知識推理等.
3）知識計算層：主要包括元宇宙作戰(zhàn)建模的環(huán)境綜合要素表達、可視分析和知識計算3 個模塊,能夠?qū)崿F(xiàn)環(huán)境影響模擬、知識推理、知識搜索、圖計算等分析計算功能.
4）智能應(yīng)用層：主要是面向多種典型城市作戰(zhàn)場景,實現(xiàn)城市作戰(zhàn)環(huán)境信息的推理與關(guān)聯(lián)分析等智能服務(wù)應(yīng)用.
3 案例設(shè)計
本文采用深度學(xué)習(xí)為主要研究手段,運用知識圖譜、生成式對抗網(wǎng)絡(luò)、“元宇宙”等相關(guān)理論和方法,結(jié)合提出的數(shù)據(jù)知識驅(qū)動的新型框架,針對以實現(xiàn)傳統(tǒng)作戰(zhàn)環(huán)境建模的表現(xiàn)力差、擴展性弱的現(xiàn)狀進行一種改進,即案例分析：1）針對現(xiàn)有作戰(zhàn)環(huán)境建模表現(xiàn)力不足的問題,利用生成式對抗網(wǎng)絡(luò)來生成與擴充具有真實感的數(shù)據(jù),以圖像數(shù)據(jù)為例,結(jié)合人類的視覺信息的規(guī)律設(shè)計結(jié)構(gòu)化知識模型. 2）針對現(xiàn)有作戰(zhàn)環(huán)境建模擴展性不強的問題,利用知識圖譜的優(yōu)良性能完成作戰(zhàn)環(huán)境的本體描述,引入人類元認識的結(jié)構(gòu)化元學(xué)習(xí),設(shè)計元宇宙框架的知識模型協(xié)同編輯技術(shù).
3.1 基于生成式對抗網(wǎng)絡(luò)的表現(xiàn)力改進設(shè)計
元宇宙城市作戰(zhàn)建模的復(fù)雜性決定了城市元宇宙所在的虛實空間的數(shù)據(jù)具有高維、極其巨大空間,按現(xiàn)有深度學(xué)習(xí)技術(shù)對這樣高維巨大空間進行表征和描述,所亟需的數(shù)據(jù)量遠超想象. 但有效數(shù)據(jù)樣本不足和海量數(shù)據(jù)標注困難,一直是元宇宙城市作戰(zhàn)建模研究的瓶頸問題. 獲取這種數(shù)據(jù)的一種途徑是通過積累歷史數(shù)據(jù),但由于歷史數(shù)據(jù)往往難以獲取且成本昂貴,所以很難展開系統(tǒng)的研究；另一種途徑是通過仿真得到數(shù)據(jù),但想要得到真實多樣的樣本,仍然非常困難.
2014年,人工智能領(lǐng)域知名專家古德菲勒提出一種新型生成式模型——生成式對抗網(wǎng)絡(luò)[12],這種模型主要采用博弈思想和深度學(xué)習(xí)的技術(shù)來生成數(shù)據(jù).生成式對抗網(wǎng)絡(luò),一般來說,是由兩個神經(jīng)網(wǎng)絡(luò)組成,即生成器和判別器. 生成器通過接受給定的輸入,不斷生成某一樣本；判別器主要負責(zé)生成器的優(yōu)化,隨著時間的積累越來越詳細地告知生成器怎樣更新和迭代. 換言之,生成器嘗試不停生成新樣本,判別器聯(lián)動地判定樣本是否真實. 兩者在此過程中都不斷更新自身,直到完成博弈平衡,也就是假樣本與真樣本完全不可區(qū)分. 在模擬作戰(zhàn)環(huán)境方面,以圖像信息為例,可將生成圖像生成擴充為真實樣式（內(nèi)容、風(fēng)格）圖像,模擬真實光線,給定特定天氣和特殊地點,從而生成與擴充各種虛擬作戰(zhàn)環(huán)境數(shù)據(jù).
但是,目前的生成式對抗網(wǎng)絡(luò)技術(shù)用以生成與擴充數(shù)據(jù)并非沒有不足[13].以圖像信息為例,可以分為兩類主流方法：特征級的生成式對抗網(wǎng)絡(luò)方法（例如最大均值差[14]、相關(guān)距離[15]、對抗識別器精度[16]）,在沒有任何標定目標樣本的情況下,這些方法將會導(dǎo)致較高級別的深度表征的對齊可能無法模擬對于其他視覺任務(wù)至關(guān)重要的較低級的信息或者特征的改變；像素級的生成式對抗網(wǎng)絡(luò)模型,如CycleGAN[17]、DiscoGAN[18]、UNIT[19]、DRIT[20]等,可以進行與特征的對齊相似的分布對齊. 這類方法雖保留了自然場景中的局部內(nèi)容,但沒有考慮到視覺效果逼真設(shè)計,導(dǎo)致生成的圖像看起來不真實.
為此,針對復(fù)雜元宇宙城市作戰(zhàn)建模中的圖像信息,結(jié)合本文提出的新型框架,如圖3 所示,將韋伯定律[21]這一知識轉(zhuǎn)換為一種受人類視覺系統(tǒng)啟發(fā)的結(jié)構(gòu)化收斂,并建立基于生成式對抗網(wǎng)絡(luò)的生成與擴充方法. 該方法受到了人類視覺系統(tǒng)的啟發(fā),將像素級表征與模擬的人類視覺系統(tǒng)信息相結(jié)合,從而實現(xiàn)了逼真圖像的生成與擴充,以解決表現(xiàn)力不足的問題. 具體來說,如圖4 所示,利用變分自動編碼器[22]和循環(huán)生成式對抗網(wǎng)絡(luò)[17]：有兩個域的圖像編碼器E1和E2、兩個域的圖像生成器G1和G2、以及兩個域的判別器D1和D2,以及x1∈XS和x2∈XT為例,編碼器E1將圖像映射到不變的共享隱空間. 生成器G2生成圖像的條件是x2圖像和在經(jīng)過E1編碼和G2的生成過程之后的x1圖像之間的韋伯定律的知識信息. 判別器G2的目的是辨別生成圖像是否屬于目標圖像的域XT.
圖3 基于新型生成式對抗網(wǎng)絡(luò)的生成與擴充技術(shù)Fig.3 A generation and expansion technology based on a new generative confronation network
圖4 受人類視覺系統(tǒng)啟發(fā)的生成式對抗網(wǎng)絡(luò)Fig.4 A novel generative confrontation network inspired by the human visual system
3.2 基于知識圖譜的擴展性改進設(shè)計
元宇宙環(huán)境面臨環(huán)境要素維度多、裝備類型多、對象目標多、對象對手多等問題,信息更加復(fù)雜. 元宇宙城市建模主要通過地圖、影像、各類信息平臺等工具實現(xiàn),在統(tǒng)一時空框架下,難以充分考慮多種環(huán)境要素的影響,例如對研究的武器裝備對元宇宙建模性能的影響,需要充分考慮土質(zhì)、地形、氣象、電磁等多種要素,當(dāng)前的地圖、影像等產(chǎn)品多是單一要素（領(lǐng)域）環(huán)境數(shù)據(jù),難以實現(xiàn)全域多維環(huán)境要素的綜合影響分析；再如跨領(lǐng)域的元宇宙建模環(huán)境,需要關(guān)聯(lián)地理空間信息、人工信息等多源要素進行綜合分析. 元宇宙環(huán)境在統(tǒng)一時空框架下難以實現(xiàn)非時空多源多模態(tài)信息的關(guān)聯(lián)挖掘. 作為本體描述技術(shù)的知識圖譜可有效解決這些問題[23].
知識圖譜是一種用圖模型來描述知識和建模世界萬物之間的關(guān)聯(lián)關(guān)系的技術(shù)方法. 這一概念由谷歌在2012年提出,它通過一個多關(guān)系圖來表示現(xiàn)實世界中的實體和關(guān)系,基本單位是“實體-關(guān)系-實體”,圖結(jié)構(gòu)中實體的關(guān)鍵值與屬性相關(guān),實體與實體之間通過關(guān)系連接. 關(guān)鍵技術(shù)包括命名實體識別、關(guān)系抽取、知識表示、知識推理、知識融合等[24]. 知識圖譜技術(shù)已經(jīng)逐漸成為智能認知的重要手段,其核心是大規(guī)模的網(wǎng)狀知識庫,通過知識表示、知識推理等技術(shù)能夠?qū)崿F(xiàn)不同模態(tài)、不同源、不同領(lǐng)域信息知識的關(guān)聯(lián)鏈接. 知識圖譜可以將元宇宙建模涉及到多傳感、多模態(tài)、多類別的信息,以及不同來源、分散無序、相對獨立的數(shù)字對象進行聚類、融合和重組,而且顯式地呈現(xiàn)出不同粒度的知識.
單個元宇宙城市環(huán)境要素如地形環(huán)境分析、氣象要素影響等已經(jīng)在各自的領(lǐng)域得到了深入的研究,但該環(huán)境對作戰(zhàn)行動、武器裝備的影響需要綜合考慮全域多維環(huán)境要素的影響,例如地面土質(zhì)、地形起伏、當(dāng)前的降雨、能見度、城鎮(zhèn)的人文構(gòu)設(shè)等均會對武器裝備的機動速度、射界產(chǎn)生綜合影響. 尚缺乏能夠快速檢索、自動關(guān)聯(lián)到全域多維要素的數(shù)據(jù)驅(qū)動模型.
現(xiàn)在常用的基于知識圖譜的應(yīng)用,大都采用如YAGO[25]、NELL[26]和Wikidata[27]等大型知識圖譜,這種圖譜通常以（頭尾）實體對（節(jié)點）之間的關(guān)系（邊）形式表示事實. 然而,面臨元宇宙環(huán)境的多變性以及復(fù)雜性,即使是大型知識圖譜對于其本體描述也是不完整的. 另外,大型知識圖譜中的每個關(guān)系都需要大量的實體對. 然而,真實環(huán)境中的本體關(guān)系的頻率分布往往有長尾. 很大一部分關(guān)系在知識圖譜中只有少數(shù)實體對. 知識圖譜和處理實體對數(shù)量有限的關(guān)系是非常重要和具有挑戰(zhàn)性的. 在這種情況下,以前的模型假設(shè)所有的關(guān)系都有足夠多的訓(xùn)練實例,這就造成了模型的不可行性. 另一方面,針對變化的元宇宙城市環(huán)境,知識圖譜的本體描述不可能是一成不變的. 因此,對于環(huán)境的反饋,對于修正環(huán)境的本體描述是一種非常重要的手段,而目前的知識圖譜顯然對此不支持.
鑒于上面兩個挑戰(zhàn),結(jié)合人類元認識的少樣本學(xué)習(xí)或元學(xué)習(xí),設(shè)計知識圖譜構(gòu)造方案以及協(xié)同編輯技術(shù). 一方面,嘗試建立一個基于少樣本學(xué)習(xí)和元學(xué)習(xí)的關(guān)系模型,目的是學(xué)習(xí)一個匹配函數(shù). 即使在給定每個關(guān)系的少量參考實體對集合的情況下,該技術(shù)也能夠有效地推斷出真實的實體對；另一方面,本項目嘗試利用預(yù)訓(xùn)練多模態(tài)模型在數(shù)據(jù)理解和生成方面的出色能力,用于彌合知識圖譜編碼和協(xié)同編輯內(nèi)容的語義差距,以學(xué)習(xí)原有知識圖譜和新信息之間的對應(yīng)關(guān)系.
綜合上述兩點,整體技術(shù)期待可以解決目前模型擴展性不強的問題.
具體來說,元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識圖譜采用“自頂向下”方法構(gòu)建,主要分為模式層和數(shù)據(jù)層構(gòu)建,如圖5 所示. 模式層主要是作戰(zhàn)環(huán)境各要素本體和概念,數(shù)據(jù)層主要是作戰(zhàn)環(huán)境各要素實體和相關(guān)屬性,其思路是根據(jù)本體概念分類體系實現(xiàn)地理本體和概念的構(gòu)建,然后基于地質(zhì)、地形、氣象、海洋、電磁、網(wǎng)絡(luò)等領(lǐng)域數(shù)據(jù),實現(xiàn)實體和相關(guān)屬性的抽取,利用知識融合方法實現(xiàn)跨域、多源異構(gòu)作戰(zhàn)環(huán)境數(shù)據(jù)的關(guān)聯(lián)融合,最終形成元宇宙城市作戰(zhàn)環(huán)境多模態(tài)知識圖譜. 但這種城市作戰(zhàn)的知識圖譜有著擴展性不強的弊端,因此,通過下面的方式來完善：在知識圖譜的構(gòu)建中,運用新型的基于元學(xué)習(xí)（少樣本學(xué)習(xí)）的關(guān)系學(xué)習(xí)模型,旨在通過作戰(zhàn)士兵或者前線的少量發(fā)現(xiàn)增補新關(guān)系的事實. 該模型意圖有效地從異質(zhì)圖結(jié)構(gòu)中捕獲知識,聚合少數(shù)樣本的表示,并為每個關(guān)系匹配相似實體對. 具體來說,意圖構(gòu)建一個關(guān)系感知的異質(zhì)鄰居編碼器,以學(xué)習(xí)基于異質(zhì)圖結(jié)構(gòu)和注意力機制的實體嵌入、捕捉到不同的關(guān)系類型和本地鄰居的影響差異. 擬設(shè)計一個遞歸自動編碼器的聚合網(wǎng)絡(luò),來模擬幾張照片的參考實體對的相互作用,并積累它們對每個關(guān)系的表達能力. 在少量樣本的聚合嵌入的情況下,擬采用一個匹配網(wǎng)絡(luò)來發(fā)現(xiàn)相似實體對. 基于元學(xué)習(xí)的元訓(xùn)練的梯度下降法被用來優(yōu)化模型參數(shù). 學(xué)到的模型可以進一步應(yīng)用于推斷任何新關(guān)系的真實實體對,而無需任何微調(diào)步驟.
圖5 元宇宙城市作戰(zhàn)知識圖譜構(gòu)建Fig.5 Knowledge graph for urban warfare in the metaverse
為了實現(xiàn)協(xié)同編輯,進一步地提出新型的基于預(yù)訓(xùn)練多模態(tài)模型和元學(xué)習(xí)的知識圖譜協(xié)同編輯技術(shù),如圖6 所示. 為了彌補語義上的差距,通過圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并編碼來自知識圖譜的表征和基于預(yù)訓(xùn)練多模態(tài)模型的編輯過的實體表征之間的對應(yīng)關(guān)系,來加強表征的一致性.為了將編輯過的實體輸入知識圖譜,提出了一個基于關(guān)系的廣度優(yōu)先搜索策略,將知識圖譜線性化為一個規(guī)劃良好的實體序列. 從而實現(xiàn)了編輯小樣本或者少樣本的情況下,知識圖譜可以動態(tài)更新,以至于達到協(xié)同編輯的目的.
圖6 基于知識圖譜的協(xié)同編輯技術(shù)Fig.6 Knowledge graph-based collaborative editing technolgy
4 案例實驗與分析
結(jié)合之前的第2 章和第3 章進行元宇宙建模的案例實驗,進行框架的部署,使用OpenKG 的中國地理信息圖譜進行實驗驗證；對于第3 章案例設(shè)計中相關(guān)設(shè)計進行定量對比實驗. 此外,將上述代碼和系統(tǒng)送去具有中國計量認證（China Metrology Accreditation,CMA）和中國合格評定國家認可委員會（China National Accreditation Service for conformity assessment,CNAS）資質(zhì)的第三方實驗室進行驗證,驗證結(jié)果表明該系統(tǒng)與本文論述結(jié)果一致,而且系統(tǒng)具有一定的可靠性和有效性.
4.1 基于Neo4j 的環(huán)境模型部署
如何用語言進行信息描述是本體建模領(lǐng)域經(jīng)久不衰的話題. 1998年,美軍的作戰(zhàn)管理語言（battle management language,BML）開始進行研究. 2004年成立作戰(zhàn)管理語言研究小組,利用仿真互操作標準化組織（Simulation Interoperability Standard Organization,SISO）,設(shè)計聯(lián)盟作戰(zhàn)管理語言（coalition BML,CBML）,并試圖將該語言用在聯(lián)盟作戰(zhàn)中LVC 建模仿真系統(tǒng)、指揮控制系統(tǒng)、自治無人系統(tǒng)之間需求、計劃、命令和報告的描述和交換,還能夠為實戰(zhàn)化訓(xùn)練、聯(lián)合作戰(zhàn)方案分析（course of action analysis,COAA）和使命演練（mission rehearsal）提供支持,計劃發(fā)布數(shù)據(jù)模型、形式化結(jié)構(gòu)（語法）、形式化語義（本體）3 個階段產(chǎn)品,當(dāng)前只正式發(fā)布了第一階段的數(shù)據(jù)模型標準,并研究了第二階段及后續(xù)的標準開發(fā)框架[28].2008年SISO 組織制定了軍事想定語言（military scenario definition language,MSDL）,用于規(guī)范仿真系統(tǒng)之間及其指揮控制系統(tǒng)之間共享信息的描述. 當(dāng)前C-BML 語言雖然具備聯(lián)合作戰(zhàn)方案信息描述能力,但其語法和語義規(guī)范尚在制定過程中,因此,急需一種語義級的作戰(zhàn)環(huán)境方案描述語言[29]. Python 被昵稱為膠水語言,能夠把用其他語言制作的各種模塊很輕松地聯(lián)結(jié)在一起.Python 具有強大、豐富的（開源）庫,它的應(yīng)用領(lǐng)域非常廣泛. 而且語言簡潔易懂,易于開發(fā),但Python 使用時由編譯器解釋執(zhí)行,效率較低. 所以常見的一種應(yīng)用領(lǐng)域是,由Python 快速生成原型,然后對其中有功能需求的部分,改用合適的其他語言,例如,在本體建構(gòu)過程中,與圖數(shù)據(jù)庫語言結(jié)合. 據(jù)此,使用Neo4j 進行元宇宙城市作戰(zhàn)的環(huán)境模型部署.
第1 步：本體解析.使用類似結(jié)構(gòu)查詢語言（structured query language,SQL）的知識圖譜查詢語言,三元組模式是查詢的基本單元,多個查詢基本單元可構(gòu)成基本圖模式. 這種語言還支持多種運算符,將基本圖模式擴展為復(fù)雜圖模型. 常用的Python 開源庫為RDFLIB,它為知識圖譜提供服務(wù),包含Microdata、N3、Ntriples、RDFA、RDF/XML、Turtle 的序列化和分析化功能,并提供一個多種存儲方式. 可以使用這種在計算機內(nèi)存中建立起領(lǐng)域本體的模型,為后續(xù)工作做好準備. 通過生成類似于SQL 的數(shù)據(jù)庫查詢語句、進行查詢,并處理得到的查詢結(jié)果,就能建立起本體的模型.
第2 步：數(shù)據(jù)映射. Neo4j 由一種圖數(shù)據(jù)庫,其結(jié)構(gòu)與之前構(gòu)建的知識本體有所不同. 為了存儲由上一步本體解析得到的知識圖譜三元組數(shù)據(jù),需要將知識圖譜數(shù)據(jù)映射為Neo4j 專屬模型. 進行關(guān)系映射時,Neo4j 節(jié)點存儲的是不同知識點間的聯(lián)系. 通過這種方式,就可以完成本體模型數(shù)據(jù)到數(shù)據(jù)庫的映射.
第3 步：知識庫生成. 完成作戰(zhàn)環(huán)境本體到Neo4j 的存儲,需要將完成解析的本體存儲至Neo4j.Py2neo 是Python 的另一開源庫,能夠使用該庫與Neo4j 建立連接. 利用Py2neo 可以在計算機內(nèi)存中建立與存儲Neo4j 的模型. 通過生成節(jié)點與關(guān)系、過濾重復(fù)的數(shù)據(jù),最終可生成Neo4j 知識數(shù)據(jù)庫.
4.2 案例設(shè)計的實驗驗證
根據(jù)第3 章的案例設(shè)計,分別進行實驗驗證：
1）基于生成式對抗網(wǎng)絡(luò)改進的實驗驗證
使用黑夜→白天圖像轉(zhuǎn)換任務(wù)為例,使用街景數(shù)據(jù)集Alderley[30]與BDD100K[31]進行驗證,與其他常見的基于生成式對抗網(wǎng)絡(luò)的仿真環(huán)境生成與擴充數(shù)據(jù)算法CycleGAN[17],Disco-GAN[18],UNIT[19]和DRIT[20]做對比,利用學(xué)習(xí)感知圖像補丁相似度（learned perceptual image patch similarity,LPIPS）指標來對生成圖像的逼真性的定量評價. LPIPS 度量值越小,該算法生成的圖像越逼真.
如圖7 所示,來自夜晚域的源圖像被放在每一列的最上方,每一行對應(yīng)于每種方法的轉(zhuǎn)換輸出. 左邊兩列代表Alderley 的定性結(jié)果,右邊兩列代表BDD100K 的結(jié)果. 盡管CycleGAN 在物體清晰可見的區(qū)域進行了適當(dāng)?shù)木庉?但在黑暗或模糊區(qū)域的轉(zhuǎn)換結(jié)果顯示出較差的視覺質(zhì)量. 雖然DiscoGAN 和UNIT 在Alderley 數(shù)據(jù)集的實驗中與CycleGAN 相比呈現(xiàn)出更好的編輯能力,但它們在使用BDD100K 時產(chǎn)生了一些假象,而且輸出結(jié)果也沒有正確轉(zhuǎn)換. 同樣,利用兩個域的共同編碼空間的DRIT 在BDD100K 的實驗中產(chǎn)生了整體模糊的圖像. 模型可以成功地用兩個數(shù)據(jù)集進行惡劣天氣轉(zhuǎn)換. 與其他方法相比,在大多數(shù)區(qū)域（包括黑暗和模糊區(qū)域）輸出了視覺上的優(yōu)越結(jié)果. 此外,現(xiàn)有的物體在轉(zhuǎn)換后的圖像中得到了很好的保留. 由此可以看出,案例設(shè)計的方法的表現(xiàn)力更強. 另外,如表1 所示,方法的LPIPS 的值是最小的,而且與DRIT 相比,生成圖像的逼真性提升5%以上,所以,我們的設(shè)計方法的表現(xiàn)力更強.
表1 轉(zhuǎn)換對比方法結(jié)果表Table 1 Comparison method results for conversion
圖7 對比結(jié)果圖Fig.7 Comparison results
2）基于知識圖譜的擴展性改進實驗驗證
使用知識圖譜查詢?nèi)蝿?wù)為例進行驗證,與其他常用的本體建模方法RESCAL[32]、Trans-E[33]、Dist－Mult[34]、ComplEx[35]和Gmatching[36]進行了對比. 量化指標為知識三元組的查詢排名MRR；它的全稱是Mean Reciprocal Ranking（排名的倒數(shù)）,其中Reciprocal 是指“倒數(shù)的”的意思. 該指標越大越好.
如表2 所示,本文方法的MRR 的值是最大的,而且比Gmatching 相比,提升5%以上,所以,本文設(shè)計方法的擴展性更強.
表2 查詢對比方法結(jié)果表Table 2 Comparison results for knowledge retrieval
5 結(jié)論
隨著現(xiàn)代化戰(zhàn)爭的發(fā)展,大規(guī)模陸?？兆鲬?zhàn)已經(jīng)成為歷史和不可及的未來. 目前,世界局勢以多點爆發(fā)的城市暴亂為主,也就是圍繞城市爭奪和城市巷戰(zhàn)展開. 但是,為了經(jīng)濟發(fā)展與人民生活安定,幾乎不可能在超大城市或者大型城市里進行實戰(zhàn)演練.因此,建設(shè)面向未來戰(zhàn)爭的智能作戰(zhàn)環(huán)境模型是輔助作戰(zhàn)籌劃與決策的一種有效方法. 而沉浸感強、虛實融合與協(xié)作性強的元宇宙,給作戰(zhàn)建模的發(fā)展帶來更多新可能. 據(jù)此,提出了面向城市作戰(zhàn)的數(shù)據(jù)知識驅(qū)動的元宇宙建?？蚣埽徊⒒诖丝蚣?探索了當(dāng)前環(huán)境建模表現(xiàn)力差、擴展性弱的改進方案,而且對改進方案進行了定量實驗驗證. 未來,基于此框架,期望可以積極開展元宇宙城市作戰(zhàn)指揮控制基本理論與應(yīng)用方面的探索,推進元宇宙城市作戰(zhàn)空間關(guān)鍵功能模塊的完善與實戰(zhàn)應(yīng)用.
猜你喜歡
哲學(xué)分析(2023年4期)2023-12-21 05:30:27
少先隊活動(2020年12期)2021-01-14 01:47:40
中國音樂學(xué)(2020年4期)2020-12-25 02:58:06
百家講壇(2020年4期)2020-08-03 02:01:25
中成藥(2017年3期)2017-05-17 06:09:01
課堂內(nèi)外(高中版)(2017年1期)2017-03-22 08:45:17
領(lǐng)導(dǎo)科學(xué)論壇(2016年9期)2016-06-05 14:59:58
文學(xué)教育(2016年27期)2016-02-28 02:35:15
科普童話·百科探秘(2014年1期)2014-01-13 09:13:11
卷宗(2013年6期)2013-10-21 21:07:52
