鄰接矩陣在智能協(xié)同仿真實(shí)驗(yàn)系統(tǒng)的應(yīng)用

張祥裕

摘要：近年來(lái)，沉浸的3D虛擬實(shí)驗(yàn)環(huán)境越來(lái)越吸引研究者和學(xué)習(xí)者。隨著VR、AR技術(shù)的發(fā)展，給學(xué)生營(yíng)造了一個(gè)更加逼真、生動(dòng)、可交互的虛擬仿真實(shí)驗(yàn)環(huán)境，使得虛擬仿真實(shí)驗(yàn)更加逼近真實(shí)實(shí)驗(yàn)。但是目前大部分虛擬仿真實(shí)驗(yàn)都集中于單人實(shí)驗(yàn)，學(xué)生之間缺乏交流和協(xié)作，同時(shí)實(shí)驗(yàn)環(huán)境缺乏沉浸式的交互和實(shí)驗(yàn)步驟呆板固定。對(duì)于這個(gè)問(wèn)題，本文基于Unity 3D引擎設(shè)計(jì)了一個(gè)協(xié)同天平實(shí)驗(yàn)，該協(xié)同實(shí)驗(yàn)采用Unity 3D的Unity Network技術(shù)實(shí)現(xiàn)多用戶之間的實(shí)驗(yàn)場(chǎng)景數(shù)據(jù)的同步，同時(shí)利用鄰接矩陣技術(shù)并根據(jù)實(shí)驗(yàn)者的實(shí)際操作情況以動(dòng)畫(huà)直觀的方式智能展示下一步的操作，最后使用Unity 3D碰撞技術(shù)實(shí)現(xiàn)整個(gè)實(shí)驗(yàn)。

關(guān)鍵詞：虛擬實(shí)驗(yàn);協(xié)同實(shí)驗(yàn);鄰接矩陣;智能;Uinty 3D

中圖分類(lèi)號(hào)：TP391.9? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）25-0299-0c

Abstract： In recent years， immersed 3D virtual experimental environment has attracted a growing number of researchers and learners.With the development of VR and AR technology， a more realistic， vivid and interactive virtual simulation experiment environment is created for students， which makes the virtual simulation experiment more close to the real experiment.However， most of the virtual simulation experiments are focused on single-person experiments at present. There is a lack of communication and cooperation between students. At the same time， there is a lack of immersive interaction and rigid experimental steps in the experimental environment.To solve this problem，this paper designs a cooperative balance experiment based on Unity 3D engine. The cooperative experiment uses Unity Network technology of Unity 3D to synchronize the experimental scene data among multi-users. At the same time， the Adjacency matrix technology is used to display the next operation intelligently in an animated and intuitive way according to the actual operation of the experimenter. Finally， the whole experiment is realized by using Unity 3D collision technology.

Key words： Virtual experiment; collaborative experiment; Adjacency matrix; intelligence; Unity 3D

三維虛擬仿真實(shí)驗(yàn)教學(xué)是虛擬教學(xué)的重要組成部分，學(xué)生可以根據(jù)實(shí)際情況自己安排時(shí)間來(lái)完成實(shí)驗(yàn)和重復(fù)某個(gè)實(shí)驗(yàn)[1][2]，打破了時(shí)間和空間上的限制。3D虛擬實(shí)驗(yàn)環(huán)境給學(xué)生提供一個(gè)沉浸和高效的學(xué)習(xí)環(huán)境，在虛擬實(shí)驗(yàn)環(huán)境中，學(xué)生可以進(jìn)行虛擬實(shí)驗(yàn)、探索和分析虛擬實(shí)驗(yàn)現(xiàn)象[4]。但是大部分的虛擬仿真實(shí)驗(yàn)平臺(tái)都是以單人虛擬仿真實(shí)驗(yàn)為主[4][5][6][7]，學(xué)生與學(xué)生的缺乏交流和合作，同時(shí)實(shí)驗(yàn)缺乏合理的引導(dǎo)，使得學(xué)生失去對(duì)實(shí)驗(yàn)的興趣，也不會(huì)在做實(shí)驗(yàn)的基礎(chǔ)上進(jìn)一步深入了解和探索。因此，一個(gè)智能的協(xié)同仿真實(shí)驗(yàn)系統(tǒng)可以很好地解決這個(gè)問(wèn)題，這樣的仿真系統(tǒng)可以讓多個(gè)學(xué)生一起做一個(gè)實(shí)驗(yàn)，參與者可以相互合作[8]，共同解決在實(shí)驗(yàn)遇到的問(wèn)題，提高了學(xué)生的積極性和學(xué)習(xí)興趣。本文利用Uinty 3D游戲引擎設(shè)計(jì)了一個(gè)以天平實(shí)驗(yàn)為例的智能協(xié)同虛擬仿真實(shí)驗(yàn)系統(tǒng)，該系統(tǒng)使用Unity 3D的Unity Network技術(shù)實(shí)現(xiàn)虛擬實(shí)驗(yàn)實(shí)時(shí)的同步，采用鄰接矩陣根據(jù)實(shí)驗(yàn)操作的實(shí)際實(shí)驗(yàn)情況控制下一步操作的動(dòng)畫(huà)的播放達(dá)到智能指導(dǎo)實(shí)驗(yàn)，采用碰撞檢測(cè)技術(shù)和攝像機(jī)跟隨技術(shù)使得實(shí)驗(yàn)更加沉浸和逼真，解決了交互性差、體驗(yàn)差和單人實(shí)驗(yàn)無(wú)趣乏味的問(wèn)題。

1 相關(guān)工作

現(xiàn)在的協(xié)同實(shí)驗(yàn)研究工作主要體現(xiàn)在四個(gè)方面：（1）增加輔助協(xié)同實(shí)驗(yàn)的手段，這些手段包括語(yǔ)音聊天、視頻聊天、分享電子白板、分享虛擬桌面、錄制實(shí)驗(yàn)操作過(guò)程等[9][10][11]。

（2）引入VR設(shè)備使得協(xié)同實(shí)驗(yàn)更加的沉浸和提高用戶之間的交互[14][16]，如微軟的Kinect、在化學(xué)實(shí)驗(yàn)中發(fā)出刺激性氣味的嗅覺(jué)裝置、Oculus和Leap Mothion VR devices。（3）變換協(xié)同實(shí)驗(yàn)的形式，如老師帶領(lǐng)和監(jiān)督學(xué)生做實(shí)驗(yàn)[10][12]、提供錯(cuò)誤信息反饋[10]。（4）針對(duì)不同類(lèi)型協(xié)同實(shí)驗(yàn)采取不同的協(xié)同算法[14]。現(xiàn)在主流的協(xié)同實(shí)驗(yàn)系統(tǒng)都體現(xiàn)著這四個(gè)方面中的一個(gè)或者多個(gè)方面，如：Teresa Monahan， Gavin McArdle， and Michela Bertolotto等人利用VR技術(shù)設(shè)計(jì)了一個(gè)以網(wǎng)站為平臺(tái)的多媒體協(xié)作e-learning系統(tǒng)CLEV-R[13]， 該系統(tǒng)為學(xué)生提供文字聊天、語(yǔ)音聊天功能和能直接從網(wǎng)絡(luò)攝像頭采集數(shù)據(jù)并向3D環(huán)境廣播，在這個(gè)系統(tǒng)中，學(xué)生也可以上傳并分享個(gè)人文件。Moh. Zikky， Kholid Fathoni， Miftakhul Firdaus等人利用VR設(shè)備Oculus和Unity 3D引擎的Unity Network技術(shù)設(shè)計(jì)了以太陽(yáng)系為課題的遠(yuǎn)程交互的多媒體虛擬協(xié)作學(xué)習(xí)系統(tǒng)[9]，該系統(tǒng)的重心是如何建立通信通道、如何進(jìn)行連接和在三維虛擬場(chǎng)景中共享對(duì)象。Jara 等設(shè)計(jì)的在線實(shí)時(shí)虛擬協(xié)同實(shí)驗(yàn)室[15]采用加鎖發(fā)控制協(xié)同實(shí)驗(yàn)的并發(fā)問(wèn)題，教師在操作時(shí)學(xué)生只能觀看而不能操作，學(xué)生需經(jīng)過(guò)老師的同意之后才能取得操作權(quán)。Kong等人開(kāi)發(fā)了實(shí)時(shí)同步虛擬協(xié)同實(shí)驗(yàn)平臺(tái)[16]，該平臺(tái)利用利用網(wǎng)絡(luò)編程技術(shù)、C#編程語(yǔ)言、.NET類(lèi)庫(kù)及 Sql Server 數(shù)據(jù)庫(kù)等關(guān)鍵技術(shù)，設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)允許多人實(shí)時(shí)同步合作完成同一實(shí)驗(yàn)的虛擬協(xié)同實(shí)驗(yàn)平臺(tái)。Guo等人開(kāi)發(fā)了基于 Kinect 的多人在線虛擬實(shí)驗(yàn)系統(tǒng)[17]，采用Uinty 3D的RPC技術(shù)和Kinect 體感交互技術(shù)使得實(shí)驗(yàn)者可以采用肢體動(dòng)作操縱虛擬角色進(jìn)行自由行走，并把操作同步到其他客戶機(jī)上。由此可見(jiàn)協(xié)同虛擬仿真教學(xué)實(shí)驗(yàn)具有很大的發(fā)展?jié)摿蜕钌钗芯空摺５悄壳暗膮f(xié)同虛擬實(shí)驗(yàn)仿真還處于研究初級(jí)階段，人機(jī)交互性還相對(duì)比較差，實(shí)驗(yàn)場(chǎng)景不夠逼真。基于以上缺點(diǎn)，本文設(shè)計(jì)了一個(gè)以天平實(shí)驗(yàn)為例的智能協(xié)同虛擬仿真實(shí)驗(yàn)系統(tǒng)，攝像機(jī)以第三人稱(chēng)視角，跟隨虛擬手模型的移動(dòng)和旋轉(zhuǎn)，虛擬手模型模擬現(xiàn)實(shí)中的手抓取儀器零件，使得實(shí)驗(yàn)場(chǎng)景更加地逼近真實(shí)實(shí)驗(yàn)，利用鄰接矩陣以動(dòng)畫(huà)的方式動(dòng)態(tài)指導(dǎo)實(shí)驗(yàn)操作者如何進(jìn)行實(shí)驗(yàn)，使得人機(jī)交互變得更加的靈活。

2 協(xié)同實(shí)驗(yàn)學(xué)習(xí)虛擬環(huán)境

2.1 Client-Server基礎(chǔ)結(jié)構(gòu)

協(xié)同實(shí)驗(yàn)學(xué)習(xí)虛擬環(huán)境使用Unity 3D引擎自帶的網(wǎng)絡(luò)通信框架Unity Networking（簡(jiǎn)稱(chēng)UNET）來(lái)實(shí)現(xiàn)虛擬實(shí)驗(yàn)的同步，利用該框架的NetworkManager組件來(lái)管理三維虛擬物體的同步生成和同步銷(xiāo)毀，利用Network Identity組件來(lái)標(biāo)識(shí)每一個(gè)三維虛擬物體，利用同步變量的方式來(lái)同步三維虛擬物體的位置和旋轉(zhuǎn)。需要同步的三維虛擬物體都在Server端生成，然后通知各個(gè)Client端同步生成。該系統(tǒng)需要同步三維虛擬物體的生成、銷(xiāo)毀、位置和旋轉(zhuǎn)，其他的所有交互操作都在各自的客戶端完成，因?yàn)榭蛻舳撕头?wù)端使用同一套代碼，只需要加以相關(guān)的控制即可，這樣可以減少網(wǎng)絡(luò)數(shù)據(jù)的傳輸。

2.2 協(xié)同實(shí)驗(yàn)虛擬環(huán)境設(shè)計(jì)

該系統(tǒng)以天平稱(chēng)量硬幣質(zhì)量實(shí)驗(yàn)為例說(shuō)明客戶端實(shí)驗(yàn)的設(shè)計(jì)與實(shí)現(xiàn)，采用Unity 3D的碰撞檢測(cè)技術(shù)完成天平零件的裝配和硬幣質(zhì)量的稱(chēng)量和使用鄰接矩陣算法動(dòng)態(tài)給出實(shí)驗(yàn)指導(dǎo)方案。

2.2.1協(xié)同實(shí)驗(yàn)結(jié)構(gòu)

該協(xié)同實(shí)驗(yàn)包括四個(gè)部分：（1）通過(guò)鍵盤(pán)控制虛擬手模型的彎曲來(lái)抓取或者放開(kāi)實(shí)驗(yàn)儀器零件。（2）被抓取的儀器零件和客戶端各自的攝像機(jī)跟隨手模型的移動(dòng)，并把對(duì)應(yīng)的位置信息同步到其他客戶端。（3）被抓取的儀器部件碰撞到對(duì)應(yīng)的位置就會(huì)引發(fā)碰撞事件，并把該儀器部件固定到該位置上。（4）天平裝配完成后，手模型抓取硬幣放入天平的左盤(pán)，抓取鑷子夾取砝碼放入天平右盤(pán)，根據(jù)需要更換砝碼的大小，直到天平平衡。如圖1的a所示：

圖1的b展示了用來(lái)準(zhǔn)確固定天平零件裝配后的位置和角度的box碰撞體，當(dāng)手模型抓取的天平零件碰撞到相應(yīng)的box碰撞體時(shí)，把天平零件吸取過(guò)去，并把該box碰撞體的位置和角度的值賦值給抓取的天平零件的位置和角度，手模型放開(kāi)，完成零件的裝配。

在需要實(shí)時(shí)同步的三維虛擬物體的預(yù)制體都掛載同一個(gè)腳本，該腳本的作用是同步當(dāng)前三維虛擬物體的位置和旋轉(zhuǎn)角度。先定義兩個(gè)同步三維虛擬物體的位置和角度的Vector3類(lèi)型的變量vecPosition，vecRotation，判斷手模型抓取的三維虛擬物體是否是當(dāng)前客戶端的三維虛擬物體，如果是當(dāng)前客戶端三維虛擬物體，則記錄下當(dāng)前三維虛擬物體的位置和旋轉(zhuǎn)角度，并把它們賦值到vecPosition，vecRotation，如果不是當(dāng)前客戶端三維虛擬物體，則把vecPosition，vecRotation的值帶上當(dāng)前三維虛擬物體的名稱(chēng)currentName發(fā)送到服務(wù)端，在服務(wù)端根據(jù)客戶端發(fā)來(lái)的三維虛擬物體的名稱(chēng)找到在客戶端對(duì)應(yīng)的三維物體，并把vecPosition，vecRotation的值賦給找到的三維物體，服務(wù)端同時(shí)還會(huì)把更改的操作同步到各個(gè)客戶端。

2.2.2 鄰接矩陣算法

利用鄰接矩陣算法來(lái)動(dòng)態(tài)指導(dǎo)動(dòng)畫(huà)的播放，并通過(guò)特定的攝像機(jī)拍攝動(dòng)畫(huà)并顯示到屏幕上，實(shí)現(xiàn)從實(shí)驗(yàn)開(kāi)始到實(shí)驗(yàn)結(jié)束的全程指導(dǎo)。把用戶的當(dāng)前完整的操作看成是一個(gè)步驟，如用戶點(diǎn)擊按鈕也相當(dāng)于一個(gè)步驟，一個(gè)實(shí)驗(yàn)的完成由多個(gè)步驟組成，步驟之間根據(jù)實(shí)際情況可以相互切換并且切換往往是錯(cuò)綜復(fù)雜的，如圖2中的步驟之間的切換關(guān)系：

圖2中展示了9個(gè)步驟和步驟之間得切換關(guān)系，這9個(gè)步驟分別是step_a、step_b、step_c1、step_c2、step_d1、step_d2、step_d3、step_e1、step_e2，其中step_a是起始步驟。步驟到另外一個(gè)步驟有箭頭指向就代表可以從這個(gè)步驟切換到那個(gè)步驟，并設(shè)路徑長(zhǎng)度為1。根據(jù)這9個(gè)步驟可以建立9階的方陣S，該方陣的建立規(guī)則如下：

（1） 找出起始步驟到當(dāng)前步驟所有可能路徑，并記錄路徑長(zhǎng)度最小的路徑

（2） 從當(dāng)前步驟開(kāi)始，沿著最短路徑往起始步驟方向走，從中所經(jīng)過(guò)的步驟（包括起始步驟）與當(dāng)前步驟的關(guān)系在方陣中表示設(shè)為1，其余的步驟與當(dāng)前步驟在方陣中表示為0

則根據(jù)規(guī)則，這9階方陣如圖3所示：

下面以該方陣中的第三行數(shù)據(jù)為例進(jìn)行說(shuō)明：

方陣中第三行數(shù)據(jù)表示的是步驟step_c1與其他步驟之間的關(guān)系，步驟step_c1到起始步驟step_a最短距離為2，從step_c1沿著最短路徑到step_a，經(jīng)過(guò)step_b和step_a，所以step_c1與step_b的關(guān)系和step_c1與step_a的關(guān)系的值在方陣中表示都為1，則方陣中第三行第二列、第三行第一列中的值都為1，該行其他列為0。

容易知道，鄰接矩陣S有如下性質(zhì)：

（1）如果第i行中的元素全部為0，則步驟i可以操作;

（2）如果不存在某行的元素全部為0，則沒(méi)有步驟能操作。

于是得到鄰接矩陣S的算法：

（1）當(dāng)存在一行元素全部為0時(shí)，則推薦給用戶的步驟只有一種選擇;

（2）當(dāng)存在多行元素全部為0時(shí)，則推薦給用戶的步驟有多個(gè)，可以隨機(jī)返回一個(gè)步驟給用戶;

（3）當(dāng)步驟i完成后，把鄰接矩陣的第i行和第i列的元素全部移除，并重新更新鄰接矩陣S。

2.2.3 鄰接矩陣算法在協(xié)同虛擬實(shí)驗(yàn)環(huán)境的應(yīng)用

天平實(shí)驗(yàn)待操作的零件如圖4所示，操作零件r2記為步驟r2，操作零件r3記為步驟r3，操作零件r4_left記為步驟r4_left，操作零件r4_right記為步驟r4_right，操作零件r5_left記為步驟r5_left，操作零件r5_right記為步驟r5_right，操作零件r6_left記為步驟r6_left，操作零件r6_right記為步驟r6_right，把硬幣放進(jìn)天平的左盤(pán)的操作記為步驟coin，把砝碼用鑷子夾進(jìn)天平右盤(pán)的操作記為步驟weight。

則可得該實(shí)驗(yàn)的步驟切換關(guān)系如圖5所示：

根據(jù)步驟切換關(guān)系圖得鄰接矩陣S，如圖6所示：

把每一步操作的步驟都錄制成可視化的動(dòng)畫(huà)文件，建立鄰接矩陣的行號(hào)與動(dòng)畫(huà)名稱(chēng)一一映射關(guān)系。當(dāng)一個(gè)步驟被操作后，就刪除鄰接矩陣中的對(duì)應(yīng)的行和列的元素，同時(shí)查找下一個(gè)操作步驟的行號(hào)，如果找到多個(gè)行號(hào)符合要求，則隨機(jī)返回一個(gè)行號(hào)，并根據(jù)該行號(hào)找到與之對(duì)應(yīng)的動(dòng)畫(huà)名稱(chēng)并播放該動(dòng)畫(huà)，實(shí)驗(yàn)操作者可以通過(guò)觀看該動(dòng)畫(huà)可以知道下一個(gè)操作如何做，從而達(dá)到指導(dǎo)的效果。該動(dòng)畫(huà)在Unity 3D實(shí)驗(yàn)場(chǎng)景的另外一個(gè)地方內(nèi)執(zhí)行，利用專(zhuān)門(mén)的攝像機(jī)拍攝并渲染到實(shí)驗(yàn)場(chǎng)景中的帶有RenderTexture材質(zhì)貼圖的3D屏幕上，效果如圖7所示：

只要符合實(shí)際，實(shí)驗(yàn)操作者可以隨心所欲地操作，并且可以根據(jù)實(shí)驗(yàn)操作者的實(shí)際操作情況，動(dòng)態(tài)給出實(shí)驗(yàn)指導(dǎo)，同時(shí)實(shí)驗(yàn)操作者可以不按照給出的指導(dǎo)步驟進(jìn)行操作，擺脫傳統(tǒng)的安排好的操作流程，每一步都是固定好的，不按照它指導(dǎo)的操作步驟做無(wú)法進(jìn)行下一步實(shí)驗(yàn)。

3 結(jié)果和討論

系統(tǒng)利用Unity3D的碰撞檢測(cè)技術(shù)完成天平零件的裝配和硬幣的質(zhì)量稱(chēng)量，利用Unity Network技術(shù)實(shí)現(xiàn)虛擬實(shí)驗(yàn)的同步，利用鄰接矩陣實(shí)現(xiàn)實(shí)驗(yàn)教程動(dòng)態(tài)指導(dǎo)，實(shí)現(xiàn)了一個(gè)智能、沉浸的三維協(xié)同實(shí)驗(yàn)系統(tǒng)。攝像頭以第三人稱(chēng)視角跟隨手模型移動(dòng)和旋轉(zhuǎn)，手模型抓取虛擬物體在三維場(chǎng)景中移動(dòng)和旋轉(zhuǎn)并與其他三維虛擬物體進(jìn)行交互，擺脫按住鼠標(biāo)拖拽物體進(jìn)行交互的傳統(tǒng)方式，使得虛擬實(shí)驗(yàn)更加逼近真實(shí)的實(shí)驗(yàn)。該系統(tǒng)還可以進(jìn)一步完善，如增加互動(dòng)功能（視頻聊天）、智能人機(jī)交互功能（AR技術(shù)）、動(dòng)態(tài)建模功能（2D圖像轉(zhuǎn)3D模型）、動(dòng)態(tài)增加習(xí)題功能（動(dòng)態(tài)從數(shù)據(jù)庫(kù)抽題并根據(jù)題目要求動(dòng)態(tài)建立習(xí)題UI）。

參考文獻(xiàn)：

[1] Valdez M T， Ferreira C M， Martins M J M. 3D virtual reality experiments to promote electrical engineering education[C]//2015 International Conference on Information Technology Based Higher Education and Training （ITHET）. IEEE， 2015： 1-4.

[2] Zikky M， Fathoni K， Firdaus M. Interactive Distance Media Learning Collaborative Based on Virtual Reality with Solar System Subject[C]//2018 19th IEEE/ACIS International Conference on Software Engineering， Artificial Intelligence， Networking and Parallel/Distributed Computing （SNPD）. IEEE， 2018： 4-9.

[3] Grivokostopoulou F， Perikos I， Kovas K. Utilizing virtual reality to assist students in learning physics[C]//2017 IEEE 6th International Conference on Teaching， Assessment， and Learning for Engineering （TALE）. IEEE， 2017： 486-489.

[4] Daineko Y A， Ipalakova M T， Yunnikova M V. Using of ICT in E-learning： Development of the virtual learning environment for physics study[C]//2017 Computing Conference. IEEE， 2017： 1195-1198.

[5] Liao H， Qu Z. Virtual experiment system for electrician training based on Kinect and Unity3D[C]//Proceedings 2013 International Conference on Mechatronic Sciences， Electric Engineering and Computer （MEC）. IEEE， 2013： 2659-2662.

[6] Du H， Jia Z， Wang J. A control mechanism of the physical simulation experiment based on game engine[C]//2009 International Conference on Computational Intelligence and Software Engineering. IEEE， 2009： 1-3.

[7] Alam A， Ullah S. Adaptive 3D-Virtual Learning Environments： From Students' Learning Perspective[C]//2016 International Conference on Frontiers of Information Technology （FIT）. IEEE， 2016： 7-10.

[8]Scheucher B， Bayley P， Gütl C. Collaborative virtual 3d environment for internet-accessible physics experiments[J]. International Journal of Online Engineering， 2009， 5（REV 2009）： 65-71.