基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成方法

梅佳琪，陳 強(qiáng)

(1. 九江學(xué)院，江西 九江332000； 2. 廣西師范大學(xué)，廣西 桂林541000)

1 引言

交互界面的計(jì)算機(jī)系統(tǒng)設(shè)計(jì)與應(yīng)用的主要組成部分，是人與計(jì)算機(jī)間信息傳遞的窗口與工具。在當(dāng)前計(jì)算機(jī)技術(shù)深度發(fā)展的大環(huán)境下，人類已經(jīng)步入數(shù)字化時(shí)代，交互界面的設(shè)計(jì)與應(yīng)用逐漸滲入人們的日常工作與學(xué)習(xí)中，視覺(jué)、觸覺(jué)、聽覺(jué)、嗅覺(jué)等不同感官的用戶體驗(yàn)成為人們生活的一部分。數(shù)字化時(shí)代內(nèi)，通過(guò)交互界面設(shè)計(jì)提升數(shù)字產(chǎn)品的效用，同時(shí)提升用戶體驗(yàn)成為產(chǎn)品開發(fā)商們的研究熱點(diǎn)。

當(dāng)前普遍使用的界面生成方法多以認(rèn)知規(guī)律為核心，但該類方法普遍存在交互界面生成結(jié)果與實(shí)際物體的擬合度低，用戶交互效果差等問(wèn)題。虛擬現(xiàn)實(shí)技術(shù)是以交互性與沉浸感為核心的一種技術(shù)，能夠有效提升用戶的感官體驗(yàn)，因此研究基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成方法，以此為用戶提供更真實(shí)的交互效果。

2 多感官視覺(jué)交互界面生成方法

2.1 基于虛擬現(xiàn)實(shí)技術(shù)的多感官視覺(jué)交互界面生成過(guò)程

基于虛擬現(xiàn)實(shí)技術(shù)的多感官視覺(jué)交互界面生成過(guò)程可劃分為兩個(gè)環(huán)節(jié)，分別是設(shè)計(jì)內(nèi)容環(huán)節(jié)與多感官視覺(jué)體驗(yàn)環(huán)節(jié)，兩個(gè)環(huán)節(jié)之間相互作用，如圖1所示。

圖1 基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成過(guò)程

設(shè)計(jì)內(nèi)容環(huán)節(jié)可分為兩部分，分別是視覺(jué)信息設(shè)計(jì)與交互方式設(shè)計(jì)，通過(guò)設(shè)計(jì)內(nèi)容完成交互界面布局設(shè)計(jì)與界面內(nèi)容設(shè)計(jì)；多感官視覺(jué)體驗(yàn)環(huán)節(jié)則可分為認(rèn)知體驗(yàn)、情感體驗(yàn)與感官體驗(yàn)三部分，在交互界面布局設(shè)計(jì)與界面內(nèi)容設(shè)計(jì)基礎(chǔ)上，結(jié)合設(shè)計(jì)內(nèi)容環(huán)節(jié)中的交互方式設(shè)計(jì)提升用戶對(duì)交互界面的多感官視覺(jué)體驗(yàn)感受。

2.2 設(shè)計(jì)內(nèi)容環(huán)節(jié)

視覺(jué)信息設(shè)計(jì)是基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成過(guò)程中的主要部分，視覺(jué)信息設(shè)計(jì)由功能界面布局、三維物體模型構(gòu)建與情景空間模型構(gòu)建三部分組成。

2.2.1 功能界面布局

功能界面設(shè)計(jì)采用交互界面布局優(yōu)化模型完成，該模型基于界面視覺(jué)注意力劃分模型與功能關(guān)鍵度分析結(jié)果，將優(yōu)化目標(biāo)函數(shù)設(shè)定為交互界面最終布局的視覺(jué)注意力劃分最優(yōu)，以此構(gòu)建基于視覺(jué)注意力劃分的功能界面布局優(yōu)化模型。

對(duì)基于視覺(jué)注意力劃分的功能界面布局優(yōu)化模型實(shí)施以下定義：

1)以={}表示某一功能模塊在等級(jí)有所差異的視覺(jué)區(qū)域內(nèi)所占單元的視覺(jué)注意力級(jí)別，其中表示功能模塊在視覺(jué)區(qū)域內(nèi)所占單元的視覺(jué)注意力級(jí)別。

2)以={}表示某一功能模塊的中心坐標(biāo)所在視覺(jué)區(qū)域的視覺(jué)注意力級(jí)別，其中表示功能模塊的中心坐標(biāo)在視距區(qū)域時(shí)的視覺(jué)注意力級(jí)別。

3)以={}表示某一功能模塊在級(jí)別有所差異的視覺(jué)預(yù)期內(nèi)分別所占的單元數(shù)量，其中表示功能模塊在視覺(jué)區(qū)域內(nèi)所占的單元數(shù)。

上述定義內(nèi)，=1，2，…，，表示功能模塊數(shù)量，=1，2，3，分別描述交互界面中功能界面的三個(gè)視覺(jué)區(qū)域。

選取法確定功能界面中不同功能模塊的關(guān)鍵度，兩兩對(duì)比全部功能模塊的關(guān)鍵度，利用式(1)描述功能模塊的相對(duì)關(guān)鍵度

(1)

式(1)內(nèi)，表示功能模塊的關(guān)鍵度。

利用式(2)能夠確定功能模塊的關(guān)鍵度

(2)

在功能界面設(shè)計(jì)過(guò)程中，與、、之間呈正比例相關(guān)性，也就是對(duì)于界面應(yīng)用方向越關(guān)鍵的功能模塊在界面中所占的面積越大，且越靠近視覺(jué)中心。以式(3)描述視覺(jué)注意力劃分強(qiáng)度

(3)

以表示視覺(jué)注意力劃分強(qiáng)度的上限值，也就是max=，由此得到

(4)

值越大表示界面用戶視覺(jué)注意力對(duì)關(guān)鍵度較高的功能模塊劃分越多。選取粒子群算法求解基于視覺(jué)注意力劃分的功能界面布局優(yōu)化模型，通過(guò)引入慣性權(quán)重確保粒子群全局與局部搜索尋優(yōu)能力，完成功能界面布局。針對(duì)功能界面中的不同區(qū)域，通過(guò)三維模型構(gòu)建生成不同區(qū)域內(nèi)所需的圖像信息。

222 三維模型構(gòu)建

交互界面內(nèi)的圖像信息包括三維物體與情景空間，兩者均采用三維模型構(gòu)建方法生成，三維模型構(gòu)建的主要過(guò)程如下：

1)3D幾何模型構(gòu)建。在3DS MAX軟件內(nèi)導(dǎo)入數(shù)據(jù)采集過(guò)程中得到的平面圖，依照所得物體(情景空間)的相關(guān)信息，拉伸物體(情景空間)；針對(duì)結(jié)構(gòu)較為復(fù)雜的物體(情景空間)，可對(duì)其實(shí)施差分獲取若干個(gè)物體(情景空間)單元，利用不同的建模方法將物體(情景空間)單元合成整體，構(gòu)建物體(情景空間)三維模型。

2)紋理映射。以提升物體(情景空間)的真實(shí)性為目的，利用材質(zhì)編輯器對(duì)物體實(shí)施紋理映射處理。一般情況下，一個(gè)物體(情景空間)的不同面需映射不同的紋理，在此條件下需采用多維/子對(duì)象材質(zhì)，利用其對(duì)相同材質(zhì)下不同子材質(zhì)載入若干幅貼圖。

3)場(chǎng)景渲染與烘焙。在情景空間內(nèi)模擬太陽(yáng)光照射設(shè)定合理的燈光之后，對(duì)物體(情景空間)實(shí)施渲染，為獲取最優(yōu)的渲染效果，可持續(xù)調(diào)整燈光的亮度與位置。在完成渲染后通過(guò)合理的方式進(jìn)行烘焙，將物體(情景空間)渲染結(jié)果存儲(chǔ)至tga格式的文件內(nèi)。

4)情景空間交互。在VR-Plat form編輯器內(nèi)導(dǎo)入tga格式文件，優(yōu)化物體(情景空間)，分別創(chuàng)建情景空間內(nèi)的行走相機(jī)(仿真人類行走條件下物體(情景空間)的高度與行走速度)與飛行相機(jī)(模擬情景空間上空的俯瞰場(chǎng)景)。依照實(shí)際應(yīng)用需求確定是否需要進(jìn)行碰撞檢測(cè)，通過(guò)壓縮紋理降低紋理貼圖的顯存消耗確定虛擬物體(情景空間)與漫游交互流暢性間的平衡。

2.3 多感官視覺(jué)體驗(yàn)過(guò)程

基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成過(guò)程中，最大限度上考慮用戶的實(shí)際感官接受信息情況，將傳感信息、體感信息與視覺(jué)信息作為輸入，利用ANNS-DS(神經(jīng)網(wǎng)絡(luò)—DS(Dempster-shafe))信息融合算法進(jìn)行多感官視覺(jué)信息融合，基于融合結(jié)果實(shí)現(xiàn)虛擬現(xiàn)實(shí)圖形顯示、氣味發(fā)生、振動(dòng)與聲音反饋等界面交互功能，通過(guò)設(shè)計(jì)內(nèi)容環(huán)節(jié)中的交互方式設(shè)計(jì)提升用戶對(duì)交互界面的多感官視覺(jué)體驗(yàn)感受。多感官視覺(jué)體驗(yàn)要素處理過(guò)程如圖2所示。

圖2 多感官視覺(jué)體驗(yàn)過(guò)程

多感官視覺(jué)信息融合過(guò)程中采用基于基本概率分配函數(shù)相結(jié)合的ANNS-DS信息融合算法。設(shè)個(gè)感官輸入模塊經(jīng)過(guò)響應(yīng)的信息號(hào)處理后生成個(gè)與線性無(wú)關(guān)的感官特征向量，基于這些感官特征向量，利用神經(jīng)網(wǎng)絡(luò)算法能夠識(shí)別個(gè)目標(biāo)。由于神經(jīng)網(wǎng)絡(luò)算法內(nèi)，網(wǎng)絡(luò)復(fù)雜度與輸入單元數(shù)量不具備相關(guān)性，神經(jīng)網(wǎng)絡(luò)內(nèi)隱層數(shù)量與不同隱層內(nèi)神經(jīng)元數(shù)量的精確確定較為困難，且無(wú)法確保網(wǎng)絡(luò)訓(xùn)練過(guò)程中的完全收斂性，因此在利用神經(jīng)網(wǎng)絡(luò)算法融合多感官信息時(shí)，需與算法相結(jié)合，詳細(xì)過(guò)程描述如下：

設(shè)計(jì)一包含(=1，2，3，…，)個(gè)輸入與個(gè)輸出的神經(jīng)網(wǎng)絡(luò)，依照當(dāng)前現(xiàn)有的多感官特征向量與目標(biāo)間的專家知識(shí)，生成學(xué)習(xí)樣本，分別完成由(=1，2，3，…，)個(gè)多感官特征向量到個(gè)待識(shí)別目標(biāo)(多感官信息融合結(jié)果)的信任度間的非線性映射。

依照上述分析，從時(shí)間角度進(jìn)行多感官視覺(jué)信息融合，具體過(guò)程如下：以0時(shí)刻為初始時(shí)刻，設(shè)定周期為，以，1(-1)，，2(-1)，…，，(-1)表示多感官視覺(jué)信息在第(-1)時(shí)刻對(duì)于第個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的時(shí)間域的融合結(jié)果。在達(dá)到后續(xù)時(shí)刻的條件下，其不同命題的基本概率分配函數(shù)和無(wú)解水平可分別表示為，，(=1，2，…，)和，。由此得到時(shí)刻條件下時(shí)間域的融合過(guò)程

(5)

(6)

利用式(5)與式(6)能夠得到，1()，…，，()，()，使，+1()=()，則可得到，1()，…，，()，，+1()。

(7)

(8)

基于上述過(guò)程能夠得到在經(jīng)過(guò)時(shí)刻后，多感官視覺(jué)信息融合對(duì)第個(gè)目標(biāo)的最終決策水平與目標(biāo)的無(wú)解水平分別為()和()。由此可依據(jù)()(=1，2，…，)得到最終的多感官視覺(jué)信息融合結(jié)果。

3 應(yīng)用分析

實(shí)驗(yàn)為驗(yàn)證本文所研究的基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成方法的應(yīng)用性能，以某汽車網(wǎng)站APP為應(yīng)用對(duì)象，采用本文方法生成應(yīng)用對(duì)象的交互界面，并對(duì)本文方法的具體性能進(jìn)行測(cè)試，所得結(jié)果如下。

3.1 交互界面生成結(jié)果

采用本文方法生成交互界面過(guò)程中，物體的三維模型構(gòu)建過(guò)程如圖3所示。圖4所示為界面內(nèi)情景空間交互效果。

圖3 三維模型構(gòu)建過(guò)程

圖4 情景空間交互效果

分析圖3(a)可得，在3DS MAX軟件內(nèi)導(dǎo)入數(shù)據(jù)采集過(guò)程中得到的平面圖，依照所得汽車的相關(guān)信息能夠有效構(gòu)建汽車三維模型。分析圖3(b)可得利用材質(zhì)編輯器對(duì)物體實(shí)施紋理映射處理可顯著提升汽車的真實(shí)性。分析圖3(c)可得通過(guò)燈光的亮度與位置調(diào)整進(jìn)行場(chǎng)景渲染與烘焙可進(jìn)一步提升模型真實(shí)性。圖3(c)內(nèi)的框線標(biāo)志出物體為界面內(nèi)的主要目標(biāo)，應(yīng)占據(jù)用戶的大部分視覺(jué)注意力，因此其處理界面中心位置。以上實(shí)驗(yàn)結(jié)果說(shuō)明采用本文方法能夠有效構(gòu)建應(yīng)用對(duì)象交互界面中所展示物體的三維模型，且模型構(gòu)建較為真實(shí)，有利用提升用戶的視覺(jué)效果。

分析圖4(a)得到，用戶在點(diǎn)擊屏幕左上角的圓形符號(hào)能夠選擇欲了解的車型與相關(guān)配置，并通過(guò)選定路況進(jìn)行車輛駕駛體系。用戶點(diǎn)擊界面中間的開始按鈕后，界面將呈現(xiàn)用戶所選車型與相應(yīng)路況，并為用戶提供駕駛體驗(yàn)，可令用戶感受所選車型的駕駛視野、轉(zhuǎn)彎靈活性、極限車速、顛簸程度等。分析圖4(b)得到，通過(guò)本文方法構(gòu)建的交互界面內(nèi)，用戶可通過(guò)飛行相機(jī)對(duì)目標(biāo)進(jìn)行俯瞰，并通過(guò)交互手勢(shì)調(diào)節(jié)視覺(jué)遠(yuǎn)近度。以上實(shí)驗(yàn)結(jié)果說(shuō)明采用本文方法構(gòu)建的交互界面中，通過(guò)虛擬現(xiàn)實(shí)技術(shù)為用戶提供沉浸式漫游體驗(yàn)，通過(guò)視覺(jué)、聽覺(jué)等不同感官提升用戶的體驗(yàn)感受。

3.2 擬合度客觀對(duì)比

交互界面內(nèi)虛擬物體與情景空間的擬合度是交互界面設(shè)計(jì)效果的重要評(píng)價(jià)指標(biāo)，擬合度計(jì)算過(guò)程如下

(9)

式(9)中，N表示交互界面物體與情景空間圖像像素?cái)?shù)量，h和f分別表示實(shí)際物體與情景空間圖像內(nèi)和所設(shè)計(jì)交互界面物體與情景空間圖像內(nèi)第i個(gè)像素點(diǎn)的像素值。擬合度取值為0—1，取值為1時(shí)說(shuō)明所設(shè)計(jì)交互界面內(nèi)物體與情景空間圖像與實(shí)際物體與情景空間圖像完全一致。

在本文方法生成的應(yīng)用對(duì)象交互界面內(nèi)隨機(jī)選取汽車圖像與駕駛情景空間圖像各10幅，計(jì)算全部圖像的擬合度結(jié)果如圖5所示。

圖5 擬合度計(jì)算結(jié)果

由圖5得到，本文方法所生成的交互界面內(nèi)汽車圖像與駕駛情景空間圖像的擬合度均在0.9以上，說(shuō)明本文方法所生成的交互界面擬合度較高，可為用戶提供更真實(shí)的感官體驗(yàn)。

3.3 界面轉(zhuǎn)換流暢度測(cè)試

圖6所示為本文方法所生成的交互界面在不同并發(fā)用戶數(shù)量條件下的界面轉(zhuǎn)換時(shí)間。

圖6 界面轉(zhuǎn)換流暢度測(cè)試結(jié)果

由圖6得到，在并發(fā)用戶數(shù)量逐漸提升的條件下，本文方法所生成的交互界面內(nèi)全部功能界面轉(zhuǎn)換所需的時(shí)間均呈逐漸上升的趨勢(shì)。其中，界面登錄功能所的時(shí)間顯著高于駕駛情景空間選擇、車型選擇與相機(jī)選擇所需的時(shí)間，其在并發(fā)用戶數(shù)量達(dá)到150人的條件下，界面轉(zhuǎn)換時(shí)間在950ms左右。由此說(shuō)明本文方法所生成的交互界面在大量并發(fā)用戶的條件下依舊具有較好的界面轉(zhuǎn)換流暢度。

4 結(jié)論

本文研究基于虛擬現(xiàn)實(shí)的多感官視覺(jué)交互界面生成方法，分別從設(shè)計(jì)內(nèi)容環(huán)節(jié)與多感官視覺(jué)體驗(yàn)環(huán)節(jié)出發(fā)，通過(guò)功能界面布局優(yōu)化、三維模型構(gòu)建與多感官視覺(jué)信息融合等過(guò)程生成交互界面。應(yīng)用分析結(jié)果顯示本文方法所生成的交互界面可為用戶提供沉浸式漫游體驗(yàn)，通過(guò)視覺(jué)、聽覺(jué)等不同感官提升用戶的體驗(yàn)感受。