基于3D-ResNet雙流網(wǎng)絡(luò)的VR病評估模型

權(quán)巍，蔡永青，王超，宋佳，孫鴻凱，李林軒

(長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院，吉林 長春 130013)

虛擬現(xiàn)實(virtual reality， VR)融合計算機圖形學(xué)、多媒體、仿真等多種技術(shù)模擬出360°虛擬環(huán)境，能夠為用戶帶來逼真、身臨其境的觀看和交互體驗，廣泛應(yīng)用于工業(yè)、教育、藝術(shù)、醫(yī)學(xué)、游戲娛樂等眾多領(lǐng)域中.在VR體驗中極易產(chǎn)生頭暈、惡心、嘔吐等不適癥狀，嚴重者甚至?xí)霈F(xiàn)心率不齊、虛脫的情況，嚴重影響了VR技術(shù)與產(chǎn)業(yè)的發(fā)展.對于VR體驗中的這種不適，一些學(xué)者稱其為運動病、模擬器病、網(wǎng)絡(luò)病(cybersickness)、虛擬現(xiàn)實病(VR sickness)、視覺誘發(fā)運動病(visual induced motion sickness， VIMS)等.這些名稱存在相似之處，但不完全相同.運動病通常是指人們暴露在真實環(huán)境(如乘車、船、飛機等)下因異常運動刺激產(chǎn)生的不適癥狀；模擬器病是使用飛行模擬器訓(xùn)練引起的一種運動病.虛擬現(xiàn)實病[1]特指在VR環(huán)境下由視覺誘發(fā)的病癥，也可稱為網(wǎng)絡(luò)病或視覺誘發(fā)運動病，屬于運動病的一種.Mccauley等[2]將體驗VR產(chǎn)生的不適稱為VR病或網(wǎng)絡(luò)病，近幾年來，越來越多的學(xué)者認同了VR病這一名稱[3-6].

準確地評估VR病是VR領(lǐng)域的一個重要研究內(nèi)容.有許多理論試圖對VR病作出解釋，其中感官沖突理論[7]是被廣泛接受的理論.該理論認為：當眼睛看到VR畫面時，視覺系統(tǒng)產(chǎn)生運動感知，但實際上前庭系統(tǒng)感知到人體并沒有運動，這種視覺與前庭系統(tǒng)的不匹配是引起VR病最重要的因素.目前對于VR疾病的評估主要包括主觀評價法和客觀評價法.主觀評價法主要是通過人在VR體驗后填寫調(diào)查問卷，從而計算分值，評價VR的病癥程度.VR病的主觀評價主要采用Kennedy等[8]提出的模擬器病SSQ調(diào)查問卷.主觀評價方法的實施需要大量的人力物力資源，耗時長、成本高，容易受個人因素的影響.大量學(xué)者以主觀評估結(jié)果作為基準，研究VR病的客觀評價方法.

近幾年，一些學(xué)者開展了基于深度學(xué)習(xí)的VR病客觀評估方法研究，通過分析VR視頻實現(xiàn)病癥評估.Kim等[9]提出VR視頻序列中感知的異常運動信息（例如急轉(zhuǎn)、急加速等）會加劇運動不匹配，產(chǎn)生不適，基于深度卷積自編碼器實現(xiàn)VR病的評估.Kim等[10]基于異常運動，提出基于生成對抗網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的VR病評估模型VRSA.Lee等[11]利用3D神經(jīng)網(wǎng)絡(luò)實現(xiàn)VR病的估計，輸入視頻的顯著性圖、光流圖和視差圖分別代表眼球運動、速度、深度3個特征，使用了2種數(shù)據(jù)增強技術(shù)：幀移動和像素移動，擴展了自建的數(shù)據(jù)集，使得模型更精準地預(yù)測VR病的程度.

本文提出雙流網(wǎng)絡(luò)VR病評估模型.模型包括2個子網(wǎng)絡(luò)，分別用于模擬人類視覺系統(tǒng)的腹側(cè)流和背側(cè)流.分別以VR視頻的彩色紋理信息及光流圖運動信息作為輸入，同時引入注意力機制，提升了病癥評估的精度.

1 算法簡介

視覺與前庭系統(tǒng)感知運動不匹配是導(dǎo)致VR體驗不適的主要原因.人類視覺系統(tǒng)是復(fù)雜、神奇的系統(tǒng)，人眼攝取原始圖像，大腦進行處理與抽象，所以VR病的形成機理復(fù)雜.Goodale等[12]的研究表明，人類的視覺系統(tǒng)包含2條通路：一條為負責識別物體的腹側(cè)流，另一條為負責識別運動的背側(cè)流.本文創(chuàng)建3D-ResNet卷積神經(jīng)網(wǎng)絡(luò)，其中包含2個子網(wǎng)絡(luò)：外觀流網(wǎng)絡(luò)和運動流網(wǎng)絡(luò).這2個子網(wǎng)絡(luò)分別模仿人類視覺系統(tǒng)的腹側(cè)流、背側(cè)流，將視頻中包含的運動信息與能夠識別物體的紋理信息分別作為輸入，以主觀評價值作為基準，利用雙流卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)負責的人類視覺機制，實現(xiàn)VR病的評估.考慮到視頻連續(xù)幀的時序信息對視頻理解的影響，將傳統(tǒng)的ResNet50模型改進為3D-ResNet50模型，2個子網(wǎng)絡(luò)均采用該模型.網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖1所示.其中外觀流子網(wǎng)絡(luò)的輸入為連續(xù)RGB視頻幀，用以提取視頻中的物體、紋理、色彩等信息.運動流子網(wǎng)絡(luò)的輸入為相應(yīng)的連續(xù)光流圖像，用以提取運動信息.2個子網(wǎng)絡(luò)獨立地完成VR病評估任務(wù)，通過后端融合的方式，將2個子網(wǎng)絡(luò)的預(yù)測結(jié)果進行融合.

圖1 基于雙流網(wǎng)絡(luò)的3D-ResNet VR病評估模型Fig.1 VR sickness estimation model based on 3D-ResNet two-stream network

1.1 子網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計算機視覺和自然語言處理中表現(xiàn)出了優(yōu)越的性能，傳統(tǒng)的CNN模型只針對2D圖像，無法提取視頻特有的時間維度的信息.使用3D CNN模型，增加一個深度通道來表示視頻中的連續(xù)幀，以此提取視頻中時間維度的信息.

采用殘差網(wǎng)絡(luò)(ResNet)[13]，而ResNet-101網(wǎng)絡(luò)較深，對硬件的要求較高.使用ResNet50作為基礎(chǔ)網(wǎng)絡(luò)，將1×1的卷積擴展為1×1×1的3D卷積，具體結(jié)構(gòu)如表1所示.

表1 子網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Sub-network structure

網(wǎng)絡(luò)輸入為L×112×112，代表連續(xù)L幀大小為112像素×112像素的圖像序列.將所有2D卷積核擴展成3D卷積核，增加了一個深度維度，因此輸出的特征圖增加相應(yīng)的時間序列信息.對輸入圖像逐層提取特征后接入全連接層，利用Softmax分類器和交叉熵損失函數(shù)完成子網(wǎng)絡(luò)的舒適度分類任務(wù).

1.2 基于后端融合方式的結(jié)果融合

目前，多模態(tài)數(shù)據(jù)融合主要包括前端融合、中間融合和后端融合.后端融合(late-fusion)，也稱為決策級融合，可以避免不同子網(wǎng)絡(luò)中錯誤的進一步累加，增強模型分類的魯棒性.采用后端融合的方式，將外觀流網(wǎng)絡(luò)和運動流網(wǎng)絡(luò)的Softmax輸出進行加權(quán)平均融合，平滑各子網(wǎng)絡(luò)結(jié)果，如下所示.

式中:T為子網(wǎng)絡(luò)數(shù)量；xi為對應(yīng)網(wǎng)絡(luò)輸出的特征向量，P(xi)為VR病評估分數(shù)；wi為對應(yīng)的網(wǎng)絡(luò)權(quán)重，

1.3 3D-CBAM注意力機制的引入

卷積神經(jīng)網(wǎng)絡(luò)能夠提升視覺任務(wù)的性能.從AlexNet到ResNet，網(wǎng)絡(luò)越來越深，對特征提取的能力越來越強.在提取特征的時候，這些模型都忽略了一個影響特征的因素，即注意力.Huang等[14]提出CBAM-Resnet神經(jīng)網(wǎng)絡(luò)，通過加入注意力機制，使得神經(jīng)網(wǎng)絡(luò)有選擇性地接受和處理特征信息，抑制了無用信息，提高了網(wǎng)絡(luò)性能.

卷積注意力模塊(convolutional block attention module， CBAM)[15]基于通道和空間2個維度，能夠有效地提取圖像的重點信息，增強網(wǎng)絡(luò)性能.作為輕量化模塊，可以無縫地集成到ResNet架構(gòu)中，用較小的參數(shù)代價，實現(xiàn)網(wǎng)絡(luò)模型性能的優(yōu)化.由于卷積計算是通過混合跨通道信息和空間信息來提取特征信息，CBAM強調(diào)在通道和空間軸這2個維度中提取有意義的特征.

由于是將CBAM模塊應(yīng)用到3D-ResNet模型中，考慮到深度參數(shù)的變化，將輸入特征圖命名為F3D∈RL×W×H×C，3D-CBAM依次生成通道注意力特征圖MCA∈R1×1×1×C以及空間注意力特征圖MSA∈R1×L×W×H.計算過程如下：

式中:?為逐個元素相乘；為輸入的特征圖與通道注意力圖的乘積；為空間注意力與的乘積，即3D-CBAM的最后輸出，如圖2所示.

1) 通道注意力模塊.3D-CBAM基于特征通道間的相互關(guān)系解算通道注意力圖，目的是為了尋找對于輸入特征圖有效的通道.為了提高注意力計算的效率，3D-CBAM對特征圖進行空間維度上的壓縮，結(jié)合平均池化和最大池化增強特征信息，如圖3所示.

圖3 通道注意力模塊Fig.3 Channel attention module

將輸入特征圖F3D分別利用最大池化和平均池化操作解算出2個不同的空間特征描述子:和.將和送入只包含一層隱藏層的共享多層感知機（multi layer perception， MLP）中進行逐個元素的加和處理，經(jīng)過Sigmoid激活函數(shù)將輸入特征圖與生成的通道特征圖相乘，得到最后的通道與特征圖.整個過程如下所示:

式中:σ為Sigmoid激活函數(shù)；W0、W1為權(quán)重，W0∈RC/r×C，W1∈RC×C/r，W0、W1對于和是共享 的；參數(shù)r通常取16.

2) 空間注意力模塊.該模塊主要關(guān)注特征圖空間上的相互關(guān)系，是針對通道注意力模塊的補充，如圖4所示.

圖4 空間注意力模塊Fig.4 Space attention module

在3D-CBAM中對特征圖進行通道維度上的壓縮，結(jié)合平均池化和最大池化增強特征信息.根據(jù)通道維度聚合特征，將運算結(jié)果拼接成深層次的空間特征描述子.經(jīng)過7×7×7的3D卷積層和Sigmoid激活函數(shù)生成空間注意力圖，整個過程如下所示:

式中: 3DAvgPool和3DMaxPool為3D最大池化和3D平均池化，f7×7×7為7×7×7的3D卷積層.

在改進的3D-ResNet50網(wǎng)絡(luò)中加入3D-CBAM注意力機制，如圖5所示.對于每一部分子網(wǎng)絡(luò)，將3D-CBAM注意力機制接入第1層卷積3D-Conv1后，在網(wǎng)絡(luò)的每個殘差塊后都加入注意力機制，只增加很少的參數(shù)量和計算量，就可以使得網(wǎng)絡(luò)更精確地學(xué)習(xí)空間表觀特征和感知運動特征，有利于提升模型的精度.

圖5 基于注意力機制的子網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Sub-network structure based on attention mechanism

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)預(yù)處理

現(xiàn)階段能夠用于VR體驗舒適度研究的公開數(shù)據(jù)集非常有限[16].Kim等[17]使用Unity3D建立包括36個VR場景的視頻數(shù)據(jù)庫，該數(shù)據(jù)庫包含對象運動、相機運動、場景紋理等細節(jié)，但作者未公開該數(shù)據(jù)集.Padmanaban等[18]建立并公開包含主觀評分的數(shù)據(jù)集，該數(shù)據(jù)集由19個播放時長為60 s的全景立體VR視頻組成，大部分視頻的分辨率為3 840×2 160像素，幀速率為30幀/s.韓國先進科學(xué)院提供了VR視頻庫[10].該數(shù)據(jù)庫被用于研究物體運動信息對視覺舒適的影響，但不是所有的視頻都免費提供.Hell等[19]創(chuàng)建包含VR場景位置、速度及主觀舒適度評分的RCVR數(shù)據(jù)庫，但未公開數(shù)據(jù)集.

使用Padmanaban等[18]建立的公開數(shù)據(jù)集進行實驗，該數(shù)據(jù)集主要來自于YouTube中的360°立體視頻庫，選取年齡為19～62歲的共96名受試者進行VR體驗舒適度的主觀評估實驗.Padmanaban在實驗中通過讓受試者在觀看視頻后填寫SSQ和MSSQ-Short問卷，計算視頻的主觀評分.

根據(jù)數(shù)據(jù)集中VR視頻的主觀評分，對視頻進行分類.對VR體驗舒適度類別劃分最常用的方式是二分類和四分類[20-21].二分類形式僅僅是對用戶在進行VR體驗時是否產(chǎn)生不適進行評估，四分類的優(yōu)勢是能夠更細致地判斷參與者的體驗感，更具有現(xiàn)實意義[22]，因此將數(shù)據(jù)集的主觀評分按照四分類形式劃分，如表2所示.

表2 主觀評分和舒適度等級分類Tab.2 Subjective rating and comfort level classification

考慮到原始視頻數(shù)據(jù)的分辨率較大，直接應(yīng)用于模型訓(xùn)練會產(chǎn)生較大的計算成本.圖像質(zhì)量的優(yōu)劣往往會對評估結(jié)果造成直接影響，因此在將數(shù)據(jù)送入網(wǎng)絡(luò)前需要對視頻的每幀圖像進行預(yù)處理操作.該操作能夠消除視頻幀中的多余信息，使得模型需要的真實信息得以呈現(xiàn)，增強舒適度評估的準確性.在網(wǎng)絡(luò)訓(xùn)練前對數(shù)據(jù)進行預(yù)處理操作: 采用標準化、圖片縮放、多尺度中心裁剪和多尺度隨機裁剪等方法，對數(shù)據(jù)進行預(yù)處理操作.1)考慮到計算成本及實驗設(shè)備參數(shù)，采用縮放的方法，使輸入圖片的分辨率歸一化到112像素×112像素.2)按照比例對視頻幀進行隨機縮放，再裁剪到112像素×112像素.3)每批次輸入的視頻幀固定為連續(xù)的16幀，每個視頻大約有110組連續(xù)幀，共19個視頻.4)采用圖像平移、旋轉(zhuǎn)、翻轉(zhuǎn)等數(shù)據(jù)增強技術(shù)擴充實驗樣本，防止過擬合，提升模型的泛化性.

2.2 模型訓(xùn)練

實驗環(huán)境的配置信息如表3所示.在進行模型訓(xùn)練時，統(tǒng)一輸入圖像尺寸.其中外觀流網(wǎng)絡(luò)的輸入為3通道×112像素×112像素的連續(xù)視頻幀，運動流網(wǎng)絡(luò)的輸入為2通道×112像素×112像素的連續(xù)視頻幀.

表3 測試平臺的配置信息Tab.3 Configuration information of test platform

整個訓(xùn)練模型采用隨機梯度下降算法(stochastic gradient descent， SGD)進行優(yōu)化，反向傳播時的權(quán)重衰減為0.001，動量因子為0.9.學(xué)習(xí)率從0.01開始，訓(xùn)練至第15輪時，學(xué)習(xí)率以10-1系數(shù)減小，每訓(xùn)練100次，開展一次模型驗證調(diào)整.考慮到計算機的內(nèi)存和GPU利用率，采用的Batchsize大小為8，訓(xùn)練120個輪次，具體參數(shù)的設(shè)定如表4所示.表中，L為采樣幀數(shù)，α為初始學(xué)習(xí)率，w為權(quán)重衰減率，β為動量因子，Emax為最大迭代次數(shù).

表4 子網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)置Tab.4 Setting of sub-network training parameters

2.3 實驗對比分析

如圖6所示分別為應(yīng)用3D-ResNet50模型的外觀流和運動流2個子網(wǎng)絡(luò)在訓(xùn)練過程中的訓(xùn)練損失變化、模型驗證變化以及添加3D-CBAM注意力機制后的模型變化.圖中，L為損失，E為迭代次數(shù)，P為精度.從圖6(a)可以看出，模型的整體訓(xùn)練損失在最初的迭代過程中較大，隨著迭代次數(shù)的增加，在大約10次時開始出現(xiàn)迅速降低的情況，并持續(xù)到30次后開始緩慢降低并逐漸趨向于0，經(jīng)過120次迭代后訓(xùn)練結(jié)束.與之對應(yīng)，精度曲線在10次迭代前迅速提高，最后趨于穩(wěn)定，精度基本上收斂于90%以上，且添加3D-CBAM后網(wǎng)絡(luò)精度的收斂速度更快，網(wǎng)絡(luò)更加穩(wěn)定.從圖6(b)可知，未添加注意力機制的運動流網(wǎng)絡(luò)雖然訓(xùn)練誤差不斷減小，但始終處于較大的值域內(nèi)，在網(wǎng)絡(luò)中添加3D-CBAM后損失顯著降低.添加注意力機制的模型的精度和收斂速度高于未添加注意力機制的模型，這表明通過添加3D-CBAM注意力機制可以有效地提高網(wǎng)絡(luò)性能與VR病的預(yù)測準確性.

圖6 模型的損失曲線與精確度曲線Fig.6 Loss curves and accuracy curves of model

總體來看，整個模型在訓(xùn)練過程中損失雖然會出現(xiàn)不同幅度的振蕩，但會隨著訓(xùn)練次數(shù)的增加而不斷減小并趨向于0.在精確度曲線中，隨著訓(xùn)練次數(shù)的增加，模型驗證精度逐漸增加.可以發(fā)現(xiàn)，運動流網(wǎng)絡(luò)的訓(xùn)練損失和精確度明顯差于外觀流網(wǎng)絡(luò).原始的RGB圖像中包含了更多的細節(jié)信息，使得網(wǎng)絡(luò)提取的特征更準確，而稠密光流圖雖然能夠直觀地表現(xiàn)視頻序列中的運動信息，但對于自然場景下VR病的估計精度不高.在基于卷積神經(jīng)網(wǎng)絡(luò)的VR病估計中不應(yīng)僅考慮運動流網(wǎng)絡(luò)，本文使用雙流網(wǎng)絡(luò)是恰當且非常必要的.

未添加注意力機制子網(wǎng)絡(luò)的參數(shù)量為46 237 032，添加注意力機制后子網(wǎng)絡(luò)的參數(shù)量為51 250 085.結(jié)合表5可知，本網(wǎng)絡(luò)沒有增加太多的參數(shù)量，有效地提高了網(wǎng)絡(luò)性能.

表5 Padmanabar模型精度的對比Tab.5 Comparison of Padmanabar model accuracy

利用Grad-CAM方法[23]，將外觀流網(wǎng)絡(luò)中最后一層卷積所提取的特征進行可視化，如圖7所示.

圖7 3D-CBAM注意力可視化Fig.7 3D-CBAM attention visualization

圖7中，第1行為原始的輸入圖像，第2行為加入注意力機制后的網(wǎng)絡(luò)特征可視化圖像，展示了網(wǎng)絡(luò)所認定的預(yù)測重要區(qū)域.通過與實際人眼觀看的主要區(qū)域相比，添加3D-CBAM注意力機制后模型預(yù)測的重要區(qū)域與人眼觀看的目標對象區(qū)域基本一致，聚焦于圖像中的物體.這證明添加3D-CBAM模塊后網(wǎng)絡(luò)不僅感知到了圖中的關(guān)鍵信息，而且抑制了其他冗余的無用信息，能夠提取輸入圖像的關(guān)鍵特征，提高了模型預(yù)測的準確性.

對VR病評估模型的測試精度進行匯總，精度的定義如下：

式中:Ncor為預(yù)測正確的樣本數(shù)，Ntot為樣本總數(shù).

結(jié)果如表5所示.表中，N為參數(shù)量，t為模型運行時間.可知，在外觀流網(wǎng)絡(luò)和運動流網(wǎng)絡(luò)中添加3D-CBAM模塊后，精度分別達到89.6%和82.9%，比未添加注意力模塊的精度相應(yīng)提高了1.7%和3.6%，說明視頻的特征信息被3D-CBAM模塊更充分地提取與學(xué)習(xí).

目前，本領(lǐng)域缺乏其他統(tǒng)一公開的數(shù)據(jù)集，本文與領(lǐng)域內(nèi)近兩年評估精度較高的文獻進行對比，如表5所示.Garcia-Agundez等[24]測量受試者在進行VR體驗時的線速度、角速度與加速度等信息，通過SSQ調(diào)查問卷得分將體驗舒適度分別劃分為二分類和三分類，利用SVM模型預(yù)測體驗舒適度的精度分別為81.8%和58%.Shahid等[25]采用相同的四分類方式對SSQ主觀評分進行分類，通過視頻內(nèi)容類型、攝像機運動特征進行人工神經(jīng)網(wǎng)絡(luò)(ANN)建模，對VR病進行預(yù)測，精確度最終達到90%.利用外觀流網(wǎng)絡(luò)和運動流網(wǎng)絡(luò)融合的方式，使得網(wǎng)絡(luò)模型重點關(guān)注圖像的顯著特征，融合后的網(wǎng)絡(luò)模型精度提高到93.7%.

3 結(jié) 語

本文提出VR病評估模型，將傳統(tǒng)的2D-Res-Net50網(wǎng)絡(luò)改進為3D-ResNet50，模仿人類視覺系統(tǒng)的2條通路，建立外觀流和運動流2個子網(wǎng)絡(luò)，同時融入了3D形式的通道注意力和空間注意力機制.實驗結(jié)果表明，利用該模型提升了評估網(wǎng)絡(luò)的性能，提高了預(yù)測精度.

在未來的研究中，將開展立體深度信息對VR病影響的研究，計劃將眼動、頭部、生理信號等信息加入評估模型進行多模態(tài)訓(xùn)練，提升評估模型的準確性.