多傳感器數(shù)據(jù)融合在體感交互中的應用

孫浩鵬

(1.長春工程學院；2.長白山歷史文化與VR技術(shù)重構(gòu)吉林省重點實驗室，長春130012)

0 前言

在當前商業(yè)行為中，廣告和信息發(fā)布一直是提高客流量和增加商品知名度的常用方法，在室外廣告手段上最具有性價比的當屬LED大屏廣告系統(tǒng)。為增加傳播過程中的信息關(guān)注度和獲得受眾接受廣告信息的反饋，在LED大屏廣告系統(tǒng)中添加交互行為是至關(guān)重要的?，F(xiàn)行的體感交互技術(shù)一般是利用微軟的Kinect體感交互或者紅外傳感器制作的觸摸框等來實現(xiàn)的。Kinect是利用RGB、激光、紅外多種攝像機進行混合拍攝，獲得交互者的輪廓和位置深度等信息，從而分析交互者的骨架運動數(shù)據(jù)來進行交互的。紅外觸摸框安裝在LED屏幕表面外側(cè)，利用人體紅外傳感信息的數(shù)據(jù)進行分析，產(chǎn)生的實際動作模擬鼠標輸入，可以實現(xiàn)點擊、翻頁和滑動等多種動作。目前，國外也有利用雷達進行數(shù)據(jù)采集進而實現(xiàn)交互的，但技術(shù)相對不成熟還未商用。

廣告戶外大屏的交互一般都存在流動性和不確定性，不能在隨機流動的用戶與大屏交互前指定用戶的位置，也無法提前訓練其動作或手勢。在屏幕沒有正對交互者或者交互人員較多時，Kinect就無法使用了。同時由于戶外大屏無法避免灰塵，也不適合利用紅外觸摸技術(shù)。本文提出利用多種類型傳感器進行搭配，建立合理的傳感器矩陣，以實現(xiàn)戶外LED大屏的流動性交互。這種方法是利用虛擬現(xiàn)實和物聯(lián)網(wǎng)技術(shù)對廣告LED大屏的一種嘗試。因為LED大屏均為模塊化，擬在各個LED模塊安裝的接縫處添加紅外傳感器或激光傳感器進行數(shù)據(jù)采集和檢測，實現(xiàn)距離LED大屏幕最近人員的動作檢測，例如隨機揮手或者在LED屏幕前來回走動等。同時，利用其他傳感器進行人員的位置移動檢測，以實現(xiàn)其他意圖的交互行為。

1 多種傳感器構(gòu)建傳感器陣列

單一傳感器無法滿足隨機流動性的交互要求，只有多種傳感器組合才可以滿足交互的任意性。在分布上，如果多種傳感器隨機分布會造成布線、信號等各方面的困擾，最佳方法是將傳感器分類后建立傳感器矩陣。傳感器矩陣指將一組同類的傳感器按照設(shè)計的幾何圖案進行部署，用于收集各種傳感器采集的信號，其優(yōu)點是可增加信號源的維度和擴大信號輻射角度等。這里所說的幾何圖案目前常用的有矩形、六角形、三角形等。為實現(xiàn)大量無規(guī)律人流和LED大屏內(nèi)容的交互，設(shè)計了兩種結(jié)構(gòu)模式：第一種是將紅外線傳感器按正方形頂點擺放和激光傳感器按照正方形相鄰擺放，主要間距是參考各LED屏幕的尺寸，傳感器設(shè)置于LED屏幕的四角接縫處，優(yōu)點是對LED屏幕破壞小，LED拼接本身就有縫隙，在縫隙處對LED拼接框架打孔即可。第二種是將激光傳感器按正六邊形進行擺放，中心點擺放紅外線傳感器。運用時先關(guān)閉激光傳感器，當六邊形中間的紅外傳感器激活時才開啟周邊的激光傳感器，由于紅外傳感器的發(fā)射和接受角度較大，可以很容易地判斷出是否有人體經(jīng)過相關(guān)區(qū)域，在平時可大大減少激光傳感器的數(shù)據(jù)數(shù)量，其缺點是需要在LED屏幕中間打孔，破環(huán)LED燈珠。具體采取方式應根據(jù)其顯示內(nèi)容、交互需求、數(shù)據(jù)量多少等條件具體分析。

2 數(shù)據(jù)采集方式的確定

多種傳感器的數(shù)據(jù)采集一般有集中式和分布式兩種。集中式數(shù)據(jù)采集設(shè)計簡單，一般通過有線方式連接各傳感器，所有數(shù)據(jù)線最后匯聚在某個節(jié)點統(tǒng)一采集數(shù)據(jù)，干擾少、穩(wěn)定性高，但是對主機和網(wǎng)絡(luò)負載要求高。分布式數(shù)據(jù)采集主要面向多地點、多種類的情況，每個地點都要有單片機和通信模塊，其通信模塊主要考慮各點間數(shù)據(jù)同步和干擾等，優(yōu)點是便于橫向擴展。

對于單一化的LED大屏，在內(nèi)容和地點上不要求頻繁變化，應采用集中式數(shù)據(jù)采集，通過有線方式將各個傳感器按區(qū)域或者按類型分組并連，每組均可關(guān)閉和打開，其匯聚節(jié)點可直接為主機。

對于連鎖商家的多地點的LED大屏，如果想實現(xiàn)交互并聯(lián)(多地點一起交互)，應采用分布式采集，將單個集中式采集匯聚點聯(lián)機至通信模塊，將數(shù)據(jù)通過云計算方式進行分析。

3 數(shù)據(jù)獲取后的融合和優(yōu)化

由于數(shù)據(jù)獲取在虛擬現(xiàn)實系統(tǒng)中是按幀采集的，例如UNITY3D中在不指定采集速率的情況下每秒采集25幀(次)，對多個傳感器的采集數(shù)據(jù)來說數(shù)據(jù)量就相當可觀了，如果每個傳感器的數(shù)據(jù)都直接傳回虛擬現(xiàn)實系統(tǒng)會造成數(shù)據(jù)冗余。同時，利用各個激光傳感器對同一個目標采集信息也會減少系統(tǒng)的誤差，增大精度和準確度，所以在虛擬現(xiàn)實平臺進行交互前實現(xiàn)數(shù)據(jù)融合是非常必要的。數(shù)據(jù)融合最初是美國國防部的項目[1]，數(shù)據(jù)融合一般分為數(shù)據(jù)、特征、決策這3個層次融合[2]，本文只討論數(shù)據(jù)融合。數(shù)據(jù)融合方法有嵌入約束、證據(jù)組合、人工神經(jīng)網(wǎng)絡(luò)等。各種方法的最后結(jié)果均統(tǒng)一處理并得出結(jié)果，虛擬現(xiàn)實系統(tǒng)將根據(jù)這個結(jié)果進行交互判斷。由于傳感器的分布和整體物理規(guī)律已經(jīng)確定，所以主要討論嵌入約束法，其常用算法有貝葉斯估算和卡爾曼濾波。

3.1 貝葉斯估算

貝葉斯理論是統(tǒng)計決策理論的重要分支，貝葉斯提出在先驗概率和條件概率密度都已知的情況下，可以利用公式計算出后驗概率，進而可以利用后驗概率的值做決策[3]。貝葉斯估算法要求系統(tǒng)的各種決策都是獨立的，一般把決策當作樣本空間，在傳感器數(shù)據(jù)融合過程中可以先將某些傳感器的噪聲分析一次，將其作為某種條件，再按照概率原則，把后驗概率當作測量結(jié)果的不確定性，這樣就可以很容易地將所有后驗概率在一定范圍內(nèi)的測量結(jié)果當作不確定或者干擾結(jié)果，進而進行過濾。

3.2 卡爾曼濾波法

卡爾曼(Kalman)濾波法[4]主要用檢測傳感器過程中的統(tǒng)計特征來做數(shù)據(jù)融合，實質(zhì)是利用統(tǒng)計結(jié)果的遞推來確定數(shù)據(jù)是否是最優(yōu)數(shù)據(jù)，從而去除流動交互條件下的傳感器冗余數(shù)據(jù)，利用遞歸算法對數(shù)據(jù)存儲空間要求較高，如果存儲空間足夠，該算法具有最優(yōu)化、防發(fā)散等優(yōu)點。目前，Kalman按數(shù)據(jù)處理方法可分為分散濾波(DKF)和擴展濾波(EKF)兩種。DKF可實現(xiàn)多傳感器數(shù)據(jù)融合的全部分散化，這樣即使某個傳感器失效也不影響整個系統(tǒng)的穩(wěn)定性。EKF則可克服數(shù)據(jù)采集的不穩(wěn)定性和減少系統(tǒng)線型程度的誤差對融合過程產(chǎn)生的影響。

通過對比，在虛擬交互的過程中應該采用Kalman方法進行數(shù)據(jù)融合，由于LED大屏的交互要求的精確性，所以其傳感器的感應區(qū)域必須有重疊，導致數(shù)據(jù)的冗余，那么如何將冗余數(shù)據(jù)剔除就是數(shù)據(jù)融合技術(shù)的研究內(nèi)容。目前，數(shù)據(jù)融合主要考慮通信能力、計算資源和整個傳感器的整體穩(wěn)定性。比較經(jīng)典的算法是k-means[5-6]。k-means算法先將所有的對象假設(shè)為n個，從這n個傳感器中隨機選k個傳感器作為聚類的中心點，再根據(jù)和這k個傳感器的關(guān)系(即相關(guān)程度)，將其他所有傳感器分配給相同關(guān)系或者類似關(guān)系的中心，并把這個分配單元叫做簇，計算每個簇的傳感器數(shù)值的平均值。將這個方法不斷重復，當標準測量函數(shù)開始收斂則證明這個分類有效，得到的每一個聚類(簇)也就代表一個合格的分組。其算法概率模型設(shè)計如下，假設(shè)空間樣本的條件概率模型如式(1)：

p(x|θ)=∑j=1∶kP(Cj)pj(x|θ2，Cj)，

(1)

式中：θ=(θ1，θ2，…，θk)為等待估計參數(shù)向量，參數(shù)θj未知；p(x|θ2，Cj)是分量密度，意思為簇類型為j的概率密度；先驗概率函數(shù)P(Cj)為混合計算因子。

當傳感器數(shù)據(jù)獲得后，假設(shè)每個簇的概率密度函數(shù)都是滿足高斯分布的θj=(μj，∑)，并且每個傳感器都屬于唯一的一個簇，那么此時可以將式(1)簡化為式(2)：

(2)

上述函數(shù)可通過最大似然法則求解，假設(shè)觀察樣本為X=(x1，…xn)，對應的似然函數(shù)為式(3)：

(3)

通過對式(3)該似然函數(shù)的最大化，即可得到k-means的誤差平方和準則函數(shù)，該函數(shù)為所有節(jié)點對象的誤差平方的綜合：

(4)

式中：p代表給定的傳感器；mi是分簇Ci的平均數(shù)據(jù)。

再對式(4)進行計算，可以得出各符合高斯分布的傳感器數(shù)據(jù)平均值及對應的協(xié)方差矩陣如式(5)：

(5)

該算法對于分類形狀相似的簇效果最好，如果簇的數(shù)量較大且處理效果也很高，其復雜度與總體數(shù)量，簇的數(shù)量有關(guān)。一般來說簇的數(shù)量要小于總傳感器數(shù)量，此時可以保證數(shù)據(jù)快速收斂到局部最優(yōu)解，初始節(jié)點的選擇會對結(jié)果有巨大影響，通過式(4)可以看出任意一個傳感器的準則函數(shù)都會對結(jié)果產(chǎn)生決定性的影響，所以準則函數(shù)的確定是式(5)準確的前提條件。

通過測試發(fā)現(xiàn)，式(5)計算出的數(shù)據(jù)與真實情況有較大的誤差，這是因為在人體交互行為過程中的數(shù)據(jù)屬于典型的非線性數(shù)據(jù)，所以在理論上沒有完美的準則函數(shù)可以適應非線性條件下的計算。對當前激光傳感器的數(shù)據(jù)采集，主要需要采集人體經(jīng)過某傳感器整體或者肢體在設(shè)定時間內(nèi)沒有進行擴散的數(shù)據(jù)，如果擴散則證明人體或肢體有移動的可能，由于人體移動的規(guī)律性，必然是強調(diào)對相鄰傳感器數(shù)據(jù)的變化監(jiān)控。

對式(4)構(gòu)造一個增量函數(shù)，由于傳感器物理排列為統(tǒng)一形態(tài)，以六邊形為例，如果分簇后將相關(guān)簇的中心定義為周邊6個激光傳感器的數(shù)據(jù)中心，再將此中心的值與紅外線傳感器對比，即可得知是否有增量，所以中心數(shù)據(jù)如式(6)：

(6)

式中：C為中心；Ci為相同簇的傳感器的數(shù)據(jù)；ni為具有同樣中心數(shù)據(jù)的簇。

增量函數(shù)根據(jù)需求定義如式(7)：

(7)

式中Ci和ni都隨著簇的變化而變化，這個增量函數(shù)可以很容易判斷出周邊簇的變化類別，確定唯一的增量值向量。將式(7)與式(4)相乘，得出的公式即為帶有增量函數(shù)的準則函數(shù)，這樣可以大大減少計算量，當增量函數(shù)小于給出的范圍時，則跳過該簇的誤差平方和計算，提高了運算速度。當增量函數(shù)大于給出的范圍時，則計算該點相鄰簇的中心值，可以很容易判斷出人體或者肢體的運動方向。

4 算法評價和實驗分析

在數(shù)據(jù)融合后，需要建立一套評價方法來評估數(shù)據(jù)融合的改進算法和傳統(tǒng)算法的優(yōu)劣，從而可以客觀有效地選擇各種情況對應的算法。由于本文面向的是體感交互，所以考核評價的目標應該從數(shù)據(jù)融合速度、人體動作的反應完整度兩個方面來綜合評價。

其中數(shù)據(jù)融合速度主要測試簇運算的速度，雖然增量函數(shù)的判斷減少了簇的計算數(shù)量，但增量函數(shù)的計算又增加了新的計算時間，對此，數(shù)據(jù)的測試是非常必要的。人體動作的反應完整度主要檢測數(shù)據(jù)融合過程中對人體邊界的破壞程度，如果融合過程對人體邊界和動作完整度破壞較高就失去了融合的意義。由于數(shù)據(jù)均來自傳感器信號，本文將之定義為漏信率。漏信率主要測試方法判別融合后的簇是否包含人體數(shù)據(jù)，其百分比定義如式(8)：

(8)

式中ρlx為判斷信號丟失概率，如式(9)：

(9)

式中Len代表數(shù)據(jù)單幀的總長度，可以判斷出實際的數(shù)據(jù)融合后取舍的數(shù)據(jù)比率。此處要特殊說明的是該數(shù)據(jù)應該考慮傳感器的波特率和計算機接收的數(shù)據(jù)量，如果數(shù)據(jù)量不足，即使沒有數(shù)據(jù)融合，數(shù)據(jù)幀丟失的數(shù)據(jù)也不在上述公式計算之內(nèi)。

為了更好地對比和評價，本文將紅外線傳感器、激光傳感器、面陣固態(tài)激光雷達傳感器和超聲波傳感器的數(shù)據(jù)運用傳統(tǒng)k-means算法和帶有增量函數(shù)的算法進行了計算，計算速度見表1，漏信率詳細數(shù)據(jù)見表2。

表1 數(shù)據(jù)融合計算速度實驗結(jié)果

表2 數(shù)據(jù)融合漏信率實驗結(jié)果

通過測試表明，增加了增量函數(shù)的數(shù)據(jù)融合方法對紅外線傳感器和激光傳感器數(shù)據(jù)計算速度提高很小，對超聲波傳感器和面陣激光雷達的速度增加明顯，在漏信率方面，帶增量函數(shù)的算法對超聲波傳感器影響較大。綜合比較，本文提出的算法比較適合利用面陣激光雷達進行數(shù)據(jù)的融合。

虛擬現(xiàn)實內(nèi)容要完成適合的交互，必須對人的意圖進行預測[7]，從傳感器得到的數(shù)據(jù)不論怎樣計算，對計算機而言都是模糊的，是否能依據(jù)這些模糊數(shù)據(jù)理解用戶交互，虛擬現(xiàn)實內(nèi)容是否能及時響應用戶都是目前研究的內(nèi)容。其主要方法仍然是通過知識庫和交互式學習，其理論在1986年由Kautz等[8]提出，目前常用的算法都關(guān)注于智能體在行動的感知方面，如隱馬爾可夫模型、動態(tài)貝葉斯、混合高斯等。

5 結(jié)語

目前，視覺識別和傳感器識別都是虛擬現(xiàn)實領(lǐng)域的重點發(fā)展方向，在非指定條件下的流動交互還有很多問題要解決，本文所提出的激光傳感器矩陣雖然實現(xiàn)了戶外交互，但在數(shù)據(jù)獲取的數(shù)據(jù)融合速度與響應時間、互相覆蓋范圍的傳感器冗余濾波、交互行為知識庫、受眾反饋獲取、偏差是否可以自動校正等方面還有很多內(nèi)容要實現(xiàn)。

未來主要研究如何融合多種感知手段，減少不同模態(tài)感知手段在距離上、特性上的差異，對多種感知手段得到的信息進行融合，對多種傳感器進行匹配，建立相應的傳感器矩陣，從而提升虛擬現(xiàn)實內(nèi)容對外界的感知能力。將虛擬現(xiàn)實技術(shù)、智能感知技術(shù)與體感交互相結(jié)合，改變虛擬或增強現(xiàn)實內(nèi)容與使用者的交互模式。對傳感器采集得到的體感交互類信息和環(huán)境信息進行有效的分析，獲得人體的生理、行為、情緒等信息，挖掘體感交互信息內(nèi)在特征，通過自動分類，將體感行為作為屬性建立意圖層面的類別，通過對交互意圖的大量學習，實現(xiàn)通過建立的交互類別理解虛擬現(xiàn)實內(nèi)容，從而做出不同反應，并實現(xiàn)根據(jù)交互方法與尺度的不同展現(xiàn)虛擬現(xiàn)實內(nèi)容不同的形態(tài)，使得虛擬或增強現(xiàn)實內(nèi)容具有智能體的特性，讓受眾在交互過程中從接受者、控制者進化為環(huán)境融入者。