基于計算機視覺的交互式電子沙盤系統(tǒng)研究

嚴一鳴，郭 星

(1.安徽師范大學皖江學院 電子工程系，安徽 蕪湖 241000; 2.安徽大學 計算機科學與技術(shù)學院，安徽 合肥 230031)

基于計算機視覺的交互式電子沙盤系統(tǒng)研究

嚴一鳴1，郭 星2

(1.安徽師范大學皖江學院 電子工程系，安徽 蕪湖 241000; 2.安徽大學 計算機科學與技術(shù)學院，安徽 合肥 230031)

傳統(tǒng)的沙盤模型只是單純的模型展示。隨著社會的發(fā)展，交互性是影響沙盤性能的一個非常重要的標準。交互性越高，講解人員與沙盤的互動性就越強，講解效果就越好。為此，充分利用計算機視覺技術(shù)，結(jié)合沙盤介紹中激光筆的運用特點，提出并實現(xiàn)了一種通過激光點來進行交互的電子沙盤系統(tǒng)。該系統(tǒng)采用攝像頭采集沙盤區(qū)域圖像，利用差分技術(shù)識別出激光點，通過分區(qū)對角線坐標轉(zhuǎn)換算法得到激光點所指的沙盤區(qū)域，將轉(zhuǎn)換后的坐標信息按照消息傳遞機制發(fā)送給電子沙盤系統(tǒng)的主控制顯示模塊，主控制顯示模塊根據(jù)接收的坐標信息，通過函數(shù)調(diào)用播放對應(yīng)區(qū)域的語音或視頻文件，以實現(xiàn)語音或者視頻介紹功能。模擬仿真運行結(jié)果表明，所建立的系統(tǒng)通過MFC與DirectShow的有機結(jié)合，可100%識別出激光點所指示的區(qū)域，并顯示出對應(yīng)的視頻；且該系統(tǒng)互動效果良好，為講解人員提供了一種更加高效、自然的交互方式，提高了講解人員的效率，充分體現(xiàn)了展示效果。

人機交互;計算機視覺;圖像識別;沙盤

0 引 言

傳統(tǒng)的實物沙盤主要應(yīng)用在傳統(tǒng)的軍事指揮領(lǐng)域。由于可以形象地模擬作戰(zhàn)地形以及便于參與者進行交流互動，因此傳統(tǒng)的實物沙盤成為之前軍事指揮的重要演示工具，也是指揮人員進行作戰(zhàn)計劃和決策演示的重要工具和手段[1-2]。隨著計算機科學技術(shù)的發(fā)展，帶聲、光、電的電子沙盤應(yīng)運而生。這種沙盤大大提升了顯示效果，但是與人的交互還有所欠缺，使得沙盤展示效果不盡人意[3]。利用計算機視覺技術(shù)，結(jié)合傳統(tǒng)沙盤需要使用激光筆的特點，提出一種交互式電子沙盤，大大提高了人機交互能力，提升了沙盤的展示效果。所設(shè)計的電子沙盤是把實物實景模型建造出來，再以此為基礎(chǔ)為其配備攝像頭、計算機、語音播報設(shè)備等。把攝像頭安裝在電子沙盤模型的正上方，對沙盤模型進行監(jiān)控。參觀人員可以通過激光筆指向?qū)嵨锬Ｐ汀．斨笓]人員進行激光筆操作時，攝像頭就會對視頻圖像進行采集，利用采集圖像把激光點和手勢識別出來并對它們的坐標信息進行坐標轉(zhuǎn)換，然后轉(zhuǎn)換后的坐標信息通過消息傳遞機制發(fā)送給電子沙盤系統(tǒng)的主控制顯示模塊。電子沙盤系統(tǒng)的主控制顯示模塊會根據(jù)接收的坐標信息，通過函數(shù)調(diào)用該區(qū)域?qū)?yīng)的語音或視頻介紹文件進行播放，最終實現(xiàn)語音或視頻介紹的功能。

1 系統(tǒng)設(shè)計

實現(xiàn)的交互功能是使用者用激光筆對電子沙盤進行操作。整個系統(tǒng)的工作流程如圖1所示。

圖1 總體工作流程圖

置于物理模型上方的攝像頭時刻采集沙盤模型的圖像，當有人使用激光筆或者用手在沙盤上進行操作時，攝像頭就會采集到包含人手或者激光點的圖像，系統(tǒng)對激光點和手勢進行識別，檢測出激光點和手勢，把檢測結(jié)果發(fā)送給系統(tǒng)主控制程序，主控程序接收消息，調(diào)用相應(yīng)函數(shù)播放相應(yīng)的語音或者視頻進行信息介紹。

2 系統(tǒng)實現(xiàn)

根據(jù)系統(tǒng)功能，主要實現(xiàn)兩個模塊：激光點識別定位模塊、主控制顯示模塊。

2.1 激光點識別定位模塊

根據(jù)激光點定位模塊的工作流程和所要實現(xiàn)的功能，設(shè)計出的模塊流程如圖2所示。

2.1.1 激光點圖像的獲取

計算機只能對數(shù)字圖像進行識別處理，不能對現(xiàn)場實景中的圖像直接進行處理，而視頻采集是獲取數(shù)字圖像的一個主要來源。當今市場上視頻采集設(shè)備主要有USB攝像機、數(shù)碼攝像機以及視頻采集卡等。文中使用USB攝像頭作為圖像采集的硬件，因為它可以和計算機直接進行數(shù)字圖像傳輸，應(yīng)用比較廣泛，而且采集的圖像分辨率也能滿足實驗要求。在Windows系統(tǒng)中視頻數(shù)據(jù)流的采集軟件有Video for Windows和DirectShow，文中選擇DirectShow進行圖像采集處理，因為該軟件的采集速度較快，實時性較好。所設(shè)計的電子沙盤系統(tǒng)是把USB攝像頭安放在沙盤模型的正上方進行監(jiān)控來獲取數(shù)字圖像，當激光點打在模型上，攝像頭就會對圖像進行采集，從而獲取激光點的圖像。

圖2 模塊流程圖

2.1.2 激光點檢測

對激光點進行識別時，電子沙盤系統(tǒng)需要從攝像頭捕獲的序列圖像中把激光點從圖片背景中單獨提取出來，也就相當于電子沙盤系統(tǒng)能及時地識別激光點并把它準確地從攝像頭拍攝的序列圖像中提取出來。文中設(shè)計的電子沙盤系統(tǒng)對激光點的位置識別和跟蹤，先通過攝像頭對激光點圖像視頻進行拍攝，然后再對獲取到的激光點圖像進行分析處理，把激光點在圖像中的位置檢測出來，最后計算出激光點的坐標位置信息。也可以利用攝像頭所拍攝圖像的激光點圖像，對連續(xù)幾幀的圖像進行比較分析就可以實現(xiàn)對激光點的跟蹤。設(shè)備架構(gòu)是攝像頭固定在電子沙盤模型的正上方，因此攝像機一直保持靜止，也就是說攝像機所拍攝的圖像背景都是保持不變的，指揮人員使用激光筆發(fā)射到沙盤模型上的激光點是運動的，因此只需研究靜態(tài)背景下的激光點的識別方法。在圖像采集時，對背景是靜止的、目標是運動的情況，差分法在目前最合適。通過比較分析，采用背景差分算法對激光點進行識別[4-5]。

設(shè)Ft和Bt分別是t時刻的視頻圖像和背景圖像，則前景點滿足：

(1)

因為激光點很亮，所以可將閾值T設(shè)置為一個較大的值，從而較好地提取出激光點，得到激光點在采集圖像中的坐標(X,Y)[5-6]。

2.1.3 激光點坐標轉(zhuǎn)換

因為對激光點進行識別操作后獲得的激光點位置信息是在USB攝像頭拍攝區(qū)域內(nèi)的激光點坐標位置信息，這和計算機屏幕上電子沙盤模型上的位置不一樣，因此需要對攝像頭拍攝區(qū)域上的激光點位置信息進行坐標轉(zhuǎn)換，將拍攝區(qū)域上的激光點坐標轉(zhuǎn)化為沙盤模型的坐標，也即計算機的屏幕坐標。對于坐標轉(zhuǎn)換,采用分區(qū)對角線坐標轉(zhuǎn)換算法,因為該算法可以很好地解決攝像頭捕獲圖像存在畸變所帶來的誤差問題,得到的激光點的邏輯坐標更加精確,尤其是在圖像邊緣區(qū)域。在實現(xiàn)激光點在圖像上的準確定位后，通過該算法將該激光點在攝像頭上的坐標轉(zhuǎn)換為計算機屏幕上電子沙盤模型桌面上的坐標[6-7]。

算法步驟如下:

(1)以白色背景顯示20*16黑色小矩陣將計算機桌面上的電子沙盤模型進行分區(qū)[8]，如圖3所示。

圖3 顯示黑色小矩形

假設(shè)這些小矩形的寬度和高度分別為width和height。drow為整個電子沙盤模型在橫向左右邊緣各保留20個像素后剩下寬度范圍平均選取20個點的相鄰兩點間的距離。dcol是以整個電子沙盤上下邊緣各保留16個像素后剩下高度范圍平均選取16個點的相鄰兩點間的距離。如果drow>dcol，則w=h=dcol/3，否則w=h=drow/3。將選取的16*20個點作為小矩形的左上角坐標點，那么每個小矩形中心點坐標(xi,yi)為:

(2)

將小矩形中心點的坐標存入數(shù)組nScreenPt[N],N=320。然后對攝像頭捕獲到的幀圖像從上到下、從左到右逐行掃描,找到圖像上這些黑色小矩形的中心點在圖像平面上的坐標，并把這些坐標寫入數(shù)組nCameraPt[N]。根據(jù)攝像捕獲的數(shù)字圖像，位圖的行數(shù)據(jù)存儲次序是顛倒的，可以看出位圖文件中第一行數(shù)據(jù)對應(yīng)的是圖像最低行的數(shù)據(jù)[3]，因此可以得到：

nCameraPt[N]=nScreenPt[N-(i+1)*20]

(3)

換算后把數(shù)組中的值保存成文件，文件名為“zuobiao.txt”。以后每次系統(tǒng)啟動都會讀取，作為系統(tǒng)參數(shù)。

(2)執(zhí)行完第一步，系統(tǒng)啟動后，當指揮者使用激光筆打在電子沙盤模型上時，攝像頭就會對圖像進行采集，系統(tǒng)經(jīng)過圖像的識別和處理，激光點檢測得到攝像頭上激光點的坐標值(X,Y)。然后在第一次操作生成的“zuobiao.txt”文件中找出對應(yīng)的激光點在計算機屏幕上的坐標，從上面所選的第二行的點開始,由該點及其周圍的點，計算出這些點和激光點在圖像平面上的X坐標值之差和Y坐標值之差的絕對值之和di。以此類推，一直進行到圖像坐標的倒數(shù)第二個點,即數(shù)組nCameraPt[N]的第319個元素，計算出最小的di。激光點就落在由最小di所對應(yīng)的四個點構(gòu)成的小矩形區(qū)域，如圖4所示。根據(jù)存儲在坐標文件“zuobiao.txt”中的攝像頭拍攝的電子沙盤圖像的成像平面坐標點數(shù)組nCameraPt[N]和計算機桌面上的邏輯坐標點數(shù)組nScreenPt[N]的對應(yīng)關(guān)系，找到激光點在計算機桌面所在區(qū)域的四個邏輯點的坐標[3]。

圖4 計算機桌面上激光點的位置

(3)根據(jù)步驟(2)確定的激光點所在的矩形區(qū)域，利用對角線法確定激光點在計算機桌面上的電子沙盤模型邏輯坐標值。具體算法如下：設(shè)激光點在攝像頭圖像成像平面的坐標為(x,y)，其在計算機桌面上的坐標為(X,Y)，通過式(4)進行求解:

(4)

其中，(x1,y1),(x2,y2),(x3,y3),(x4,y4)是激光點在圖像屏幕小矩形的左下角,左上角,右上角,右下角的坐標值；(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)是對應(yīng)計算機桌面上電子沙盤模型上小矩形相應(yīng)的坐標值。

2.1.4 激光點信息的發(fā)送

當定位激光點的位置坐標后，激光點定位模塊會通過串口將位置信息發(fā)送到主控模塊，主控模塊接收到信息，對與接收的坐標信息相對應(yīng)的語音或者視頻文件進行播放，實現(xiàn)語音或者視頻介紹[9]。

2.2 主控制顯示模塊

電子沙盤系統(tǒng)各個功能能否正常實現(xiàn)，關(guān)鍵在于系統(tǒng)主控制程序能否正常運行。電子沙盤主控制模塊是電子沙盤系統(tǒng)的核心部分，影響整個系統(tǒng)各個功能的實現(xiàn)。在電子沙盤系統(tǒng)的主控制顯示模塊啟動時，調(diào)用函數(shù)對配置文件進行初始化和讀取相應(yīng)的配置文件內(nèi)容，把電子沙盤模型在計算機屏幕上顯示出來。當操作人員進行激光筆操作時，激光點定位模塊會發(fā)送消息將被點擊區(qū)域的坐標信息發(fā)送出去，主控制顯示模塊就會對消息進行接收和響應(yīng)，并根據(jù)接收到的坐標信息，選取相應(yīng)的語音或者視頻文件進行語音或者視頻介紹。根據(jù)主控制模塊的主要功能設(shè)計的流程圖如圖5所示。

圖5 主控制顯示模塊設(shè)計流程圖

主控顯示模塊中的語音與視頻和沙盤具體風景是一一對應(yīng)的關(guān)系。采用二維矩陣表示電子沙盤模型[10-12]：

在電子沙盤模型中有哪些建筑物和風景需要系統(tǒng)進行介紹，就將該建筑物或者風景區(qū)域從沙盤模型圖片中相應(yīng)摳出來進行編號，將上述二維矩陣用編號進行賦值，并對編號添加與之對應(yīng)的語音或者視頻文件。比如在作為實驗對象的校園沙盤中，將圖書館選中標記為1號，利用軟件給其添加上與之對應(yīng)的語音或者視頻文件。當主控制顯示模塊通過串口接收到激光檢測模塊發(fā)送過來的坐標信息時，根據(jù)坐標所對應(yīng)的值所在的區(qū)域編號(如1號)，顯示模塊調(diào)用(1號)對應(yīng)的配置文件中的視頻或語音文件。點擊不同的區(qū)域就對應(yīng)不同的語音和視頻，因此顯示效果也不一樣。比如點擊湖面時，在進行語音介紹的同時也會出現(xiàn)湖水波動、小船游動的畫面，點擊道路也會同時進行語音介紹和顯示汽車跑動的畫面。其他區(qū)域同理。

2.3 實現(xiàn)效果

系統(tǒng)利用MFC結(jié)合DirectShow框架實現(xiàn)，效果良好，能100%識別出激光點所指示的區(qū)域，正確顯示視頻文件，互動效果良好，如圖6所示。

3 結(jié)束語

為提高電子沙盤模型多媒體展示的光電自動化控制水平，充分利用計算機視覺技術(shù)，設(shè)計并構(gòu)建了一種基于激光筆控制的交互式電子沙盤系統(tǒng)。該系統(tǒng)應(yīng)用攝像頭感應(yīng)用戶激光筆激光對電子沙盤的相應(yīng)區(qū)域音頻或視頻的控制，避免了傳統(tǒng)沙盤的單方面被動展示，提高了電子沙盤的交互性、新穎性和擴展性。今后還可擴展電子沙盤的控制方式，如利用手勢[13]等，進一步提高其應(yīng)用效果。

圖6 系統(tǒng)實現(xiàn)效果圖

[1] 程忠波.淺析數(shù)字沙盤的設(shè)計與應(yīng)用[J].電子制作,2014(24):68.

[2] 王亞麗.基于圖像的激光光斑識別和特性分析[D].長春:長春理工大學,2008.

[3] 陳海漢.面向航跡規(guī)劃的電子沙盤技術(shù)研究[D].合肥:合肥工業(yè)大學,2009.

[4] 丁 磊,宮寧生.基于改進的三幀差分法運動目標檢測[J].電視技術(shù),2013,37(1):151-153.

[5] 李 志.基于圖像識別的大屏幕人機交互系統(tǒng)研究[D].合肥:安徽大學,2010.

[6] 李孟歆,范靜靜,張 穎,等.一種基于多重判別的運動目標檢測算法[J].沈陽建筑大學學報:自然科學版,2013,29(4):750-756.

[7] 徐衛(wèi)星,王蘭英,李秀娟.一種基于OpenCV實現(xiàn)的三幀差分運動目標檢測算法研究[J].計算機與數(shù)字工程,2011,39(11):141-144.

[8] 陳遠祥.視頻圖像運動目標跟蹤技術(shù)的研究[D].鎮(zhèn)江:江蘇大學,2010.

[9] Paragios N,Deriche R.Geodesic:active contours and levelsets for the detection and tracking of moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(3):266-280.

[10] Park S,Yu S,Kim J,et al.3D hand tracking using Kalman filter in depth space[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-18.

[11] 張圓圓.基于視覺的手勢識別技術(shù)及其應(yīng)用研究[J].計算技術(shù)與自動化,2015,34(1):131-135.

[12] 楊小岡,付光遠,繆 棟,等.基于圖像NMI特征的目標識別新方法[J].計算機工程,2002,28(6):149-151.

[13] Lin Daogui.Research on presentation of multimedia interactive electronic sand table[C]//International conference on education technology and economic management.[s.l.]:Atlantis Press,2015.

Investigation on Interactive Electronic Sand Table System with Computer Vision

YAN Yi-ming1,GUO Xing2

(1.Department of Electronic Engineering,Wanjiang College of Anhui Normal University,Wuhu 241000,China; 2.College of Computer Science and Technology,Anhui University,Hefei 230031,China)

The traditional sand table model is just a show of simple model.With the development of society,interactivity is a very important criterion which influences sand table performance.The higher the interactivity becomes,the stronger the interaction between the staff and the sand table will be,thus the better the effect of interpretation is.Therefore,making full use of computer vision technology and applying the characteristics of the laser pen in sand table presentation,an electronic sand table system has been proposed and established,which is composed of cameras to collect the image of sand table and distinguish the laser spot with difference technique.The sand table area located with laser point has been acquired with diagonal coordinate conversion algorithm of partition area and then the location information transformed has been sent to main control display module of the electronic sand table system according to message transmission mechanism.According to coordination information accepted the main control display module plays the relevant audio or video file of the corresponding region to carry out interpretation function.The simulation operation results show that the region located with laser point can be fully identified to launch the relevant audio or video player to indicate fine interactive effect of this established system is satisfactory and that the system has provided a natural and effective interactive style for interpreters to enhance the interpretation efficiency and effects.

human-computer interaction;computer vision;image recognition;sand table

2016-07-27

2016-11-03 網(wǎng)絡(luò)出版時間：2017-04-28

國家科技支撐計劃(2015BAK24B00)

嚴一鳴(1994-)，男，研究方向為信號處理；郭 星，博士，講師，研究方向為計算機視覺。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170428.1704.078.html

TP302

A

1673-629X(2017)06-0195-04

10.3969/j.issn.1673-629X.2017.06.041