基于視覺傳達技術的人機交互系統(tǒng)色彩研究

師玉潔 王保青

摘? 要： 針對傳統(tǒng)人機交互系統(tǒng)設計過程中的技術問題，實現(xiàn)基于視覺傳達技術的人機交互系統(tǒng)設計。首先，針對色彩空間的膚色檢測方法根據(jù)光照條件不同的閾值變化問題，在BP神經(jīng)網(wǎng)絡模型基礎上創(chuàng)建基于模糊模式的神經(jīng)網(wǎng)絡色彩濾波器。該文所設計濾波器的學習速度快，能夠在廣闊的光照條件以及復雜環(huán)境中使用。另外，所設計的人機交互系統(tǒng)滿足人們使用習慣，將EC5?1719CLDNA嵌入之星作為硬件平臺，與迷你投影系統(tǒng)和輻射控制系統(tǒng)相互結合，在軟件中開發(fā)無紙化辦公交互引擎，充分使用多線程和硬件平臺強大的計算性能。最后對系統(tǒng)進行測試，結果表明系統(tǒng)能夠滿足實際需求。

關鍵詞： 人機交互系統(tǒng); 系統(tǒng)設計; 視覺傳達; 色彩濾波器; 信息收集; 系統(tǒng)測試

中圖分類號： TN911?34? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）18?0157?04

Abstract： In allusion to the technical problems in the design of traditional man?machine interface system， the design of man?machine interface system based on visual communication technology is realized. As the skin color detection method in color space is based on the threshold change of different illumination conditions， a neural network color filter based on fuzzy mode is created on the basis of BP neural network model. The learning speed block of the designed filter can be used in the broad illumination conditions and in the complex environments. The designed man?machine interface system can satisfy people′s usage habits， by which the EC5?1719 CLDNA embedded star is used as the hardware platform， and in combination with mini projection system and the radiation control system. The paperless office interaction engine is developed in software， and the powerful computing performance of multi?threading and hardware platform is fully utilized. The system is tested， and the results show that the system can meet the actual needs.

Keywords： man?machine interface system; system design; visual communication; color filter; information collection; system testing

0? 引? 言

人機交互（HCI）技術主要是對計算機、人和彼此影響技術進行研究，目前已經(jīng)充分展現(xiàn)了此領域的潛力，比如在智能手機中所設計的地理空間跟蹤技術;在可戴式計算機、浸入式、隱身技術等中使用的動作識別技術;將無聲語音識別應用到語言障礙人士中。雖然使用潛力良好，但是還面臨著一定的挑戰(zhàn)，比如具有較差的實時性、視覺手勢的識別率比較低等。所以，就要實現(xiàn)多種算法的研究，對識別精度和速度進行識別，但是并沒有普及其使用的范圍局限[1]。其次，云計算等技術融合也要進一步的探索。摩爾定律表示，計算機硬件性能以指數(shù)方式持續(xù)提高。但是人機交互方式發(fā)展比其他技術發(fā)展要落后，全新計算機場景使傳統(tǒng)人機交互方式不自然，以此要求更加自然、適應性強、直覺的交互方式。此為感知界面（PI）技術的研究目的。在PI領域，計算機視覺主要任務就是對交流有意義的視覺信息進行檢測與識別，簡單來說就是觀察用戶并且報告其位置、手勢、表情與姿態(tài)等。

在HCI領域，使用計算機視覺對用戶行為進行感知和理解，從而開展的人機交互界面技術為基于視覺的界面技術[2]。

1? 系統(tǒng)的整體方案

本文系統(tǒng)通過EC5?1719CLDNA嵌入之星作為硬件平臺，與輻射控制系統(tǒng)、迷你投影系統(tǒng)相互結合，在用戶輸入體驗中使用獨特鐳射增強反射非確定表面Multi?touch技術，代替?zhèn)鹘y(tǒng)鼠標與觸摸屏部件，在不需要標準配件中，基于任何環(huán)境都能夠實現(xiàn)家庭娛樂辦公的人機交互。利用Java語言使軟件交互系統(tǒng)得到實現(xiàn)，保證軟件系統(tǒng)可移植性，并且獨特軟件架構設計能夠對功能擴展性進行保證。在已經(jīng)完成的功能中，能夠有效實現(xiàn)圖片瀏覽、多用戶參與、記事辦公、多界面模式和家居設計等功能。在未來版本中，實現(xiàn)完成用戶和用戶之間文件傳輸與共享等功能[3]。圖1為系統(tǒng)的總體框架。

2? 人機交互系統(tǒng)的設計

2.1? 人體模型

人體幾何模型將人體各部分的形狀、大小與連接關系充分的展現(xiàn)了出來，其中具有人體生理結構先驗的知識。人體結合模型指的是圓柱模型、骨架模型、紙板模型、圓臺模型，并且還存在超二次曲線與分層結構化模型等。模型越復雜，跟蹤結果就會越精準，但是需要大量參數(shù)與時間對解空間進行搜索。Jphansson等人針對人類運動感知開展了實驗，在實驗過程中，人體關節(jié)附著亮點，人在黑暗環(huán)境中可以看到關節(jié)。通過實驗結果可以看出，對于靜態(tài)光電集合，人視覺感知模型不能夠得出有意義的信息，針對運動過程中光點集合序列，人們能夠對運動型態(tài)識別，比如走路、跑步等[4]。圖2為人體光點集合。

本文基于此理論，創(chuàng)建人體骨架和連接關系，在跟蹤指定人的時候要對各部分大小和適應此個人尺寸進行調整。

通過幾何圖形能夠直觀地看出人體不同部位通過關節(jié)點相互連接創(chuàng)建樹形結構，樹的每個節(jié)點就是某人體部位，此節(jié)點之間存在父子關系，比如手為前臂后代，前臂為上臂后代。所有節(jié)點都保存相對于父節(jié)點的相對位置，根節(jié)點在人體處于物理空間的絕對位置中保存。使人體模型各個部分以樹形結構，實現(xiàn)四層人體樹形模型的創(chuàng)建，使其作為根，二層節(jié)點包括大腿、腰部軀干、頸部和前臂，三層節(jié)點包括小腿、頭和小臂，四層節(jié)點包括手和腳[5]。圖3為人體骨架與連接的關系，圖4為人體結構樹形模型。

2.2? 手勢手套硬件設計

圖5為手勢手套系統(tǒng)的內(nèi)部結構，單片機最小系統(tǒng)中的主控芯片主要包括電阻電壓轉換電路、陀螺儀加速度計部分、彎曲傳感器接口、電源供電部分和藍牙接口等，全部模塊都相互集成。

此模塊的傳感器主要包括加速度計、彎曲傳感器和陀螺儀。為了能夠測量手指的彎曲程度，利用曲度傳感器進行。彎曲傳感器的工作原理就如同電位器，利用曲度使阻值大小改變：平直（常規(guī)組織）;180°曲度（最大電阻值）;90°曲度（電阻值繼續(xù)增加）;45°曲度（電阻值增加）[6]。

在基本的Flex傳感器電路用語阻抗緩沖的是單面運算放大器，由于電壓分壓器與彎曲傳感器相同，降低運算放大器的電流，會使錯誤的出現(xiàn)概率降低。通過單片機AD讀取全部通道運算放大器的電阻值，能夠得出傳感器與手指彎曲程度，利用得出數(shù)值判斷手指彎曲[7]。

2.3? 手部信息收集和處理

手部活動是比較復雜的，主要包括手在空間中運動與手指彎曲。對手指的彎曲進行全面的考慮，將其作為剛體，剛體在空間運動的過程中主要指的是頂點平動與轉動。那么通過陀螺儀能夠收集空間三個周運動角速度。通過彎曲度傳感器能夠收集手指的彎曲，通過可變電阻實現(xiàn)彎曲傳感器的創(chuàng)建，通過彎曲度對組織改變。通過所收集的彎曲度信息，收集加速度計和陀螺儀角度的信息，對其進行濾波處理。由于卡爾曼濾波思想會影響到算法，所以計算比較簡單，能夠在嵌入式設備中進行實現(xiàn)[8]。

2.4? 視覺感知與色彩配置

2.4.1? 標志視覺感知

標志視覺感知指的是人對于標志生理感知與情感體驗兩方面，生理感知為人對于標識最為客觀的反應，情感體驗為人對于標志所反應的想法;標志生理感知是單純對于標志色彩感知，此過程比較短。視覺對于色彩也存在相應感知，通過標志設計角度，此感知包括體量感、溫度感與距離感。

標準情感體驗指的是比生理感知更深的視覺感知，主要表現(xiàn)在標志色彩生理感知和大腦通過分析結合自身經(jīng)驗對標志的情感判斷。

2.4.2? 視覺感知對標志色彩配置的作用

實現(xiàn)色彩配置，首先要掌握標志主色和原色、調和色與對比色的視覺感知。主色（M）包括兩種：鮮明色（M1）和深暗色（M2）。輔助色（A）3種配置類型包括原色（Am）、對比色（A2）和調和色（A1）。利用2×3的組合方式得出6種色彩配置方案，但是調和色和原色不同，沒有色彩配置，所以只有4種色彩配置方案。使不同視覺感知2個組合，得到不同色彩配置視覺感知效果。

標志主色和輔助色為主從關系，兩者并不平等，所以在研究感知過程中要作為加權處理，主從關系方面得到主色權重值比輔助色要大。主色都是單色，生理感知中沒有遠近感與重力感，只有溫度感。對比色兩個的對比強烈，色彩鮮明。表1為色彩配置方案視覺感知。

2.4.3? 色彩模型人機交互方式

對于色彩設計系統(tǒng)來說，良好的交互方式具有重要作用，大部分成功且優(yōu)秀的電子產(chǎn)品與良好的用戶體驗具有密切關系。傳統(tǒng)軟件色彩交互方式的設計都是通過鼠標的拖拽和點擊選擇，即便是最新電子終端產(chǎn)品，此方式還是對筆者的思想造成束縛。表2為色彩模型人機交互方案，三維色彩模型與多點觸控終端相互適應。

2.5? 色彩模型的顯示

利用立體色塊將色彩充分展現(xiàn)出來，色塊重點為坐標值、頂點坐標、色彩信息與形狀，從而實現(xiàn)可視化數(shù)據(jù)結構的設計：

式中：tab1～tab3為對應色彩塊在顏色體系標號;x，y，Y對應此顏色GIE x，y，Y坐標值;R，G，B為對應此色塊的R，G，B三個值。

使用RGB色彩體系作為計算機圖形圖像顯示系統(tǒng)，利用HV/C實現(xiàn)顏色體系，并且還能夠實現(xiàn)計算機可視化，有效解決模式的轉換問題。

通過GIE標準色度學習系統(tǒng)，將其作為模塊轉換媒介，確定色塊R，G，B值。利用顏色體系數(shù)據(jù)表，確定標定色塊和相互對應的GIE x，y，Y值。轉換公式如下：

式（1）為GIE x，y，Y三個值轉變成為GIE X，Y，Z三個值;式（2）為GIE X，Y，Z三個值轉變成為R，G，B三個值。OpenGL中色彩指的是r，g，b，三者的取值范圍為0～1，以此通過式（3）將可視化模型數(shù)據(jù)結構的R，G，B轉化得到實現(xiàn)。

確定三維色彩模塊的色彩坐標：色彩體系中的原始數(shù)據(jù)為確定色彩坐標基礎，與色彩HV/C標號相互對應。此標準對應色塊的基準點，已知OpenGL中的點與面信息之后的可視化色塊。確定色塊的頂點坐標，結合前面色塊的色彩信息，從而有效實現(xiàn)色塊的可視化。通過此方式能夠充分展現(xiàn)全部的色塊信息，但是此方法在實現(xiàn)過程中計算量比較大，而且會降低效率。利用基本點與色塊的方式實現(xiàn)坐標確定，通過基本點圓柱坐標能夠得到全部點的圓柱坐標，之后利用直角坐標和圓柱坐標轉換公式，對各點直角坐標進行計算，實現(xiàn)高效、快速地確定全部色塊坐標[9]。

3? 測試和驗證的方案

將電工實驗室作為測試環(huán)境，在實驗室中配置電腦、防靜電實驗桌，另外還包括1臺信號發(fā)生器、頻譜儀、手持萬用表、50 MHz示波器和2臺穩(wěn)壓源。

關鍵功能實現(xiàn)包括：測試手臂姿態(tài)傳感器，將手套佩戴到右手，要求小臂平行于地面，手心朝下，基于手肘使小臂旋轉120°，對此動作重復進行，通過虛擬示波器能夠得出傳感器數(shù)據(jù)波形。利用測試結果可以看出，手指彎曲傳感器具有較大的波動。使手勢在短時間內(nèi)實現(xiàn)不同語義的匹配，中繼設備能夠對電極、舵機進行控制，佩戴人員能夠對設備直接控制。調整控制手勢的步驟為：將手在被控設備中平移，然后進入設備待選模式中，單手抱拳使設備控制狀態(tài)接觸設備到上個控制量維持;假如在使用的過程中出現(xiàn)突發(fā)情況，按下中繼板TSI中的緊急制動，或者使全部設備緊急停止。

之后，對本文所設計系統(tǒng)進行可靠性的測試，佩戴滿電狀態(tài)下的手套，重復做內(nèi)需型動作。在上位機中發(fā)送姿態(tài)編碼，對手勢序列進行對比，得出431組數(shù)據(jù)，其中有73組數(shù)據(jù)位沒有匹配，精準率達到82%。系統(tǒng)在此過程中工作穩(wěn)定，而且并沒有出現(xiàn)發(fā)送程序與硬件錯誤的問題，電磁干擾比較強，并且具有較強的靜電等環(huán)境適應能力[10]。

4? 結? 語

本文所設計系統(tǒng)利用全新的設計理念詮釋了人機交互概念，顛覆了傳統(tǒng)的單人、垂直性人機交互和根據(jù)標準輸入設備交互模式，通過更合適人們習慣的方式，提高用戶的使用體驗。系統(tǒng)在軟件功能擴展性、識別精準性、交互實時性等方面都充分展現(xiàn)了良好的應用前景。

參考文獻

[1] 王卓.基于視覺傳達效果的三維圖像虛擬重建[J].現(xiàn)代電子技術，2019，42（1）：62?64.

[2] 李安安.基于色彩應用的視覺傳達設計研究[J].商業(yè)故事，2016（19）：35.

[3] 周友，萬萱.色彩變化在視覺傳達設計中的研究與應用[J].美術教育研究，2018（20）：51.

[4] 賈艷偉.視覺傳達設計中的色彩應用研究[J].中國民族博覽，2017（12）：173?174.

[5] 徐麗平.視覺傳達設計中色彩的表現(xiàn)與傳遞[J].美術教育研究，2018（8）：29.

[6] 劉怡利.探究視覺傳達設計中色彩感知、想象能力及應用[J].藝術科技，2017，30（2）：289.

[7] 王玉，唐欣堯.當代視覺傳達設計的可持續(xù)發(fā)展探析[J].科技與創(chuàng)新，2017（6）：31.

[8] 彭靜，冷飛.基于視覺傳達效果的傳統(tǒng)藝術圖像重建方法研究[J].現(xiàn)代電子技術，2017，40（24）：118?120.

[9] 廖瑩，曾顯峰，鄧秀茹，等.淺談校園VI設計中色彩的應用[J].科技創(chuàng)新與應用，2017（12）：296.

[10] 李燕杰.基于色彩量化的人機交互界面質量評價[D].合肥：合肥工業(yè)大學，2017.