增強現(xiàn)實/虛擬現(xiàn)實頭戴顯示專利分析

韓 旭，曲 丹

(國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心，天津 300304)

增強現(xiàn)實/虛擬現(xiàn)實頭戴顯示專利分析

韓 旭，曲 丹

(國家知識產(chǎn)權(quán)局專利局專利審查協(xié)作天津中心，天津 300304)

增強現(xiàn)實/虛擬現(xiàn)實(AR/VR)在醫(yī)療、軍事、工業(yè)、教育、娛樂和工程等領(lǐng)域都具有非常廣闊的應(yīng)用前景，是目前可穿戴電子領(lǐng)域的研究熱點。從全球及中國角度對AR/VR頭戴顯示技術(shù)的總體專利態(tài)勢進行分析，分別從專利申請量、專利申請區(qū)域分布、主要申請人等方面對AR/VR頭戴顯示技術(shù)的專利申請總體情況進行了探討，分析了國內(nèi)研發(fā)主體相對于國外研發(fā)主體在技術(shù)發(fā)展和專利保護方面存在的差距。通過歸納分析AR/VR頭戴顯示設(shè)備國內(nèi)外重要申請人的關(guān)鍵技術(shù)，發(fā)現(xiàn)AR/VR頭戴顯示設(shè)備的主要技術(shù)分支包括圖像質(zhì)量像差修正、人機交互控制、追蹤技術(shù)實現(xiàn)圖像調(diào)節(jié)以及佩戴調(diào)節(jié)，并對其中的光學系統(tǒng)和眼動追蹤技術(shù)分支的技術(shù)發(fā)展路線、技術(shù)發(fā)展趨勢、重要專利節(jié)點技術(shù)等方面進行了深入研究，對AR/VR頭戴顯示設(shè)備在上述技術(shù)分支的發(fā)展趨勢進行了預測。

應(yīng)用光學；增強現(xiàn)實；虛擬現(xiàn)實；沉浸；頭戴顯示

1 研究概述

隨著AR(augmented reality)/VR(virtual reality)產(chǎn)品的廣為使用，增強現(xiàn)實、虛擬現(xiàn)實技術(shù)越來越為大眾所熟知，尤其是AR/VR頭戴顯示設(shè)備。在2016年世界移動通信大會(MWC)上，包括扎克伯格等演講者在內(nèi)的與會人士都佩戴了VR設(shè)備，2016年被業(yè)界稱為“VR元年”。這一切表明AR/VR頭戴顯示技術(shù)處于爆發(fā)式增長態(tài)勢。

1.1技術(shù)簡介

虛擬現(xiàn)實是一種計算機仿真系統(tǒng)，通過多元信息融合、交互的三維動態(tài)視景和實體行為的系統(tǒng)仿真，使用戶沉浸在計算機生成的模擬環(huán)境中。虛擬顯示主要包三維計算機圖形技術(shù)、廣角立體顯示技術(shù)、用戶跟蹤技術(shù)、觸覺/力覺反饋、立體聲、語音輸入輸出技術(shù)等[1]。增強現(xiàn)實是在虛擬顯示的基礎(chǔ)上，實時地計算攝影機影像的位置及角度并加上相應(yīng)的圖像、視頻、3D模型技術(shù)，可以同時顯示真實世界信息和虛擬世界信息，兩種信息相互補充、疊加。增強現(xiàn)實技術(shù)包含多媒體、三維建模、實時視頻顯示及控制、多傳感器融合、實時跟蹤及注冊、場景融合等手段[2]。

1.2技術(shù)發(fā)展

AR/VR技術(shù)演變發(fā)展史大致分為以下幾個階段。

第1階段(1963年以前)，人們提出了虛擬顯示思想。這一思想最早被提及可追溯到1932年，阿道司·赫胥黎在小說《美麗新世界》中提到“頭戴式設(shè)備可以為觀眾提供圖像、氣味、聲音等一系列的感官體驗，以便讓觀眾能夠更好地沉浸在電影的世界中?！?955年，莫頓·海利希設(shè)計出《美麗新世界》書中所描繪的頭戴式設(shè)備的原型圖，如圖1所示。

圖1 莫頓·海利希設(shè)計的原型圖Fig.1 Prototype drawings designed by Morton Heilig

第2階段(1963-1972年)，虛擬顯示處在萌芽期。1968年，伊凡·蘇澤蘭完成第1臺真正意義上的頭戴顯示設(shè)備，名為“達摩克利斯之劍”，如圖2所示。伊凡·蘇澤蘭本人也被稱為虛擬現(xiàn)實之父。

第3階段(1973-1989年)，虛擬顯示理論初步形成，技術(shù)得到初步應(yīng)用。1985年，美國國家航空航天局(NASA)創(chuàng)建了虛擬界面環(huán)境工作站(view-virtual interface environment workstation，VIVED)，VIVED VR頭戴顯示器投入使用，用來訓練增強宇航員的臨場感，這是虛擬頭戴顯示設(shè)備的最早應(yīng)用。

第4階段(1990-2010年)，虛擬顯示理論逐步完善，應(yīng)用不斷擴大。1990年，美國VPL Research公司首次將VR頭戴顯示設(shè)備推向民用市場，該公司創(chuàng)始人杰倫·拉尼爾首次將虛擬顯示(virtual reality)的稱謂賦予這一技術(shù)，當時注解為用立體眼鏡和傳感手套等傳感輔助設(shè)施來實現(xiàn)的三維顯示。這一時期的VR頭戴顯示設(shè)備比較笨重，售價也高。

圖2 達摩克利斯之劍Fig.2 Sword of Damocles

第5階段(2011至今)，虛擬顯示技術(shù)得到了飛速發(fā)展。眾多企業(yè)投入研發(fā)AR/VR 產(chǎn)品，極具代表性的產(chǎn)品有如下3類。1)眼鏡式產(chǎn)品：谷歌公司——Google Project Glass，奧林巴斯——MEG4.0，兄弟株式會社——AiRScouter；2)沉浸式產(chǎn)品：Oculus 公司——Rift，索尼公司——PlayStaion VR，HTC 公司——Vive，微軟公司——Hololens；3)手機顯示類產(chǎn)品：谷歌紙板眼鏡，三星Gear VR，暴風魔鏡等。

1.3研究內(nèi)容

專利作為技術(shù)信息最有效的載體，內(nèi)容準確詳實。專利分析能將個別的看起來互不相關(guān)的孤立信息轉(zhuǎn)化成系統(tǒng)的、完整的情報。筆者基于國家知識產(chǎn)權(quán)局專利檢索與服務(wù)系統(tǒng)(Patent Search and Service System)中的CNABS數(shù)據(jù)庫及DWPI數(shù)據(jù)庫，對2016-08-15前公開的AR/VR頭戴顯示設(shè)備的專利申請情況進行分析。

采用定量分析和定性分析相結(jié)合的方式，對宏觀數(shù)據(jù)進行定量分析和對重點技術(shù)進行深入定性分析。定量分析主要包括全球?qū)＠暾埩糠治?，各國家、地區(qū)、組織專利申請量分析，全球主要申請人分析，國內(nèi)專利申請量分析等，可以幫助創(chuàng)新主體掌握專利發(fā)展趨勢、專利區(qū)域分布、區(qū)域市場關(guān)注程度和主體研發(fā)活躍度。定性分析主要包括與圖像質(zhì)量和人機交互方面的關(guān)鍵技術(shù)分析、技術(shù)發(fā)展路線等，以幫助創(chuàng)新主體掌握技術(shù)研發(fā)趨勢，尋找技術(shù)空白。

2 專利分析

為保證專利信息的全面性和準確性，采用了總—分為主、分—總為輔的檢索原則，先獲取數(shù)據(jù)庫中與AR/VR頭戴顯示設(shè)備相關(guān)的各級準確分類資源(包括IPC，CPC，F(xiàn)I/FT等分類)，結(jié)合中英文關(guān)鍵詞(HMD、頭戴顯示設(shè)備等)進行檢索，然后將檢索結(jié)果匯總，從而得到總的文獻量，再通過概覽的方式對檢索結(jié)果進行去噪。

AR/VR頭戴顯示設(shè)備涉及的分類號包括以下內(nèi)容。

IPC分類：G02B27/01(加蓋顯示器)，其他分類號有G02B27/02(觀看或閱讀儀器)、G02B27/22(用于產(chǎn)生立體或其他三維效果)、G06F3/01(用于用戶和計算機之間交互的輸入裝置或輸入和輸出組合裝置)。

CPC分類：G02B27/017(安裝在頭部)，G02B27/0172(以光學特征為特點)，G02B2027/0174(全息)，G02B27/0176(以機械特征為特點)，G02B2027/0178(眼鏡型)，G02B27/0093(具有用于監(jiān)控使用者數(shù)據(jù)的裝置，如頭戴式追蹤、眼睛追蹤)，G06F3/011(與人體交互的輸入/輸出，如虛擬現(xiàn)實的用戶浸入)，G06F3/012 (頭部軌跡輸入裝置)，G06F3/013 (視覺軌跡輸入裝置)，G06F3/014(手戴的輸入/輸出裝置，如數(shù)據(jù)手套)，G06F3/015(基于神經(jīng)中樞系統(tǒng)活動檢測的輸入裝置，如腦電波(EEG)檢測、肌動電流(EMG)檢測、皮膚電活動反應(yīng)檢測)，G06F3/016(帶有作為計算機產(chǎn)生的、輸出給用戶的力或觸覺反饋的輸入裝置)，G06F3/017 (基于交互手勢，如基于一系列可識別手勢)，G06F2203/011(基于感測的人體參數(shù)，如心跳、脈搏、虹膜、皮膚溫度、聲音音調(diào))，H04N13/044 (具有安裝了與頭匹配的左-右顯示器)。

FT分類：FT 2H199/CA00(頭戴顯示設(shè)備HMD)及其下位組。

2.1全球?qū)＠暾埛治?/p>

2.1.1 全球?qū)＠暾埩糠植?/p>

由于專利申請從提出申請到公開有時間延后，導致2015年和2016年的有關(guān)分析存在偏差，如圖3所示，AR/VR技術(shù)的專利申請總體上分為3個階段。

圖3 全球?qū)＠暾埩糠植糉ig.3 Distribution of global patent application

萌芽階段(1980—1990年)： AR/VR頭戴顯示設(shè)備的概念剛剛被提出，AR/VR頭戴顯示設(shè)備專利申請量比較少，決定設(shè)備性能的處理器、加工技術(shù)等關(guān)鍵技術(shù)水平仍然不能具備實現(xiàn)設(shè)備商業(yè)化的條件。

成長階段(1991-2009年)： AR/VR頭戴顯示設(shè)備專利申請量穩(wěn)步增長，隨著計算機、處理器等相關(guān)技術(shù)的發(fā)展，能夠生產(chǎn)實驗室級AR/VR產(chǎn)品。但由于成本高和體驗不佳等原因，仍無法開展大規(guī)模商業(yè)生產(chǎn)。其中，2009年受金融危機的影響，企業(yè)減少了科研投入，研發(fā)活躍度下降，專利申請量出現(xiàn)階段性下降。

成熟階段(2010年至今)：2010年以后，隨著計算機技術(shù)和處理器技術(shù)以及精密加工技術(shù)的快速發(fā)展，市場對于增強現(xiàn)實和虛擬現(xiàn)實技術(shù)的需求日漸強烈，眾多市場主體紛紛開始在該領(lǐng)域著手進行技術(shù)研發(fā)和專利布局，而從2010年開始專利申請AR/VR頭戴顯示設(shè)備出現(xiàn)爆發(fā)式的增長。

2.1.2 全球?qū)＠暾垍^(qū)域/組織分布

AR/VR頭戴顯示設(shè)備的申請量前5位的國家、地區(qū)或組織分別是美國、日本、WIPO、歐盟和中國。美國和日本的專利申請量占全球申請量的1/2。如圖4所示，美國是專利申請量最多的目標國，占全球申請量的31%；其次是日本，占全球申請量的19%；再次是向WIPO提出的PCT申請，占全球申請量的13%；緊隨其后的是向歐盟和中國提交的申請，均占全球申請量的10%。在國際市場的排名中，美國、日本仍然占主導地位，中國處于第4位，略微落后于中國經(jīng)濟總量在國際上所處的地位[3-6]。

圖4 全球?qū)＠暾垍^(qū)域/組織分布Fig.4 Distribution of global patent applicant

2.1.3 全球?qū)＠暾埲朔植?/p>

圖5 全球?qū)＠暾埲朔植糉ig.5 Distribution of global patent applicant

圖5列出了全球?qū)＠暾埲说姆植记闆r。從圖5中可以看出，全球?qū)＠暾埩颗琶?0位的企業(yè)主要來自日本、美國、韓國、德國、法國、英國和芬蘭。其中日本企業(yè)占據(jù)8個席位，美國企業(yè)占據(jù)6個席位，韓國企業(yè)占據(jù)2個席位，其余4個國家各占1個席位。主要申請人雖然集中在日本和美國，但專利申請量差異不大，未明顯處于絕對壟斷地位，企業(yè)類型有所差別，其中日本公司在AR/VR頭戴顯示設(shè)備領(lǐng)域最為活躍。排在首位的索尼公司是世界視聽、電子游戲、通訊產(chǎn)品和信息技術(shù)等領(lǐng)域的先導者，其重點研發(fā)的是用于電子游戲和個人觀影用的AR/VR頭戴顯示設(shè)備。精工愛普生、奧林巴斯、佳能和尼康公司是傳統(tǒng)的光學影像設(shè)備生產(chǎn)商。除了網(wǎng)絡(luò)、軟件、通信等領(lǐng)域的商業(yè)巨頭，如微軟、谷歌、三星、諾基亞等，還有高平(KOPIN)、MICROVISION(MVIS)公司等著名頭戴顯示設(shè)備制造商，以及三維圖像投影領(lǐng)域的MAGIC LEAP公司。

2.2中國專利申請分析[7-10]

2.2.1 中國專利申請量分布

中國AR/VR頭戴顯示專利申請與全球申請趨勢基本一致，但年申請量遠低于全球年申請量，申請量分布如圖6所示。2010年以前，國內(nèi)AR/VR頭戴顯示設(shè)備市場規(guī)模不大，AR/VR頭戴顯示技術(shù)專利申請量比較低。一方面原因是國內(nèi)企業(yè)沒有開展相關(guān)研究，另一方面原因是國外企業(yè)沒有關(guān)注到中國市場。隨著全球AR/VR頭戴顯示技術(shù)的發(fā)展以及中國市場的崛起，國外申請人逐漸增加了在中國的專利申請量。從2010年開始，中國申請量呈現(xiàn)指數(shù)級增長，增長速度不斷提高，保持高增長的態(tài)勢，與國外申請增長速度相當。到2014年，中國AR/VR頭戴顯示專利申請量相比2009年增長了約6倍，表現(xiàn)出中國AR/VR頭戴顯示專利布局正在加速進行。

圖6 中國專利申請量分布Fig.6 Distribution of Chinese patent application

圖7 中國專利申請區(qū)域分布Fig.7 Distribution of Chinese patent application region

2.2.2 中國專利申請區(qū)域分布

中國專利申請區(qū)域分布情況如圖7所示。由圖7可以看出，中國AR/VR頭戴顯示設(shè)備專利申請中，比較可喜的是半數(shù)以上為本國申請，外國申請主要來自日本、美國、韓國3個國家。日本申請量最多，占中國專利申請總量的19%。其次是美國，占中國專利申請總量的17%，兩國占比約為其他國家總占比的3倍。其一方面原因是AR/VR頭戴顯示技術(shù)在日本和美國發(fā)展最早，另一方面原因是中國作為拉動全球經(jīng)濟增長的重要引擎和眾多經(jīng)濟體的全球第一大出口國，倍受兩國重視。其余國家/地區(qū)中，韓國申請占中國專利申請總量的4%，也不容小覷。

2.2.3 中國專利申請人分布

圖8 中國專利申請人分布Fig.8 Distribution of Chinese patent applicant

中國專利申請中，申請量位居前列的仍然以外國申請人為主，但外國申請人的中國專利申請量排名與其全球?qū)＠暾埩颗琶煌耆恢拢鐖D8所示。其中，索尼公司仍然占據(jù)申請量的榜首，而奧林巴斯公司的申請量相比于其在全球?qū)＠季种械纳暾埩颗琶兴档?。日本的兄弟株式會社和美國的新興AR/VR頭戴顯示設(shè)備公司甚至排在10名開外，表明上述公司未開拓中國市場。與外國申請人相比，本國申請人在申請量上存在差距，但差距在逐漸縮小。主要申請人中除了聯(lián)想、京東方、中科院等傳統(tǒng)的知名企業(yè)或研究機構(gòu)外，也有如歌爾、理想境界、小鳥看看等新生的創(chuàng)新型企業(yè)。比較難能可貴的是，這些新生企業(yè)在專利申請量方面表現(xiàn)突出，后來居上(例如：歌爾公司處于第4位，理想境界公司處于第7位)，而且分別開展專利的產(chǎn)業(yè)運用，產(chǎn)品已進行市場推廣(例如：歌爾公司推出基于手機的VR頭戴顯示設(shè)備；小鳥看看公司推出VR頭戴顯示設(shè)備IDEALENS K2，Pico Neo)。

2.2.4 中國專利申請類型分析

中國AR/VR頭戴顯示專利申請的類型主要為發(fā)明和實用新型，如圖9所示。從申請總量上看，中國申請人的申請量與外國申請人的申請量大致相當，說明在AR/VR頭戴顯示領(lǐng)域中國申請人的專利意識有所加強。但從申請類型角度詳細比較后不難發(fā)現(xiàn)，二者還存在一定程度的差異。外國申請人的申請主要是發(fā)明專利申請，實用新型專利申請量幾乎為零；而中國申請人的申請中，實用新型專利申請量能夠達到發(fā)明專利申請半數(shù)以上，說明AR/VR頭戴顯示領(lǐng)域中國申請人的專利質(zhì)量以及專利背后的創(chuàng)新能力和保護意識還略顯不足。此外，外國申請人在2011年以前，通過“巴黎公約”直接在中國提出的專利申請與通過“PCT條約”提出的專利申請數(shù)量上總體差別不大，但從2011年開始，PCT申請開始全面超過直接提交的中國專利申請。外國申請人的專利布局表現(xiàn)說明：隨著AR/VR頭戴顯示技術(shù)的日趨成熟，作為重要國際市場的中國也會成為專利布局的重要戰(zhàn)場。中國申請人對此應(yīng)給予足夠重視，做好充分準備。

圖9 中國專利申請類型對比Fig.9 Comparison of Chinese patent application types

3 技術(shù)演進[12-17]

圖像質(zhì)量的改進與用戶的視覺效果以及用戶的體驗度具有直接關(guān)系，提高圖像質(zhì)量是AR/VR頭戴顯示設(shè)備領(lǐng)域應(yīng)重點關(guān)注并持續(xù)改進的技術(shù)。有關(guān)圖像質(zhì)量方面的專利申請占比也很大，約占涉及圖像質(zhì)量改進專利的20%。交互技術(shù)一直引領(lǐng)消費類電子產(chǎn)品的變革和發(fā)展，追蹤技術(shù)是用戶體驗“沉浸感”、實現(xiàn)人機信息交互的關(guān)鍵保障[11]。手動、頭動、眼動、腦電波等信息均作為人體自攜帶的“遙控器”，使交互更為直接、方便。以下就實現(xiàn)圖像質(zhì)量的光學系統(tǒng)和交互技術(shù)中的眼動追蹤情況進行詳細分析。

3.1光學系統(tǒng)技術(shù)

AR/VR頭戴顯示設(shè)備的光學系統(tǒng)是其實現(xiàn)增強現(xiàn)實或者虛擬現(xiàn)實功能的基礎(chǔ)，是各個企業(yè)一直以來比較關(guān)注的一項技術(shù)。對于光學系統(tǒng)的改進，需要綜合考慮圖像質(zhì)量、設(shè)備體積、設(shè)備質(zhì)量、加工難度、裝配工藝以及產(chǎn)品成本等因素，而且光學系統(tǒng)的優(yōu)劣與用戶的視覺效果以及用戶的體驗度具有直接關(guān)系。

如圖10所示， 在頭戴顯示設(shè)備中，光學系統(tǒng)最初主要分為2類，一類是瞳孔成像的光學系統(tǒng)(US 4961626A)，另一類是非瞳孔成像的光學系統(tǒng)(GB 1537276A)，兩類成像系統(tǒng)特點有所不同。瞳孔成像的光學系統(tǒng)結(jié)構(gòu)成像清晰度高，但光路較長，一般需要通過反射鏡折轉(zhuǎn)光路，以使其能夠更好地配置在使用者的頭部。此外，這類光學系統(tǒng)存在中間像面，可以在中間像面處設(shè)置出瞳孔擴展器等功能性光學元件，有利于進一步改善成像的效果。與之相比，非瞳孔成像的光學系統(tǒng)在滿足日常成像要求的基礎(chǔ)上，結(jié)構(gòu)更簡潔緊湊，成本更低廉，易于批量生產(chǎn)，適用于沉浸式的虛擬顯示設(shè)備。

在瞳孔成像的光學系統(tǒng)脈絡(luò)中，以1990年的傳統(tǒng)瞳孔成像結(jié)構(gòu)(US 4961626A)為起點，進一步發(fā)展分化出2條技術(shù)路線，一條是偏心結(jié)構(gòu)技術(shù)路線，另一條是波導結(jié)構(gòu)技術(shù)路線。偏心結(jié)構(gòu)技術(shù)線路大致分3個階段，分別是偏心結(jié)構(gòu)階段、自由曲面棱鏡階段和自由曲面反射鏡組階段。偏心結(jié)構(gòu)階段最有代表性的是奧林巴斯公司，其在1993年首次將傳統(tǒng)瞳孔成像的光學系統(tǒng)改進成具有偏心結(jié)構(gòu)的光學系統(tǒng)(JPH 06294943A)，以獲得更為清晰、降低暈眩的成像效果，以及更大的視場角，還進一步降低了顯示設(shè)備的體積和質(zhì)量，以便更加適合使用者佩戴。隨后奧林巴斯在1994年進一步優(yōu)化了偏心光學系統(tǒng)的結(jié)構(gòu)(JPH 07218860A)，將原本成像用的反射面替換成鍍有反射膜的透鏡結(jié)構(gòu)。隨著光學設(shè)計、加工和制造技術(shù)的發(fā)展， 具有自由曲面光學系統(tǒng)的設(shè)計、加工和制造得以實現(xiàn)，進而出現(xiàn)了將自由曲面應(yīng)用到頭戴顯示設(shè)備光學系統(tǒng)中的結(jié)構(gòu)，在此基礎(chǔ)上，結(jié)合已有偏心結(jié)構(gòu)的光學系統(tǒng)原理，出現(xiàn)了自由曲面棱鏡，將其應(yīng)用到頭戴顯示設(shè)備的光學系統(tǒng)中(JPH 09281431A)，大大降低了光學系統(tǒng)的體積、質(zhì)量以及裝配難度。此后，研究人員不斷進行改進，相繼出現(xiàn)了各種類型的自由曲面棱鏡光學系統(tǒng)(US 6384983B1，JP 2002258208A，US 2014055867A1)。隨著自由曲面棱鏡結(jié)構(gòu)的演進，出現(xiàn)了一類利用多重反射鏡結(jié)合自由曲面、實現(xiàn)與自由曲面棱鏡結(jié)構(gòu)效果類似的光學系統(tǒng)(US 6046857A1)，該系統(tǒng)的質(zhì)量遠輕于自由曲面棱鏡結(jié)構(gòu)，而且避免了透射中介質(zhì)改變帶來的光線方向限制和光量損耗。

圖10 AR/VR頭戴顯示設(shè)備圖像質(zhì)量像差修正的技術(shù)演進Fig.10 Technical evolution of image quality aberration correction for AR/VR on HMD

在瞳孔成像光學系統(tǒng)的發(fā)展過程中，還存在一個關(guān)鍵的問題，即隨著光學系統(tǒng)期望視場的增大，其會變得越來越重、體積會越來越龐大，并且使用起來非常復雜，為此產(chǎn)生了另一條技術(shù)線路——光波導技術(shù)。AR/VR頭戴顯示設(shè)備中光波導技術(shù)的最早嘗試，是通過引入類似波導具有相互平行的平面反射面的結(jié)構(gòu)(US 5880888A)，該結(jié)構(gòu)使得光學系統(tǒng)無需在從使用者的頭部突出，同時能增大視場并減少畸變。隨后開始出現(xiàn)主要以波導結(jié)構(gòu)為主的頭戴顯示設(shè)備的光學系統(tǒng)(WO 0195027A2，JP 2002311379A)，此類光學系統(tǒng)結(jié)構(gòu)更加輕便，加工實現(xiàn)更為容易，而且更利于批量生產(chǎn)。此后，全息元件被引入波導結(jié)構(gòu)的頭戴顯示光學系統(tǒng)中(EP1669792A2)，全息元件的引入使頭戴顯示設(shè)備的光學系統(tǒng)能實現(xiàn)三維效果，且能更好地校正色差，系統(tǒng)的復雜度也大為降低。此后，研究人員不斷對其進行改進，相繼出現(xiàn)了全色體全息平板波導結(jié)構(gòu)、表面微結(jié)構(gòu)波導結(jié)構(gòu)、半透膜陣列波導結(jié)構(gòu)等各類光波導結(jié)構(gòu)光學系統(tǒng)(WO 2007029032A1，JP 2007011057A，JP 2012053379A，US 2014111865A1，US 2014111865A1，WO 2015001839A1)。

非瞳孔成像的光學系統(tǒng)結(jié)構(gòu)在AR/VR頭戴顯示設(shè)備中的應(yīng)用也源自1990年(GB 1537276A)。為了進一步降低非瞳孔成像光學系統(tǒng)結(jié)構(gòu)的復雜度、減輕質(zhì)量，半透半反鏡或者分光棱鏡被引入該類光學系統(tǒng)中(JPH 06250114A)，半透半反鏡或者分光棱鏡的應(yīng)用大大簡化了非瞳孔成像光學系統(tǒng)的結(jié)構(gòu)，使系統(tǒng)更加緊湊。另外，為了進一步改善成像效果，谷歌采用多個半透半反鏡或者分光棱鏡，擴大光學系統(tǒng)的視場(US 2013016292A1)。

3.2眼動追蹤技術(shù)

目前AR/VR頭戴顯示設(shè)備的交互技術(shù)主要有聲音控制、手勢控制、頭部運動追蹤以及眼動追蹤。聲音控制僅適用于特定場合，但這種控制方式的響應(yīng)速度很慢且不準確，在公共場合聲音太大還會影響其他人。手勢控制時，手臂和肩膀很快就會感覺到累，疲憊的手臂會讓人們的交互慢下來，并丟失追蹤精度。頭部運動追蹤現(xiàn)在正作為主要的控制方式，但不停地轉(zhuǎn)動頭部和傾斜脖子也會讓人感覺很累，不實際，并可能會造成脖子損傷。人體頭重約5 kg，占人體重量的7%，每只眼重約8 g，占人體重量的0.002%，相比于頭部運動，眼動更為簡便，并且對身體的負擔較小，眼球運動的精細肌肉對疲勞免疫，眼動追蹤技術(shù)的響應(yīng)速度很快，追蹤很準確，也不會造成疲勞。這樣一種交互方式，可以促進人機交互領(lǐng)域的技術(shù)突破，尤其是在增強現(xiàn)實和虛擬現(xiàn)實領(lǐng)域。

AR/VR頭戴顯示設(shè)備眼動追蹤的技術(shù)演進見圖11。眼動追蹤技術(shù)可以分為接觸式和非接觸式2個技術(shù)分支。接觸式眼動追蹤技術(shù)中常用的是眼電圖法和電磁線圈法。眼電圖法最早出現(xiàn)于20世紀70年代(GB 1492358A)，但直至1981年美國斯坦福國際研究院研發(fā)了一種穩(wěn)定視覺系統(tǒng)(US 4443075A)才得以完善。1993年電磁線圈法實現(xiàn)眼動跟蹤進入了初步研究階段，利用電磁信號和預定義的眼手勢，實現(xiàn)眼動跟蹤接口的方法及系統(tǒng)(EP 0634031B1)。接觸法不可避免地使測試裝置與人眼有較為直接的接觸，用戶體驗的安全度和舒適度不高，因此對非接觸式的眼動追蹤系統(tǒng)的研究非常必要。常用的非接觸式眼動追蹤方法有雙普金野圖像法、虹膜鞏膜邊緣法、虹膜分析法、角膜鞏膜反射法、瞳孔中心反射法等。其中，最早出現(xiàn)的是雙普金野圖像追蹤法(US 4836670A)，其嘗試使用攝像機來獲取雙普金野圖像，并對2個普金野圖像測量確定眼睛注視位置。20世紀末，人們開始對虹膜鞏膜邊緣法進行研究，該方法根據(jù)瞳孔與虹膜和鞏膜之間的反射率進行眼睛定位。進入21世紀后，為了更準確、迅速地獲取眼睛的運動，研究人員展開了一系列研究，這期間出現(xiàn)了虹膜分析法(JP 2003150942A)、瞳孔-中心-角膜反射法(EP 2236074A1)、角膜鞏膜反射法(EP 2309307A1)。目前，眼動追蹤的方法已經(jīng)較為成熟，如何將較為成熟的眼動追蹤技術(shù)應(yīng)用到消費電子產(chǎn)品中，提供更好的用戶體驗成為當前研究的熱點。

眼動追蹤最早地應(yīng)用與人機交互可以追溯到1989年，法國一家公司提出通過追蹤用戶視線來適時調(diào)整光學系統(tǒng)(比如顯微鏡等)的視場和圖像清晰度等。近年來，隨著頭戴顯示設(shè)備的發(fā)展，眼動追蹤技術(shù)在頭戴顯示設(shè)備中的應(yīng)用逐漸受到重視。其在頭戴顯示設(shè)備中的應(yīng)用主要分為3類。第1類用于身份識別，谷歌公司提出了一種利用虹膜特性同時結(jié)合面部和皮膚特征實現(xiàn)身份識別的方法(WO 2006023046A1)。身份識別中還可通過視線追蹤實現(xiàn)解鎖，如用戶僅需用眼睛追蹤移動的小鳥或者閱讀顯示屏上的一段文字即可實現(xiàn)解鎖。第2類重要應(yīng)用是通過視線追蹤實現(xiàn)對圖像的調(diào)節(jié)，比如確定圖像的運動速度(US 20130106674A1)、調(diào)整進入眼睛中的外界光線亮度(US 2016109703A1)等。第3類應(yīng)用是通過眼瞼狀態(tài)(US 8235529B1，US 2012242570A1)、凝視(US 9096920B1，JP 2014127968A)、視線(CN 105892631A)、左右眼亮度(CN 105867605A)以及眨眼過程中閉眼時間(CN 105867607A)等信號來進行控制操作，不需要使用者的手部操作，在保證圖像質(zhì)量的情況下能大大降低能耗。

圖11 AR/VR頭戴顯示設(shè)備眼動追蹤的技術(shù)演進Fig.11 Technical evolution of eye tracking for AR/VR on HMD

4 研究結(jié)論

4.1中國專利申請增長與國際保持同步

中國經(jīng)濟的快速發(fā)展，加快了AR/VR頭戴顯示設(shè)備的市場發(fā)展，國家對新興產(chǎn)業(yè)的扶持和人才引進政策，促使中國企業(yè)涉足該領(lǐng)域，積極開展專利保護。同時外國龍頭企業(yè)受市場競爭的刺激和國內(nèi)巨大市場的吸引，也加快了在中國專利布局的步伐，搶占技術(shù)優(yōu)勢地位。研究表明，中國AR/VR頭戴顯示設(shè)備專利申請的發(fā)展趨勢與全球同步，從2009年開始迅猛增長持續(xù)至今。

4.2中國專利申請質(zhì)量和策略有待提高

中國的頭戴顯示設(shè)備專利申請還存在實用新型專利申請占比高、申請領(lǐng)域分散、對外申請量少等問題。在創(chuàng)新能力和專利戰(zhàn)略意識方面，與處于領(lǐng)先地位的日本和美國存在較大差距。中國企業(yè)今后在保持專利申請增長速度的同時，還要加強對國外專利的包圍戰(zhàn)略，同時集中優(yōu)勢研究力量，實現(xiàn)關(guān)鍵技術(shù)突破，開發(fā)更多擁有自主知識產(chǎn)權(quán)的產(chǎn)品，逐步提升競爭實力。

4.3中國民營企業(yè)的專利活躍性表現(xiàn)不俗

中國民營企業(yè)雖然在近幾年才剛剛涉足AR/VR頭戴顯示設(shè)備，但在專利戰(zhàn)略方向上把握準確，在專利數(shù)量和專利質(zhì)量方面表現(xiàn)不俗，如理想境界、小鳥看看、歌爾等。盡管這些企業(yè)在該領(lǐng)域的起步比較晚，但卻抓住了人體工程學、圖像質(zhì)量、人機交互等AR/VR頭戴顯示設(shè)備的研發(fā)熱點，從進入該領(lǐng)域開始就與技術(shù)研發(fā)同步進行專利布局，為保證市場競爭力打下了良好基礎(chǔ)。

4.4圖像質(zhì)量方面的技術(shù)生命力保持旺盛

在AR/VR頭戴顯示設(shè)備20多年的發(fā)展過程中，圖像質(zhì)量一直占據(jù)著市場研發(fā)和專利申請的重要地位。顯示圖像實現(xiàn)高亮度、寬視角，以及使用戶在清晰觀看影像的同時不產(chǎn)生疲勞感一直是頭戴顯示追求的重要目標。從作為圖像質(zhì)量重要技術(shù)保障的光學系統(tǒng)演變過程不難發(fā)現(xiàn)，平均5年就會出現(xiàn)突破性的技術(shù)創(chuàng)新，且經(jīng)久不斷。

4.5眼動追蹤應(yīng)用技術(shù)浪潮即將到來

用戶體驗決定AR/VR頭戴顯示設(shè)備的市場價值，人機交互是其中的重要一環(huán)。眼動的身體負荷小、耐疲勞性強、追蹤響應(yīng)速度快、準確性高，促使眼動追蹤成為人機交互的技術(shù)熱點。眼動追蹤方法發(fā)展到2011年趨于完善，而眼動追蹤應(yīng)用技術(shù)的發(fā)展恰恰從2011年開始拉開帷幕。近幾年中國頭戴顯示設(shè)備企業(yè)專利申請表現(xiàn)積極，反映出已開始努力嘗試把握這一技術(shù)研發(fā)熱點。

/

:

[1] “科普中國”百科科學詞條編寫與應(yīng)用工作項目組.增強現(xiàn)實[EB/OL]. http://baike.baidu.com/link?url=oj1npY4khmI- ReMMrheE9kp8QB4J-2ldRQmagZJCt9qsnbQ-KZccXJPl4T41j- j23424GfFCc9lBNqjxJ1VrONfsn9aJ4VynGmM7uHZ2YVivUC- PQsFAoX2pJ4k85xUhtFS，2017-06-19.

[2] “科普中國”百科科學詞條編寫與應(yīng)用工作項目組.虛擬現(xiàn)實[EB/OL]. http://baike.baidu.com/link?url=13NrhGsvjMBa8aQ7pIgP_ZPpxi-L5NzICZXFFjvCEunMl_sSRZMZodQg0m-oYP98dUdxYh0yuY1XK9LvA-4osdulD2h-Jk3DJRBCvCA0dze4NEdscboqklvbduKGM09I，2017-06-19.

[3] 馬天旗. 專利分析方法、圖表解讀與情報挖掘[M]. 北京：知識產(chǎn)權(quán)出版社，2015.

[4] 楊鐵軍. 產(chǎn)業(yè)專利分析報告[M]. 北京：知識產(chǎn)權(quán)出版社，2012．

[5] 楊鐵軍. 專利分析實務(wù)手冊[M]. 北京：知識產(chǎn)權(quán)出版社，2015.

[6] 賀化. 專利導航產(chǎn)業(yè)和區(qū)域經(jīng)濟發(fā)展實務(wù)[M]. 北京：知識產(chǎn)權(quán)出版社，2013.

[7] 張阿維，王浩. 可穿戴設(shè)備的應(yīng)用現(xiàn)狀分析和發(fā)展趨勢的研究[J].中國新技術(shù)新產(chǎn)品, 2016(4)： 15-16.

[8] 徐迎陽. 可穿戴設(shè)備現(xiàn)狀分析及應(yīng)對策略[J]. 現(xiàn)代電信科技, 2014(4):73-76.

[9] 侯云仙.可穿戴設(shè)備市場發(fā)展將呈六大趨勢[N].中國計算機報， 2016-03-21(2).

[10] 肖征榮,張麗云.智能穿戴設(shè)備技術(shù)及其發(fā)展趨勢[J]. 移動通信, 2015,39(5):9-12. XIAO Zhengrong, ZHANG Liyun. Intelligent wearable device technology and its development tendency[J].Mobile Communications,2015,39(5):9-12.

[11] 孫效華，馮澤西.可穿戴設(shè)備交互設(shè)計研究[J].裝飾,2014(2)： 28-33. SUN Xiaohua, FENG Zexi. Interaction design for wearable devices[J]. Art & Design, 2014(2): 28-33.

[12] 李東方.中國可穿戴設(shè)備行業(yè)產(chǎn)業(yè)鏈及發(fā)展趨勢研究[D].廣州:廣東省社會科學院，2015. LI Dongfang. Research on the Industry Chain and Trend in Development of Industry of Wearable Device[D]. Guangzhou: Guangdong Academy of Social Sciences, 2015.

[13] 謝俊祥，張琳.智能可穿戴設(shè)備及其應(yīng)用[J].中國醫(yī)療器械信息， 2015(3)：18-23. XIE Junxiang, ZHANG Lin. The review and applications of smart and wearable devices[J].China Medical Device Information,2015(3):18-23.

[14] 溫廣新，李紅.淺談可穿戴智能設(shè)備市場和技術(shù)發(fā)展研究[J].數(shù)字技術(shù)與應(yīng)用,2016(2):233.

[15] 周湛學，張文苑，杜永祚，等.虛擬儀器技術(shù)及其應(yīng)用初探[J].河北科技大學學報，2002，23(4)：71-75. ZHOU Zhanxue, ZHANG Wenyuan,DU Yongzuo,et al.Research of fictitious instrument technique and its application[J].Journal of Hebei University of Science and Technology, 2002,23(4):71-75.

[16] 鄧俊杰,劉紅,陽小蘭,等.可穿戴智能設(shè)備的現(xiàn)狀及未來發(fā)展趨勢展望[J].黑龍江科技信息,2015(28):135.

[17] 朱婧.國內(nèi)外可穿戴行業(yè)發(fā)展動態(tài)與趨勢[J].廣東科技,2015,24(14):9-12. ZHU Jing. Development trend and trend of wearable industry at home and abroad[J].Guangdong Science & Technology,2015,24(14):9-12.

Patent analysis of augmented reality/virtual reality on head mounted display

HAN Xu, QU Dan

(Patent Examination Cooperation Tianjin Center of the Patent Office，SIPO，Tianjin 300304，China)

AR/VR has a very broad application prospects in the fields of medical, military, industrial, education, entertainment and engineering, which is one of the research hot spots in the wearable electronic field at present. The patent trend of AR/VR on HMD technology is analyzed from global and Chinese perspective, specifically discussing patent application situation from the aspects of application number, application regional distribution, principal applicants and so on, and analyzing the gap in technology development and patent protection between domestic innovation body and foreign innovation body. By concluding and analyzing the essential technology of important applicants both abroad and at home, the main technical branches of AR/VR on HMD including image quality aberration correction, HMI control, tracking technology for image adjustment and wear adjustment are summarized, of which the technical development route, technical development trend and important patent node technology of optical system and eye tracking are studied deeply, and the development trend of AR/VR on HMD in the above technical branch is predicted.

applied optics；augmented reality(AR)；virtual reality(VR)； immersive；head mounted display(HMD)

1008-1534(2017)05-0345-09

2017-07-19;

2017-08-31；責任編輯：張士瑩

韓 旭(1973—)，女，黑龍江明水人，副研究員，碩士，主要從事光電領(lǐng)域?qū)＠麑彶楹椭R產(chǎn)權(quán)服務(wù)方面的研究。

曲 丹副研究員。 E-mail:qudan82@163.com

TN873

：Adoi: 10.7535/hbgykj.2017yx05007

韓 旭，曲 丹. 增強現(xiàn)實/虛擬現(xiàn)實頭戴顯示專利分析[J].河北工業(yè)科技,2017,34(5):345-353. HAN Xu, QU Dan. Patent analysis of augmented reality/virtual reality on head mounted display[J].Hebei Journal of Industrial Science and Technology,2017,34(5):345-353.