人眼凝視點(diǎn)自適應(yīng)的近眼顯示控制器

季 淵，陳遠(yuǎn)生，宋遠(yuǎn)勝，陳文棟，穆廷洲

（1.上海大學(xué)微電子研究與開(kāi)發(fā)中心，上海200444；2.上海大學(xué)機(jī)電工程與自動(dòng)化學(xué)院，上海200444）

1 引 言

近眼顯示也稱頭戴式顯示，主要包含微顯示器和光學(xué)顯示裝置［1-2］。其中，微顯示器作為顯示源。微顯示器顯示的圖像通過(guò)光學(xué)顯示裝置后，形成放大的虛擬圖像，實(shí)現(xiàn)虛擬場(chǎng)景的模擬［3］。近眼顯示在軍事、教育、航天和娛樂(lè)等方面均有廣泛應(yīng)用［4-7］。隨著用戶對(duì)沉浸式體驗(yàn)和交互性要求的提升，近眼顯示器需要具備顯示高分辨圖像、設(shè)備質(zhì)量輕、圖像渲染時(shí)延小等要求。高分辨率和高刷新率，導(dǎo)致傳輸數(shù)據(jù)量的激增。若直接傳輸高分辨率圖像，則為數(shù)據(jù)的傳輸和存儲(chǔ)帶來(lái)挑戰(zhàn)，并且一般的硬件電路難以達(dá)到該傳輸要求。

人眼在獲取外界信息時(shí)，對(duì)圖像信息的采集呈現(xiàn)非線性，凝視區(qū)采樣密度較高，非凝視區(qū)采樣密度較低［8］。借助人眼視覺(jué)系統(tǒng)中存在凝視區(qū)和非凝視區(qū)對(duì)細(xì)節(jié)分辨能力強(qiáng)弱的生理特性，對(duì)圖像數(shù)據(jù)進(jìn)行壓縮。Tan等［9］人提出具有兩個(gè)顯示面板和一個(gè)光學(xué)組合器的多分辨率集中式顯示器，通過(guò)光學(xué)縮小系統(tǒng)在凝視區(qū)提供超高分辨率圖像，非凝視區(qū)提供低分辨率圖像，有效降低了近眼顯示器中的像素顆粒感和紗窗效應(yīng)。Chang等［10］人提出一種基于人眼中心凹的3D全息圖像渲染方法，加速全息近眼3D顯示器全息圖像的渲染速度，將目標(biāo)圖像渲染為高分辨的凝視區(qū)和低分辨率的非凝視區(qū)，有效降低基于迭代的雙步菲涅耳算法的運(yùn)算量。Zhao等［11］人提出了一種采用視覺(jué)特征整合的弱小目標(biāo)檢測(cè)方法，有效解決紅外光學(xué)系統(tǒng)在復(fù)雜背景下的弱小目標(biāo)檢測(cè)的問(wèn)題。Zhao等［12］人結(jié)合多尺度視覺(jué)顯著性，提出了一種適用于復(fù)雜背景的艦船目標(biāo)檢測(cè)方法，有效克服了復(fù)雜背景對(duì)艦船目標(biāo)檢測(cè)的干擾。近年來(lái)提出了基于人眼視覺(jué)特性的多分辨率圖像融合［13］壓縮算法［14］和基于多尺度金字塔的多分辨率圖像傳輸算法［15］，將人眼視覺(jué)特性應(yīng)用于虛擬現(xiàn)實(shí)的數(shù)據(jù)傳輸領(lǐng)域，有效降低數(shù)據(jù)傳輸帶寬，但兩種算法均未對(duì)凝視點(diǎn)變化進(jìn)行研究。

本文針對(duì)此問(wèn)題，提出一種基于人眼凝視點(diǎn)自適應(yīng)的中心凹圖像傳輸算法，構(gòu)建一種壓縮比金字塔的硬件實(shí)現(xiàn)結(jié)構(gòu)。在符合人眼視覺(jué)感知的前提下，對(duì)輸入的視頻源進(jìn)行壓縮，可大幅降低數(shù)據(jù)的傳輸帶寬，使得近眼顯示器在相同的時(shí)鐘頻率下可顯示更高分辨率、更高刷新率的視頻，提升用戶的沉浸式體驗(yàn)。

2 中心凹圖像傳輸

人對(duì)圖像信息的感知主要由視覺(jué)感知系統(tǒng)和心理因素共同作用下形成。人眼中心凹和經(jīng)典觀看模型表明，人眼無(wú)法感知圖像中的所有信息，人眼在凝視區(qū)采樣密度較高，對(duì)細(xì)節(jié)的分辨能力強(qiáng)；非凝視區(qū)采樣密度較低，甚至出現(xiàn)“視而不見(jiàn)”的現(xiàn)象。因此，可構(gòu)建一種基于人眼凝視點(diǎn)自適應(yīng)的中心凹圖像傳輸算法，通過(guò)建立包含壓縮比和像素距離的壓縮比金字塔，模擬人眼凝視點(diǎn)變化的效果。

2.1 人眼中心凹模型

在人類視覺(jué)系統(tǒng)特性的基礎(chǔ)上提出視敏度，借此表征人眼分辨物體細(xì)節(jié)的能力，刻畫(huà)人眼能夠觀察或感知刺激的細(xì)微程度。人眼視網(wǎng)膜上感光細(xì)胞的分布呈現(xiàn)不均勻的狀態(tài)，在中心凹區(qū)域密度較高，具有較高的視敏度，距離中心凹越遠(yuǎn)，分布密度越低，視敏度越低。

Geisler等［16］人對(duì)大量的生理學(xué)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行研究，得出人眼臨界頻率fc（cycle/（°））和視角e（°）的關(guān)系式，如公式（1）所示。

其中：空間頻率衰減系數(shù)常量α取0.106，半分辨率視角常量e2取2.3，最小對(duì)比度閾值CT0取0.015 63。圖1為視角和人眼臨界頻率關(guān)系曲線，橫軸為視角，縱軸為人眼臨界頻率。

圖1 視角和人眼臨界頻率關(guān)系曲線Fig.1 Viewing angle and spatial critical frequency of hu?man eye relationship curve

2.2 凝視點(diǎn)自適應(yīng)模型

為擬合人眼凝視點(diǎn)自適應(yīng)的效果，需要將人眼中心凹模型應(yīng)用于圖像中。人眼的經(jīng)典觀看模型［17］，如圖2所示。設(shè)圖像尺寸為N×M，圖像左下角為坐標(biāo)軸原點(diǎn)，圖像凝視點(diǎn)坐標(biāo)為Xf（xf，yf），圖像中任意像素的坐標(biāo)為X（x，y），人眼到Xf的距離為N×v，即為視距，X到Xf的距離為d（x，y）=||X-Xf||2。圖像上任意像素點(diǎn)所處人眼的視角如公式（2）所示：

圖2 經(jīng)典觀看模型示意圖Fig.2 Schematic diagram of classic viewing model

定義E=｛ei：i??+｝為裝載e的容器，i屬于正整數(shù)，ei為第i個(gè)視角，該模型中E最多包含N×M個(gè)e。顯然，Xf-1和Xf+1求解e的數(shù)值一樣。因此，若計(jì)算所有像素對(duì)應(yīng)的e，則將增加冗余數(shù)量且存在大量浮點(diǎn)數(shù)運(yùn)算。為了降低運(yùn)算量，提出一種十字形距離判別法。十字形距離判別法示意圖，如圖3所示（彩圖見(jiàn)期刊電子版）。圖中紅色圓圈表示凝視點(diǎn)Xf，其中，Xf到圖像右、上邊界的距離分別記為dx，dy。定義dmax為Xf到圖像四條邊界的最大距離，即dmax=max｛dx，dy，xf，yf｝。dmax對(duì)應(yīng)像素個(gè)數(shù)最多，涵蓋的視角范圍最廣。可將E表示為：

式中，E中包含觀看圖像所需的e且數(shù)值互異。同理，不同凝視點(diǎn)通過(guò)十字形距離判別法可獲得不同的容器E。

圖3 十字形距離判別法示意圖Fig.3 Schematic diagram of cross-shaped distance dis?crimination method

以分辨率為1 600×3×1 600的圖像，并且視距等于2為例，采用MATLAB軟件繪制出凝視點(diǎn)自適應(yīng)的視敏度曲線，如圖4所示。圖中xoy平面表示圖像坐標(biāo)平面，縱軸表示人眼臨界頻率，凝視點(diǎn)為（400，400）。

圖4 凝視點(diǎn)自適應(yīng)的視敏度曲線Fig.4 Gaze point adaptive visual acuity curve

為了模擬人眼在凝視區(qū)與非凝視區(qū)對(duì)細(xì)節(jié)分辨能力強(qiáng)弱的生理特性，使用高斯濾波去除圖像中人眼無(wú)法感知的高頻信息。根據(jù)文獻(xiàn)［18］，可知空間變化的高斯核σ和人眼臨界頻率fc的數(shù)學(xué)關(guān)系式，如公式（4）所示。

其中：F為常數(shù)45，σ為衡量圖像模糊程度的參數(shù)，σ越大圖像的模糊程度越高，反之越低。分析公式（4）可知，fc越大，σ越小，即獲取圖像信息量大，圖像模糊程度低。采用不同大小的高斯核σi對(duì)原始圖像進(jìn)行濾波處理，獲得不同模糊程度的圖像Gi（x，y），如公式（5）所示：

其中：SRC（x，y）為原始圖像，G（x，y，σi）為窗口大小不同的高斯卷積模板，Gi（x，y）為經(jīng)過(guò)高斯核σi處理的圖像。

雙線性插值圖像縮放法的核函數(shù)為一個(gè)低通濾波器，可去除高頻信息［19］。由于人眼在非凝視區(qū)對(duì)高頻信息獲取能力弱，因此采用雙線性插值圖像縮放法對(duì)原始圖像進(jìn)行處理，獲得不同模糊程度的圖像SRCRj（x，y）。其中，SRCRj（x，y）為SRC（x，y）先進(jìn)行Rj倍縮小，再進(jìn)行Rj倍放大后的圖像。Rj為第j個(gè)壓縮比，j為不同壓縮比的下標(biāo)。

峰值信噪比可衡量待評(píng)價(jià)圖片與參考圖片的相似度，數(shù)值大表明兩者相似度高。因此，采用峰值信噪比衡量Gi（x，y）和SRCRj（x，y）的相似度，如公式（6）所示。通過(guò)確定Gi（x，y）與SR?CRj（x，y）峰值信噪比的最大值，實(shí)現(xiàn)σi和Rj的關(guān)聯(lián)。

其中：n為圖像的灰度等級(jí)，PSNRi，j為Gi（x，y）和SRCRj（x，y）峰值信噪比。

定義dk=COUNT（σi，Rj）為計(jì)算相同壓縮比Rj的σi個(gè)數(shù)。其中，dk為第k層的像素距離。以分辨率為1 600×3×1 600的圖像，并且視距等于1為例，利用MATLAB軟件繪制出凝視點(diǎn)改變時(shí)，像素和壓縮比關(guān)系圖，該關(guān)系圖反映出人眼臨界頻率高時(shí)，壓縮比?。蝗搜叟R界頻率降低時(shí)，壓縮比增加，如圖5（a）所示。圖中橫軸為像素，縱軸為壓縮比，凝視點(diǎn)坐標(biāo)為（400，400）。

顯然，由于人眼凝視點(diǎn)會(huì)發(fā)生變化，若凝視點(diǎn)在圖像坐標(biāo)系原點(diǎn)，則dmax=max｛N，M｝，包含dmax個(gè)互不相等的視角，借助這一特性繪制出像素和壓縮比的極限關(guān)系圖，如圖5（b）所示。圖中橫軸為像素，縱軸為壓縮比，凝視點(diǎn)坐標(biāo)為（0，0）。由于dk為離散值，因此壓縮比呈現(xiàn)臺(tái)階狀且記為Rk。其中，Rk為第k個(gè)臺(tái)階的壓縮比。圖中曲線為符合人眼凝視點(diǎn)自適應(yīng)的視敏度曲線，灰色臺(tái)階表示壓縮比。

圖5 像素和壓縮比的關(guān)系圖Fig.5 Figure of relationship between pixels and com?pression ratio

圖6 符合人眼視覺(jué)特性圖像融合示意圖Fig.6 Schematic diagram of image fusion in accordance with human visual characteristics

為了便于硬件實(shí)現(xiàn)各個(gè)圖層像素的存儲(chǔ)與傳輸，因此，圖像融合采用“方形”+“回形”的方式。根據(jù)dk和Rk，可將各圖層融合為符合人眼視覺(jué)特性的圖像，如圖6所示。定義LFk，RFk，UFk，DFk分別表示第k層與原始圖像左、右、上、下四個(gè)邊界的標(biāo)識(shí)量，表征第k層與原始圖像邊界之間的“觸碰”關(guān)系。若標(biāo)識(shí)量為1，則表示第k層未“觸碰”到原始圖像邊界。若標(biāo)識(shí)量為0，則表示第k層“觸碰”到原始圖像的邊界。

LLk，LRk，HUk，HDk分別表示凝視點(diǎn)與第k層或原始圖像左、右、上、下邊界之間的距離，如式（7）～式（10）所示：

圖層需要傳輸?shù)南袼乜倲?shù)，如公式（11）所示。

其中：PTk為第k層的像素總數(shù)，ΔLL為L(zhǎng)Lk與LLk-1的差值，ΔLR為L(zhǎng)Rk與LRk-1的差值，ΔHU為HUk與HUk-1的差值，ΔHD為HDk與HDk-1的差值。

2.3 壓縮比金字塔

為降低運(yùn)算量和硬件結(jié)構(gòu)的復(fù)雜度，利用像素和壓縮比的極限關(guān)系，建立適合硬件處理的壓縮比金字塔，如圖7所示。

圖7 壓縮比金字塔示意圖Fig.7 Schematic diagram of compression ratio pyramid

壓縮比金字塔包含兩個(gè)參數(shù)，分別為第k層對(duì)應(yīng)的壓縮比Rk和像素距離dk，記為CRP（Rk，dk）。圖像傳輸部分利用CRP（Rk，dk）中的Rk作為雙線性插值圖像縮放法的縮小倍數(shù)對(duì)原始圖像做處理，獲得中心凹圖像，并且選取像素距離dk/Rk作為待傳輸?shù)南袼胤秶D像融合部分利用CRP（Rk，dk）中的Rk作為雙線性插值圖像縮放法的放大倍數(shù)對(duì)中心凹圖像做處理，并且選取像素距離dk作為圖像融合的像素范圍。當(dāng)凝視點(diǎn)位于圖像中心時(shí)，融合原始分辨圖像使用CRP（Rk，dk）層數(shù)較少；當(dāng)凝視點(diǎn)在圖像坐標(biāo)系原點(diǎn)時(shí)，融合原始分辨圖像使用CRP（Rk，dk）層數(shù)較多。其中，CRP（Rk，dk）的頂層為P。

3 近眼顯示控制器

針對(duì)上述基于人眼凝視點(diǎn)自適應(yīng)的中心凹圖像傳輸算法，設(shè)計(jì)了一款人眼凝視點(diǎn)自適應(yīng)的近眼顯示控制器。該控制器主要包含自適應(yīng)編碼模塊和數(shù)據(jù)解碼模塊，系統(tǒng)結(jié)構(gòu)框圖如圖8所示。首先，視頻源經(jīng)過(guò)自適應(yīng)編碼模塊后，形成中心凹圖像；其次，通過(guò)LVDS接口電路將圖像數(shù)據(jù)傳輸至數(shù)據(jù)解碼模塊；再者，數(shù)據(jù)解碼模塊對(duì)接收到的圖像數(shù)據(jù)進(jìn)行放大、融合，形成符合人眼視覺(jué)特性的圖像；最后，由掃描控制模塊［20-21］驅(qū)動(dòng)硅基OLED微顯示器顯示視頻。

圖8 系統(tǒng)結(jié)構(gòu)框圖Fig.8 Structure diagram of system

3.1 自適應(yīng)編碼模塊

自適應(yīng)編碼模塊主要包含雙線性插值縮小模塊、壓縮比模塊、像素區(qū)域分析模塊和SDRAM控制器模塊，如圖9所示。首先，結(jié)合壓縮比模塊和雙線性插值縮小模塊對(duì)輸入視頻數(shù)據(jù)進(jìn)行編碼處理，形成多張不同分辨率的圖層。Layer1～LayerN由輸入圖像經(jīng)過(guò)壓縮比R1～Rn的雙線性插值法獲得。其次，通過(guò)SDRAM控制器模塊和像素區(qū)域分析模塊，選取各圖層中對(duì)應(yīng)像素距離內(nèi)的像素寫(xiě)入SDRAM中。為提高讀寫(xiě)速度，兩片SDRAM采用乒乓操作，即同一時(shí)間段內(nèi)SADRAM_A存儲(chǔ)圖像數(shù)據(jù)時(shí)，SDRAM_B讀取需要發(fā)送的圖像數(shù)據(jù)。最后，通過(guò)LVDS接口電路依次輸出SDRAM存儲(chǔ)的圖像數(shù)據(jù)。

圖9 自適應(yīng)編碼模塊結(jié)構(gòu)框圖Fig.9 Structure diagram of adaptive coding module

3.2 數(shù)據(jù)解碼模塊

數(shù)據(jù)解碼模塊主要包含雙線性插值放大模塊、壓縮比模塊和像素位置分析模塊，如圖10所示。首先，通過(guò)壓縮比模塊和雙線性插值放大模塊對(duì)各圖層進(jìn)行放大處理，填補(bǔ)由編碼模塊中壓縮的像素?cái)?shù)據(jù)。將接收到Layer1～LayerN的圖層分別放大R1～Rn倍。其次，通過(guò)像素位置分析模塊確定像素在Frame Buffer的空間地址，將不同圖層的像素依次存放于Frame Buffer對(duì)應(yīng)的空間地址中。最后，融合成符合人眼視覺(jué)特性的圖像，并通過(guò)掃描控制模塊驅(qū)動(dòng)硅基OLED微顯示器顯示視頻。

圖10 數(shù)據(jù)解碼模塊結(jié)構(gòu)框圖Fig.10 Structure diagram of data decoding module

4 FPGA驗(yàn)證平臺(tái)

圖11 近眼顯示器系統(tǒng)測(cè)試平臺(tái)Fig.11 Near-eye display system test platform

本節(jié)采用硅基OLED微顯示器測(cè)試平臺(tái)，對(duì)所設(shè)計(jì)的近眼顯示控制器進(jìn)行驗(yàn)證。圖11為近眼顯示控制器測(cè)試平臺(tái)，包含視頻源、近眼顯示控制器和硅基OLED微顯示器。視頻源由計(jì)算機(jī)提供，通過(guò)HDMI接口傳輸至近眼顯示控制器。硅基OLED微顯示器的尺寸為1.15英寸，分辨率為1 600×3×1 600，采用數(shù)字驅(qū)動(dòng)方式，灰度級(jí)為256級(jí)。

將不同視距、不同凝視點(diǎn)的微顯示器實(shí)拍圖分為兩組，第一組是視距分別為2，3，4，第二組是固定視距且視距為2，凝視點(diǎn)分別在屏幕的中心、左下角、左上角，如圖12所示（彩圖見(jiàn)期刊電子版）。其中，圖12（a）、（e）為原始圖像，圖12（a）～（d）為第一組，圖12（e）～（h）為第二組，圖中紅色小圓圈表示凝視點(diǎn)（彩圖見(jiàn)期刊電子版）。觀察第一組四張圖像可知，隨著視距增大，凝視區(qū)增大，獲得信息量增加，圖像清晰度提高。觀察第二組四張圖像可知，凝視區(qū)成像清晰，以凝視點(diǎn)為中心向外模糊程度逐漸增加。

圖12 基于人眼凝視點(diǎn)自適應(yīng)微顯示器的實(shí)拍圖組Fig.12 Real-shot picture group based on human eye gaze point adaptive microdisplay

綜合壓縮比定義為原始圖像的像素總數(shù)與各圖層像素總數(shù)的比值。采用中心凹峰值信噪比FPSNR［22］作為圖像的定量評(píng)價(jià)指標(biāo)，對(duì)不同視距的圖像進(jìn)行評(píng)價(jià)，并給出定量指標(biāo)。以分辨率為1 600×3×1 600的圖像為例，在不同視距、不同凝視點(diǎn)下采用本文方法得到的綜合壓縮比和FPSNR對(duì)比結(jié)果，如表1-2所示。其中，表1凝視點(diǎn)為（800，800），表2凝視點(diǎn)為（0，0）。從表中可以看出，當(dāng)視距增大時(shí)，綜合壓縮比減小，傳輸數(shù)據(jù)量增加，F(xiàn)PSNR提高，圖像質(zhì)量提升。當(dāng)視距為2且凝視點(diǎn)為（800，800）和（0，0）時(shí)，待傳輸像素總數(shù)分別為原始圖像像素總數(shù)的8.16%、2.33%，大幅地降低數(shù)據(jù)傳輸帶寬。

以分辨率為1 600×3×1 600，凝視點(diǎn)為（800，800），視距為2，3，4為例，將本文所提算法的綜合壓縮比與基于多分辨率融合的紋理金字塔壓縮算法、基于多尺度金字塔的壓縮算法進(jìn)行對(duì)比，如表3所示。從表中可以看出，本文算法相較于基于多分辨率融合的紋理金字塔壓縮算法和基于多尺度金字塔的壓縮算法綜合壓縮比有明顯地提升。

表1 凝視點(diǎn)為（800，800）時(shí)，不同視距下綜合壓縮比和FPSNR對(duì)比（N=1 600，灰度級(jí)=256，數(shù)據(jù)位寬=24 bit）Tab.1 When the gaze point is（800，800），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

表2 凝視點(diǎn)為（0，0）時(shí)，不同視距下綜合壓縮比和FPSNR對(duì)比（N=1 600，灰度級(jí)=256，數(shù)據(jù)位寬=24 bit）Tab.2 When the gaze point is（0，0），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

5 結(jié) 論

本文介紹了一款人眼凝視點(diǎn)自適應(yīng)的近眼顯示控制器。借助人眼中心凹和經(jīng)典觀看模型，提出一種基于人眼凝視點(diǎn)自適應(yīng)的中心凹圖像傳輸算法，建立壓縮比金字塔。在FPGA上驗(yàn)證了所設(shè)計(jì)的自適應(yīng)編模塊和數(shù)據(jù)解碼模塊。實(shí)驗(yàn)結(jié)果表明基于人眼凝視點(diǎn)自適應(yīng)的中心凹圖像傳輸算法和所建立的壓縮比金字塔，不僅有效降低了數(shù)據(jù)的傳輸帶寬，而且保證人眼主觀感受。該設(shè)計(jì)為高分辨率和高刷新率近眼顯示設(shè)備的圖像傳輸提供一種可行性的方案。

表3 凝視點(diǎn)為（800，800）時(shí)，不同算法綜合壓縮比對(duì)比（N=1 600，灰度級(jí)=256，數(shù)據(jù)位寬=24 bit）Tab.3 When the gaze point is（800，800），the compre?hensive compression ratio comparison of different algorithms（N=1 600，gray level=256，data width=24 bit）

status of immersive virtual reality and its develop?ment trend［J］.

Computer Systems & Applications

，2019，28（3）：18-27.（in Chinese）