視覺假體圖像處理中降采樣算法的優(yōu)化設計與評估

【作 者】古隕，吳開杰，雷旭平，吳昊，柴新禹

上海交通大學生物醫(yī)學工程學院，上海市，200240

0 引言

作為人類最為重要的感官，視覺系統(tǒng)為人類認識世界提供了80%以上的外界信息，因此失明是人類最嚴重的殘障之一。以視網(wǎng)膜色素變性（RP）、老年黃斑變性（AMD）為代表的視網(wǎng)膜退行性疾病，主要是視網(wǎng)膜中的光感受器細胞受損傷，是目前最主要的致盲疾病[1-2]，到目前為止，還缺乏有效的治療措施。視覺假體是當今國際上對RP 和AMD 失明患者進行視覺功能修復的研究熱點。它主要由外置微攝像頭采集外界圖像信息，通過圖像處理器把圖像轉(zhuǎn)換為對應的電刺激模式，再由微電流刺激器將多路電脈沖加載到微電極陣列，對視覺神經(jīng)系統(tǒng)進行電刺激，在視覺中樞產(chǎn)生光幻視，從而實現(xiàn)視覺功能修復[3-4]。視覺假體硬件系統(tǒng)如圖1所示。

圖1 視覺假體硬件系統(tǒng)Fig.1 The visual prosthesis hardware system

目前，至少有八個國家的二十個研究小組致力于視覺假體的研究，并涌現(xiàn)了多種視覺假體系統(tǒng)。其中，最具代表性的是Second Sight公司的Argus II型視覺假體，該產(chǎn)品具備60通道的刺激電極，并于2011年在歐洲通過臨床測試，成為世界上首例商品化的視覺假體系統(tǒng)[5]。電極數(shù)量直接影響光幻視點的空間分辨率，下文中提出的分辨率均指空間分辨率。目前電極數(shù)量達到200以上的視覺假體仍在研制中，但即使微電極陣列的電極數(shù)量達到32×32，即1024電極，其誘發(fā)的光幻視點分辨率（1024像素）仍遠遠低于視頻采集圖像的分辨率（2～30萬像素）。所以，降采樣是視覺假體圖像處理中必不可少的環(huán)節(jié)。

圖2 對應32×32電極陣列的降采樣結(jié)果Fig.2 Down-sampling result for 32×32 microelectrode array

以圖2為例，左圖為分辨率336×336（約11萬像素）的待降采樣圖像，右圖為對應32×32電極陣列（光幻視點分辨率1024像素）的降采樣結(jié)果。降采樣時將左圖分割為32×32個小區(qū)塊，每個區(qū)塊對應右圖的一個像素點，然后應用降采樣算法，根據(jù)左圖每個區(qū)塊的圖像信息計算右圖對應像素點的灰度值。

近年來，國際上多個視覺假體小組在視覺假體圖像處理系統(tǒng)研發(fā)過程中，非常注重整體系統(tǒng)的實時性(以最終輸出幀率為衡量標準)。本文以澳大利亞新南威爾士大學(University of New South Wales，UNSW)2009和2011年的視覺假體圖像處理系統(tǒng)[6-7]，以及美國加州理工大學(California Institute of Technology,CIT)2010年的視覺假體圖像處理系統(tǒng)為例[8]，對比了不同降采樣算法對系統(tǒng)輸出幀率(frames per second，fps)的影響。

表1 降采樣算法對幀率的影響Tab.1 The influence of down-sampling algorithm on frame rate

由表1分析可知，降采樣環(huán)節(jié)是影響視覺假體實時性的重要因素，算法復雜度越高，系統(tǒng)實時性越差。目前視覺假體圖像處理中應用的降采樣算法一般有如下三種[9]。

(1)臨近采樣(Impulse Sampling)是直接選取每個區(qū)塊中心像素的灰度值作為降采樣值。該算法復雜度低，但丟失了區(qū)塊中大部分的圖像信息。

(2)區(qū)域均值(Regional Averaging)是計算每個區(qū)塊中所有像素的灰度均值作為降采樣值。該算法涵蓋的像素信息全面，權(quán)重單一，復雜度中等。相關(guān)心理物理學研究表明，該算法處理后的圖像具有較好的辨識度[10]，因此區(qū)域均值法應用最為廣泛。

(3)高斯加權(quán)均值(Gaussian Sampling)是在區(qū)域均值的基礎上，根據(jù)每個像素與區(qū)塊中心的距離d分配權(quán)重w，w=e-d?2/(2*σ?2)，(σ為自定義參數(shù))，由此計算加權(quán)均值作為降采樣值。該算法權(quán)重復雜，復雜度高，嚴重影響系統(tǒng)的實時性。

針對以上三種降采樣算法的不足，本文提出了間隔抽樣均值算法，并以區(qū)域均值降采樣算法為參照，統(tǒng)計分析了間隔抽樣參數(shù)對圖像處理效果和算法復雜度的影響。

1 基于間隔抽樣的降采樣算法優(yōu)化設計

1.1 間隔抽樣算法的提出

本文基于DSP開發(fā)平臺，構(gòu)建了視覺假體圖像處理系統(tǒng)。該系統(tǒng)攝像頭的分辨率為720×576，處理后得到待降采樣的圖像分辨率為336×336（記為m×n），灰度范圍為[0，255]。目標電極數(shù)量記為s×t，分4種類型：32×32、24×24、16×16和8×8。降采樣的區(qū)塊尺寸記為p×q，對于不同微電極陣列，區(qū)塊尺寸如表2所示：

1.2.4 術(shù)后有效咳嗽指導 ①指導患者坐在床上，上身微向前傾，雙手手指交叉橫壓在傷口上，采用橫膈呼吸，口微開，深吸氣，再以兩次短促的呼吸，呼出所有氣體，然后維持嘴微張，快速吸一口氣再用力咳嗽一兩次，把痰液咳出來。②術(shù)后常規(guī)霧化吸入每日2次，持續(xù)1周。每次霧化治療結(jié)束半小時內(nèi)護理人員協(xié)助患者進行拍背咳痰。

表2 不同微電極陣列對應的降采樣區(qū)塊尺寸Tab.2 The block size for different microelectrode arrays

以s=t=16，p=q=21的情況為例，如使用區(qū)域均值算法進行降采樣，總共要計算s×t=256個區(qū)塊，每個區(qū)塊要對p×q=441個點進行均值統(tǒng)計，算法復雜度為OR=O(p×q×s×t)，運算量非常大。如使用臨近采樣算法，復雜度為OI=O(s×t)，運算量大大降低，但處理效果不好。

如圖3所示，每個的區(qū)塊相對待降采樣圖像而言，只是很小的一部分，且區(qū)塊內(nèi)部的灰度變化一般不會過于劇烈。由此我們提出了間隔抽樣均值算法，該方法按固定間隔對每個區(qū)塊抽樣后再計算灰度均值，在大幅降低算法復雜度的同時取得與區(qū)域均值算法幾乎相同的圖像處理效果。間隔抽樣均值算法選取區(qū)塊中特定行、列的交叉點作為抽樣點。記抽樣率為η，則算法復雜度OG=η×OR。

圖3 間隔抽樣算法示意圖Fig.3 Schematic diagram of grid sampling algorithm

間隔抽樣算法選取區(qū)塊中行坐標=1+i×r，列坐標=1+j×c 的點作為抽樣點，其中r表示行間隔，c表示列間隔（i，j，r，c∈Z，0≤i＜[p/r]，0≤j＜[q/c]，1≤ r ≤ p-1，1≤c≤q-1，[x]表示對x向上取整）。對于給定的r，c，抽樣率η=([p/r]×[q/c])/(p×q)。圖3表示了p=q=21，r=c=3時的抽樣情況，區(qū)塊中淺色陰影表示選定的抽樣行和抽樣列，深色陰影表示選定的抽樣點。此時選取行列坐標均在[1,4,7,10,13,16,19]中的49個點作為抽樣點，抽樣率η為11%，算法復雜度OG為0.11×OR。相比區(qū)域均值法，此時降采樣的運算負擔降低了近90%。

1.2 間隔抽樣算法的參數(shù)設計

為了分析間隔抽樣參數(shù)對圖像處理效果和算法復雜度的影響，對于4組不同尺寸的區(qū)塊，設計了4組不同的行間隔r和列間隔c。s=t=32，p=q=10時，抽樣率η設計為[0.5,0.4,0.25,0.16,0.09,0.04]。其他區(qū)塊尺寸設計抽樣參數(shù)時，抽樣率η都盡可能與之類似，同時區(qū)塊尺寸越大，抽樣率η劃分越細致。例如當s=t=16，p=q=21時，抽樣參數(shù)設計如表3所示。

表3 間隔抽樣參數(shù)設計(s=t=16，p=q=21)Tab.3 Grid sampling parameter design (s=t=16，p=q=21)

2 抽樣參數(shù)對圖像處理效果的影響

統(tǒng)計分析時，共選取了45幅生活中常見場景和物體的圖像，原始分辨率都是720×576。部分原始圖像如圖4所示。

圖4 統(tǒng)計分析使用的原始圖像Fig.4 The image source for statistical analysis

在圖像處理過程中，首先將原始圖像轉(zhuǎn)換為灰度圖片并進行灰度增強，然后通過視野剪裁獲得分辨率為336×336的圖像，隨后直接應用區(qū)域均值算法和間隔抽樣均值算法進行降采樣，得到與目標電極陣列對應的低像素圖像。

對于每幅圖像，以區(qū)域均值算法的降采樣結(jié)果為標準，計算同一區(qū)塊尺寸時不同抽樣參數(shù)下，間隔抽樣均值算法降采樣結(jié)果的誤差，記為D，則有D∈Z且|D|∈[0，255]。記某幅圖像在給定區(qū)塊尺寸和抽樣參數(shù)下，得到的一組|D|為一組結(jié)果，則每組結(jié)果中|D|的概率分布，反映了此時間隔抽樣算法處理結(jié)果與區(qū)域均值算法處理結(jié)果的接近程度。|D|的概率分布越向0集中，表示兩種算法的處理結(jié)果越接近。

在統(tǒng)計學中，若兩組數(shù)據(jù)間差異不超過5%，一般認為兩組數(shù)據(jù)無顯著差異。由此在本文中，若|D|≤13，即255的5%取整，則認為兩算法的處理結(jié)果無顯著差異。一組結(jié)果中，記某閾值為T，若|D|≤T的概率P≥0.95，則認為此時|D|集中在T以內(nèi)。據(jù)此，本文提出兩個參數(shù)考察|D|的概率分布。

(2)|D|P=0.95，一組結(jié)果中，|D|有95%以上概率集中在T以內(nèi)的最小閾值T。該值越接近0，表示|D|的概率分布越向0集中，也就是間隔抽樣均值算法的結(jié)果越接近區(qū)域均值算法的結(jié)果。

在給定區(qū)塊尺寸和抽樣參數(shù)下，對圖像的45組結(jié)果，統(tǒng)計P|D|≤13和|D|P=0.95的均值和標準差。當s=t=32，p=q=10時，統(tǒng)計分析結(jié)果如圖5所示：

圖5 抽樣率對P|D|≤13和|D|P=0.95的影響(s=t=32，p=q=10)Fig.5 Effect of sample rate on P|D|≤13 and |D|P=0.95 (s=t=32，p=q=10)

由圖5可知，P|D|≤13與抽樣率η呈正相關(guān)，|D|P=0.95與抽樣率η呈負相關(guān)。抽樣率η不小于0.09時，P|D|≤13的均值都在0.95以上，也就是說兩算法降采樣結(jié)果的誤差在5%范圍內(nèi)的概率都不小于0.95。據(jù)此可以認為間隔抽樣均值算法的降采樣結(jié)果與區(qū)域均值算法相比沒有顯著差異。同時注意到此時，|D|P=0.95不大于10，說明|D|顯著集中在4%以內(nèi)，這同樣證明兩種算法的處理結(jié)果沒有顯著差異。此時，間隔抽樣算法的復雜度僅為OG=0.09×OR，相比區(qū)域均值算法降低了約90%的運算負擔。不同抽樣率時，間隔抽樣算法的降采樣結(jié)果如圖6所示。

由圖6可看出，抽樣率η為0.25和0.09時，間隔抽樣均值算法降采樣的結(jié)果圖與區(qū)域均值算法幾乎完全相同；而抽樣率η=0.04時，圖中椅子支腳處和地面的處理效果與原始算法相比有明顯差異。綜上所述，在兩算法處理效果無顯著差異前提下，記最小的抽樣率η為最優(yōu)抽樣率ηg。

圖6 抽樣率對降采樣結(jié)果的影響(s=t=32，p=q=10)）Fig.6 Effect of sample rate on down-sampling result (s=t=32，p=q=10)

對不同區(qū)塊尺寸下處理結(jié)果的統(tǒng)計分析也有類似的結(jié)果：P|D|≤13與抽樣率η呈正相關(guān)，|D|P=0.95與抽樣率η呈負相關(guān)。這也就是說，抽樣率越高，|D|的概率分布越向0集中，兩算法的處理結(jié)果越接近。當s=t=16，p=q=21時，統(tǒng)計分析結(jié)果和降采樣結(jié)果如圖7和圖8所示。

圖7 抽樣率對P|D|≤13和|D|P=0.95的影響(s=t=16,p=q=21)Fig.7 Effect of sample rate on P|D|≤13 and |D|P=0.95 (s=t=16,p=q=21)

圖8 抽樣率對降采樣結(jié)果的影響(s=t=16,p=q=21)）Fig.8 Effect of sample rate on down-sampling result (s=t=16,p=q=21)

由圖8可知，當s=t=16，p=q=21時，最優(yōu)抽樣率ηg為0.036。對于4種不同的區(qū)塊尺寸，最優(yōu)抽樣率ηg如表4所示：

表4 不同區(qū)塊尺寸下的最優(yōu)抽樣率ηgTab.4 The optimal sample rate ηg for different block sizes

由表4可知，對于相同分辨率的待降采樣圖像，隨著目標電極數(shù)量的減少和區(qū)塊尺寸的增加，應用間隔抽樣均值法的最優(yōu)抽樣率ηg逐漸降低，算法復雜度OG=η×OR也逐漸降低。相比區(qū)域均值算法，在處理結(jié)果無顯著差異的前提下，間隔抽樣均值算法至少可以降低90%的運算量。

3 總結(jié)與討論

在視覺假體圖像處理中，視頻采集圖像的分辨率通常遠遠高于光幻視點陣列的分辨率，因此降采樣是視覺假體圖像處理中的必要環(huán)節(jié)。對視覺假體圖像處理系統(tǒng)的實時性分析表明，降采樣環(huán)節(jié)的運算量是影響圖像處理實時性的重要因素。為此，本文提出了基于間隔抽樣均值的降采樣算法，并以區(qū)域均值降采樣算法為參照，統(tǒng)計分析了間隔抽樣參數(shù)對降采樣處理效果和算法復雜度的影響。通過研究誤差|D|的概率分布，找出不同區(qū)塊尺寸下的最優(yōu)抽樣率ηg。統(tǒng)計結(jié)果表明，相比區(qū)域均值算法，在處理結(jié)果無顯著差異的前提下，間隔抽樣均值算法至少可以降低90%的運算量。

[1]Avi Caspi,Jessy D.Dorn,Kelly H.McClure,et al.Feasibility study of a retinal prosthesis: spatial vision with a 16-electrode implant [J].Arch Ophth, 2009,127 (4): 398-401.

[2]Kichul Cha,Kenneth W.Horch,Richard A.Normann,et al.Reading speed with a pixelized vision system [J].Opt Soc of Am A,1992,9 (5): 673-677.

[3]Thomas Guenther,Nigel H Lovell,Gregg J Suaning.Bionic vision:system architectures – a review [J].Expert Rev Med Devic,2012,9(1): 33-48.

[4]Mark S.Humayun,James D.Weiland,Gildo Y.Fujii,et al.Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J].Vision Res,2003,43(24): 2573-2581.

[5]Rodrigo A.Brant Fernandes,Bruno Diniz,Ramiro Ribeiro,et al.Artificial vision through neuronal stimulation[J].Neurosci Lett,2012,519(2): 122-128.

[6]D.Tsai,J.W.Morley,G.J.Suaning,et al.A wearable real-time image processor for a vision prosthesis [J].Compu Meth Prog Bio,2009,95(3): 258-269.

[7]Paul.B.Matteucci,Philip Byrnes–Preston,Spencer C.Chen,et al.ARM-based visual processing system for prosthetic vision [J].EMBS 2011,3921-3924.

[8]Wolfgang Fink,Cindy X.You,Mark A.Tarbell.Microcomputerbased artificial vision support system for real-time image processing for camera-driven visual prostheses [J].J biomedi opt,2010,15(1): 016013.

[9]Spencer C.Chen,Gregg John W.Suaning,et al.Simulating prosthetic vision: I.Visual models of phosphenes [J].Vision Res,2009,49(12): 1493-1506.

[10]Spencer C.Chen,Luke E.Hallum,Nigel H.Lovell,et al.Visual acuity measurement of prosthetic vision: a virtual reality simulation study [J].J Neural Eng,2005,2(1): 135-145.