時域感興趣區(qū)域精確定位與膜電位多核調整的動態(tài)視覺傳感器數據分類

黃慶坤，陳云華，張 靈，蘭浩鑫

(廣東工業(yè)大學計算機學院，廣東廣州 510006)

1 引言

動態(tài)視覺傳感器(dynamic vision sensors，DVS)[1]，在智能機器人、無人駕駛等領域有著廣闊的應用前景.與傳統(tǒng)的視覺傳感器相比，DVS丟棄幀和曝光時間的概念，通過監(jiān)測每個像素點的光強變化輸出事件流，從而解決了傳統(tǒng)視覺傳感器所帶來的數據冗余問題.其十分類似于人類視網膜功能，在獲取視覺信息時具有低功耗、低延遲等卓越特性，因此本質上十分適合用于便攜式設備上的實時動作識別任務.

由于DVS是一種基于事件的傳感器，單個獨立事件是無意義的.目前大多數的方法是將事件流分割為多個片段后，再進行特征的提取和分類，因此，如何定位與分割事件流的時域感興趣區(qū)域(region of interest，ROI)，對特征提取和分類效果的影響至關重要.目前分割事件流時域ROI的方法主要分為兩大類，即硬事件分割(hard events segmentation，HES)和軟事件分割(soft events segmentation，SES).

在HES方法中，Anna Baby等人[2]是用一個固定的時間窗口，把整個事件流分割成時間大小相等的若干虛擬幀.但是由于DVS的工作機制，移動速度越快的物體所產生的激活像素越多，因此在固定的時間窗口下，所捕獲物體的形狀將取決于它的運動速度.而Ghosh等人[3]是用一個事件數量固定的動態(tài)時間窗口對事件流進行分割，此方法在很大程度上消除運動速度對物體形狀的影響.但對于多種不同物體運動的場景，存在著不同物體的最佳檢測閾值差異較大的問題.同時，上述兩種HES方法，認為每個輸出事件(即使其為噪聲事件)都具有同等的重要性，因此抗噪性能較差.

與HES不同的是，SES可根據事件的輸出特性自適應地分割事件流片段.因此，SES比HES更能準確地對時域ROI進行定位與分割.Peng等人[4]利用LIF(leaky integrate-and-fire)神經元模型[5]的閾值響應機制進行運動符號檢測(motion symbol detection，MSD)，以實現SES.由于LIF神經元的泄漏機制以及連續(xù)的增量集成，能夠有效降低噪聲事件的干擾.但由于LIF神經元模型采用硬閾值，因此該方法在處理不同物體運動時，同樣會存在不同物體的最佳檢測閾值差異較大的問題.

為了解決上述問題，對此，本文提出一種基于LIF神經元模型和脈沖最大值監(jiān)測單元的MSD，以實現對不同物體運動所產生的事件流時域ROI關鍵時間點的自適應定位，從而解決分割片段受不同物體的最佳檢測閾值差異較大以及背景噪聲事件影響的問題.

在已有的一些對事件流進行表征的方法中，是直接基于卷積神經網絡(convolutional neural networks，CNN)進行權重訓練，然后將訓練好的CNN轉換成脈沖神經網絡(spiking neuron networks，SNN)，以實現對DVS數據的特征表示與識別[6-11].該類方法需要對網絡中的大量參數進行優(yōu)化，才能獲得較高的識別率.為了保證DVS數據處理的低功耗、低延遲性，本文首先基于所提出的MSD進行事件流自適應定位與分割，然后基于Gabor濾波器進行空域特征提取，最后再采用直接訓練得到的SNN來實現DVS數據的分類.

在SNN學習算法中，Tempotron[12]學習算法由于只需標記發(fā)放狀態(tài)，而不需要標記發(fā)放時間，更適用于真實環(huán)境刺激下的分類任務.但由于Tempotron學習算法在接收到脈沖并使神經元突觸后膜電位(postsynaptic potential，PSP)達到閾值后，突觸后神經元只發(fā)放一個脈沖，之后將會忽略后續(xù)該神經元接收到的所有脈沖，此時如果脈沖數據中存在著噪聲，很容易造成突觸后神經元錯誤發(fā)放.因此，Tempotron學習算法對于存在噪聲干擾的脈沖數據，識別精度并不高.

為此，本文對Tempotron學習算法作如下改進:在訓練過程中對不同的脈沖輸入模式(P+或P-)使用不同的核函數調整神經元PSP，使得訓練后的神經元PSP在輸入脈沖為P+模式時更容易(P-模式時更難)達到脈沖發(fā)放閾值，從而使得輸出神經元在受到噪聲干擾時的響應發(fā)生改變，使本來錯誤發(fā)放的突觸后神經元被調整為正確的發(fā)放，形成一種多核SNN分類算法MK-Tempotron(multi kernel tempotron)，以提高分類算法的抗噪性能.

在MNIST-DVS[13]，Poker-DVS[13]和Posture-DVS[14]等常用DVS數據集上的實驗結果表明，與同類方法[4，15]相比，本文所提出方法的識別精度可獲得高達14.61%的提升.

2 本文DVS數據特征提取及分類方法

本文所采用的DVS數據特征提取和分類流程如圖1所示.

2.1 MSD精確定位與DVS事件流空域特征提取

2.1.1 MSD精確定位

由于DVS在獲取靜態(tài)場景時，只輸出少量的噪聲事件，為解決DVS數據中的背景噪聲事件以及產生時間久遠的舊事件影響，本文的MSD將由一個LIF神經元組成，其閾值機制可以有效實現對背景噪聲事件的過濾，而其泄漏機制可有效降低舊事件對當前片段的干擾.此外，為了解決在多種物體運動場景中，不同物體的最佳檢測閾值差異較大的問題，本文的MSD還將引入一個脈沖最大值監(jiān)測單元，以實現針對不同物體檢測閾值的自適應變化.最終，本文基于LIF神經元模型[5]和脈沖最大值監(jiān)測單元的MSD，實現了對不同運動物體下事件流時域ROI關鍵時間點的自適應精確定位.

MSD如圖1左下虛線矩形框所示.每個輸入的DVS事件都能激活一個PSP，在ti時刻接收輸入事件的PSP計算如式(1)所示:

其中:Vrest為靜息電位，核函數K的定義如式(2)所示:

其中:τm和τs分別表示膜和突觸電流延遲時間常數，V0作用是進行歸一化.

圖1 DVS特征提取與分類流程Fig.1 DVS feature extraction and classification process

神經元總電位由脈沖最大值監(jiān)測單元連續(xù)監(jiān)測，具體過程為對于某一特定時間t0，當滿足如式(3)中的條件時，則t0為該時間窗內的最大值.

其中:tk為時間窗大小，Vthr為預設閾值.當脈沖最大值監(jiān)測單元監(jiān)測到某時刻為該段時間窗內的最大值并且超過預設閾值Vthr時，該定位處時間窗內的事件流才會被累積起來作為一個分割片段，并使得圖1中的開路閉合，此時得到的分割片段才會被輸入到后續(xù)層中.

由于不同物體的形狀大小不一，DVS的工作機制會導致大物體比小物體在運動時產生更多的事件，若對LIF神經元僅采用硬閾值響應的方式來進行定位，將會使得不同物體的最佳檢測閾值差異很大，無法達到對不同物體的自適應定位.而采用脈沖最大值監(jiān)測單元所監(jiān)測的最大值可進行動態(tài)變化，不再受硬閾值的影響，從而對不同物體運動具有自適應性，解決了不同物體下最佳閾值設置差異大的問題.此外，當DVS在捕獲物體運動最強烈時，產生的事件流是最活躍的，同時也是物體運動特征最為豐富的時刻，該時刻輸出的事件流將使得LIF神經元膜電位達到最大值，即對應著該事件流的時域ROI關鍵時間點.因此，脈沖最大值監(jiān)測單元可以持續(xù)監(jiān)測膜電位并對其最大值處進行定位，該定位處即事件流時域ROI關鍵時間點.

2.1.2 DVS事件流空域特征提取

為了減少網絡中的參數以及提高生物真實性，本文采用一種由人類視覺皮層啟發(fā)的預定義權值(Gabor濾波器權值)層次化模型[16]對DVS事件流中的空域特征進行提取.

本文將DVS輸出的每個地址事件投影到一組4個不同尺寸(3×3，5×5，7×7，9×9)和4個不同方向為(0°，45°，90°，135°)的Gabor濾波器組，Gabor濾波器[17]的定義如式(4)所示:

其中:θ為Gabor核函數方向，σ為高斯函數標準差，γ為空間長寬比，λ為正弦函數波長，X為卷積核橫坐標，Y 為卷積核縱坐標，所使用參數值如表1所示.

表1 Gabor濾波器參數值Table 1 Gabor filter parameter values

每個濾波器對特定尺寸感受野的神經元細胞進行建模，從而對特定方向的特征作出最佳響應，最終得到S1層特征圖.由于S1層中的每個神經元的卷積操作都是動態(tài)進行，為了避免舊的事件對特征提取造成影響，采用了具有遺忘機制的動態(tài)卷積，即隨著時間推移，響應值將會緩慢恢復至初始值.卷積后的神經元將對其特定的特征作出一個響應，當滿足MSD的條件時，S1層中的神經元才會與其感受野內的鄰近神經元競爭，只有當它是這個感受野內的響應值最大時(即MAX操作)[16]，該神經元才能在C1層特征圖中被保留下來.而MAX操作后在C1層中被保留下來的每個神經元將表示特定大小和方向的線段特征.

2.2 DVS數據分類算法

保留下來的神經元接著被輸入到一組TFS(timeto-first spike)神經元中，對特征圖的每個特征編碼成時域脈沖[18]，然后輸入到MK-Tempotron中進行突觸權重的學習并分類.此外，為了使得SNN訓練算法更高效，在編碼后每個特征脈沖都與一個相對應的地址關聯，該地址可以用來通過訪問權重查找表直接獲取其相應的突觸權重，如圖1中的權重查找表所示.下面將對本文提出的SNN學習算法MKTempotron進行介紹.

2.2.1 Tempotron算法

Tempotron學習算法[12]以LIF[5]作為神經元模型，由全部輸入該神經元PSP加權和得到突觸后神經元膜電位，如式(5)所示:

其中:wi為第i個輸入神經元的突觸權重，為第i個輸入神經元的發(fā)放時間，Vrest為靜息電位，K為核函數，其表達式見式(2).

如果膜電位高于閾值，神經元會進行發(fā)放，發(fā)放脈沖后神經元將會忽略后續(xù)的脈沖輸入，并讓膜電位恢復到靜息電位，即在發(fā)放時間之后到達的脈沖將不再對神經元的膜電位產生影響.

Tempotron學習算法作用是訓練突觸權重，使得突觸后神經元能夠根據樣本標簽類別決定其是否發(fā)放.當樣本標簽類別與實際發(fā)放情況不符時，將會對突觸權重進行修正.修正的最終目的是降低損失函數L，其定義如式(6)所示:

其中:tmax表示神經元膜電位達到最大值的時間，?表示發(fā)放閾值，P+和P-分別表示兩種不同的輸入脈沖模式.突觸權重修正如式(7)所示:

其中β為學習率.

2.2.2 MK-Tempotron算法

在Tempotron算法中，噪聲干擾突觸后神經元的輸出響應，主要通過兩種方式:

1)在脈沖模式為P+情況下，存在的噪聲可能令神經元膜電位在tmax時小于發(fā)放閾值，使得突觸后神經元本該發(fā)放，實際卻沒有發(fā)放.

2)在脈沖模式為P-情況下，存在的噪聲可能令神經元膜電位在tmax時大于發(fā)放閾值，使得突觸后神經元本不該發(fā)放，實際卻進行發(fā)放.

因此在權值訓練時，在輸入脈沖模式為P+(或P-)情況下，要使得存在噪聲時也能夠讓突觸后神經元發(fā)放(或不發(fā)放)，則需要使神經元膜電位在tmax時變得更高(或更低).為此，本文提出MK-Tempotron算法，該算法在訓練權值時，對兩種不同的輸入模式分別采用不同的核函數K1和K2來計算神經元膜電位，算法步驟如下:

步驟1初始化權重并輸入樣本脈沖;

步驟2神經元響應狀態(tài)與標簽響應狀態(tài)進行比較，判斷應選擇K1或K2求膜電位;

步驟3通過選擇相應核函數計算神經元膜電位，得到神經元的響應狀態(tài);

步驟4響應狀態(tài)與標簽相符則結束，否則使用式(7)調整權重并跳至步驟2.

其中K1和K2的定義分別如式(8)-(9)所示:

其中:a和b為變化系數，使得在輸入脈沖模式為P+(或P-)時神經元膜電位更低(或更高)，其中P+和P-模式時神經元膜電位的計算分別如下式(10)-(11)所示:

其損失函數如式(12)所示:

其中:VP+(tmax)是神經元在P+時的最大膜電位，VP-(tmax)是神經元在P-時的最大膜電位.通過此方法進行訓練的神經元突觸權重最終將會朝著正確發(fā)放的方向發(fā)生改變.

對于多類別分類任務，訓練時，本文將采用Onehot編碼[19]對N個MK-tempotron神經元進行標記.若屬于第1類，那么第1個MK-tempotron神經元的輸出標記為1(神經元應發(fā)放)，其他神經元的輸出標記為0(不應發(fā)放).在測試時，只需觀察哪些神經元是否發(fā)放，即可判斷其類別.

3 實驗結果與分析

本文方法的實驗都在MATLAB(版本為2015a)上進行軟件仿真，硬件環(huán)境為CPU i7--6700，顯卡RT--X2--080ti，內存32 G的環(huán)境下進行實驗.實驗中DVS數據集參數設置都嚴格參照Peng[4]中使用的值.

3.1 DVS數據集

本文采用了MNIST-DVS[13]，Poker-DVS[13]，Posture-DVS[14]3個常用的DVS數據集對MK-Tempoton的抗噪性能與Tempoton進行比較，并與同類方法[4，15]進行對比評估.MNIST-DVS[13]數據集中包含了0-9共10類手寫數字，是由10，000張原始的MNIST[20]手寫數字圖像，通過放大而得到3個不同規(guī)格的圖像以緩慢移動的方式顯示在顯示器上，使用分辨率為128×128的DVS記錄得到，每個樣本的記錄時長為100 ms，像素分辨率為28×28.由于記錄到的MNIST-DVS數據集存在著由動態(tài)背景引起的噪聲，其識別難度比標準MNIST數據集更高.Poker-DVS[13]數據集包含了分別為梅花、方塊、紅桃和黑桃4種不同花色的撲克牌，其分辨率為32×32.該數據集是通過在DVS攝像機記錄特制的撲克牌組2～4 s，每張卡片可在屏幕上顯示20～30 ms，最終獲得131個包含著4種花色樣本的DVS數據集.Posture-DVS[14]數據集包含了分別為彎腰、坐下和站立、行走3種不同的人類活動姿態(tài)共484個樣本，其分辨率為32×32.這些數據集均是由DVS記錄得到的，會造成顏色信息的缺失和受到動態(tài)環(huán)境引起的噪聲事件影響，人眼識別這些樣本也是存在一定的難度.

3.2 MK-Tempoton的抗噪性及其與Tempoton的比較

3.2.1 MK-Tempoton的抗噪性

本部分將使用兩種脈沖輸入模式P+和P-，分別對Tempotron和MK-Tempotron訓練后得到的膜電位進行對比實驗，給出其中的兩組實驗結果如下圖2所示.

兩組不同的輸入脈沖P+和P-模式如下圖2(a)所示，其中:黑色代表P+模式，灰色代表P-模式.對于P+和P-模式都由10個輸入神經元組成，時間窗口大小為255 ms，輸入神經元將在時間窗口內隨機地發(fā)放脈沖.

圖2 Tempotron和MK-Tempotron抗噪性實驗的兩組對比數據Fig.2 Comparison of Tempotron and MK-Tempotron in anti-noise perfomance

使用兩組不同的P+和P-模式輸入得到初始權重時的神經元膜電位分別如圖2(b)的黑色實線和灰色虛線所示，由圖2(b)可看出，此突觸后神經元在接收到P+和P-模式的輸入脈沖時，P+和P-模式的膜電位均沒超過閾值Vthr=1，即突觸后神經元在接收到輸入的兩種脈沖模式后均沒有發(fā)放，因此在初始化權重的情況下無法正確區(qū)分P+和P-模式.

對此，下面將分別使用Tempotron和MK-Tempotron算法對突觸權重進行訓練，以使得其能在P+模式下發(fā)放，而在P-模式下不發(fā)放.Tempotron算法在兩組P+和P-模式下訓練后的神經元膜電壓如圖2(c)所示，MK-Tempotron算法在兩組P+和P-模式下訓練后的神經元膜電壓如圖2(d)所示.

由圖2(c)-2(d)可看出使用Tempotron和MK-Tempotron訓練后，突觸后神經元都能夠正確分類.在P+模式下使用了MK-Tempotron訓練得到的神經元膜電壓在最大值處到Vthr=1的距離更遠，在P-模式下得到的神經元膜電壓在最大值處到Vthr=1的距離同樣更遠，而使用了Tempotron訓練后，在P+和P-模式下得到的神經元膜電壓最大值處到Vthr=1的距離非常近.因此，使用MK-Tempotron算法具有更強的抗噪性能，但是在有噪聲存在時，MK-Tempotron 算法更能使輸出神經元作出正確的響應.

3.2.2 MK-Tempotron與Tempotron的比較

使用MK-Tempotron算法和Tempotron算法應用于本文的DVS數據分類方法，在上述3個DVS數據集上進行實驗，每種方法重復實驗10次取其平均值，每次實驗將隨機抽取90%的樣本作為訓練集，剩余的10%樣本作為測試集，結果如表2所示.

表2 MK-Tempotron與Tempotron實驗比較Table 2 MK-Tempotron and Tempotron experimental

如表2實驗結果所示，MK-Tempotron算法使用在本文的方法中，在DVS數據集MNIST-DVS，Poker-DVS，Posture-DVS上的識別精度比使用Tempotron 算法的識別精度分別提高了2.59%，3.33%，4.13%，實驗結果表明MK-Tempotron算法在存在背景噪聲的DVS數據集中也能達到較好的抗噪性能，從而使識別精度有所提升.

其中:實驗中各個數據集所使用的膜延遲時間常數τm，突觸電流延遲時間常數τs，MSD的時間窗口大小tk，事件流卷積的泄漏率μ，核函數K1和K2的變化量系數a和b的值如表3所示.

表3 實驗參數Table 3 Experimental parameters

3.3 本文方法(MSD+Gabor+MK-Tempotron)與同類方法的比較

為進一步驗證本文方法(MSD+Gabor+MK-Tempotron)的性能，本文將其與事件包+支持向量機[4](bag of events+support vector machines，BOE+SVM)和Gabor+Hausdorff[15]方法進行識別精度和分類效率的比較.在BOE+SVM方法中，利用連續(xù)事件的聯合概率分布對每個輸入事件進行表征，然后使用SVM對特征進行分類，該基于概率統(tǒng)計的方法有著良好的識別精度和分類效率.在Gabor+Hausdorff的方法中，使用Gabor濾波器能夠較好地提取目標尺度和位移不變性的線段特征，然后采用結合動態(tài)聚類的改進Hausdorff距離分類器進行分類，該方法能對DVS數據集有著良好的識別效果.

本部分仍使用MNIST-DVS，Poker-DVS和Posture-DVS數據集進行實驗，每種方法重復實驗十次取其平均值，每次實驗將隨機抽取90%的樣本作為訓練集，剩余的10%樣本作為測試集，實驗中本文方法所使用的參數值如表3所示.實驗結果如表4所示.

由表4可知，本文方法在MNIST-DVS數據集的識別精度比Gabor+Hausdorff方法提高了14.61%，相比BOE+SVM方法識別精度提高了3.29%.由于BOE+SVM方法使用了SVM[21]進行分類，不需要訓練分類器，因此分類耗時最短.而本文的方法與Gabor+Hausdorff方法相比較，由于在特征提取過程中使用到MAX操作以及在分類中采用可以直接根據地址訪問權重查找表的SNN算法，因此使得分類效率有很大幅度的提升.本文的方法在MNIST-DVS數據集上的識別精度比BOE+SVM和Gabor+Hausdorff方法更高，而且有著很高的分類效率，從而證明了本文所使用的特征提取方法以及MK-Tempotron分類算法是十分有效的.

在Poker-DVS數據集中，3種方法的識別精度非常接近，盡管本文的方法在此數據集上的識別精度沒有超過另外兩種方法，但與識別精度最高的方法相比僅有1.34%的差距，也能達到91.66%的高識別精度水準，其差距在只有131個樣本的數據集中并不大.與此同時，本文的方法與Gabor+Hausdorff方法相比仍然保持著較高的分類效率水準，因此，本文方法在Poker-DVS數據集的實驗中與另外兩個方法一樣能達到較高的分類性能.而在Posture-DVS數據集的實驗中，本文方法的識別精度最高可達到100%，經過十次實驗取其平均值最終能達到99.74%的識別精度，比BOE+SVM和Gabor+Hausdorff方法分別提高了7.86%和1.08%.在分類效率方面，與Gabor+Hausdorff方法相比有著絕對的優(yōu)勢.如表4所示，實驗結果表明本文方法，在能達到理想的識別精度同時，也能保持著較高的分類效率，從而證明本文方法是有效可行的.

表4 本文方法與同類方法實驗對比Table 4 Comparison of methods in this paper with similar methodss

4 結束語

本文主要針對DVS數據分類系統(tǒng)中，事件流的時域ROI定位與分割問題，提出一種精確時序MSD進行事件流時域ROI的精確定位，解決了現有方法不能根據不同物體運動自適應地設定最佳檢測閾值、無法對靜態(tài)場景中少量背景噪聲進行過濾等問題.此外，針對已有SNN學習算法抗噪性差的問題，提出了一種抗噪性能好的SNN學習算法MK-Tempotron，該算法通過在訓練過程中對兩種不同的輸入脈沖模式分別采用兩個不同的核函數調整神經元膜電位，使得即使在存在背景噪聲的DVS數據中，輸出神經元也能作出正確的響應.本文所提出的方法，與基于事件的BOE+SVM和Gabor+Hausdorff的同類方法相比，識別率能獲得高達14.61%的提升.