基于生物視覺的碰撞預(yù)警傳感器*

張國鵬， 張　春

(清華大學(xué) 微電子研究所，北京 100084)

?

基于生物視覺的碰撞預(yù)警傳感器*

張國鵬， 張春

(清華大學(xué) 微電子研究所，北京 100084)

摘要:對擁有碰撞預(yù)警能力的小葉大運(yùn)動偵察器(LGMD)神經(jīng)網(wǎng)絡(luò)進(jìn)行化簡，以參數(shù)化方式設(shè)計(jì)電路，網(wǎng)絡(luò)參數(shù)可以通過串口在線配置。以此為核心設(shè)計(jì)了碰撞預(yù)警傳感器，F(xiàn)PGA綜合結(jié)果表明像素處理時鐘最高可達(dá)178MHz。設(shè)計(jì)了專用測試系統(tǒng)進(jìn)行驗(yàn)證，在實(shí)時模式下碰撞預(yù)警傳感器根據(jù)攝像頭輸入正確進(jìn)行碰撞預(yù)警；測試模式下用視頻序列測試碰撞預(yù)警傳感器，其輸出膜電勢與軟件仿真一致，表明碰撞預(yù)警傳感器繼承相關(guān)軟件工作的碰撞預(yù)警特性。測試系統(tǒng)也作為硬件加速器，加快LGMD算法運(yùn)行。

關(guān)鍵詞:碰撞預(yù)警； 生物視覺； 現(xiàn)場可編程門陣列； 小葉大運(yùn)動偵察器

0引言

碰撞預(yù)警是保證現(xiàn)代智能移動設(shè)備長時間可靠運(yùn)行的基礎(chǔ)技術(shù)。采用傳感器融合方式的碰撞預(yù)警技術(shù)在特定應(yīng)用下已取得理想效果，但成本、體積和功耗等因素限制了其在小型嵌入式系統(tǒng)中的應(yīng)用[1]。

蝗蟲個體在高密度的群遷徙過程中輕松避免碰撞的現(xiàn)象啟發(fā)研究人員模擬其視覺網(wǎng)絡(luò)進(jìn)行碰撞預(yù)警。對蝗蟲視覺系統(tǒng)的解剖實(shí)驗(yàn)，證明小葉大運(yùn)動偵察器(lobula giant movement detector,LGMD)是完成碰撞預(yù)警功能的主要神經(jīng)元[2]。Rind F C和Bramwell D I等人由此提出了經(jīng)典的4層LGMD輸入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用興奮抑制方式來檢測物體靠近，開啟了借助LGMD網(wǎng)絡(luò)進(jìn)行碰撞預(yù)警的研究[3]。Yue S等人引入新的神經(jīng)元以增強(qiáng)LGMD碰撞預(yù)警的能力，證明了LGMD網(wǎng)絡(luò)對于碰撞預(yù)警的有效性和魯棒性[4～6]，并將其移植到微型機(jī)器人上研究群體條件下的碰撞預(yù)警能力[7,8]。

本文闡述了適合電路設(shè)計(jì)的LGMD算法，以此為核心設(shè)計(jì)了碰撞預(yù)警傳感器電路，采用現(xiàn)場可編程門陣列(FPGA)實(shí)現(xiàn)并分析電路性能，同時還設(shè)計(jì)了專用測試系統(tǒng)。該系統(tǒng)可以對碰撞預(yù)警傳感器進(jìn)行功能驗(yàn)證、網(wǎng)絡(luò)參數(shù)調(diào)整，也可作為硬件加速器，加速LGMD網(wǎng)絡(luò)訓(xùn)練等研究。

1LGMD神經(jīng)網(wǎng)絡(luò)算法

LGMD神經(jīng)網(wǎng)絡(luò)存在于蝗蟲的視覺通道中，結(jié)構(gòu)如圖1所示，它由4層神經(jīng)元細(xì)胞(感知層P、興奮層E、抑制層I、求和層S)、LGMD神經(jīng)元和前饋抑制(feed forward inhibition，F(xiàn)FI)神經(jīng)元組成。它對快速靠近的物體十分敏感，本質(zhì)是由于物體靠近時不斷擴(kuò)張的邊緣刺激使得整個網(wǎng)絡(luò)中的興奮迅速增加，導(dǎo)致LGMD神經(jīng)元的膜電勢急劇上升，這種變化使其具備了碰撞預(yù)警功能。本節(jié)將從電路設(shè)計(jì)角度對LGMD算法進(jìn)行簡化。

圖1　LGMD神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型Fig 1　Structure model for LGMD neural network

1.1感知層P

感知層捕獲輸入視頻，對幀差做出響應(yīng)，傳遞給興奮層和抑制層。其神經(jīng)元膜電勢Pf(x,y)為

Pf(x,y)=|Lf(x,y)-Lf-1(x,y)|,

(1)

式中f為視頻序列中的第f幀，(x,y)像素點(diǎn)在網(wǎng)絡(luò)層中位置，Lf(x,y)為輸入灰度圖像的像素值。

1.2興奮層E和抑制層I

興奮層E直接接受感知層輸出，而抑制層I接收感知層前一幀的輸出

Ef(x,y)=Pf(x,y),

(2)

If(x,y)=Pf-1(x,y).

(3)

1.3求和層S

求和層神經(jīng)元S匯聚抑制層對應(yīng)位置鄰域內(nèi)的輸出，對興奮層進(jìn)行抑制，結(jié)果經(jīng)閾值激發(fā)后傳遞給LGMD神經(jīng)元

(4)

式中WI為抑制權(quán)重，用來調(diào)節(jié)抑制強(qiáng)度；(i,j)為抑制層對應(yīng)位置的鄰域偏移坐標(biāo)，i和j不同時為0，wI為抑制匯聚系數(shù)矩陣，其和為1，一般取滿足高斯分布的矩陣，電路設(shè)計(jì)時使用3×3鄰域。為避免浮點(diǎn)運(yùn)算，將wI放大28倍化為整數(shù)乘法。Sf(x,y)為求和層的膜電勢，S～f(x,y)為經(jīng)閾值Tr激發(fā)后的結(jié)果

(5)

(6)

1.4前饋抑制神經(jīng)元FFI

前饋抑制神經(jīng)元FFI的作用是抑制視野全局移動時LGMD網(wǎng)絡(luò)的過度興奮。其膜電勢Ff為感知層輸出的累積，傳遞給LGMD神經(jīng)元。當(dāng)其超過閾值TF時，對LGMD神經(jīng)元的報(bào)警輸出進(jìn)行屏蔽

(7)

式中nx,ny分別為整個視野的水平分辨率和垂直分辨率。

1.5LGMD神經(jīng)元

(8)

(9)

1.6LGMD輸出單元

采用直觀方式處理LGMD神經(jīng)元的后突觸結(jié)構(gòu)[9]。引入LO神經(jīng)元，取一個時間窗口進(jìn)行考察，如果長度為nd的窗口內(nèi)LGMD神經(jīng)元連續(xù)保持興奮輸出，則認(rèn)為碰撞即將發(fā)生并進(jìn)行預(yù)警

(10)

2基于LGMD的碰撞預(yù)警傳感器

本碰撞預(yù)警傳感器是為微型群體機(jī)器人設(shè)計(jì)的專用電路，用來研究其在群體環(huán)境中的避障行為。它的輸出除預(yù)警信號外，還有FFI和LGMD神經(jīng)元的膜電勢，供決策參考。

2.1視頻輸入模塊

視頻輸入模塊的電路結(jié)構(gòu)如圖2所示，配置控制器讀取配置ROM中的信息控制MT9D112圖像傳感器工作。視頻流控制器將RGB565格式視頻轉(zhuǎn)換為灰度值存入緩存RAM。視頻流發(fā)生器讀取RAM產(chǎn)生供LGMD電路處理視頻流。

圖2　視頻輸入模塊電路框圖Fig 2　Circuit block diagram of video input module

2.2LGMD電路

與LGMD網(wǎng)絡(luò)結(jié)構(gòu)相對應(yīng)，LGMD硬件電路的數(shù)據(jù)通道如圖3所示。上部分為感知層，完成視頻流捕獲、幀差緩存和感知層輸出；下部分為LGMD功能模塊，實(shí)現(xiàn)抑制興奮匯聚、求和累積、LGMD神經(jīng)元激發(fā)以及報(bào)警決策。此外還引入串口配置模塊完成網(wǎng)絡(luò)參數(shù)在線配置。設(shè)計(jì)中采用幀圖像行長wlen、列長hlen和像素點(diǎn)位寬dlen等參數(shù)，故該電路可通過元件例化處理不同格式的分辨率和像素點(diǎn)。

圖3　LGMD電路數(shù)據(jù)通道Fig 3　Data path of LGMD circuit

2.2.1感知層

感知層的設(shè)計(jì)包含幀差產(chǎn)生和感知層輸出兩個部分。如圖3的上部分所示，它由地址發(fā)生器、2片雙口SRAM以及控制邏輯組成。由視頻同步信號控制地址生成器工作，完成視頻流的存儲和產(chǎn)生。設(shè)計(jì)中插入若干D觸發(fā)器匹配信號時序，從而復(fù)用地址寄存器和同步信號。幀差操作和感知層的輸出由減法器和取模電路完成。

2.2.2興奮層和抑制層

幀差信號與興奮層直接相連，感知層RAM的讀數(shù)據(jù)總線與抑制層相連，為時序匹配插入若干級同步緩存。

抑制層的興奮匯聚由鄰域卷積完成，采用3×3的鄰域?？紤]到LGMD抑制矩陣的對稱性，通過將相同抑制系數(shù)的輸入先做加法再做乘法，使所需的乘法器減少為2個。

2.2.3求和層

求和層為純組合邏輯電路，由減法器將興奮層和抑制層輸出做差，通過比較器與閾值Tr比較。如差值大于Tr，輸出差值，否則，為0。

2.2.4FFI和LGMD神經(jīng)元

FFI神經(jīng)元對感知層輸出進(jìn)行累加，作為其膜電勢傳遞給LGMD神經(jīng)元。

LGMD神經(jīng)元電路先對求和層輸出進(jìn)行累加作為其膜電勢，在每幀結(jié)束時如滿足式(9),則受激發(fā)輸出1;否則,為0，并將結(jié)果存入移位寄存器。模塊的報(bào)警輸出由移位寄存器中各位的與操作獲得。移位寄存器長度由LGMD輸出部分的窗口長度nd決定。

LGMD神經(jīng)元所需的控制信號由狀態(tài)機(jī)實(shí)現(xiàn)。通過在狀態(tài)idle,pre,line,blank和output之間的切換，產(chǎn)生控制信號使能各單元完成運(yùn)算。

2.3仿真與分析

選用Xilinx公司的FPGA芯片Virtex—5lx50t對設(shè)計(jì)進(jìn)行綜合和仿真，系統(tǒng)時鐘設(shè)為100MHz。

首先驗(yàn)證電路功能。在testbench中將LGMD模塊的參數(shù)wlen,hlen,dlen,nd,Tr,TD依次例化為6,5,8,3,300,1000等。使用兩幅簡單圖像循環(huán)輸入模擬視頻輸入，通過isim仿真工具觀察lgmd電路內(nèi)部信號可知，信號變化與理論計(jì)算一致，故電路工作正確。

使用ISE工具綜合碰撞預(yù)警傳感器評估性能和資源。受內(nèi)部RAM限制，采用分辨率為160×120和320×240的兩組參數(shù)進(jìn)行綜合。由綜合報(bào)告可知，兩組參數(shù)下最大邏輯延時均為5.6ns，處理像素頻率最高可達(dá)178MHz。由此估算，對QVGA視頻的處理速度可達(dá)2kfps，滿足高速圖像處理要求。

表1為碰撞預(yù)警傳感器的資源使用率。當(dāng)分辨率加倍后，電路的邏輯部分資源變動不大，RAM使用量迅速增大。

表1　資源使用表

3測試與驗(yàn)證

為了驗(yàn)證碰撞預(yù)警傳感器，本文基于Genesys FPGA開發(fā)板和MT9D112圖像傳感器模塊設(shè)計(jì)了專用測試系統(tǒng)。如圖4所示，該系統(tǒng)由碰撞預(yù)警傳感器、HDMI顯示模塊、系統(tǒng)控制模塊、LED指示燈等構(gòu)成。系統(tǒng)的工作頻率為100 MHz，視頻分辨率設(shè)為160×120。HDMI顯示模塊將LGMD內(nèi)部各層神經(jīng)元的膜電勢顯示在顯示器上，用于觀察網(wǎng)絡(luò)內(nèi)部狀態(tài)。系統(tǒng)控制模塊將測試視頻下載到DDR2內(nèi)存中，由系統(tǒng)控制器產(chǎn)生視頻流替代圖像傳感器的輸出，對碰撞預(yù)警傳感器進(jìn)行測試。

圖4　碰撞預(yù)警傳感器測試系統(tǒng)Fig 4　Test system of collision warning sensor

實(shí)時模式下傳感器根據(jù)攝像頭的輸入進(jìn)行碰撞預(yù)警，測試中當(dāng)用手等物體靠近攝像頭時LED點(diǎn)亮，說明碰撞預(yù)警傳感器對靠近物體進(jìn)行了預(yù)警。使用測試模式能更好對傳感器功能進(jìn)行驗(yàn)證。根據(jù)文獻(xiàn)[6]中的參數(shù)對傳感器網(wǎng)絡(luò)參數(shù)進(jìn)行配置，下載如圖5(a)所示的汽車靠近的視頻序列進(jìn)行測試。LGMD網(wǎng)絡(luò)各層神經(jīng)元的膜電勢如偽彩圖5(b)所示，紅色表示0，黃色為最大值。圖5(c)為該測試視頻下軟硬件LGMD神經(jīng)元的膜電勢，對比曲線可知，兩者的膜電勢基本相同，說明碰撞預(yù)警傳感器的預(yù)警能力與LGMD算法一致。由圖中超越閾值的時刻可知，碰撞預(yù)警傳感器在碰撞發(fā)生前5幀進(jìn)行報(bào)警輸出。測試時,LGMD軟件算法耗時為0.82 s，而碰撞預(yù)警傳感器按100 MHz像素時鐘估計(jì)運(yùn)算可在0.15 s內(nèi)完成，故可以使用該系統(tǒng)對LGMD算法進(jìn)行硬件加速，加快LGMD網(wǎng)絡(luò)訓(xùn)練等研究。

圖5　碰撞預(yù)警傳感器功能驗(yàn)證Fig 5　Function verification for collision warning sensor

4結(jié)束語

本文在化簡LGMD神經(jīng)網(wǎng)絡(luò)算法基礎(chǔ)上進(jìn)行參數(shù)化的硬件電路設(shè)計(jì)，并以此為核心設(shè)計(jì)了碰撞預(yù)警傳感器。通過FPGA綜合仿真表明:該傳感器的功能正確，最高像素時鐘可達(dá)178 MHz，處理QVGA視頻流時等效幀率最高為2 kfps，滿足高速視頻處理需求。為碰撞預(yù)警傳感器設(shè)計(jì)的專用測試系統(tǒng)支持實(shí)時和測試兩種模式對其進(jìn)行驗(yàn)證，也可用作硬件加速器，加快LGMD算法運(yùn)行。

參考文獻(xiàn):

[1]Vahidi A,Eskandarian A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems,2003,4(3):143-153.

[2]Rind F C,Simmons P J.Orthopteran DCMD neuron:A reevaluation of responses to moving objects.I.Selective responses to approaching objects[J].Journal of Neurophysiology,1992,68(5):1654-1666.

[3]Rind F C,Bramwell D I.Neural network based on the input organization of an identified neuron signaling impending colli-sion[J].Journal of Neurophysiology,1996,75(3):967-985.

[4]Blanchard M,Rind F C,Verschure P F M J.Collision avoidance using a model of the locust LGMD neuron[J].Robotics and Autonomous Systems,2000,30(1):17-38.

[5]Yue S,Rind F C.Visual motion pattern extraction and fusion for collision detection in complex dynamic scenes[J].Computer Vision and Image Understanding,2006,104(1):48-60.

[6]Yue S,Rind F C.Redundant neural vision systems—Competing for collision recognition roles[J].IEEE Transactions on Autonomous Mental Development,2013,5(2):173-186.

[7]Yue S,Rind F C.A collision detection system for a mobile robot inspired by the locust visual system[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation,ICRA 2005,IEEE,2005:3832-3837.

[8]Yue S,Rind F C.Collision detection in complex dynamic scenes using an LGMD-based visual neural network with feature enhancement[J].IEEE Transactions on Neural Networks,2006,17(3):705-716.

Collision warning sensor based on biological vision*

ZHANG Guo-peng, ZHANG Chun

(Institute of Microelectronics,Tsinghua University,Beijing 100084,China)

Abstract:With collision warning capability,lobula giant movement detector (LGMD) is simplified to design circuit in parametric method,and network parameters can be configured online by RS—232.A collision warning sensor is designed based on LGMD module and from FPGA synthesis report,the pixel frequency is as much as 178 MHz.A test system are also designed for verification.Under real-time mode,the sensor can generate warning alarm correctly according to inputs from camera;while under test mode,use video sequence to test sensor,output membrane potential consists with software simulation,which demonstrates the designed sensor carries on collision warning characteristics of the previous related work in software.The test system can also be used as hardware accelerator to boost LGMD algorithm.

Key words:collision warning; biological vision; FPGA; LGMD

DOI:10.13873/J.1000—9787(2016)03—0070—04

收稿日期：2015—06—01

*基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61327809)

中圖分類號:TP 391

文獻(xiàn)標(biāo)識碼:A

文章編號:1000—9787(2016)03—0070—04

作者簡介:

張國鵬(1988-)，男，浙江紹興人，碩士研究生，研究方向?yàn)橐曨l處理算法與電路設(shè)計(jì)。