基于FPGA的車載多路圖像采集傳輸系統(tǒng)的設計

李進宇，谷熒柯，謝 翔，李國林

(1.清華大學微電子學研究所，北京 100084；2.清華大學電子工程系，北京 100084)

?

基于FPGA的車載多路圖像采集傳輸系統(tǒng)的設計

李進宇1，谷熒柯1，謝 翔1，李國林2

(1.清華大學微電子學研究所，北京 100084；2.清華大學電子工程系，北京 100084)

論文提出了一種基于FPGA的多路圖像采集傳輸系統(tǒng)的設計方案，應用于車載環(huán)境中；系統(tǒng)結構包括4個圖像采集節(jié)點和1個中心控制節(jié)點，采集節(jié)點由FPGA控制CMOS圖像傳感器采集圖像，并實時存儲于FLASH中；為屏蔽車載環(huán)境中的電磁干擾，采集節(jié)點與控制節(jié)點之間采用塑料光纖作為通信介質。論文設計了一種適合車載圖像數據傳輸的通信協(xié)議，實驗驗證表明，系統(tǒng)能夠實現多路圖像數據的實時采集和存儲，并將各路圖像數據穩(wěn)定地傳回PC機進行顯示。

FPGA；多路圖像采集；圖像數據傳輸；總線通信協(xié)議；塑料光纖；

0 引言

車載圖像系統(tǒng)是汽車電子領域的一個重要發(fā)展方向，這種系統(tǒng)從功能上主要分成兩類：行車記錄儀和泊車輔助系統(tǒng)。行車記錄儀記錄汽車行駛前方的圖像信息，泊車輔助系統(tǒng)監(jiān)控汽車周圍2m范圍內地面上的圖像信息，輔助駕駛員泊車。對于這類系統(tǒng)的技術實現，國內外進行了相關的研究。文獻[1]采用集成了ARM+DSP的處理器OMAP3530作為系統(tǒng)的核心，通過USB接口連接多個自由安裝在車身前后左右的攝像頭記錄汽車周圍的圖像信息，圖像數據存儲在系統(tǒng)外接的SD卡上，需要時讀取SD卡中的圖像數據到PC端進行顯示。文獻[2]采用DSP作為處理核心，采集到的4路視頻數據通過視頻解碼芯片傳輸到DSP核心中進行圖像處理，直接輸出汽車的鳥瞰圖到外接的顯示設備上顯示。文獻[3]采用FPGA+ARM的架構，FPGA控制采集汽車各個方向的圖像數據，ARM對多路圖像數據進行處理，各路圖像數據通過IDB-1394車載網絡協(xié)議由FPGA傳輸到ARM中。

車載環(huán)境下存在大量的電磁干擾和無線電干擾，會對圖像數據的傳輸造成影響，塑料光纖(POF)具有幾乎不受電磁干擾和無線電干擾影響的優(yōu)點[4]，因此逐漸成為汽車多媒體信息傳輸網絡的主流通信介質。

基于以上的考慮，本文提出了一種基于FPGA的車載多路圖像采集傳輸系統(tǒng)的設計方案，以充分采集汽車周圍各個方向的圖像數據，為了驗證該采集系統(tǒng)的有效性，文中實現了通過塑料光纖系統(tǒng)總線將圖像傳回PC機顯示的實驗。

1 系統(tǒng)結構與工作原理

系統(tǒng)結構如圖1所示。系統(tǒng)由4個圖像采集節(jié)點和1個中心控制節(jié)點組成，圖像采集節(jié)點與中心控制節(jié)點之間采用基于塑料光纖的系統(tǒng)總線進行數據通信。圖像采集節(jié)點包括圖像傳感器，FLASH和FPGA，實現圖像數據的實時采集和存儲，中心控制節(jié)點中包括FPGA和ARM，實現對各個圖像采集節(jié)點的控制和圖像數據的接收，FPGA和ARM之間通過SPI進行數據通信。系統(tǒng)總線與各個節(jié)點之間的接口為塑料光纖收發(fā)器，實現光信號與電信號之間的轉換。整個系統(tǒng)以FPGA作為控制核心，通過ARM上的人機交互界面發(fā)送系統(tǒng)控制指令對整個系統(tǒng)進行操作。

圖1 系統(tǒng)整體結構

系統(tǒng)的工作原理為：系統(tǒng)上電之后，首先進行系統(tǒng)的初始化配置，包括圖像傳感器和FLASH的工作模式配置；然后根據控制指令，各個圖像采集節(jié)點進行圖像采集，并將圖像數據實時存儲到FLASH中；當需要將圖像數據傳輸到PC時，讀取各個圖像采集節(jié)點中FLASH內的圖像數據，通過系統(tǒng)總線有序地傳輸到中心控制節(jié)點的FPGA，然后依次讀取緩存的各路圖像數據，通過SPI傳輸到ARM中，最后通過移動存儲設備將圖像文件拷貝到PC上進行顯示。

2 圖像采集節(jié)點設計

2.1 圖像采集節(jié)點的硬件結構

圖像數據的采集采用OV7660CMOS圖像傳感器模組，它可以通過配置模組內部寄存器實現多種模式的圖像數據輸出?？紤]到需要實時存儲的圖像數據量比較大，選用了型號為K9K8G08U0M的NAND FLASH作為圖像數據的存儲器，它的存儲容量為1 GB，最高寫入速度可以達到10 MB/s，可以滿足圖像數據的實時存儲要求。圖像采集節(jié)點中采用型號為Spartan3E-XC3S500E的FPGA用于控制圖像傳感器和FLASH。

圖像傳感器，FLASH和FPGA的硬件連接如圖2所示。圖像傳感器部分主要引腳包括SCCB協(xié)議接口SIO_D，SIO_C，模組輸入時鐘XCLK，圖像數據輸出Y[7：0]，圖像數據時鐘PCLK，行同步信號HREF，場同步信號VSYNC。FLASH部分主要引腳包括片選信號CE，命令鎖存信號CLE，地址鎖存信號ALE，數據輸入輸出接口I/O[7：0]，寫使能WE，讀使能RE，以及FLASH內部工作狀態(tài)信號R/B。

圖2 圖像采集節(jié)點的硬件連接

2.2 FPGA設計

圖像采集節(jié)點的FPGA設計包括圖像傳感器控制接口、FLASH控制接口和核心控制模塊的設計。

核心控制模塊對圖像采集節(jié)點接收到的中心控制節(jié)點發(fā)來的控制指令根據預先約定的協(xié)議進行解析，將相關控制信息分別送到圖像傳感器控制接口和FLASH控制接口，從而控制圖像傳感器和FLASH的協(xié)調工作。

圖像傳感器控制接口包括3個部分，圖像傳感器控制模塊，SCCB控制模塊和圖像傳感器接口。圖像傳感器控制模塊根據核心控制模塊解析得到的圖像傳感器配置信息，得到配置地址和配置數據發(fā)送給SCCB控制模塊，并產生一個使能SCCB控制模塊的信號，當這個使能信號上升沿到來時，讀取配置地址和配置數據，給到SCCB協(xié)議模塊中，完成對圖像傳感器的初始化配置。圖像傳感器模組中對寄存器的操作通過SCCB協(xié)議總線實現，SCCB協(xié)議模塊采用已有的IP核，簡化了設計過程。

圖像采集節(jié)點的系統(tǒng)配置和初始化完成之后，開始進行圖像采集，采集得到的圖像數據通過圖像傳感器接口輸出。根據輸出的行同步HREF和場同步VSYNC信號，配合PCLK對輸出的圖像數據進行采集，并將圖像數據存入一個FPGA內部的雙口RAM中。RAM中每存滿2 048byte圖像數據，則將其寫入FLASH中。2 048 byte剛好為系統(tǒng)采用的FLASH芯片一頁所包含的數據量。

FLASH控制接口包括2個部分，控制模塊和數據接口。核心控制模塊解析得到的對FLASH進行具體操作的指令，輸入FLASH控制模塊中，實現FLASH的初始化。

FLASH寫入的一般工作流程為：WE上升沿采樣I/O口的數據，先寫入0x80，再將FLASH中的行地址和列地址寫入，然后將緩存中的圖像數據寫入，最后寫入0x10作為數據寫入的結束。數據寫入結束之后，讀取FLASH的狀態(tài)寄存器，檢查I/O6或者R/B的狀態(tài)，若I/O6或R/B有一個為1，繼續(xù)檢查I/O0的狀態(tài)，若為1，則表示數據寫入錯誤，若為0，則表示數據寫入正確，從而實現了圖像數據的存儲。

3 系統(tǒng)總線設計

3.1 系統(tǒng)總線硬件結構

系統(tǒng)總線通過塑料光纖進行數據傳輸。系統(tǒng)采用型號為EDL300T的塑料光纖收發(fā)器作為系統(tǒng)總線與各個節(jié)點之間的接口，它能實現光信號與LVDS信號之間的轉換。FPGA與塑料光纖收發(fā)器之間的硬件連接如圖3所示，主要引腳為LVDS差分輸入信號RX+，RX-，LVDS差分輸出信號TX+，TX-，以及收發(fā)器的狀態(tài)信號SD。

圖3 總線接口硬件連接

系統(tǒng)總線的結構為星型結構，中心控制節(jié)點作為星型網絡的中心，控制整個系統(tǒng)總線，各個圖像采集節(jié)點通過其上的塑料光纖收發(fā)器分別與中心控制節(jié)點的4個塑料光纖收發(fā)器相連接，圖像采集節(jié)點之間不需要進行數據通信。

3.2 系統(tǒng)總線通信協(xié)議

3.2.1 幀結構

圖像采集節(jié)點和中心控制節(jié)點之間采用基于幀的方式進行通信，針對系統(tǒng)中控制指令和圖像數據的傳輸，分別設計了兩種格式的幀：指令幀和圖像幀。指令幀由中心控制節(jié)點發(fā)送給各個圖像采集節(jié)點，圖像幀由圖像采集節(jié)點發(fā)送給中心控制節(jié)點。每一幀中包含不同的區(qū)域，分別為同步域、標識域、地址域、數據域、校驗域。同步域用于對輸入的串行通信數據進行時鐘同步以及作為幀起始標志，標識域用于區(qū)分幀的類型，地址域為圖像采集節(jié)點的地址，同步域、標識域和地址域為一幀的幀頭，數據域包含幀的核心信息，控制指令和圖像數據就在數據域中，校驗域為對幀進行CRC校驗結果。

如圖4所示，指令幀由同步域，標識域，地址域，數據域組成。同步域為1010 1011，標識域為1000 0001，地址域為指定的圖像采集節(jié)點的地址，數據域為6byte的控制指令，用于控制圖像采集節(jié)點進行圖像采集，圖像存儲，圖像傳輸等操作。

同步域標識域地址域數據域1byte1byte1byte6byte

圖4 指令幀結構

圖像幀結構如圖5所示，由同步域，標識域，地址域，數據域和校驗域組成。同步域為1010 1010 1010 1011，標識域為0100 0001，地址域為圖像數據來源的圖像采集節(jié)點的地址，數據域為圖像數據，圖像數據存儲在FLASH中，FLASH的數據按頁(PAGE)進行讀取，每一頁中包含2 048 byte的數據，因此數據域的長度為2 048byte。校驗域為圖像幀進行CRC校驗得到的2 byte校驗和。

同步域標識域地址域數據域校驗域2byte1byte1byte2048byte2byte

圖5 圖像幀結構

3.2.2 系統(tǒng)總線的通信過程

(1)中心控制節(jié)點往各圖像采集節(jié)點發(fā)送一個指令幀；

(2)圖像采集節(jié)點解析指令幀中數據域的內容；

(3)判斷是否要讀取FLASH中的數據；

(4)如果不是，則根據指令對圖像采集節(jié)點進行操作，比如系統(tǒng)配置，圖像采集，圖像存儲；

(5)如果是，則讀取FLASH中指令指定地址的一頁圖像數據，打包成一個圖像幀；

(6)圖像采集節(jié)點將圖像幀發(fā)送到中心控制節(jié)點;

(7)中心控制節(jié)點將一個圖像幀中包含的圖像數據提取出來，存入FPGA內部的雙口RAM，來自不同圖像采集節(jié)點的圖像幀緩存在不同的雙口RAM中;

(8)依次將各RAM中的圖像數據通過SPI傳輸到ARM;

(9)循環(huán)(1)到(8)直到每個圖像采集節(jié)點中的一幀圖像傳輸完成，進行下一幀圖像數據的傳輸。

3.2 系統(tǒng)總線的FPGA設計

系統(tǒng)總線的FPGA設計包括發(fā)送模塊和接收模塊的設計。

發(fā)送模塊對將要發(fā)送出去的數據按照通信協(xié)議進行打包。對于幀長度較小的指令幀，直接采用1個72bit的寄存器cmd_frame[71：0]來存儲指令幀的內容，幀頭信息寫入cmd_frame[71：48]，控制指令寫入cmd_frame[47：0]。而對于幀長度較大的圖像幀，采用FPGA內部的雙口RAM資源，雙口RAM的深度為2 054，數據位寬為8bit，根據圖像幀的結構，幀中的每一個區(qū)域都有對應的地址，其中數據域的地址為4到2051，按地址依次將一幀圖像幀寫入雙口RAM中，實現協(xié)議幀的打包。打包好的數據經過并串轉換和單端轉差分的處理，以LVDS差分對的形式送到塑料光纖收發(fā)器中發(fā)送出去。

接收模塊首先將塑料光纖收發(fā)器接收到的差分信號轉換為單端信號，然后進行串行數據恢復和協(xié)議幀解析，實現一幀數據的通信。

串行數據恢復采用基于過采樣的方法實現[5]。FPGA的時鐘管理模塊生成4個等相位偏移的時鐘對輸入的串行數據進行采樣，得到4路過采樣數據，并進行同步處理，根據對過采樣數據進行串行數據跳變沿檢測的結果確定最佳采樣時鐘，該時鐘對應的一路采樣數據即為恢復出來的串行數據。

對于恢復出來的串行數據，按照通信協(xié)議進行解析，得到通信幀中的核心信息。將串行數據依次移入8bit的移位寄存器中，進行檢測，當檢測到幀起始標志時，對于指令幀，將接下來的數據直接存入寄存器cmd[63:0]中，而對于圖像幀，因包含的數據量較大，則將幀起始標志之后的2 052×8 bit數據依次存入到一個深度為2 052，位寬為8的雙口RAM中。

4 實驗結果與功能驗證

為實現圖像數據的實時存儲，需要測試FLASH的寫入速度。采用邏輯分析儀對FLASH的寫操作進行測試，得到時序如圖6所示，在25 MHz時鐘下，寫操作的速度為8.7 MB/s，對于分辨率為480×480，bayer格式輸出的圖像數據，每一幀大小約為0.22 MB，若圖像傳感器采集的幀率為30 fps，則圖像數據率約為6.6 MB/s，因此可滿足圖像數據的實時存儲。

圖6 FLASH寫操作時序

系統(tǒng)中圖像采集節(jié)點和中心控制節(jié)點之間的數據通信通過系統(tǒng)總線來完成，對于圖像幀的通信測試，在圖像采集節(jié)點中生成確定的2 048 byte數據，打包成一個圖像幀，以100 Mbps的速度發(fā)送到中心控制節(jié)點，循環(huán)發(fā)送1 000個這樣的圖像幀，并在ARM中將這1 000個圖像幀的數據寫入一個文件中，重復兩次圖像幀的通信測試，得到兩個數據文件并進行對比，如圖7所示。

在對各個部分進行調試驗證之后，按照系統(tǒng)的工作原理，對系統(tǒng)整體的功能進行調試。4個圖像采集節(jié)點同時采集480×480，bayer格式的圖像，實時存儲在該節(jié)點的FLASH中，然后同時讀取各個圖像采集節(jié)點中的一副圖像數據，由系統(tǒng)總線傳輸到中心控制節(jié)點中，再依次通過SPI接口傳輸

圖7 圖像幀通信測試

到ARM開發(fā)板上，得到4幅圖像的數據文件。將這4個數據文件拷貝到電腦上，分別進行插值處理轉換為可以直接打開顯示的BMP格式圖像，如圖8所示。結果表明，系統(tǒng)的整體設計是可行，系統(tǒng)采集并經過系統(tǒng)總線傳輸得到的多路圖像質量清晰，滿足系統(tǒng)的要求。

5 結束語

本文設計并實現了一種基于FPGA和塑料光纖的車載多路圖像采集傳輸系統(tǒng)，該系統(tǒng)通過4個相互獨立且能夠靈活放置的圖像采集節(jié)點，能夠充分記錄汽車周圍的圖像信息，而且采用了塑料光纖，可以不受汽車內電磁干擾穩(wěn)定的進行圖像數據的傳輸。

[1] LE NGUYEN D,LEE M E,LENSKY A.The design and implementation of new Vehicle Black Box using the OBD information．Computing and Convergence Technology (ICCCT),2012 7th International Conference on.IEEE,2012:1281-1284.

[2] THOMAS B,CHITHAMBRARAN R,PICARD Y,et al.Development of a cost effective bird's eye view parking assistance system．Recent Advances in Intelligent Computational Systems (RAICS),IEEE,2011:461-466.

(a)

(b)

(c)

(d)

[3] SHIMIZU S,KAWAI J,YAMADA H.Wraparound view system for motor vehicles.Fujitsu Sci.Tech.J,2010,46(1):95-102.

[4] 李嘉潔,陳非凡.基于加權表決的 POF 信號時鐘數據恢復方法.光通信技術,2012,36(2):47-50.

[5] YANG C K K,FARJAD-RAD R,HOROWITZ M A.A 0.5-μm CMOS 4.0-Gbit/s serial link transceiver with data recovery using oversampling.Solid-State Circuits,IEEE Journal of,1998,33(5):713-722．

Design of Vehicular Multiple Image Capture and Transmission System Based on FPGA

LI Jin-yu1,GU Ying-ke1,XIE Xiang1,LI Guo-lin2

(1.Institute of Microelectronics,Tsinghua University,Beijing 100084,China;2. Department of Electronic Engineering,Tsinghua University,Beijing 100084,China)

The design of vehicular multiple image capture and transmission system based on FPGA was proposed in this paper . The system included four image acquisition nodes and a central control node,the image acquisition node controlled CMOS image sensor to capture images data and then was stored in FLASH in real time. For shielding electromagnetic interference in the automotive environment,the system usesd plastic optical fiber as communication media between acquisition node and control node. A communication protocol used for vehicular image data transmission was designed in this paper. As the experiment and test shows,the system can achieve real-time multi-channel image acquisition and storage,and bring all image data back to PC for display.

FPGA; image acquisition; image transmission; bus protocol; plastic optical fiber;

2014-12-10 收修改稿日期：2015-06-28

TP361

A

1002-1841(2015)09-0053-03

李進宇(1988—)，碩士研究生，研究方向為嵌入式系統(tǒng)，數字電路系統(tǒng)設計。E-mail：ljytakk129@163.com 謝翔(1971—)，副研究員，研究方向為集成電路設計，圖像處理，無線能量傳輸等。