可本地編譯的嵌入式計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

彭 澎， 陳 耀， 徐志宇， 余有靈

(同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 201804)

·計(jì)算機(jī)技術(shù)應(yīng)用·

可本地編譯的嵌入式計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

彭 澎， 陳 耀， 徐志宇， 余有靈

(同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 201804)

開(kāi)發(fā)了一套具有本地編譯能力的低成本模塊化嵌入式計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)系統(tǒng)“CV-Innovator”。硬件上，該系統(tǒng)的嵌入式處理器采用全志A20雙核ARM Cortex-A7 SoC(System on Chip，片上系統(tǒng))，通過(guò)彩色CMOS攝像頭OV7670采集實(shí)時(shí)圖像，18 cm TFT-LCD顯示屏和USB鍵盤(pán)鼠標(biāo)提供友好的人機(jī)交互。軟件上，為“CV-Innovator”構(gòu)建了嵌入式Linux操作系統(tǒng)，可在嵌入式Linux環(huán)境下開(kāi)發(fā)和運(yùn)行基于OpenCV和Qt的計(jì)算機(jī)視覺(jué)應(yīng)用程序。進(jìn)行了樣機(jī)試制，并設(shè)計(jì)了一個(gè)人臉檢測(cè)示例應(yīng)用程序，其結(jié)果表明“CV-Innovator”能實(shí)現(xiàn)預(yù)期功能，可應(yīng)用于我國(guó)高校計(jì)算機(jī)、電子信息及自動(dòng)化等相關(guān)專業(yè)的本科實(shí)驗(yàn)教學(xué)。

嵌入式系統(tǒng); 計(jì)算機(jī)視覺(jué); 實(shí)驗(yàn)系統(tǒng)

0 引 言

嵌入式系統(tǒng)是為特定應(yīng)用而設(shè)計(jì)的專用計(jì)算機(jī)系統(tǒng)，如今被廣泛應(yīng)用于電信、汽車電子、醫(yī)療、多媒體及航空等領(lǐng)域[1]。嵌入式系統(tǒng)作為一門(mén)軟硬結(jié)合、實(shí)踐性強(qiáng)的重要專業(yè)課程，被我國(guó)大多數(shù)高校的電子電信類專業(yè)納入本科生培養(yǎng)計(jì)劃，但是在嵌入式系統(tǒng)課程的教學(xué)中普遍存在以下不足之處[2-4]：

(1) 實(shí)驗(yàn)操作死板，學(xué)生參與度低。多為驗(yàn)證性實(shí)驗(yàn)，即讓學(xué)生依照實(shí)驗(yàn)指導(dǎo)書(shū)的步驟，機(jī)械地將已有的實(shí)驗(yàn)代碼燒寫(xiě)到芯片中運(yùn)行并觀察結(jié)果。導(dǎo)致缺乏探索性，學(xué)生為完成任務(wù)而實(shí)驗(yàn)，不利于工程能力和創(chuàng)新思維的培養(yǎng)。

(2) 實(shí)驗(yàn)設(shè)備陳舊，與行業(yè)主流脫節(jié)。傳統(tǒng)的嵌入式系統(tǒng)試驗(yàn)箱體積龐大、價(jià)格昂貴，因此難以及時(shí)更新?lián)Q代，以至于很多高校仍用較落后的ARM7或ARM9進(jìn)行實(shí)驗(yàn)教學(xué)。該現(xiàn)象不利于學(xué)生了解行業(yè)前沿和主流的技術(shù)，實(shí)驗(yàn)中學(xué)到的技能難以在創(chuàng)新項(xiàng)目和學(xué)科競(jìng)賽中應(yīng)用。

(3) 實(shí)驗(yàn)內(nèi)容分散，未形成體系。CC++程序設(shè)計(jì)、微機(jī)原理、嵌入式系統(tǒng)及數(shù)字圖像處理等專業(yè)課程的實(shí)驗(yàn)教學(xué)相對(duì)獨(dú)立，缺乏綜合性的實(shí)踐環(huán)節(jié)。不利于學(xué)生對(duì)課程之間內(nèi)在關(guān)聯(lián)的理解和對(duì)于嵌入式系統(tǒng)相關(guān)技術(shù)的全局認(rèn)知。

計(jì)算機(jī)視覺(jué)(Computer Vision, CV)作為一門(mén)綜合性學(xué)科，在如今的信息時(shí)代已被廣泛用于軍事、工業(yè)和生活之中[5]?？紤]到嵌入式系統(tǒng)的發(fā)展趨勢(shì)，并針對(duì)上述的問(wèn)題，將嵌入式系統(tǒng)與計(jì)算機(jī)視覺(jué)主題相結(jié)合，設(shè)計(jì)了一套低成本、模塊化的嵌入式計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)系統(tǒng)“CV-Innovator”。該系統(tǒng)以嵌入式處理器為核心，運(yùn)行嵌入式Linux OS，用戶在OS環(huán)境下借助OpenCV和Qt等開(kāi)源函數(shù)庫(kù)開(kāi)發(fā)計(jì)算機(jī)視覺(jué)應(yīng)用程序，處理CMOS攝像頭采集的圖像并將結(jié)果顯示在TFT-LCD顯示屏上。

1 硬件設(shè)計(jì)

“CV-Innovator”實(shí)驗(yàn)系統(tǒng)以模塊化為指導(dǎo)思想進(jìn)行硬件設(shè)計(jì)。如圖1所示，嵌入式處理器模塊是整個(gè)系統(tǒng)的核心部分，并負(fù)責(zé)系統(tǒng)電源管理及與外圍模塊的數(shù)據(jù)交換。嵌入式處理器模塊具有多種接口：通過(guò)USB接口連接WiFi模塊和鍵盤(pán)鼠標(biāo)；通過(guò)I2C總線讀寫(xiě)攝像頭內(nèi)部寄存器，同時(shí)通過(guò)CSI(CMOS Sensor Interface)接口接收?qǐng)D像像素?cái)?shù)據(jù)；通過(guò)LVDS(Low-Voltage Differential Signaling)接口連接TFT-LCD模塊。

圖1 “CV-Innovator”的硬件結(jié)構(gòu)示意圖

1.1 嵌入式處理器模塊

目前用于處理計(jì)算機(jī)視覺(jué)任務(wù)的主流嵌入式硬件平臺(tái)有DSP[6]、FPGA[7]和ARM Cortex-A系列SoC[8]等?；贏RM Cortex-A系列SoC的硬件平臺(tái)雖然計(jì)算速度不如前二者，但其開(kāi)發(fā)門(mén)檻較低、通用性較好，且與嵌入式系統(tǒng)理論教學(xué)內(nèi)容聯(lián)系密切，因此有利于學(xué)生在短時(shí)間內(nèi)掌握。

本文的嵌入式處理器模塊采用市售的核心板和自主設(shè)計(jì)的擴(kuò)展板相結(jié)合的模式。如圖2所示，核心板由雙核ARM Cortex-A7 SoC全志A20、1 GB DDR3內(nèi)存、4 GB eMMC存儲(chǔ)器、以太網(wǎng)MAC芯片和電源管理芯片等組成，通過(guò)兩組100-pin排針引出了SoC的眾多接口。經(jīng)測(cè)試，該核心板的SoC最高可在1.104 GHz的主頻下穩(wěn)定運(yùn)行。

1.2 攝像頭模塊

“CV-Innovator”主要針對(duì)計(jì)算機(jī)視覺(jué)應(yīng)用開(kāi)發(fā)而設(shè)計(jì)，攝像頭的成像質(zhì)量對(duì)計(jì)算機(jī)視覺(jué)處理的效果具有較大的影響。考慮到主要用于教學(xué)目的，攝像頭的選取既要保證成像質(zhì)量，又需要有成熟的內(nèi)核驅(qū)動(dòng)的支持及完善的文檔說(shuō)明。綜合以上考慮，本文在全志A20的攝像頭支持列表里選擇了市面上最為常見(jiàn)的OV7670攝像頭模塊。OV7670是一款彩色CMOS圖像傳感器，擁有640x480有效像素，最高幀率30幀/s，經(jīng)實(shí)測(cè)能滿足本文的功能需求。

1.3 人機(jī)交互模塊

本文設(shè)計(jì)的是能夠進(jìn)行本地開(kāi)發(fā)的嵌入式系統(tǒng)，也就是讓實(shí)驗(yàn)人員直接在嵌入式系統(tǒng)上編寫(xiě)和調(diào)試程序，為了使系統(tǒng)的使用體驗(yàn)接近PC，采用USB無(wú)線鍵盤(pán)鼠標(biāo)作為輸入設(shè)備。在系統(tǒng)的設(shè)計(jì)過(guò)程中，考慮了3種顯示方案：① PC顯示器；② VNC遠(yuǎn)程桌面；③ TFT-LCD。

其中，方案①通過(guò)HDMI接口連接普通PC顯示器具有最好的顯示效果，但該方案違背了低成本和使用便捷的設(shè)計(jì)初衷。方案②VNC遠(yuǎn)程桌面顯示需要依賴另一臺(tái)PC，且配置過(guò)程較為繁瑣，不適合作為本科生教學(xué)實(shí)驗(yàn)系統(tǒng)使用。本文最終采用方案③，即采用18 cm TFT-LCD模塊作為顯示設(shè)備，該模塊分辨率為1024x600，通過(guò)LVDS接口連接嵌入式處理器模塊。

1.4 WiFi模塊

為了使系統(tǒng)具有聯(lián)網(wǎng)功能，加入了市售USB WiFi模塊，該模塊基于瑞昱RTL8188方案，帶寬為150 Mb/s。由于該模塊體積小巧，通過(guò)SMT工藝貼裝在嵌入式處理器模塊的擴(kuò)展板上，由板上的線路連接到核心板的USB-HOST接口。通過(guò)該模塊連接WiFi熱點(diǎn)，使系統(tǒng)能夠?yàn)g覽網(wǎng)頁(yè)、使用包管理器為L(zhǎng)inux安裝軟件或開(kāi)發(fā)TCP/IP網(wǎng)絡(luò)應(yīng)用等。

2 軟件開(kāi)發(fā)

嵌入式軟件開(kāi)發(fā)通常有交叉編譯和本地編譯兩種方式，交叉編譯步驟繁瑣，但適用于各種硬件資源有限的場(chǎng)合。本地編譯可采用命令行的文本編輯器和編譯工具(如Vim+CMake)，也可采用圖形化IDE(如Eclipse, Qt Creator)。為了降低使用難度，避免學(xué)生對(duì)嵌入式系統(tǒng)產(chǎn)生畏懼心理，本系統(tǒng)的設(shè)計(jì)力求保留嵌入式系統(tǒng)核心特色的同時(shí)接近在PC上的開(kāi)發(fā)體驗(yàn)，因此采用圖形化IDE進(jìn)行本地編譯的開(kāi)發(fā)方式。本系統(tǒng)的嵌入式處理器集成了Mali400 MP2 GPU，擁有1 GB內(nèi)存容量，具備用圖形化IDE進(jìn)行本地編譯的硬件條件。經(jīng)測(cè)試，本系統(tǒng)在LXDE Ubuntu的環(huán)境下能夠流暢地運(yùn)行Qt Creator。

“CV-Innovator”的Linux用戶空間軟件構(gòu)架如圖3所示，基于本系統(tǒng)的實(shí)驗(yàn)內(nèi)容即圖中最頂層的應(yīng)用程序開(kāi)發(fā)。應(yīng)用程序通過(guò)Qt構(gòu)建圖形用戶界面程序框架，調(diào)用OpenCV提供的類和函數(shù)實(shí)現(xiàn)圖像處理和計(jì)算機(jī)視覺(jué)算法，其他的功能(如串口通信、TCP/IP網(wǎng)絡(luò)通信)需要直接調(diào)用相應(yīng)的Linux API實(shí)現(xiàn)。

圖3 “CV-Innovator”的用戶空間軟件構(gòu)架

3 樣機(jī)制作與軟件開(kāi)發(fā)

樣機(jī)外觀如圖4所示，其主要參數(shù)見(jiàn)表1。

圖4 “CV-Innovator”實(shí)驗(yàn)系統(tǒng)樣機(jī)

項(xiàng)目型號(hào)/參數(shù)規(guī)格220mm×150mm×205mm凈重0.9kg供電5V3A適配器嵌入式處理器模塊市售開(kāi)源核心板+自主設(shè)計(jì)的擴(kuò)展板攝像頭OV7670模塊(不帶FIFO)顯示屏EJ070NA-01J7寸LVDS液晶屏

本文開(kāi)發(fā)了一個(gè)符合圖3所示構(gòu)架的人臉檢測(cè)示例應(yīng)用程序，并成功在樣機(jī)上運(yùn)行和測(cè)試。該程序?yàn)镃++語(yǔ)言編寫(xiě)，調(diào)用V4L2(Video for Linux 2) API從攝像頭采集圖像，并在GUI界面中顯示；利用Viola-Jones檢測(cè)器[9]對(duì)實(shí)時(shí)圖像進(jìn)行人臉檢測(cè)，若檢測(cè)到人臉，則打印圖像中人臉區(qū)域的坐標(biāo)。

人臉檢測(cè)，即采用一定的策略對(duì)圖像進(jìn)行全局搜索，利用分類器確定其中是否含有人臉，如果有則返回人臉區(qū)域的坐標(biāo)和大小等信息。本示例程序采用的 Viola-Jones檢測(cè)器是一種類Haar特征boost篩選式級(jí)聯(lián)分類器，這種算法不僅快速，而且也適用于大多數(shù)具有紋理的近似剛體[9]。Viola-Jones檢測(cè)器在OpenCV 3.0中被封裝為CascadeClassifier類，其成員函數(shù)load從xml文件中讀取分類器數(shù)據(jù)，成員函數(shù)detectMultiScale對(duì)輸入圖像進(jìn)行人臉檢測(cè)。由于人臉檢測(cè)要求以灰度圖像作為輸入，預(yù)處理階段進(jìn)行了RGB圖像到灰度圖像的顏色空間轉(zhuǎn)換和針對(duì)灰度圖像的直方圖均衡化等操作。示例應(yīng)用程序?qū)崿F(xiàn)了基于Qt的圖形界面，運(yùn)行在“CV-Innovator”實(shí)驗(yàn)系統(tǒng)中如圖5所示。

圖5 示例應(yīng)用程序的圖形界面

改變目標(biāo)的大小、姿態(tài)以及光照條件，分別對(duì)示例應(yīng)用程序進(jìn)行了人臉檢測(cè)的魯棒性測(cè)試，圖6截取了部分成功檢出人臉的運(yùn)行結(jié)果。 該試驗(yàn)說(shuō)明，Viola-Jones檢測(cè)器對(duì)目標(biāo)的光照條件變化具有較強(qiáng)的魯棒性，卻在目標(biāo)旋轉(zhuǎn)和部分遮擋條件下的檢測(cè)性能稍差，一旦目標(biāo)旋轉(zhuǎn)和遮擋超過(guò)圖6(c)～(f)所示的程度，就幾乎不能成功檢出。Viola-Jones檢測(cè)器對(duì)目標(biāo)具有縮放不變性，但為了提高檢測(cè)速度，示例應(yīng)用程序忽略了小于50×50像素人臉區(qū)域的搜索。

(a) 標(biāo)準(zhǔn)目標(biāo)

(b) 目標(biāo)較小

(c) 輕微旋轉(zhuǎn)

(d) 輕微旋轉(zhuǎn)

(e) 部分遮擋

(f) 部分遮擋

(g) 弱光照

(h) 強(qiáng)光照

(i) 光照不均勻

除了“CV-Innovator”實(shí)驗(yàn)系統(tǒng)，本文還將人臉檢測(cè)示例應(yīng)用程序移植到JZ2440開(kāi)發(fā)板和樹(shù)莓派3B卡片電腦中運(yùn)行。表2上半部分簡(jiǎn)要列出了“CV-Innovator”、JZ2440開(kāi)發(fā)板和樹(shù)莓派3B的硬件配置，下半部分列出了示例應(yīng)用程序中被調(diào)用OpenCV函數(shù)的平均運(yùn)行耗時(shí)(圖像分辨率均為352×288像素)。

由表2可得，執(zhí)行一次完整的人臉檢測(cè)過(guò)程，“CV-Innovator”需要136.38 ms，幀率可達(dá)7.3幀/s；樹(shù)莓派3B僅需53.69 ms，幀率可達(dá)18.6幀/s；而采用典型ARM9 SoC的JZ2440開(kāi)發(fā)板則超過(guò)2 s。因此，就性能而言，“CV-Innovator”的ARM Cortex-A7構(gòu)架雖與更加先進(jìn)的64 bit ARM Cortex-A53有一定差距，但相比ARM9具有較大優(yōu)勢(shì)。

表2 “CV-Innovator”同JZ2440及樹(shù)莓派3B的對(duì)比

4 結(jié) 語(yǔ)

本文開(kāi)發(fā)了一套可本地編譯的嵌入式計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)系統(tǒng)“CV-Innovator”。硬件以全志A20雙核SoC和OV7670彩色CMOS攝像頭為核心，以18 cm TFT-LCD、USB鍵盤(pán)鼠標(biāo)等為人機(jī)交互。軟件基于嵌入式Linux OS，借助Qt和OpenCV構(gòu)建計(jì)算機(jī)視覺(jué)相關(guān)的應(yīng)用程序。樣機(jī)制作及人臉檢測(cè)示例應(yīng)用程序的測(cè)試證實(shí)了實(shí)驗(yàn)系統(tǒng)的有效性。

“CV-Innovator”解決了傳統(tǒng)高校嵌入式系統(tǒng)教學(xué)模式中的一些不足：體積小巧、成本低廉、易于使用，兼顧課堂教學(xué)亦可用作快速方案驗(yàn)證與原型開(kāi)發(fā)，與驗(yàn)證性實(shí)驗(yàn)相比具有趣味性和探索性；相較于ARM7、ARM9、ARM11，實(shí)驗(yàn)系統(tǒng)使用的雙核ARM Cortex-A7構(gòu)架更先進(jìn)、性能更強(qiáng)大，且嵌入式平臺(tái)實(shí)現(xiàn)的視覺(jué)反饋控制在機(jī)器人、無(wú)人機(jī)、智能安防監(jiān)控等前沿領(lǐng)域有應(yīng)用前景，具有新穎性和實(shí)用性；綜合運(yùn)用了嵌入式系統(tǒng)、數(shù)字圖像處理、程序設(shè)計(jì)、自動(dòng)控制、計(jì)算機(jī)網(wǎng)絡(luò)等專業(yè)知識(shí)與技能，具有綜合性和連貫性。

[1] 施樂(lè)平, 楊征宇，馬憲民，等. ARM嵌入式系統(tǒng)綜述[J]. 中國(guó)測(cè)試, 2012，38(z):14-16.

[2] 馮 源，劉曉虎，夏 立. 基于ARM平臺(tái)的嵌入式技術(shù)綜合設(shè)計(jì)實(shí)驗(yàn)教學(xué)[J]. 實(shí)驗(yàn)室研究與探索， 2014，33(9):205-235.

[3] 羅 勇，李高杰. 基于NFS的嵌入式系統(tǒng)ARM實(shí)驗(yàn)教學(xué)平臺(tái)設(shè)計(jì)[J]. 實(shí)驗(yàn)室研究與探索， 2015，34(10):89-107.

[4] 鄢秋榮, 王玉皞, 王艷慶, 等. 面向軟硬件協(xié)同設(shè)計(jì)的嵌入式系統(tǒng)教學(xué)改革與實(shí)踐[J]. 實(shí)驗(yàn)室研究與探索， 2016，35(6):190-193.

[5] 陸志偉，王明革，趙瑞海. 計(jì)算機(jī)視覺(jué)技術(shù)的研究與應(yīng)用[J]. 數(shù)字技術(shù)與應(yīng)用， 2016(3):109.

[6] XU Fen, ZENG Jian-jun, ZHANG Yun-long. Design of a DSP-based CMOS imaging system for embedded computer vision[C]//2008 IEEE Conference of Cybernetics and Intelligent System， 2008:430-433.

[7] Luca Maggiani, Claudio Salvadori, Matteo Petracca,etal. Reconfigurable FPGA architecture for computer vision application in smart camera networks[C]//Seventh ACM/IEEE International Conference of Distributed Smart Cameras， 2013:1-6.

[8] 張 濤，王建魁，張國(guó)山，等. 基于Cortex-A8的嵌入式車牌識(shí)別系統(tǒng)設(shè)計(jì)[J]. 電子設(shè)計(jì)工程， 2015，23(9):167-170.

[9] Paul Viola, Michael Jones. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition， 2001:511-518.

[10] 郭 磊，王秋光. Adaboost人臉檢測(cè)算法研究及OpenCV實(shí)現(xiàn)[J]. 哈爾濱理工大學(xué)學(xué)報(bào)， 2009, 14(5):123-126.

[11] 陳國(guó)榮，向 毅. “嵌入式軟件和系統(tǒng)”專業(yè)教學(xué)改革思路探索[J]. 重慶科技學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版)，2009(12):203-204.

[12] 王寶珠，劉 偉. 基于ARM11的視頻圖像中運(yùn)動(dòng)物體檢測(cè)跟蹤系統(tǒng)[J]. 電子設(shè)計(jì)工程， 2012, 20(24):168-174.

[13] 方 華，郭 靜，田敬北. 基于OpenCV的嵌入式圖像處理平臺(tái)的構(gòu)建[J]. 無(wú)線互聯(lián)科技， 2015(3)：53-54.

[14] 汪 洋，李 垚，黃 魯. 基于Qt和OpenCV的無(wú)線視頻監(jiān)控系統(tǒng)[J]. 微型機(jī)與應(yīng)用，2015(10)：67-69.

[15] 姚宇樂(lè)，陳 強(qiáng)，張九衛(wèi)，等. 基于ARM920T的嵌入式圖像處理平臺(tái)搭建及應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用, 2016(7)：208-212.

Development of a Native Buildable Embedded Computer Vision Experimental System

PENG Peng, CHEN Yao, XU Zhiyu, YU Youling

(College of Electronics & Information Engineering, Tongji University, Shanghai 201804, China)

This paper develops a native buildable low-cost modular embedded computer vision experimental system named “CV-Innovator”. In the hardware aspect, this experimental system was composed as follows: an ARM Cortex-A7 dual-core SoC Allwinner A20 used as embedded processor; an OV7670 CMOS digital camera module collects real-time image; a 7-inch TFT-LCD monitor as well as a set of keyboard and mouse with USB port provide friendly human-machine interaction. In the software aspect, we build an embedded Linux OS for “CV-Innovator”, so the OpenCV and Qt based computer vision application program can be developed and run under the embedded Linux. When a prototype was made, we designed a face detection example application program. The example results validated the effectiveness of “CV-Innovator”, and system can be used in practice teaching of the computer science, electronic information, automation, etc.

embedded systems; computer vision; experimental system

2016-11-19

國(guó)家自然科學(xué)基金(71401125);上海市重點(diǎn)課程建設(shè)項(xiàng)目，同濟(jì)大學(xué)第11期實(shí)驗(yàn)教改項(xiàng)目、第8期精品實(shí)驗(yàn)項(xiàng)目。

彭 澎(1994-)，男，云南昆明人，碩士生，從事嵌入式系統(tǒng)開(kāi)發(fā)、電子系統(tǒng)設(shè)計(jì)研究。

Tel.: 021-69589241；E-mail: 1631552pp@#edu.cn

徐志宇(1982-)，男，山西太原人，博士，高級(jí)工程師，碩導(dǎo)，從事智能自動(dòng)化應(yīng)用研究。

Tel.: 021-69584663；E-mail: xuzhiyu@#edu.cn

TP 37

A

1006-7167(2017)08-0133-04