嵌入式機(jī)器視覺系統(tǒng)圖像處理和傳輸接口設(shè)計(jì)

邱永華

（廣東女子職業(yè)技術(shù)學(xué)院，廣東 廣州 510450）

0 引言

隨著自動(dòng)化程度的不斷提高，機(jī)器視覺的應(yīng)用在制造業(yè)的生產(chǎn)過程中日益廣泛。例如：在產(chǎn)品的質(zhì)量控制中，可以對(duì)機(jī)械零件的外觀、產(chǎn)品包裝的正誤、電路板焊接的好壞和IC字符印刷的質(zhì)量等進(jìn)行檢測(cè)。應(yīng)用機(jī)器視覺來代替人工檢測(cè)，可以大大提高生產(chǎn)效率和檢測(cè)的可靠性，減輕工作人員的勞動(dòng)強(qiáng)度。機(jī)器視覺還可以完成人工檢測(cè)難以快速完成的工作，獲得準(zhǔn)確的檢測(cè)數(shù)據(jù)，比如零件的寬度、圓孔的直徑以及基準(zhǔn)點(diǎn)的坐標(biāo)等。

機(jī)器視覺系統(tǒng)根據(jù)硬件平臺(tái)的不同大致分為：基于PC的機(jī)器視覺系統(tǒng)和嵌入式機(jī)器視覺系統(tǒng)。前者開發(fā)周期短，開發(fā)成本較低，但局限于PC機(jī)的應(yīng)用；后者則具有高度的靈活性，使機(jī)器視覺技術(shù)的應(yīng)用領(lǐng)域大大擴(kuò)展。所以，進(jìn)行嵌入式視覺系統(tǒng)的研究具有實(shí)際意義和廣闊的應(yīng)用前景。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)設(shè)計(jì)目標(biāo)

本文研究的嵌入式機(jī)器視覺系統(tǒng)是人機(jī)對(duì)弈智能化機(jī)器人系統(tǒng)的子部分。機(jī)器人系統(tǒng)包括3個(gè)部分：機(jī)器視覺系統(tǒng)、多DSP嵌入式控制器和6自由度機(jī)器人。機(jī)器視覺系統(tǒng)采集棋盤信息，進(jìn)行識(shí)別并將識(shí)別結(jié)果發(fā)送到多DSP控制器系統(tǒng)，再用控制器系統(tǒng)來控制機(jī)器人落子下棋。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 人機(jī)對(duì)弈智能化機(jī)器人系統(tǒng)

機(jī)器視覺系統(tǒng)包括圖像采集部分、圖像緩存部分（包括CPLD：復(fù)雜可編輯器件總線接口）和圖像處理部分。圖像采集部分要求CMOS圖像傳感器接收到采集命令后能夠以視頻和快照兩種模式采集圖像數(shù)據(jù)，并配合行、場(chǎng)同步信號(hào)輸出數(shù)字?jǐn)?shù)據(jù)。CPLD構(gòu)成的總線傳輸接口對(duì)前一個(gè)部分輸出的數(shù)據(jù)進(jìn)行時(shí)序和位數(shù)的處理，能準(zhǔn)確地采集一行或一幀數(shù)據(jù)并以直接內(nèi)存存取 (DMA)的方式將其保存到指定的RAM中。當(dāng)保存完完整的一幀數(shù)據(jù)后，圖像處理部分能從緩存中讀取數(shù)據(jù)并進(jìn)行處理，結(jié)果由USB或以太網(wǎng)口輸出。本文重點(diǎn)介紹前面兩個(gè)部分。

1.2 系統(tǒng)硬件布局

機(jī)器視覺系統(tǒng)硬件結(jié)構(gòu)包括兩個(gè)模塊：CMOS模塊和嵌入式處理器（ARM9）模塊。CMOS模塊主要包括LM629芯片及其外部電路，ARM9模塊除了包括核心芯片SC2410和CPLD以外，還包括FLASH、RAM存儲(chǔ)器，USB、串口和以太網(wǎng)口輸出電路，以及電源和顯示電路。ARM9模塊上有CMOS模塊的接線插槽，為CMOS模塊提供時(shí)鐘、電源和其它控制信號(hào)。CMOS模塊能夠根據(jù)不同的應(yīng)用要求 (如不同的分辨率)而進(jìn)行任意更換。系統(tǒng)的硬件布局如圖2所示。

1.3 系統(tǒng)總體框圖

ARM9通過I2C總線編程初始化和控制CMOS模塊，對(duì)LM629的內(nèi)部寄存器設(shè)定缺省參數(shù)，例如：對(duì)增益、對(duì)比度、亮度、清晰度、系數(shù)、曝光、時(shí)鐘、水平窗口和垂直窗口的設(shè)置等。同時(shí)還控制CMOS模塊圖像采集的開始、暫停、結(jié)束等操作。CMOS模塊在ARM9的控制下主要完成圖像的采集，其采集的圖像數(shù)據(jù)隨著像素時(shí)鐘、行場(chǎng)同步信號(hào)輸出到CPLD構(gòu)成的總路線接口。CPLD通過內(nèi)部編程實(shí)現(xiàn)一行或一幀數(shù)據(jù)的準(zhǔn)確采集以及16位數(shù)據(jù)到32位的轉(zhuǎn)換處理。當(dāng)采集到一定量的數(shù)據(jù)后發(fā)出DMA請(qǐng)求，ARM9交出總線控制權(quán)給DMA，CPLD和SRAM之間按設(shè)好的數(shù)據(jù)量和地址進(jìn)行數(shù)據(jù)傳輸；當(dāng)數(shù)據(jù)傳輸完畢，DMA將總線控制權(quán)交還給ARM9；完成圖像數(shù)據(jù)的存儲(chǔ)。ARM9將采集的圖像數(shù)據(jù)與預(yù)存數(shù)據(jù)進(jìn)行比較，通過相關(guān)的算法處理，找出二者的區(qū)別，獲得當(dāng)前所需的數(shù)據(jù)信息，通過USB或以太網(wǎng)口輸出。系統(tǒng)總體設(shè)計(jì)如圖3所示。

圖3 系統(tǒng)總體設(shè)計(jì)框圖

2 系統(tǒng)硬件設(shè)計(jì)

圖4 LM9638圖像數(shù)據(jù)輸出示意圖

2.1 圖像采集模塊的設(shè)計(jì)

圖像采集模塊即CMOS模塊，它包括圖像采集芯片LM9638及其外圍電路和與ARM9模塊接口的部分，主要功能是完成圖像數(shù)據(jù)的采集，并將各種信號(hào)輸出到相關(guān)的接口。接口信號(hào)包括：圖像數(shù)據(jù)信號(hào)D0-D9、行場(chǎng)同步信號(hào)hsync和vsync、像元時(shí)鐘信號(hào)pclk、I2C控制接口sda和sclk、主時(shí)鐘輸入信號(hào)mclk、復(fù)位信號(hào)resetb、下電信號(hào)PWD、使能快照信號(hào)Snapshort、外部事件同步信號(hào)extsync以及數(shù)字電VDD和數(shù)字地GND信號(hào)。

2.1.1 LM9638簡(jiǎn)介

LM9638是高性能、低功耗，0.84cmVGA CMOS有源像元傳感器。用于獲取靜止或運(yùn)動(dòng)灰度圖像并轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)流。具有視頻和快照兩種工作模式，有源像元陣列提供片內(nèi)10位A/D轉(zhuǎn)換器、固定圖形噪聲消除單元、視頻增益。另外，內(nèi)部集成了靈活的時(shí)序和控制單元使用戶可以最大限度地調(diào)整積分時(shí)間、有效窗口尺寸、增益和幀頻，還提供了多種控制、時(shí)序和電源模式。

2.1.2 LM9638圖像數(shù)據(jù)輸出硬件結(jié)構(gòu)

LM9638輸出為滾筒式曝光，即指以行為單位，對(duì)像素陣列進(jìn)行信號(hào)采樣、處理、輸出。一行內(nèi)所有像素的處理是并行的，各行間像素的處理是串行的。其處理一行像素的工作原理如下：開始積分時(shí)間時(shí)片內(nèi)時(shí)序和控制電路將在一行時(shí)間內(nèi)復(fù)位陣列中一行的每個(gè)像素，開始曝光，曝光時(shí)間到，時(shí)序和控制電路將給每行提供地址，同時(shí)傳輸像素積分值到相關(guān)的雙采樣電路，然后到移位寄存器。一但相關(guān)的雙采樣數(shù)據(jù)被裝入移位寄存器，時(shí)序和控制電路將開始移出它們。像元數(shù)據(jù)進(jìn)入模擬視頻放大器。之后，通過增益來調(diào)整轉(zhuǎn)換每個(gè)像素的模擬量為10位數(shù)字?jǐn)?shù)據(jù)，最后經(jīng)過剔除壞像素和補(bǔ)償黑電平處理輸出。如圖4所示。

2.1.3 LM9638模塊與ARM9模塊的接口

LM9638模塊與ARM9模塊的接口如圖5所示。

LM9638模塊與ARM9模塊除了有數(shù)據(jù)輸出接口、I2C控制接口以外，還包括其它的信號(hào)：

a）mclk

傳感器主時(shí)鐘，由ARM9模塊提供。

b）PWD

強(qiáng)制為邏輯1時(shí)傳感器置輸入電源下電模式。LM9638帶有片內(nèi)電源管理系統(tǒng)通過數(shù)字和模擬電路打開（Power up）和關(guān)閉電源（Power down）。 它可以用小于千分之一秒的時(shí)間使所有的電路上電。

c）resetb

強(qiáng)制為邏輯0時(shí)傳感器復(fù)位至其缺省電源上電狀態(tài)。

d）Snapshort

使能快照模式，實(shí)現(xiàn)LM9638采集單幀圖像的功能，自動(dòng)快照模式在收到Snapshort觸發(fā)信號(hào)后，內(nèi)部時(shí)序和控制電路將產(chǎn)生內(nèi)部觸發(fā)信號(hào)，在一行周期內(nèi)復(fù)位陣列。當(dāng)復(fù)位周期結(jié)束后控制電路將通過extsync腳產(chǎn)生外部事件同步信號(hào)。

e）extsync

外部事件同步信號(hào)，用于快照模式時(shí)同步外部事件。

LM9638模塊3 V數(shù)字電和地輸入。

2.2 圖像緩存模塊的硬件設(shè)計(jì)

圖像緩存模塊把CPLD傳輸接口中的圖像數(shù)據(jù)存儲(chǔ)到SRAM中，數(shù)據(jù)在CPLD中進(jìn)行位數(shù)轉(zhuǎn)換完畢后發(fā)出DMA請(qǐng)求，ARM9響應(yīng)DMA并將圖像數(shù)據(jù)保存到SRAM，完成圖像緩存。

圖像緩存模塊的硬件結(jié)構(gòu)如圖6所示。

圖6 圖像緩存模塊的硬件圖

DMA的特點(diǎn)決定了其適合圖像緩存的功能。數(shù)據(jù)在不同的存儲(chǔ)空間所轉(zhuǎn)移的任務(wù)交給DMA來完成，而ARM只專注于數(shù)據(jù)的處理。雖然對(duì)圖像數(shù)據(jù)進(jìn)行的傳輸也可由軟件實(shí)現(xiàn)，但將消耗掉大量的CPU時(shí)鐘周期，使ARM的高速性能難以發(fā)揮。而由DMA來進(jìn)行同樣的工作幾乎不占用CPU的時(shí)鐘周期。下面是DMA進(jìn)行圖像數(shù)據(jù)存儲(chǔ)的過程：

1)當(dāng)CPLD將16位的圖像數(shù)據(jù)轉(zhuǎn)換成32位數(shù)據(jù)后，經(jīng)過處理后的行同步信號(hào)或楨同步信號(hào)就向DMA控制器發(fā)出請(qǐng)求信號(hào)DREQ，且此信號(hào)在DMA釋放總線權(quán)后才有效；

2)當(dāng)DMA控制器采樣到有效的DMA請(qǐng)求信號(hào)DREQ后，就向CPU發(fā)出總線請(qǐng)求信號(hào)HRQ；

3)DMA控制器向CPU發(fā)出總線請(qǐng)求信號(hào)HRQ后，至少再過一個(gè)時(shí)鐘周期，CPU才能發(fā)總線響應(yīng)信號(hào)HLDA，然后DMA控制器便可獲得總線控制權(quán)；

4)DMA控制器獲得總線控制權(quán)，向CPLD發(fā)出DMA的響應(yīng)信號(hào)DACK；

劉鐵頭走后，我就去了李老黑家。李老黑剛吃過晚飯，正翹腿歪在沙發(fā)上剔牙。李老黑的老婆則木著臉坐在一旁的凳子上，看見我進(jìn)門，只是翻了一下眼皮，沒有答理我。

5)DMA控制器獲得總線控制權(quán)后，控制數(shù)據(jù)在CPLD與SRAM之間傳送，直到傳送完預(yù)定的數(shù)據(jù)（一行或一楨）；

6)DMA控制器的請(qǐng)求信號(hào) (向CPU的)變?yōu)闊o效，CPU恢復(fù)對(duì)系統(tǒng)總線的控制權(quán)。

經(jīng)過上述過程，圖像數(shù)據(jù)便由CPLD存儲(chǔ)到SRAM中，完成圖像緩存。

2.3 圖像處理模塊的設(shè)計(jì)

圖像處理部分主要是從SRAM中讀取數(shù)據(jù)與預(yù)存模板進(jìn)行比較處理，結(jié)果由USB或以太網(wǎng)口輸出。其中還包括Linux系統(tǒng)移植，驅(qū)動(dòng)程序的編寫與移植和ARM圖像算法處理等。

3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)的軟件主要是CPLD編程，把16位的圖像信號(hào)轉(zhuǎn)換成32位，在數(shù)據(jù)進(jìn)行轉(zhuǎn)換之前，首先必需了解從CMOS模塊中輸出到CPLD的數(shù)據(jù)時(shí)序。

3.1 LM9638 數(shù)據(jù)輸出時(shí)序

LM9638輸出的數(shù)字?jǐn)?shù)據(jù)包括：10位的圖像數(shù)字信號(hào)d[9：0]、行同步信號(hào)hsync、幀同步信號(hào)vsync和像素時(shí)鐘信號(hào)pclk。pclk總是固定周期，數(shù)字圖像輸出總線d[9：0]上像素?cái)?shù)據(jù)和pclk的有效沿是同步的。行同步輸出hsync用于選定行數(shù)據(jù)，在電平模式hsync被確定為一電平（低或高）從每行開始保持到該行最后一像素被讀出到數(shù)字圖像輸出總線d[9：0]上。hsync電平總是與像素時(shí)鐘pclk有效沿同步。幀同步信號(hào)vsync，被用作幀內(nèi)象素?cái)?shù)據(jù)的指示器。每幀開始時(shí)vsync輸出腳為一特定標(biāo)準(zhǔn)（高或低）并保持該狀態(tài)直到該幀結(jié)束，hsync也總是與pclk的邊沿同步。如圖7所示。

3.2 CPLD 的程序設(shè)計(jì)

ARM9的數(shù)據(jù)總路線是32位，而從LM9638輸出的圖像數(shù)據(jù)僅僅只有10位，如果將這10位數(shù)據(jù)放在總線上進(jìn)行傳輸，必將造成極大的資源浪費(fèi)，如果能將這10位數(shù)據(jù)轉(zhuǎn)換成32位進(jìn)行傳輸，不僅節(jié)約了資源，而且還提高了傳輸速率。系統(tǒng)中將這10位數(shù)據(jù)當(dāng)成16位進(jìn)行處理，高6位用0來填充。于是就要求CPLD能把16位數(shù)據(jù)轉(zhuǎn)換成32位。由于后級(jí)的處理位寬是前級(jí)的2倍，因此后級(jí)處理的時(shí)鐘頻率也將下降為前級(jí)的1/2。如果把前級(jí)的時(shí)鐘進(jìn)行2分頻來作為后級(jí)的時(shí)鐘，這種方法引入了新的時(shí)鐘域，處理上需要采取多時(shí)鐘域的處理方式，因而在設(shè)計(jì)復(fù)雜度提高的同時(shí)系統(tǒng)的可靠性也將降低，為了避免以上問題，這里采用了時(shí)鐘使能的方法以減少設(shè)計(jì)的復(fù)雜度。其原理圖如圖8所示。

在像素時(shí)鐘觸發(fā)和行同步信號(hào)有效的情況下，第一個(gè)移位寄存器將在第一個(gè)pclk下降沿時(shí)把16位數(shù)據(jù)放入移位寄存器的高位，在第二個(gè)pclk下降沿時(shí)把移位寄存器的高位放入低位，又把輸入的16位數(shù)據(jù)放到移位寄存器的高位，這樣以兩個(gè)pclk周期反復(fù)循環(huán)，把輸入的16位數(shù)據(jù)轉(zhuǎn)換成32位，第一個(gè)移位寄存器的輸出直接輸入到第二個(gè)移位寄存器，第二個(gè)移位寄存器在時(shí)鐘使能信號(hào)有效時(shí)才把輸入轉(zhuǎn)為輸出。因?yàn)榭刂戚敵龅臅r(shí)鐘使能信號(hào)是通過pclk計(jì)數(shù)觸發(fā)后形成，相當(dāng)于pclk的二分頻，故能在兩個(gè)pclk周期內(nèi)使能一次，在正確的時(shí)間內(nèi)輸入輸出。下面是軟件仿真得到的時(shí)序圖，如圖9所示。

pck即為像素時(shí)鐘，date_in是16位數(shù)據(jù)輸入，row_syn是行同步信號(hào)，clk1x_en是時(shí)鐘使能信號(hào)，date_out是32位數(shù)據(jù)輸出。從圖中可以看到，輸出有一定的時(shí)延，在傳輸存儲(chǔ)的時(shí)候不能以行同步或幀同步信號(hào)直接作為DMA觸發(fā)信號(hào)，應(yīng)將其經(jīng)過延遲處理再作觸發(fā)信號(hào)，保證處理后的信號(hào)與輸出信號(hào)同步，以此能夠正確地傳輸。

3.3 CPLD程序的其它功能

CPLD在圖像采集到圖像存儲(chǔ)的過程中起到橋梁的關(guān)鍵作用，其功能除了將采集的10圖像數(shù)據(jù)轉(zhuǎn)換成32位和與ARM的DMA控制傳輸，還包括其它功能：

1）CCD模塊所需的外部時(shí)鐘，復(fù)位等其它控制信號(hào)；

2）EXTBUS信號(hào)控制，該信號(hào)對(duì)存儲(chǔ)器的操作有效；

3）提供系統(tǒng)的復(fù)位信號(hào)，CPLD負(fù)責(zé)對(duì)按鍵復(fù)位信號(hào)，電源的reset信號(hào)，網(wǎng)卡的復(fù)位信號(hào)進(jìn)行判斷，從而控制系統(tǒng)復(fù)位。

5 結(jié)束語(yǔ)

CMOS圖像傳感器采集的數(shù)據(jù)經(jīng)過CPLD轉(zhuǎn)換，通過DMA訪問的方式滿足了機(jī)器智能視覺識(shí)別系統(tǒng)的實(shí)時(shí)采集和處理需求，可以運(yùn)用于環(huán)境比較穩(wěn)定的識(shí)別系統(tǒng)。但對(duì)于一些光線亮度偏高或者偏低的環(huán)境，圖像的亮度往往會(huì)影響數(shù)據(jù)的準(zhǔn)確性，進(jìn)而影響到識(shí)別精度，所以對(duì)于光線偏暗的環(huán)境，可以在拍攝的時(shí)候加上閃光燈，對(duì)于光線偏亮的環(huán)境增加亮度調(diào)節(jié)功能，盡量將實(shí)時(shí)拍攝的圖像保持與模板一致，或者通過相關(guān)算法保證能夠不會(huì)因?yàn)榱炼鹊母淖冇绊懽R(shí)別效果，這也是今后重點(diǎn)研究的方向。

[1]孔德林.基于嵌入式的機(jī)器人目標(biāo)識(shí)別視覺系統(tǒng)設(shè)計(jì)[D].西安：西安電子科技大學(xué)，2007.

[2]王建華.基于嵌入式系統(tǒng)的機(jī)器人視覺及其在機(jī)器人控制中的應(yīng)用[D].重慶：重慶大學(xué)，2003.

[3]符意德，陸陽(yáng).嵌入式系統(tǒng)原理及接口技術(shù)[M].北京：清華大學(xué)出版社，2007.

[4]ARM9基礎(chǔ)實(shí)驗(yàn)教程[R].深圳：深圳市英蓓特信息技術(shù)有限公司，2005.

[5]ARM9 Linux[R].深圳：深圳市英蓓特信息技術(shù)有限公司，2005.

[6]吳明暉.基于ARM的嵌入式系統(tǒng)開發(fā)與應(yīng)用[M].北京：人民郵電出版社，2006.

[7]邱永華，賀文健.開放式運(yùn)動(dòng)控制器人機(jī)界面的研究與設(shè)計(jì)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，（4）：45-49.

[8]邱永華.智能蹺蹺板小車控制系統(tǒng)的設(shè)計(jì)[J].電子產(chǎn)品可靠性與環(huán)境試驗(yàn)，2011，29（1）：32-38.