智能相機發(fā)展及其關鍵技術

孫長勝，吳云峰，張傳義，劉寧文，賴東寅

（1.電子科技大學光電信息學院，四川成都61005；2.中國工程物理研究院流體物理研究所，四川綿陽621900）

機器視覺應用中通常由CCD或CMOS相機捕獲場景圖像，以先進的計算機技術為基礎，通過圖像理解來分析提取產(chǎn)品的質(zhì)量信息，并執(zhí)行相應的處理。隨著機器視覺和半導體技術的發(fā)展，智能相機變得越來越普遍，越來越多的嵌入式處理器和多媒體專用處理芯片應用到智能相機中來[1-3]。近年來，基于智能相機的嵌入式機器視覺系統(tǒng)向傳統(tǒng)基于PC的視覺系統(tǒng)提出了挑戰(zhàn)。

1 智能相機組成與工作原理

智能相機也稱為智能圖像傳感器或者智能視覺傳感器。智能相機不同于一般的圖像處理系統(tǒng)，它要能夠?qū)崿F(xiàn)以下功能：

1）圖像的獲取，一般采用CCD或CMOS傳感器來獲得需要處理的圖像數(shù)據(jù)。

2）圖像的處理，圖像處理系統(tǒng)的任務是接收來自圖像傳感器的圖像信息和同步信號，進行圖像采集，并根據(jù)不同要求執(zhí)行相應的算法處理。

3）檢測結果的控制信號的傳輸，根據(jù)處理結果，給出相應的控制信號，以控制執(zhí)行部件采用相應的處理方案。

4）能夠提供較為靈活的升級方案，能夠根據(jù)工作環(huán)境的要求改進軟件，并能夠很容易地對軟件進行升級，以適應不同的應用場合。

一般智能相機系統(tǒng)由3部分組成：圖像采集模塊、圖像處理模塊、通信控制模塊[4]。其組成框圖如圖1所示。

圖1 智能相機系統(tǒng)結構Fig.1 System architecture of intelligent camera

圖像采集單元是CCD/CMOS圖像傳感器和圖像采集卡的集成。圖像采集單元將光學圖像轉(zhuǎn)換為數(shù)字圖像，然后輸出至圖像處理單元；圖像處理單元用來完成圖像處理任務，主要包括處理器和存儲器，圖像處理單元對采集到的圖像/視頻數(shù)據(jù)進行預處理、壓縮和有選擇的存儲，結合圖像處理軟件對圖像進行處理和分析；通信接口單元主要完成智能相機和計算機或其他計算控制設備之間的圖像數(shù)據(jù)傳遞及控制信息交流任務。用戶可以通過通信接口對智能相機進行參數(shù)設置，完成數(shù)據(jù)和程序的上傳；智能相機則通過通信接口向其他設備傳送圖像或分析圖像的結果。有的智能相機還提供數(shù)字I/0接口。I/0接口主要用作控制信號的輸入輸出，方便智能相機和其他自動化設備的連接。

2 智能相機發(fā)展現(xiàn)狀

目前市場上的智能相機主要來自于歐美，國內(nèi)的智能相機發(fā)展相對較為薄弱。表1所示為較為著名的國內(nèi)外智能相機廠商和部分代表產(chǎn)品的參數(shù)。

NI智能相機小巧而堅固的封裝中，結合了單色CCD圖像傳感器和實時嵌入式PowerPC處理器。NI智能相機能夠以60 f/s的速率采集VGA（640×480）圖像，并與NI視覺軟件平臺中的全套視覺算法協(xié)同工作。

表1 國內(nèi)外部分智能相機及其相關參數(shù)Tab.1 Some intelligent cameras in the world and theirs relevant parameters

德國Vision-Components公司是最早生產(chǎn)智能相機的廠家，是智能相機產(chǎn)品的領航者。每個智能相機在其很小的體積內(nèi)集成了CCD傳感器、圖像采集卡、存儲器、圖像處理專用高速DSP、PLC功能、視頻輸出信號，以太網(wǎng)和RS232接口和大量通用軟件。采用牢固的工業(yè)外殼，抗震動和沖擊能力強，是真正工業(yè)用智能相機。該公司還為OEM用戶開發(fā)專用智能相機，配備專用軟件和鏡頭成為專用光學檢測系統(tǒng)和專用傳感器。

美國PPT VISION公司一直致力于機器視覺技術的創(chuàng)新，已經(jīng)在全球成功安裝了數(shù)千套機器視覺系統(tǒng)，是全球機器視覺創(chuàng)新的領導者。

Fast Vision公司的智能相機采用分辨率高達2 352×1 728的CMOS圖像傳感器，處理速度最快可達240 f/s，有16個輸出端口，采用FPGA配置工作界面和圖像處理。

大恒圖像有限公司開發(fā)的非制冷紅外智能相機，使用新一代非制冷式紅外探測器，熱靈敏度高，圖像更清晰。使用更高精度的14位數(shù)字圖像，能更準確地發(fā)現(xiàn)溫度異常，自動捕捉全屏高溫區(qū)域，實現(xiàn)多區(qū)域高溫分析，可設定上限報警溫度值，高于該溫度值可自動報警。工作時可完全脫離PC，多個設備可通過標準網(wǎng)絡連接，組成區(qū)域監(jiān)控報警系統(tǒng)，可實現(xiàn)火警探測、溫度異常報警、非接觸測溫等功能，廣泛應用于消防、安防、電力、石化、冶金、醫(yī)療等領域。

漢王科技的智能相機采用TI DSP為處理器[5]，CMOS圖像傳感器為圖像攝入單元，提供了RS232、100 MB以太網(wǎng)等接口。典型應用為字符識別。它通過PC主軟件經(jīng)由網(wǎng)絡對其執(zhí)行遠程配置和運行控制，通過二維圖像方式，不依賴PC能獨立進行字符識別，向外部發(fā)送識別結果信號和數(shù)據(jù)。通常用于工業(yè)制造中產(chǎn)品標簽識別和驗證，在噴碼工業(yè)、藥品制造、型材制造、印刷工業(yè)、包裝行業(yè)、煙草行業(yè)等領域應用廣泛。

3 智能相機面臨的關鍵技術問題

智能相機將走向更為智能、更高速度、更高精度、更易操作、成本更低的未來發(fā)展趨勢。其關鍵技術主要體現(xiàn)在以下3個方面：分辨率的提高、處理速度的提高以及人機交互更人性化。

3.1 分辨率的提高

隨著CCD和CMOS研發(fā)技術的提高，圖像傳感器的分辨率朝著越來越高的方向發(fā)展[6]。在較高分辨率的應用中CCD仍占有一定的優(yōu)勢，但CCD控制與供電較為復雜，并且數(shù)據(jù)存取較CMOS要慢。有些場合提出了采用低分辨率廉價相機拼接為高分辨率相機的研究方式[7]，圖像結果如圖2所示。其中圖（a）和（b）分別為160×120像素和80×60像素，圖（b）的分辨能力不如圖（a）。利用4臺和圖（b）一樣分辨率的相機分別采圖，如圖2（c）～（f）所示，即可以得到和圖2（a）相同的分辨效果。

3.2 處理速度的提高

圖2 圖像結果Fig.2 Image results

處理器是智能相機的硬件基礎，隨著嵌入式技術的發(fā)展，嵌入式處理器PowerPC、DSP、FPGA等器件被用在智能相機開發(fā)中。上海某公司比較成熟的智能相機EagleEye2系列產(chǎn)品RMVA200SC，具有130萬像素彩色/黑白逐行掃描CCD，美妙48億次運算能力的嵌入式DSP系統(tǒng)，還有大規(guī)模FPGA作為圖像協(xié)處理器，大大提高了處理速度。SICK公司推出的IVC-2D集成了高性能圖像芯片、強大的專用處理器，搭載了專業(yè)功能強大的圖像處理軟件IVC Studio，能為用戶提供高性能且穩(wěn)定的解決方案。

3.3 人機交互更人性化

隨著通信技術和嵌入式技術的發(fā)展，更高速的通信方式在智能相機系統(tǒng)中得以應用[8]。例如千兆位以太網(wǎng)、USB通信以及CAN總線技術利于智能相機工作模式的配置。Linux、WinCE、Palm OS、μCOS-Ⅱ、VxWorks等嵌入式操作系統(tǒng)的應用使得人機交互更方便。

3.4 簡易硬件平臺的提出

針對國內(nèi)外當前發(fā)展現(xiàn)狀，提出了FPGA和DSP相結合的智能相機開發(fā)方案，方案框圖如圖3所示。采用低端FPGA來驅(qū)動圖像傳感器進行圖像采集，可以充分利用FPGA的嚴格時序，并且可以利用FPGA來進行低級的圖像處理算法，提高了處理速度。利用多媒體專業(yè)DSP進行后期的高級圖像處理算法，給圖像處理工程師降低了設計難度。采用DDR2可以極大地提高數(shù)據(jù)存取速度，利用千兆網(wǎng)進行圖像信息的傳輸或工作模式的配置，利用CAN模塊來連接控制系統(tǒng)，利用S端子進行圖像的實時顯示。

圖3 簡易硬件平臺結構框圖Fig.3 Block diagram of sample hardware platform

4 結束語

智能相機作為工業(yè)控制系統(tǒng)和監(jiān)控系統(tǒng)的關鍵執(zhí)行部件，因其具有廣泛的應用前景，對其進行的研究正方興未艾。隨著嵌入式和SOPC的發(fā)展以及圖像處理算法的研究，越來越多的算法和外圍硬件技術將會添加到智能相機上，因此智能相機會朝著高精度、高速度、多功能、小型化、集成化的方向發(fā)展。而且隨著不同工業(yè)、軍事以及民事的要求，智能相機的設計也會因為其側重點不同而簡化設計，實現(xiàn)專用化。因此成本和體積也會隨著大幅度降低，智能相機的普及就會越來越快?？梢灶A測，在不久的將來，高性能、低價格的智能相機將會運用在人們生活中。

[1]Mustafah Y，Azman A，Bigdeli A，et al.An automated face recognition system for intelligence surveillance：smart camera recognizing faces in the crowd[J].First ACM/IEEE International Conference on Distributed Smart Cameras，2007：147-152.

[2]Wolf W，Ozer B，Lv T.Smart cameras as embedded systems[J].Computer，2002（35）：48-53.

[3]Kolsch M，Kiascanin B.Embedded computer vision and smart cameras[J].Tutorial Given on Embedded Systems Conference，Silicon Valley，2007：15-18.

[4]許芬.智能視覺傳感器及其應用[J].中國儀器儀表，2007（4）：26-29.

XU Fen.Intelligent vision sensors and their applications[J].China Instrumentation，2007（4）：26-29.

[5]李春輝.基于TMS320DM642的圖像采集系統(tǒng)的設計與實現(xiàn)[D].天津：天津大學，2007.

[6]HUANG Mei-ling，ZHANG Bo-heng.Character comparison of CCD and CMOS image sensor[J].Science Technology and Engineering，2007（2）:249-251.

[7]Leon-Salas W D，Velipasalar S，Schemm N，et al.A low-cost，tiled embedded smart camera system for computer vision applications[J].IEEE Trans.Electron Devices，2007（44）：125-131.

[8]Shi Y，Raniga P，Mohamed I.A smart camera for multimodal human computer interaction[C]//The 10th IEEE International C symposium on Consumer Electronics，on CD-ROM proceedings，St.Petersburg，2006：29-31.