李方寧,王延杰,張 濤,孫宏海
(1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所,吉林 長春 130033;2.中國科學(xué)院大學(xué),北京 100049)
隨著固態(tài)圖像傳感器技術(shù)的飛速發(fā)展,CMOS(互補(bǔ)金屬氧化物半導(dǎo)體Complementary Metal-Oxide Semiconductor)高清高速相機(jī)成為可能。攝像機(jī)也由當(dāng)初的硅靶型真空管攝像機(jī),F(xiàn)PS(聚 焦 投 影 和 掃 描 Focus Projection and Scanning)攝像機(jī),CCD(電荷耦合元件Chargecoupled Device)攝像機(jī)發(fā)展到當(dāng)前的CMOS攝像機(jī),相機(jī)拍攝幀頻也由數(shù)十幀升高為數(shù)千幀。采用CMOS圖像傳感器的高分辨率高幀頻攝像設(shè)備也廣泛用于國防、科研和工業(yè)等領(lǐng)域:國防軍事中,CMOS相機(jī)可用于快速捕捉高速飛行目標(biāo)的運(yùn)動軌跡,滿足對其測試監(jiān)控的需求;科學(xué)研究中,CMOS相機(jī)將各種高速實(shí)驗(yàn)過程記錄下來,更好的為科研提供有用的實(shí)驗(yàn)數(shù)據(jù);工業(yè)研發(fā)中,CMOS相機(jī)適用于各種行業(yè)的工藝研究,產(chǎn)品創(chuàng)新及測試環(huán)節(jié),推動了生產(chǎn)力發(fā)展[1]。與傳統(tǒng)CCD圖像傳感器相比,CMOS圖像傳感器具有工藝簡單、集成度高、成本低、功耗低、捕捉速度高和開發(fā)周期短等顯著優(yōu)勢,通過綜合對比,CMOS圖像傳感器更適合應(yīng)用于高分辨率高幀頻相機(jī)系統(tǒng)[2]。
目前生產(chǎn)高清高速相機(jī)的大都是美國、加拿大、德國、瑞士等西方發(fā)達(dá)國家,他們對CMOS高清高速相機(jī)系統(tǒng)的開發(fā)具有豐富的經(jīng)驗(yàn)和大量成功的先例。國外的高清高速相機(jī)通常幀頻都達(dá)到1000fps以上,分辨率高達(dá)百萬像素以上。和國外相比,國內(nèi)自主研發(fā)的高清高速相機(jī)在產(chǎn)品種類和產(chǎn)品質(zhì)量兩方面都亟待提升,對高分辨率高幀頻的CMOS成像系統(tǒng)的開發(fā)也不容忽視,現(xiàn)在我國的高分辨率高幀頻攝像設(shè)備多通過進(jìn)口引入國內(nèi)[3-7]。為打破這一格局,國內(nèi)急需展開含自主知識產(chǎn)權(quán)的高分辨率高幀頻相機(jī)的研究,掌握包含傳輸、控制、存儲和處理在內(nèi)的核心技術(shù),積累相機(jī)開發(fā)經(jīng)驗(yàn),這對滿足將來我國在高清高速拍攝領(lǐng)域的需求具有積極推動意義。
本文對高速CMOS圖像傳感器AM41V4進(jìn)行了簡要介紹,并基于該傳感器設(shè)計(jì)了高分辨率高幀頻相機(jī)系統(tǒng)。
AM41V4是美國ALEXIMA公司開發(fā)的一款針對高速機(jī)器視覺和運(yùn)動分析應(yīng)用的高分辨率高幀頻CMOS傳感器芯片。該芯片擁有2 368×1 728像素,有效像素為2 336×1 728,像元尺寸為7μm×7μm,滿幅分辨率下幀頻為500fps。同時AM41V4還具有ROI(感興趣區(qū)域讀取Region of Interesting)功能,在進(jìn)行開窗操作時,可以通過AM41V4的控制接口進(jìn)行設(shè)置,使其可以輸出我們指定窗口內(nèi)的圖像數(shù)據(jù)。采用ROI方式可以有效減小圖像數(shù)據(jù)大小,提高圖像輸出幀頻。
AM41V4的主要特征參數(shù)見表1。
表1 AM41V4圖像傳感器參數(shù)說明Tab.1 Performance specifications of AM41V4image sensors
AM41V4像素內(nèi)采用了5T晶體管結(jié)構(gòu)(如圖1所示),具有全局快門模式。全局快門保證陣列中所有像素都能同時啟動和終止光積分,避免了拍攝高速運(yùn)動所產(chǎn)生的果凍效應(yīng)。
圖1 快門像素簡圖Fig.1 Simplified diagram of the shutter pixel
圖1中PD是光電探測器,F(xiàn)D為像素內(nèi)存,RST為CMOS晶體管。在AB門上加載‘PD_n’信號,當(dāng)‘PD_n’低置時,允許相機(jī)進(jìn)行曝光,當(dāng)其高時,光電探測器PD復(fù)位;在TX門上加載‘TX_n’信號,當(dāng)‘TX_n’低置時使電荷從光電探測器PD轉(zhuǎn)移到像素內(nèi)存FD;CMOS管RST上加置‘PRST_n’信號,‘PRST_n’低置時重置像素內(nèi)存FD,‘PRST_n’與‘TX_n’配合使用時可以重置像素內(nèi)存。所以,如果需要清除整個像素,如長時間的停頓后,將‘PD_n’高置,‘TX_n’和‘PRST_n’低置,則能清除之前所積存下來的暗電流電荷像素。
AM41V4圖像傳感器的內(nèi)部框圖如圖2所示,主要由像素陣列,兩個列讀出模塊,一個四象限讀出控制體系及一些內(nèi)部產(chǎn)生的偏置電壓構(gòu)成。
AM41V4圖像傳感器的可讀像素為2 368×1 728,由2 336列有效像素陣列和32列暗陣列組成。AM41V4有16個端口,每個10位,共有160位數(shù)據(jù)輸出管腳。AM41V4的兩個列讀出塊分別位于芯片的頂部和底部,其中包括每列的采樣電路,放大電路,和帶有可讀SAR(逐次逼近寄存器Successive Approximation)的 ADCs(數(shù)字模擬轉(zhuǎn)換器 Analog to Digital Converter)寄存器,讀出的ADC數(shù)據(jù)暫時存儲在其中。將寄存器的讀出及傳感器控制驅(qū)動作為一個四象限讀出控制體系,這種四象限結(jié)構(gòu)使其能越過SAR ADCs寄存器進(jìn)行局部控制和局部數(shù)據(jù)的讀出,對于高速運(yùn)行的傳感器是來說是至關(guān)重要的。
圖2 AM41V4傳感器框圖Fig.2 AM41V4sensor block diagram
相機(jī)系統(tǒng)承擔(dān)著試驗(yàn)過程中場景到電信號的轉(zhuǎn)換,是整個高清高速攝影系統(tǒng)中至關(guān)重要的組成部分,它的性能指標(biāo)直接影響到整個相機(jī)系統(tǒng)的應(yīng)用場合定位。
通過綜合分析國內(nèi)外相關(guān)產(chǎn)品參數(shù),并結(jié)合AM41V4的性能參數(shù),我們提出了本設(shè)計(jì)的性能指標(biāo):
(1)相機(jī)分辨率為1 920×1 080像素;
(2)在1 920×1 080像素拍攝時幀頻為1 000幀;
(3)可由上位機(jī)軟件配置傳感器各項(xiàng)參數(shù),選定圖像尺寸;
(4)可依具體的拍攝需求靈活改變工作模式。
基于圖像傳感器AM41V4的高清高速相機(jī)由相機(jī)采集模塊、相機(jī)控制存儲模塊以及相機(jī)接口模塊3部分組成,如圖3所示。
相機(jī)采集模塊主要有相機(jī)鏡頭和CMOS圖像傳感器構(gòu)成,CMOS傳感器收集通過鏡頭射入的光信號并將其轉(zhuǎn)換成數(shù)字信號供后續(xù)電路使用??刂颇K采用FPGA(現(xiàn)場可編程門陣列Field Programmable Gate Arrays)作為系統(tǒng)核心控制,F(xiàn)PGA承擔(dān)為其他系統(tǒng)芯片提供驅(qū)動時序和控制信號的工作,從而使相機(jī)系統(tǒng)正常運(yùn)轉(zhuǎn)。加入高速大容量DDR3動態(tài)存儲器作為成像暫存器,配合HDMI高清接口可提供幀頻顯示功能。選擇光纖接口構(gòu)建相機(jī)接口模塊,可滿足相機(jī)高速實(shí)時傳輸?shù)男枨蟆?/p>
圖3 AM41V4相機(jī)結(jié)構(gòu)框圖Fig.3 Structure block diagram of AM41V4 CMOS camera
鏡頭和CMOS圖像傳感器構(gòu)成采集模塊,CMOS傳感器通過接受拍攝現(xiàn)場的光信息,利用光電效應(yīng)將光信號轉(zhuǎn)化成電信號,再通過CMOS內(nèi)部集成的A/D轉(zhuǎn)換器直接將拍攝所得的信息以數(shù)字信號形式傳送給控制模塊的FPGA[9]。
驅(qū)動時序是CMOS成像單元設(shè)計(jì)的重要一環(huán)。CMOS圖像傳感器AM41V4的滿幅像素陣列為2 368V×1 728H,根據(jù)這一特點(diǎn),驅(qū)動時序分為行時序與幀時序。行時序控制每行2 368個像素?cái)?shù)據(jù)的輸出。
圖4 高幀頻AM41V4行時序圖Fig.4 Row timing of high frame rate AM41V4 sensor
由于AM41V4具有ROI功能,選取像素為2 336V×1 080H的感興趣區(qū)域圖像進(jìn)行驗(yàn)證,系統(tǒng)行時序中(見圖4),“st_read_n”和實(shí)際“data”輸出之間有4個時鐘周期的延遲。圖像每行有2 336個有效像素和32個暗像素,傳感器在每個時鐘周期輸出一組(16個)像素的數(shù)據(jù),完成一行數(shù)據(jù)輸出需要2 368÷16=148個時鐘周期,一個完整的行時序?qū)嶋H占用了148+4=152個時鐘周期,此時完成了一行數(shù)據(jù)的輸出,行時序結(jié)束。數(shù)據(jù)共有1 080行,因此1 080個行時序正好把一幀的圖像數(shù)據(jù)輸出完畢,構(gòu)成一個完整的幀時序。由行時序占用的時間與幀時序的構(gòu)成,可以算出完成一幀圖像所占用的時鐘周期數(shù)為N=1 080行×152=164 160個時鐘周期。在時鐘主頻170 MHz的時候一個完成的幀時序占用時間為t=164 160÷170 000 000=0.000 966s,即占用時間約為1ms。由此可以算出時鐘主頻為170MHz時傳感器的的分辨率為2 336V×1 080H,幀頻約為1 000fps,通過FPGA處理剪裁掉416列,得到標(biāo)準(zhǔn)高清像素1 920V×1 080H,此時幀頻仍為1 000fps,滿足高清高速標(biāo)準(zhǔn)。使用行時序構(gòu)成幀時序的設(shè)計(jì)方法借鑒了CMOS圖像傳感器的特點(diǎn),有利于進(jìn)行設(shè)計(jì),在實(shí)際電路中也有利于進(jìn)行仿真與調(diào)試。
圖5 高幀頻AM41V4幀時序圖Fig.5 Frame timing of high frame rate AM41V4 sensor
在FPGA驅(qū)動下AM41V4傳感器使用一個二進(jìn)制編碼進(jìn)行外部行尋址(row0-row10),地址對應(yīng)的有效像素為0~1 079。從像素中讀出信號時傳感器控制模塊產(chǎn)生一個內(nèi)部脈沖序列操作,這些操作包括讀出存儲在FD節(jié)點(diǎn)的信號,使用PRST_n和TX_n控制信號重置像素,使讀出的信號對應(yīng)重置的像素。為了讀取選定行像素和進(jìn)行像素信號AD轉(zhuǎn)換,需要發(fā)送一個Start Row控制信號(“st_row_n”)。讀出一個像素行并將其數(shù)字化需要使用一定數(shù)量的時鐘。這個時鐘數(shù)量與將移芯片中所有數(shù)字?jǐn)?shù)據(jù)輸出所需的時鐘數(shù)是相匹配的。所以,在第一行的像素信號數(shù)字化完成后,可以發(fā)送Start Read控制信號(“st_read_n”)來讀出數(shù)字?jǐn)?shù)據(jù)。同時,可以運(yùn)用Start Row脈沖到下一個選定行。
AM41V4供電要求比較復(fù)雜,偏置電壓較多,電壓說明見表2。
表2 AM41V4圖像傳感器電壓說明Tab.2 Power specifications of AM41V4image sensors
由于需要的偏置電壓較多,在系統(tǒng)電路設(shè)計(jì)中應(yīng)綜合考慮元器件管腳數(shù)量及位置分布情況,使得電源和地到相應(yīng)的管腳距離最短。
相機(jī)系統(tǒng)采用FPGA作為邏輯主控器件,F(xiàn)PGA采用 XILINX公司的 Kintex-7系列XC7K325T芯片,依據(jù)不同的需求進(jìn)行現(xiàn)場可編程,充分利用電路板空間,使相機(jī)系統(tǒng)小型化。FPGA是系統(tǒng)的“指揮中心”,用來調(diào)節(jié)整個相機(jī)系統(tǒng)的工作,F(xiàn)PGA需要為系統(tǒng)每個狀態(tài)提供邏輯控制,為狀態(tài)間的跳轉(zhuǎn)提供必要的控制信號,保證整個圖像數(shù)據(jù)流的完整通暢[8]。FPGA在邏輯上所要實(shí)現(xiàn)的功能有:各芯片及邏輯的時序控制、CMOS工作參數(shù)的配置、高速圖像數(shù)據(jù)的接收與緩存、DDR3的讀寫控制,HDMI顯示控制及相機(jī)接口的控制。FPGA的功能框圖見圖6。
圖6 FPGA功能框圖Fig.6 Frame timing of high frame rate AM41V4 sensor
前已述及,高幀頻CMOS成像系統(tǒng)最高工作幀頻為1 000fps,通過FPGA處理后的圖像大小為1 920V×1 080H 像素,數(shù)據(jù)速率約為20 Gbit/s,系統(tǒng)通過引入高速大容量DDR3動態(tài)存儲器作為成像暫存器,配合HDMI接口進(jìn)行幀頻顯示,從而進(jìn)行實(shí)時的監(jiān)測。
為滿足需求,DDR3芯片的選型主要基于兩點(diǎn):內(nèi)部容量和工作頻率??紤]到AM41V4的輸出數(shù)據(jù)率很高,為確保完整的接收和儲存高速的數(shù)據(jù)流,在選擇DDR3芯片時須注意頻率和帶寬參數(shù)。本設(shè)計(jì)最終選擇 Micron公司的MT8JTF12864HZ,其單片存儲容量為1GB,位寬64bit,數(shù)據(jù)傳輸速率最高為1 600Mb/s,可滿足系統(tǒng)幀頻實(shí)時監(jiān)控需求。
相機(jī)接口用來完成系統(tǒng)圖像數(shù)據(jù)的傳輸任務(wù)。由于相機(jī)圖像采集數(shù)據(jù)量很大,因此對相機(jī)接口的傳輸速度有很高的要求。工業(yè)攝像常用的接口類型如表3所示。
表3 工業(yè)相機(jī)接口比較Tab.3 Comparison of camera interfaces in industry
續(xù)表
通過相機(jī)接口特點(diǎn)的對比和本系統(tǒng)性能指標(biāo)的要求,系統(tǒng)選用光纖通道(Fiber channel)作為相機(jī)接口,使用SFP+ (小型化可插拔光模塊Small form factor Pluggable)光模塊進(jìn)行光電轉(zhuǎn)換,變成光信號進(jìn)行傳輸。SFP+模塊具有高密度、低功耗、更低系統(tǒng)構(gòu)造成本等顯著優(yōu)點(diǎn),它遵循ANSI T11協(xié)議,可以滿足光纖通道的8.5 Gb的應(yīng)用[9]。本文相機(jī)系統(tǒng)實(shí)時傳輸圖像數(shù)據(jù)時理論帶寬值約20Gbps,由于光纖通道最大理論帶寬值為8.5Gbps,我們選用3個SFP+光模塊來進(jìn)行數(shù)據(jù)轉(zhuǎn)換,再通過光纖進(jìn)行數(shù)據(jù)傳輸[10],滿足相機(jī)實(shí)時傳輸高清高速圖像數(shù)據(jù)的要求。
系統(tǒng)在進(jìn)行測試試驗(yàn)中,選用轉(zhuǎn)動的風(fēng)扇作為高速運(yùn)動的目標(biāo),3個風(fēng)扇葉上分別標(biāo)注進(jìn)行數(shù)字1、2、3標(biāo)注,圖7為相機(jī)實(shí)驗(yàn)環(huán)境。
圖7 相機(jī)系統(tǒng)測試環(huán)境Fig.7 Testing environment of camera system
系統(tǒng)測試過程中,相機(jī)系統(tǒng)可通過DDR3動態(tài)存儲器對前端CMOS拍攝的圖像進(jìn)行暫存,通過HDMI接口連接顯示設(shè)備,進(jìn)行拍攝過程中的實(shí)時監(jiān)控,同時,相機(jī)系統(tǒng)通過光纖通道實(shí)時傳輸獲取到的圖像數(shù)據(jù),從而對高速運(yùn)動目標(biāo)進(jìn)行實(shí)時追蹤拍攝。圖8(a)、(b)為相機(jī)系統(tǒng)在不同時鐘主頻不同分辨率下實(shí)時拍攝高速運(yùn)動風(fēng)扇的圖像取樣。
圖8 不同條件下相機(jī)系統(tǒng)拍攝的圖像Fig.8 Images taken with the camera system under different conditions
圖8(a)為時鐘主頻140MHz,圖像分辨率2 336V×1 728H時拍攝的圖像取樣,此時的幀頻約500fps;圖8(b)為時鐘主頻170MHz,圖像分辨率1 920V×1 080H時拍攝的圖像取樣,此時的幀頻約1 000fps。
本設(shè)計(jì)將ALEXIMA公司的AM41V4型號CMOS圖像傳感器運(yùn)用在高速數(shù)字相機(jī)系統(tǒng)中,與國內(nèi)其他相機(jī)相比在分辨率、傳輸速度及高速實(shí)時顯示方面都有很大的提升:基于AM41V4傳感器芯片構(gòu)建的相機(jī)系統(tǒng)采用FPGA作為系統(tǒng)控制核心,光纖通道作為相機(jī)接口,在分辨率為1 920V×1 080時實(shí)時傳輸速度可達(dá)1 000幀/s,滿足高清高速相機(jī)標(biāo)準(zhǔn);在高速相機(jī)內(nèi)部引入了高速大容量DDR3動態(tài)存儲器作為成像暫存器,配合HDMI高清顯示接口可以實(shí)現(xiàn)幀頻實(shí)時監(jiān)控功能。本系統(tǒng)可以根據(jù)用戶需求在不改變系統(tǒng)硬件的前提下進(jìn)行擴(kuò)展,使系統(tǒng)更加靈活,應(yīng)用范圍更加廣泛。
[1] 蘇宛新.一種高幀頻CMOS圖像傳感器系統(tǒng)設(shè)計(jì)[J].液晶與顯示,2013,28(6):955-962.Su W X.Design of high frame frequency CMOS image sensor system [J].Chinese Journal of Liquid Crystals and Displays,2013,28(6):955-962.(in Chinese)
[2] 孫宏海,劉艷瀅.兩種高速CMOS圖像傳感器的應(yīng)用與測試[J].中國光學(xué),2011,4(5):453-460.Sun H H,Liu Y Y.Application and test of two different high-speed digital CMOS image sensor[J].Chinese Optical,2011,4(5):453-460.(in Chinese)
[3] 董巖,張濤,李清軍,等.基于PCI總線的CMOS圖像傳感器OV6620的驅(qū)動設(shè)計(jì)[J].液晶與顯示,2010,25(3):460-465.Dong Y,Zhang T,Li Q J,et al.Design of image aquision system based on PCI bus[J].Chinese Journal of Liquid Crystals and Displays,2010,25(3):460-465.(in Chinese)
[4] BlossH S,Ernst J D.High-speed-camera based on a CMOS active sensor[J].Proc.SPIE,2000,3968:31-38
[5] HOLST G C.Electro-optical Imaging System Performance[M].Bellingham:SPIE Optical Engineering Press,2006.
[6] JANESICK J R.Photon Transfer:DN→λ[M].Bellingham:SPIE Optical Engineering Press,2007.
[7] 李豫東,汪波,郭旗,等.CCD 與 CMOS圖像傳感器輻射效應(yīng)測試系統(tǒng)[J].光學(xué) 精密工程,2013,21(11):2778-2784.Li Y D,Wang B,Guo Q,et al.Testing system for radiation effects of CCD and CMOS image sensors[J].Optical and Precision Engineering,2013,21(11):2778-2784.(in Chinese)
[8] 彭進(jìn)業(yè),金浩強(qiáng),石劍虹,等.高速單像素相機(jī)數(shù)據(jù)采集系統(tǒng)[J].光學(xué) 精密工程,2014,22(4):837-843.Peng J Y,Jin H Q,Shi J H,et al.Data acquisition system for high speed single-pixel camera[J].Optical and Precision Engineering,2014,22(4):837-843.(in Chinese)
[9] 李進(jìn),呂增明,陶宏江,等.適于高速 CCD圖像數(shù)據(jù)光纖傳輸?shù)募m錯技術(shù)[J].光學(xué) 精密工程,2012,20(11):3548-3558.Li J,Lv Z M,Tao H J,et al.Error correction technology for CCD image using high speed optical fiber transmission[J].Optical and Precision Engineering,2012,20(11):3548-3558.(in Chinese)
[10] 夏巧嬌,汪鼎文,張立國,等.高速多通道遙感相機(jī)快視系統(tǒng)的實(shí)現(xiàn)[J].光學(xué) 精密工程,2013,21(1):158-166.Xia Q J,Wang D W,Zhang L G,et al.Realization of fast-view system for high-speed multi-channel remote sensing camera[J].Optical and Precision Engineering,2013,21(1):158-166.(in Chinese)