基于DLIS2K的高幀頻線陣成像系統(tǒng)設(shè)計?

陳文藝 朱紅雷 楊 輝

（1.西安郵電大學(xué)物聯(lián)網(wǎng)與兩化融合研究院 西安 710061）（2.西安郵電大學(xué)電子工程學(xué)院 西安 710121）

1 引言

隨著CMOS性能的不斷提升，CMOS線陣成像系統(tǒng)可以實(shí)現(xiàn)CCD線陣成像系統(tǒng)相同的成像質(zhì)量［1～2］，且系統(tǒng)具有低功耗、高集成度、高精度、高幀頻等優(yōu)勢而被廣泛應(yīng)用到機(jī)器視覺、邊沿檢測、條碼編碼定位、非接觸尺寸檢測等光電檢測領(lǐng)域［3～4］。目前國內(nèi)工業(yè)設(shè)備上使用的CMOS線陣成像系統(tǒng)一般只有像機(jī)功能，不能進(jìn)行實(shí)時圖像處理，因此開展高幀頻的CMOS線陣工業(yè)成像系統(tǒng)研究，并結(jié)合FPGA實(shí)現(xiàn)一體化的實(shí)時圖像傳感和處理系統(tǒng)具有較高實(shí)用價值［5～7］。

高幀頻線陣成像系統(tǒng)的設(shè)計采用線陣CMOS圖像傳感器DLIS2K做光電轉(zhuǎn)換，Altera公司的Cy?clone IV系列中的EP4CE10E22N8型現(xiàn)場可編程門陣列（Field Programmable Gate Arrays，F(xiàn)PGA）作為成像系統(tǒng)控制器和實(shí)時信號處理器，其中可編程片上系統(tǒng)（System on a Programmable Chip，SOPC）與上位機(jī)聯(lián)合完成圖像傳感器的在線驅(qū)動配置，避免了通過設(shè)計硬核或硬件描述語言驅(qū)動傳感器［8～9］。結(jié)合絕對位置檢測的需要，通過對DLIS2K相機(jī)系統(tǒng)的數(shù)模轉(zhuǎn)換（Analog to Digital Converter，DAC），預(yù)加載值等的在線優(yōu)化配置，Binning模式配置和中值濾波改進(jìn)了系統(tǒng)成像質(zhì)量。

2 圖像傳感器

DLIS2K線陣圖像傳感器的內(nèi)部功能框圖，如圖1所示，主要有六部分構(gòu)成：成像核心模塊、串口通信模塊、時序及寄存器控制模塊、DAC轉(zhuǎn)換模塊、11位鎖存模塊、視頻處理模塊［10］。

圖1 圖像傳感器功能框圖

DLIS2K線陣圖像傳感器的成像單元有效像元為4×2048，每行由2048個有效像元和48個暗像元組成，完成將光信號轉(zhuǎn)換成模擬電信號。串口通信模塊通過SENB，SDATA，SCLK完成圖像傳感器的工作時序和寄存器配置。同列的像元共用一個DAC，像元采集的模擬信號與DAC生成的斜坡對比，進(jìn)行模擬信號的數(shù)字化。每一像元都有一個對應(yīng)的11位的鎖存器，鎖存數(shù)字信號值。11位鎖存值做移位運(yùn)算移出10位數(shù)字信號，在視頻處理模塊做相關(guān)雙采樣后輸出數(shù)字視頻信號。

傳感器內(nèi)有42個寄存器，每個寄存器都為32位，前15位地址位，第16位為讀寫控制位，后16位為數(shù)據(jù)位?？梢酝ㄟ^串口通信模塊（SENB，SCLK，SDATA）完成對傳感器的參數(shù)和工作時序控制。

3 成像系統(tǒng)優(yōu)化配置

3.1 成像系統(tǒng)結(jié)構(gòu)

成像系統(tǒng)由控制單元部分和傳感單元部分組成，控制單元部分包括FPGA硬件控制系統(tǒng)和Nios軟件控制系統(tǒng)，傳感單元為線陣CMOS圖像傳感器器DLIS2K，系統(tǒng)結(jié)構(gòu)框圖如圖2所示。硬件控制系統(tǒng)按照自頂向下的設(shè)計思想，結(jié)合圖像傳感器的正常工作時序要求，完成配置接口及驅(qū)動采集單元的控制邏輯設(shè)計。FPGA實(shí)時處理后信號通過RS232或USB接口輸出到上位機(jī)。

圖2 成像系統(tǒng)結(jié)構(gòu)框圖

3.2 成像系統(tǒng)的優(yōu)化配置

線陣圖像傳感器DLIS2K的A/D轉(zhuǎn)換與一般器件不同，基本原理如圖3所示，將每個像元光電轉(zhuǎn)換的模擬信號s與位計數(shù)時鐘（BIN_CNT_CLK）驅(qū)動產(chǎn)生的模數(shù)轉(zhuǎn)換斜坡（DAC Ramp）信號一起并行送到每像元的比較器，根據(jù)編碼表進(jìn)行量化，同時計數(shù)時鐘（COUNTER_CLK）驅(qū)動11bit鎖存器鎖存模數(shù)轉(zhuǎn)換值。

DLIS2K像素DAC量化深度可選為8bit到12bit，以10bit DAC為例，相關(guān)雙采樣模式下，傳感器上電后進(jìn)行行選，DAC和鎖存器都被復(fù)位，DAC計數(shù)在每一行背景斜坡前都有一個預(yù)加載，該預(yù)加載（PRELOAD）值默認(rèn)是128，用于產(chǎn)生數(shù)字暗電壓值，實(shí)際預(yù)加載設(shè)置可以由COUNTER_CLK和正向計數(shù)信號（PLUS_CNT）。A/D轉(zhuǎn)換時，BIN_CNT_CLK進(jìn)行二進(jìn)制計數(shù)，依次驅(qū)動DAC Ramp信號產(chǎn)生背景斜坡和視頻斜坡，量化區(qū)間從暗到亮為0000～1023，如圖3（b）所示。成像單元光電轉(zhuǎn)化的模擬電信號s與DAC斜坡信號一起送到列比較器，模擬信號根據(jù)DAC斜坡量化區(qū)間進(jìn)行數(shù)字化，11位鎖存器鎖存被數(shù)字化的像素值。10bit DAC量化對應(yīng)的8421編碼如表1。

圖3 線陣圖傳感器DLIS2K A/D轉(zhuǎn)換基本原理

表1 10bitDAC轉(zhuǎn)換為8421碼量化表

通過配置傳感器的DAC_CON寄存器調(diào)整DAC量化的參考低電平（VREF LOW）和參考高電平（VREF HIGH），DAC_CON的［7：4］位值控制低參考偏移，其值越小VREF LOW上移，值越大VREF LOW下移；DAC_CON的［11：8］位值控制高參考偏移，其值越小VREF HIGH上移，其值越大VREF HIGH下移。高參考與低參考之間為量化區(qū)間，如圖4所示。預(yù)加載值PRELOAD為數(shù)字暗電平值，通過配置COUNTER_CLK寄存器實(shí)現(xiàn)對PRELAOD的設(shè)置；根據(jù)傳感成像單元光電轉(zhuǎn)化的模擬電信號s特點(diǎn)，合理設(shè)置參考電平和數(shù)字暗電壓值可優(yōu)化A/D轉(zhuǎn)換后數(shù)字信號。

行Binning操作是將同列不同行的像元，通過2個或更多SHUTTER信號配置行并，即將不同行像元光電轉(zhuǎn)換值傳遞到同一個傳感器節(jié)點(diǎn)，增大像元有效感光為面積，從而增加靈敏度。2倍行Bin?ning，4倍行Binning，如圖5（a），圖5（b）所示。

圖4 DAC配置調(diào)整參考電平

圖5 2倍Binning與4倍Binning

Binning操作是在同一個時間根據(jù)需要同時選用不止一個ROW_RESET［3：0］和SHUTTER［3：0］來完成的。通過（外部ROW_RESET和SHUTTER）重復(fù)時序和寄存器值對不同行進(jìn)行Binning操作。2倍行Binning工作時序，如圖6所示。

系統(tǒng)上電，首先通過內(nèi)部寄存器ROW_RE?SET0，ROW_RESET1，SHUTTER0，SHUTTER1一起完成相機(jī)的行選及行復(fù)位，TOGGLE（置高電平）、EXTRA_CLOCK（置高電平），完成初始計數(shù)模式的設(shè)置，F(xiàn)PGA產(chǎn)生的START信號對相機(jī)采樣進(jìn)行時序同步及行初始化；然后PRELOAD（置高電平）、COUNTER_CLK、PLUS_CNT信號一起完成預(yù)加載值的設(shè)置，WRITE_IN被置高電平，準(zhǔn)備背景噪聲采樣和視頻采樣；此后ROW_RESET0、ROW_RE?SET1脈沖復(fù)位傳感節(jié)點(diǎn)電路，MINUS_CNT（置高電平）與BIN_CNT_CLK、COUNTER_CLK一起驅(qū)動完成背景噪聲數(shù)字化；再后SHUTTER0，SHUTTER1脈沖將光電二極管轉(zhuǎn)換視頻電信號值傳輸?shù)絺鞲衅鞴?jié)點(diǎn)，視頻曝光結(jié)束，由BIN_CNT_CLK，COUN?TER_CLK一起驅(qū)動完成視頻數(shù)字化，最終得到相關(guān)雙采樣輸出的A/D信號值為視頻信號值減去背景信號值。當(dāng)采樣結(jié)束ROW_RESET與SHUTTER同時置高，像元和傳感器節(jié)點(diǎn)復(fù)位，然后SHUTTER和ROW_RESET置為邏輯低電平開始下一次視頻曝光。

圖6 2倍行Binning時序

成像系統(tǒng)完成一幀采樣需要8500個像素時鐘周期，可以通過提高系統(tǒng)像素時鐘實(shí)現(xiàn)提高采樣幀頻。成像系統(tǒng)硬件控制系統(tǒng)晶振提供100MHz驅(qū)動時鐘，通過FPGA內(nèi)的鎖相環(huán)PLL倍頻，分頻操作后，可以為系統(tǒng)提供不同的像素時鐘。

4 實(shí)驗(yàn)與分析

線陣成像系統(tǒng)工作時，一次采樣只用一行像元，一行即是一幀圖像，VGA不能很好的觀察顯示，而采用Altera FPGA開發(fā)工具Quartus II內(nèi)置邏輯分析儀Signaltap II，對線陣成像系統(tǒng)系統(tǒng)采集的圖像進(jìn)行觀察分析。在相同的實(shí)驗(yàn)條件下，成像系統(tǒng)系統(tǒng)工作在默認(rèn)配置，優(yōu)化參數(shù)配置，2倍Bin?ning模式下，用Signaltap II各采集一幀視頻圖像用波形顯示，如圖7（a），7（b），7（c）所示。

由圖7（a），圖7（b）優(yōu)化配置前后輸出一幀測試圖像，可以證明通過優(yōu)化配置參數(shù)系統(tǒng)很好的提高成像質(zhì)量。圖7（c）為配置到2倍行Binning模式時，系統(tǒng)靈敏度得到提升。成像系統(tǒng)由于讀出噪聲與光學(xué)系統(tǒng)因素，難免會引入一些噪聲，用Matlab將上述三種配置下的一幀圖像輸出顯示，如圖8（a），8（b），8（c）所示。

從實(shí)驗(yàn)中發(fā)現(xiàn)輸出信號具有較大的開關(guān)噪聲，分別對默認(rèn)配置，優(yōu)化參數(shù)配置，2倍Binning模式采集到的數(shù)據(jù)做一維中值濾波［11～12］，一維中值濾波窗口為1*7，濾波后輸出顯示如圖9（a），9（b），9（c）所示。

圖7 波形顯示對比圖

系統(tǒng)的信噪比（Signal Noise Ratio，SNR），可表示為其中S為相機(jī)輸出有效視頻信號，N為相機(jī)系統(tǒng)噪聲信號。

圖8 三種配置下一幀圖像輸出顯示

圖9 一維中值濾波后輸出顯示

分別對圖 8（a），圖 8（b），圖 8（c），圖 9（a），圖9（b），圖9（c）數(shù)據(jù)計算信噪比如表2所示。

表2 中值濾波前后三種工作模式信噪比

為了便于直觀地觀察線陣成像系統(tǒng)的實(shí)成成像性能，將多幀圖像信息合成，在Matlab中一起輸出顯示。在相同的條件下，對光柵尺進(jìn)行實(shí)際成像測試，將默認(rèn)配置和優(yōu)化配置、2倍Binning模式，三種配置時各采集100幀圖像合成后，用Matlab顯示如圖10（a），10（b），10（c）所示。

通過對圖10（a），10（b），10（c）對比分析可得，通過優(yōu)化配置系統(tǒng)參數(shù)，成像系統(tǒng)系統(tǒng)的成像質(zhì)量有很大的提高。通過行Binning操作，系統(tǒng)靈敏度得到較大提升。

系統(tǒng)采樣一幀需要8500個像素時鐘，通過FP?GA內(nèi)鎖相環(huán)PLL改變像素時鐘，提高系統(tǒng)采樣幀頻。DAC量化10bit輸出，成像系統(tǒng)分辨率2048，默認(rèn)配置下，像素時鐘為12MHz時，對應(yīng)的幀頻約為1412fps；配置到像素時鐘為60MHz時，對應(yīng)幀頻約為7059fps；配置到像素時鐘為80MHz時，對應(yīng)幀頻約為9412fps。成像系統(tǒng)的穩(wěn)定性和可行性經(jīng)過多次實(shí)驗(yàn)得到充分驗(yàn)證。

圖10 光柵尺實(shí)際成像測試

5 結(jié)語

將DLIS2K線陣CMOS圖像傳感器應(yīng)用到高幀頻線陣成像系統(tǒng)中，F(xiàn)PGA為成像系統(tǒng)控制和處理核心芯片，上位機(jī)聯(lián)合SOPC系統(tǒng)完成成像系統(tǒng)在線配置，支持在不改變原設(shè)計硬件電路基礎(chǔ)上，通過上位機(jī)實(shí)現(xiàn)對成像系統(tǒng)的在線控制。實(shí)驗(yàn)結(jié)果表明，成像系統(tǒng)在高速采集、靈敏度、在線可配置等方面都有很大改進(jìn)。成像系統(tǒng)工作在2倍Binning模式，像素時鐘80MHz，分辨率為2048時，實(shí)時采樣幀頻可達(dá)9412fps/s，信噪比為42.3dB，具有良好的成像效果和系統(tǒng)穩(wěn)定性，滿足高幀頻線陣成像設(shè)計要求。

［1］樊紅星，張小超，劉磊，等.基于FPGA的CMOS線陣圖像傳感器數(shù)據(jù)采集系統(tǒng)設(shè)計［J］.現(xiàn)代電子技術(shù)，2015，（14）：129-132.FAN Hongxing，ZHANG Xiaochao，LIU Lei，et al.Design of data acquisition system of CMOS linear array image sen?sor based on FPGA［J］.Modern Electronics Technique，2015，（14）：129-132.

［2］王旭東，葉玉堂.CMOS與CCD圖像傳感器的比較研究和發(fā)展趨勢［J］.電子設(shè)計工程，2010，18（11）：178-181.WANG Xudong，YE Yutang.Comparative Research and Future Tendency between CMOS and CCD Image Sensor［J］.Electronic Design Engineering，2010，18（11）：178-181.

［3］吳曉軍，白韶紅，啜丙強(qiáng)，等.基于CMOS線陣相機(jī)地鐵隧道裂縫快速檢測系統(tǒng)［J］.路基工程，2015（3）：185-190.WU Xiaojun，BAI Shaohong，SI Piqiang，et al.The Line Array Camera Subway Tunnel Crack Detection System Based on FPGA［J］.Subgrade Engineering，2015（3）：185-190.

［4］江志東，高太長，孫海洋，等.線陣CMOS圖像采集及編碼傳輸?shù)膶?shí)現(xiàn)［J］.傳感技術(shù)學(xué)報，2011，24（4）：554-558.JIANG Zhidong，GAO Taichang，SUN Haiyang，et al.Im?plementation of Linear CMOS Image Data Acquisition and Data Encode Compression［J］.Chinese Journal of Sensors and Actuators，2011，24（4）：554-558.

［5］周中雨.工業(yè)相機(jī)在發(fā)動機(jī)裝配線的應(yīng)用分析［J］.裝備制造技術(shù)，2015（6）：146-148，168.ZHOU Zhongyu.Application of Industrial Camera in En?gine Assembly Line［J］.Equipment Manufacturing Tech?nology，2015（6）：146-148，168.

［6］陳必威，梁志毅，王延新，等.基于FPGA的高幀速CMOS成像系統(tǒng)設(shè)計［J］.計算機(jī)測量與控制，2012，20（5）：1397-1400.CHEN Biwei，LIANG Zhiyi，WANG Yanxin，et al.Design of a High Speed CMOS Imaging System Based on FPGA［J］.Computer Measurement&Control，2012，20（5）：1397-1400.

［7］李方寧，王延杰，張濤，等.基于AM41V4傳感器的高清高速CMOS相機(jī)系統(tǒng)設(shè)計［J］.液晶與顯示，2015，（3）：492-498.LI Fangning，WANG Yanjie，ZHANG Tao，et al.Design of Hign-speed High-resolution CMOS Camera Acquisition System Based on AM41V4 Sensor［J］.Chinese Journal of Liquid Crystals and Displays，2015，（3）：492-498.

［8］Cheng K W，Yin C，Hsieh C C，et al.Time-delay integra?tion readout with adjacent pixel signal transfer for CMOS image sensor［C］//International Symposium on Vlsi De?sign，Automation，and Test.IEEE，2012：1-4.

［9］Yasutomi K，Itoh S，Kawahito S.A Two-Stage Charge Transfer Active PixelCMOS Image Sensor With Low-Noise Global Shuttering and a Dual-Shuttering Mode［J］.Electron Devices IEEE Transactions on，2011，58（3）：740-747.

［10］陳文藝，雷武亮，楊輝.基于Nios II的線陣圖像傳感器驅(qū)動系統(tǒng)設(shè)計［J］.西安郵電大學(xué)學(xué)報，2016，21（1）：84-88.CHEN Wenyi，LEI Wuliang，YANG Hui.Driving Design of Linear Image Sensor Based on Nios II［J］.Journal of Xi'an University Of Posts And Telecommuntications，2016，21（1）：84-88.

［11］普拉特，威廉克.數(shù)字圖像處理［M］.第4版新澤西州霍博肯市：約翰·威利父子，2007.Pratt，William K.Digital Image Processing［M］.4th Ed.Hoboken，NJ：John Wiley&Sons，2007.

［12］牛敏，鄔戰(zhàn)軍，牛燕雄，等.一種基于排序統(tǒng)計理論的快速圖像中值濾波法［J］.電子測量技術(shù)，2015（6）：60-63.NIU Min，WU Zhanjun，NIU Yanxiong，et al.Fast Im?age Median Filtering Method Baded on Statistical theory［J］.Electronic Measurement Technology，2015（6）：60-63.