基于FPGA與DSP的實(shí)時(shí)視頻圖像偏色校正系統(tǒng)

周楨

摘 要： 提出一種基于FPGA與DSP的實(shí)時(shí)視頻圖像偏色校正系統(tǒng)，包括數(shù)字視頻解碼芯片、FPGA、DSP以及數(shù)字視頻編碼芯片。該系統(tǒng)能以一種格式接收視頻圖像信號(hào)并以相同的格式輸出，輸出偏色校正后的視頻信號(hào)相比輸入的視頻信號(hào)而言，延遲非常小，實(shí)時(shí)性強(qiáng)，是一種較為實(shí)用的視頻圖像偏色校正系統(tǒng)。

關(guān)鍵詞： 實(shí)時(shí)系統(tǒng)； 顏色校正； 顏色恒常性； FPGA

中圖分類號(hào)： TN911.73?34； TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）12?0077?03

0 引 言

通過可見光成像系統(tǒng)采集的視頻圖像往往因?yàn)榄h(huán)境光照的影響存在偏色的問題，這是因?yàn)槌上裣到y(tǒng)不能夠?qū)ψ兓沫h(huán)境光照條件做出對(duì)應(yīng)的光譜響應(yīng)，使得圖像的顏色范圍發(fā)生了偏移，也引起了圖像偏色。因此，需要利用視頻圖像偏色校正技術(shù)對(duì)圖像的顏色范圍進(jìn)行實(shí)時(shí)調(diào)整，使其與人眼視覺系統(tǒng)對(duì)場(chǎng)景真實(shí)顏色的感知相吻合，這對(duì)于可見光成像系統(tǒng)成像質(zhì)量的提高有著重要的意義。

現(xiàn)有技術(shù)中，關(guān)于偏色校正的方法很多，比如白點(diǎn)法[1]、灰色調(diào)法[2]、灰度世界假設(shè)方法[3]等。其中，灰度世界假設(shè)方法認(rèn)為平均場(chǎng)景反射分量是沒有顏色的，并以此假設(shè)為基礎(chǔ)利用輸入圖像的R、G、B三個(gè)分量計(jì)算出偏色校正系數(shù)，進(jìn)而實(shí)現(xiàn)對(duì)圖像的偏色校正。文獻(xiàn)[4]提出了灰度邊緣假設(shè)方法，認(rèn)為場(chǎng)景反射分量導(dǎo)數(shù)的范數(shù)是沒有顏色的，而后利用此假設(shè)進(jìn)行偏色校正系數(shù)的估計(jì)。此外，文獻(xiàn)[4]結(jié)合上述的幾種方法建立了一個(gè)統(tǒng)一的顏色恒常性計(jì)算框架。文獻(xiàn)[5]對(duì)多種偏色校正方法進(jìn)行了綜述和比較。文獻(xiàn)[6] 提出了一種偏色校正系數(shù)的層級(jí)計(jì)算模型，在該模型中，各層級(jí)分別模擬了人眼視覺系統(tǒng)中從視網(wǎng)膜到初生視覺皮層的顏色處理機(jī)制。通過對(duì)這些偏色校正方法進(jìn)行仿真和比較，發(fā)現(xiàn)灰度世界假設(shè)方法具有計(jì)算過程相對(duì)簡(jiǎn)單以及校正效果與人眼視覺感知非常一致等優(yōu)點(diǎn)。

雖然現(xiàn)有技術(shù)中偏色校正的方法較多，但是實(shí)時(shí)視頻圖像偏色校正系統(tǒng)并沒有成熟型號(hào)產(chǎn)品。偏色校正系統(tǒng)多采用將圖像采集到計(jì)算機(jī)后在計(jì)算機(jī)上進(jìn)行偏色校正的方案，該方案需要依賴于計(jì)算機(jī)，給實(shí)際應(yīng)用帶來諸多不便，具有很大的局限性。針對(duì)此問題，本文提出一種基于FPGA與DSP的實(shí)時(shí)視頻圖像偏色校正系統(tǒng)，該系統(tǒng)對(duì)灰度世界假設(shè)方法[3]進(jìn)行了實(shí)現(xiàn)，利用上一幀計(jì)算得到的偏色校正系數(shù)對(duì)下一幀進(jìn)行偏色校正，不僅不需要對(duì)一幀圖像進(jìn)行存儲(chǔ)，而且使得輸出的偏色校正后的視頻信號(hào)相比輸入的視頻信號(hào)延遲非常小，實(shí)時(shí)性強(qiáng)，可有效提高可見光成像系統(tǒng)的成像質(zhì)量。

1 系統(tǒng)組成

如圖1所示，本文提出的基于FPGA與DSP的實(shí)時(shí)視頻圖像偏色校正系統(tǒng)，硬件上包括數(shù)字視頻解碼芯片、FPGA、DSP以及數(shù)字視頻編碼芯片。其中，數(shù)字視頻解碼芯片采用DS90CR286，F(xiàn)PGA采用EP3SE110F1152，DSP采用TMS320C6455，數(shù)字視頻編碼芯片采用DS90CR285。

端口連接方式為：FPGA的端口R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1與數(shù)字視頻解碼芯片的R[7：0]、G[7：0]、B[7：0]、F1、L1、CLK1相連；FPGA的端口R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2與數(shù)字視頻編碼芯片的R[7：0]、G[7：0]、B[7：0]、F2、L2、CLK2相連；FPGA的端口SR[31：0]、SG[31：0]、SB[31：0]、INT與DSP的SR[31：0]、SG[31：0]、SB[31：0]、INT相連；FPGA的端口WR[15：0]、WG[15：0]、WB[15：0]與DSP的WR[15：0]、WG[15：0]、WB[15：0]相連。

由于灰度世界假設(shè)方法的計(jì)算過程與其他偏色校正方法相比相對(duì)簡(jiǎn)單，且校正效果與人眼視覺感知非常一致，因此，提出的偏色校正系統(tǒng)通過協(xié)同F(xiàn)PGA與DSP對(duì)灰度世界假設(shè)方法進(jìn)行了實(shí)現(xiàn)。其中，F(xiàn)PGA用于實(shí)現(xiàn)該方法中的像素累加和偏色校正部分，DSP用于實(shí)現(xiàn)偏色校正系數(shù)的計(jì)算。接下來，將詳細(xì)闡述各個(gè)實(shí)現(xiàn)環(huán)節(jié)。

2 實(shí)現(xiàn)步驟

偏色校正系統(tǒng)具體的實(shí)現(xiàn)步驟為：

步驟1：輸入的CameraLink格式彩色數(shù)字視頻信號(hào)經(jīng)數(shù)字視頻解碼芯片解碼后分解為彩色RGB信號(hào)（R[7：0]、G[7：0]、B[7：0]）、幀同步F1、行同步L1、像素時(shí)鐘信號(hào)CLK1傳遞給FPGA。

步驟2：在FPGA中，彩色RGB信號(hào)（R[7：0]、G[7：0]、B[7：0]）在幀同步F1、行同步L1、像素時(shí)鐘信號(hào)CLK1的控制下用于像素累加計(jì)算出3個(gè)累加數(shù)SR[31：0]、SG[31：0]、SB[31：0]，而后，SR[31：0]、SG[31：0]、SB[31：0]隨同F(xiàn)PGA產(chǎn)生的中斷信號(hào)INT傳遞給DSP，3個(gè)累加數(shù)的計(jì)算公式為：

式中：除以256通過右移8位來實(shí)現(xiàn)。

由于處理的對(duì)象為視頻圖像，前后兩幀的關(guān)聯(lián)性非常大，也即利用上一幀計(jì)算得到的偏色校正系數(shù)可以用于下一幀進(jìn)行偏色校正。這樣做不僅不需要對(duì)一幀圖像進(jìn)行存儲(chǔ)，而且使得輸出的視頻信號(hào)相比輸入的視頻信號(hào)延遲非常小。此外，由于偏色校正計(jì)算過程需要兩個(gè)像素時(shí)鐘周期，于是，通過將幀同步F1、行同步L1、像素時(shí)鐘信號(hào)CLK1延遲兩個(gè)像素時(shí)鐘周期賦給F2、L2、CLK2實(shí)現(xiàn)校正后的彩色RGB信號(hào)與這些同步信號(hào)之間的同步。

步驟5：數(shù)字視頻編碼芯片將校正后的彩色RGB信號(hào)（R[7：0]、G[7：0]、B[7：0]）、幀同步F2、行同步L2、像素時(shí)鐘信號(hào)CLK2編碼并形成CameraLink格式彩色數(shù)字視頻信號(hào)輸出。至此，完成偏色校正過程。

3 實(shí)驗(yàn)結(jié)果

利用能夠輸出分辨率為1 024×768的CameraLink格式彩色數(shù)字視頻的可見光成像設(shè)備作為偏色校正系統(tǒng)的輸入，針對(duì)不同的場(chǎng)景進(jìn)行相應(yīng)的偏色校正實(shí)驗(yàn)。圖2（a）為其中一個(gè)場(chǎng)景未經(jīng)校正的有偏色圖像，圖2（b）為是同一場(chǎng)景經(jīng)本文提出的校正系統(tǒng)校正后的圖像。顯然，經(jīng)過校正后的圖像與人眼對(duì)場(chǎng)景真實(shí)顏色的感知是相吻合的。

4 結(jié) 語(yǔ)

本文提出的偏色校正系統(tǒng)利用FPGA與DSP協(xié)作實(shí)現(xiàn)了基于灰度世界假設(shè)的偏色校正方法，能夠?qū)⒁曨l圖像的顏色范圍校正到與人眼對(duì)場(chǎng)景真實(shí)顏色的視覺感知相吻合，并且能以一種格式接收視頻圖像信號(hào)并以相同的格式輸出，易于將其集成到一個(gè)系統(tǒng)中，而不用對(duì)系統(tǒng)的接口進(jìn)行更改。此外，該系統(tǒng)輸出的偏色校正后的視頻信號(hào)相比輸入的視頻信號(hào)而言，延遲非常小，實(shí)時(shí)性強(qiáng)。

參考文獻(xiàn)

[1] CARDEI V， FUNT B， BARND K. White point estimation for uncalibrated images [C]// Proceedings of the 7th Color Imaging Conference. Scottsdale， USA： [s.n.]， 1999： 97?100.

[2] FINLAYSON G， TREZZI E. Shades of gray and colour constancy [C]// Proceedings of the 12th Color Imaging Conference. USA： [s.n.]， 2004： 37?41.

[3] BUCHSBAUM G. A spatial processor model for object color perception [J]. Journal of Franklin Institute， 1980， 310（1）： 1?26.

[4] VAN D， GEVERS T， GIJSENIJ A. Edge?based color constancy [J]. IEEE Transactions on Image Processing， 2007， 16（9）： 2207?2214.

[5] GEVERS T， VAN D， Computational color constancy： Survey and experiments [J]. IEEE Transactions on Image Processing， 2011， 20（9）： 2475?2489.

[6] GAO S， YANG K， LI C， et al. A color constancy model with double?opponency mechanisms [C]// Proceedings of IEEE International Conference on Computer Vision. [S.l.]： IEEE， 2013： 1?8.