基于SDRAM的Bayer格式圖像插值算法硬件設(shè)計(jì)

李 華

(商洛學(xué)院，陜西 商洛 726000)

現(xiàn)在的數(shù)字圖像采集系統(tǒng)出于成本和體積重量等因素考慮都是在灰度CCD/CMOS傳感器感光表面覆蓋顏色濾波陣列(CFA)，產(chǎn)生一種馬賽克圖像，從而實(shí)現(xiàn)彩色成像，其中最常用的為Bayer格式［1］。對(duì)經(jīng)過濾波陣列馬賽克圖像進(jìn)行彩色恢復(fù)，特別是實(shí)時(shí)彩色恢復(fù)，在圖像處理方面有著非常重要的應(yīng)用。

在Bayer格式中，因?yàn)槊總€(gè)像素點(diǎn)僅有一種顏色，因此，需要利用其周圍像素點(diǎn)的強(qiáng)度相關(guān)性來估計(jì)出缺失的另外兩種顏色，從而得到彩色圖像，這種方法稱為彩色插值或去馬賽克。應(yīng)用硬件實(shí)現(xiàn)彩色恢復(fù)算法，實(shí)時(shí)輸出彩色圖像不但可以省去二次處理圖像的麻煩，還可以將算法應(yīng)用于別的系統(tǒng)之中，比如圖像分割等。本文設(shè)計(jì)了1套基于1片F(xiàn)PGA結(jié)合4片SDRAM來完成Bayer插值算法的實(shí)時(shí)彩色輸出硬件實(shí)現(xiàn)方案，該設(shè)計(jì)原理簡(jiǎn)單，實(shí)際開發(fā)較容易，穩(wěn)定性高，而且具有一定的通用性。

1 系統(tǒng)原理分析

自1976年Bayer首次提出Bayer陣列至今，Bayer插值算法不計(jì)其數(shù)，但都是在3×3，5×5或是更大的數(shù)據(jù)窗口中進(jìn)行，它們應(yīng)用硬件設(shè)計(jì)都會(huì)使用如圖1所示的數(shù)據(jù)流結(jié)構(gòu)(以5×5為例說明)。當(dāng)輸入數(shù)據(jù)有效時(shí)，Raw格式的數(shù)據(jù)依次通過緩存 1，R44，R43，R42，R41，R40;緩存 2，R34，R33，R32，R31，R30;緩存 3，R24，R23，R22，R21，R20;緩存4，R14，R13，R12，R11，R10;緩存5，R04，R03，R02，R01，R00緩存送入算法處理單元，然后利用插值算法得到最終的RGB圖像。其中BufferX為行緩存器，RXX為像素緩存器。

本文使用的探測(cè)器是DALSA公司的一款全色CMOS探測(cè)器，分辨率為2352×1728，它采用的輸出形式是奇偶行同時(shí)輸出，這樣，在做CFA插值時(shí)就有兩種方案可供選擇，一種是將探測(cè)器輸出的Bayer格式圖像數(shù)據(jù)進(jìn)行緩存，然后再構(gòu)成圖1所示的數(shù)據(jù)流結(jié)構(gòu)進(jìn)行插值，輸出的彩色圖像不需要緩存就可以直接輸出顯示或存儲(chǔ);另一種是直接將探測(cè)器輸出的數(shù)據(jù)構(gòu)成圖1的數(shù)據(jù)流結(jié)構(gòu)，因?yàn)槭峭瑫r(shí)輸出2路，所以，要緩存6行然后同時(shí)輸出2行彩色圖像，但是，這樣就要對(duì)彩色圖像進(jìn)行緩存、拼接，然后才能輸出。兩種方案各有優(yōu)劣，本文選用第一種，即將Bayer格式圖像數(shù)據(jù)緩沖，具體的過程如圖2所示。

圖2中，因?yàn)镃MOS探測(cè)器是同時(shí)輸出2行圖像數(shù)據(jù)，又SDRAM是單口輸入輸出存儲(chǔ)器，所以不能在同1片SDRAM的2個(gè)bank進(jìn)行乒乓操作，而只能使用2片SDRAM進(jìn)行存儲(chǔ)，其中，圖像的奇數(shù)行存儲(chǔ)在SDRAM A(a)，偶數(shù)行存儲(chǔ)在SDRAM A(b)。又因?yàn)?幀圖像的大小為2352×1728×16 bit，而本設(shè)計(jì)使用的SDRAM容量為8388608×16 bit×4 bank，所以1片SDRAM的1個(gè)bank就可以存儲(chǔ)半幀圖像，這樣讀寫都在1個(gè)bank進(jìn)行，簡(jiǎn)化了設(shè)計(jì)。當(dāng)1幀圖像在SDRAMA存儲(chǔ)完畢后，開始將輸出的下1幀圖像的兩路圖像數(shù)據(jù)以同樣的方式存儲(chǔ)在SDRAM B中，在寫SDRAM B的同時(shí)對(duì)SDRAM A(a)和SDRAM A(b)進(jìn)行乒乓讀操作，將奇數(shù)行和偶數(shù)行拼接順序輸出，由于圖像輸出的幀頻是20 f/s(幀/秒)，而順序讀完一幀只需要40 ms，所以，讀時(shí)不會(huì)造成數(shù)據(jù)丟失。當(dāng)?shù)诙瑪?shù)據(jù)全部寫到SDRAM B后又開始寫SDRAM A。同時(shí)，對(duì)SDRAM B進(jìn)行乒乓讀操作，順序輸出圖像數(shù)據(jù)，如此循環(huán)，就完成了探測(cè)器數(shù)據(jù)順序的改變，構(gòu)成圖2的數(shù)據(jù)流結(jié)構(gòu)，滿足了彩色插值的要求。

2 Bayer插值算法研究

目前，CFA插值算法很多，但大部分算法卻因?yàn)檫^于復(fù)雜而只能停留在計(jì)算機(jī)仿真驗(yàn)證階段，本文結(jié)合文獻(xiàn)［2］，設(shè)計(jì)了一種易于硬件實(shí)現(xiàn)的線性Bayer插值算法。由圖像原理可知，任何一幅圖片的紅、綠、藍(lán)三顏色之間的信息是相互關(guān)聯(lián)，而不是單獨(dú)存在的，這就意味著可以用這種關(guān)聯(lián)關(guān)系來獲取圖片的顏色信息，通常是用梯度關(guān)系來操作，文獻(xiàn)［3］使用了兩個(gè)通道之差，即G通道分別減去R和B通道，來增加通道之間的相關(guān)性，再用相減得到的結(jié)果進(jìn)行插值，由于這種方法考慮了各通道間的關(guān)聯(lián)，因此插值結(jié)果偽彩色大大減少。本文也是采用與文獻(xiàn)［3］類似的通道相關(guān)梯度法，具體設(shè)計(jì)如下:

以Bayer格式中的R為例，定義R0處的梯度為

這樣就可以得到R0處的G分量為

將式(1)代入式(3)，即得到R0處的G分量為

同理，可得到R0處的B分量為

這樣，R0處的R，G，B三分量都已經(jīng)得到。將該算法應(yīng)用到Bayer格式圖像的其他分量，就可以得到整幅圖像的R，G，B分量，從而輸出彩色圖像。由于算法中的修正因子是按照維納逼近計(jì)算的，所以，計(jì)算出的結(jié)果具有最小的均方誤差，這樣得到的插值效果也就更佳。圖3為本文使用的算法和雙線性插值算法的效果比較，本文算法不僅3個(gè)通道的PSNR均比雙線性插值算法高3 dB以上，而且視覺效果更勝一籌。

圖3 兩種算法的插值效果比較

除了本文所用的插值算法效果比較好，對(duì)式(4)和式(5)分析，不難看出，算法在計(jì)算方面僅有加減和移位計(jì)算，這就特別適合硬件設(shè)計(jì)，特別是適合硬件資源豐富的FPGA來實(shí)現(xiàn)。設(shè)計(jì)上只要有圖1所示的數(shù)據(jù)順序再結(jié)合流水線技術(shù)就能將算法實(shí)現(xiàn)，實(shí)時(shí)地輸出彩色圖像。

3 SDRAM設(shè)計(jì)

SDRAM是一種應(yīng)用廣泛的存儲(chǔ)器，具有容量大、數(shù)據(jù)讀寫速度快等優(yōu)點(diǎn)，特別適合那些需要海量存儲(chǔ)的應(yīng)用領(lǐng)域［4］。SDRAM內(nèi)部存儲(chǔ)單元由若干個(gè)相當(dāng)于矩陣的bank組成。而行地址就是矩陣的行元素，列地址相當(dāng)于矩陣的列元素。這樣，只要給定了bank的地址，就可以通過行地址和列地址的選取唯一地指定一個(gè)存取單元。

SDRAM和別的存儲(chǔ)器不同的是，所有行在系統(tǒng)初始化后都處于非活動(dòng)狀態(tài)，要進(jìn)行讀寫操作就必須先激活相應(yīng)的行。在激活命令執(zhí)行完畢，并經(jīng)過從行地址選擇到列地址選擇的延遲之后，就可以根據(jù)read/write信號(hào)決定SDRAM將要進(jìn)行讀操作還是寫操作了。

SDRAM控制邏輯主要由3部分組成:主控制模塊、信號(hào)產(chǎn)生模塊和數(shù)據(jù)通路模塊。主控制模塊通常由兩個(gè)狀態(tài)機(jī)構(gòu)成，它是SDRAM系統(tǒng)設(shè)計(jì)的核心模塊，主要是根據(jù)外部控制信號(hào)來改變SDRAM當(dāng)前的工作狀態(tài);信號(hào)產(chǎn)生模塊則根據(jù)SDRAM的工作狀態(tài)產(chǎn)生SDRAM需要的行列地址和工作信號(hào);而數(shù)據(jù)通路模塊主要是負(fù)責(zé)控制邏輯對(duì)SDRAM的數(shù)據(jù)進(jìn)行寫入或讀出。

本設(shè)計(jì)除了以上基本注意點(diǎn)，還根據(jù)圖像連續(xù)輸出的特點(diǎn)，讓SDRAM工作在滿頁模式狀態(tài)下，由于使用的SDRAM每次讀寫的長(zhǎng)度僅為1024×16 bit，而探測(cè)器輸出的圖像數(shù)據(jù)1行的長(zhǎng)度卻是2352×16 bit，所以，SDRAM每讀寫完1行1024×16 bit后，要進(jìn)行一次Burst Stop操作，然后對(duì)SDRAM進(jìn)行刷新，再讀寫下一行，這樣，探測(cè)器輸出的每1行要占用SDRAM中的3行。由于數(shù)據(jù)在讀寫的過程中有Burst Stop等操作的存在，而探測(cè)器輸出的每行圖像數(shù)據(jù)又是連續(xù)的，所以，兩者之間就存在速度的不匹配，這就要用到FIFO。當(dāng)然，這里FIFO的深度不是很深，僅僅用來緩沖兩次Burst Stop和刷新操作時(shí)間內(nèi)的數(shù)據(jù)即可，設(shè)計(jì)時(shí)當(dāng)狀態(tài)是Burst Stop和刷新狀態(tài)時(shí)，就將FIFO讀使能信號(hào)去掉，其他狀態(tài)再恢復(fù)讀使能。這樣，探測(cè)器的數(shù)據(jù)就能完整無誤地在SDRAM中寫入和讀出了。

顯然，只需要一套SDRAM控制程序，結(jié)合圖2的乒乓操作就可以按照?qǐng)D1的數(shù)據(jù)流要求輸出數(shù)據(jù)了。

4 試驗(yàn)結(jié)果分析

基于上述設(shè)計(jì)思路，F(xiàn)PGA使用Xilinx公司的XC6SLX150，SDRAM使用爾必達(dá)公司的EDS5116，探測(cè)器使用DALSA公司的Bayer格式彩色CMOS探測(cè)器設(shè)計(jì)的某型相機(jī)，實(shí)時(shí)輸出的彩色圖像如圖4所示。由結(jié)果可以看出，圖像偽彩色較少，邊緣較銳利，整體效果優(yōu)于雙線性算法等其他線性插值算法，甚至要好于某些非線性算法，證明了設(shè)計(jì)的可行性。

圖4 實(shí)時(shí)輸出的彩色圖像

5 結(jié)論

本文提出了一種基于大容量存儲(chǔ)器的Bayer格式圖像梯度插值算法硬件設(shè)計(jì)方案。整個(gè)系統(tǒng)由一片F(xiàn)PGA控制，其中，針對(duì)特定探測(cè)器圖像數(shù)據(jù)輸出格式，使用了4片SDRAM并結(jié)合乒乓操作，完成了探測(cè)器數(shù)據(jù)格式的改變，滿足了插值算法對(duì)數(shù)據(jù)流格式的要求，試驗(yàn)證明，本系統(tǒng)能夠?qū)崟r(shí)、穩(wěn)定輸出高質(zhì)量的彩色圖像，目前，該系統(tǒng)已成功應(yīng)用于某工程項(xiàng)目之中。

［1］BAYER B E.Color imaging array:U.S.，3971065［P］.1975－07－20.

［2］MALVAR H S，HE L W，CUTLER R.High－quality linear interpolation for demosaicing of Bayer－patterned color images［C］//Proc.IEEE International Conference on Acoustics， Speech and Signal Processing.Quebec，Canada:IEEE Press，2004:485－488.

［3］PEI S C，TAM I K.Effective color interpolation in CCD color filter arrays using signal correlation［J］.IEEE Trans.Circuits and Systems for Video Technology，2003，13(6):503－513.

［4］雷海軍，劉鵬，陳戰(zhàn)夫，等.視頻格式轉(zhuǎn)換系統(tǒng)中DDR控制器設(shè)計(jì)［J］.電視技術(shù)，2011，35(4):22－24.