一種硬件友好型自動(dòng)圖像增強(qiáng)算法與實(shí)現(xiàn)

范斌于起峰

（1 國(guó)防科學(xué)技術(shù)大學(xué)，長(zhǎng)沙410073）

（2 北京空間機(jī)電研究所，北京 100094）

一種硬件友好型自動(dòng)圖像增強(qiáng)算法與實(shí)現(xiàn)

范斌1,2于起峰1

（1 國(guó)防科學(xué)技術(shù)大學(xué)，長(zhǎng)沙410073）

（2 北京空間機(jī)電研究所，北京 100094）

由于現(xiàn)有的圖像增強(qiáng)算法難以兼顧處理效果和運(yùn)算速度兩方面的要求，文章提出了一種適合于硬件電路實(shí)現(xiàn)的自動(dòng)圖像增強(qiáng)算法，用于實(shí)現(xiàn)圖像品質(zhì)的實(shí)時(shí)提升。以圖像中直方圖分布情況作為圖像品質(zhì)的評(píng)價(jià)依據(jù)，利用分段線性變換方法實(shí)現(xiàn)圖像品質(zhì)增強(qiáng)。算法的核心是構(gòu)建了直方圖與分段函數(shù)系數(shù)之間的定量關(guān)系，實(shí)現(xiàn)了系數(shù)的自動(dòng)計(jì)算，設(shè)計(jì)實(shí)現(xiàn)了相應(yīng)的FPGA系統(tǒng)結(jié)構(gòu)。采用高效的并行流水線結(jié)構(gòu)，通過(guò)發(fā)揮硬件模塊內(nèi)部潛在的并行度以確保系統(tǒng)的實(shí)時(shí)處理能力。仿真和成像試驗(yàn)表明，基于該算法設(shè)計(jì)實(shí)現(xiàn)的FPGA硬件電路開(kāi)銷(xiāo)少，實(shí)時(shí)性好，適應(yīng)性強(qiáng)，針對(duì)不同的場(chǎng)景均取得較好的處理效果，具有廣闊的應(yīng)用前景。

圖像增強(qiáng) 硬件友好 自動(dòng) 實(shí)時(shí) 航天遙感

0 引言

在圖像的產(chǎn)生過(guò)程中，不可避免受到光照、運(yùn)動(dòng)、遮擋、曝光等因素的影響。這些因素會(huì)導(dǎo)致圖像品質(zhì)的退化。圖像增強(qiáng)技術(shù)能夠通過(guò)調(diào)整圖像中的灰度分布提升圖像的品質(zhì)，有效改善圖像的視覺(jué)效果。近年來(lái)，該技術(shù)已廣泛應(yīng)用于生物醫(yī)學(xué)、機(jī)器視覺(jué)、航天遙感等領(lǐng)域[1-2]。尤其在開(kāi)展視覺(jué)導(dǎo)航等任務(wù)時(shí)，研究人員通過(guò)圖像增強(qiáng)算法提高圖像的品質(zhì)，以便在各種光照條件下所拍攝的圖片均具有一致的灰度分布，進(jìn)而降低目標(biāo)識(shí)別、目標(biāo)姿態(tài)測(cè)量等高層次處理算法的處理難度，提高魯棒性。

傳統(tǒng)的圖像增強(qiáng)方法一般在頻率域進(jìn)行信號(hào)處理。近年來(lái)，也提出了基于小波變換進(jìn)行圖像增強(qiáng)的方法[3]。但這些處理方法均需要進(jìn)行復(fù)雜的變換與反變換，算法的復(fù)雜度較高，運(yùn)算時(shí)間較長(zhǎng)。隨著圖像傳感器技術(shù)的不斷發(fā)展，視頻的圖像分辨率和幀頻在不斷提升。如何實(shí)時(shí)有效的提升高速視頻的圖像品質(zhì)是亟待解決的技術(shù)難題。

在實(shí)時(shí)圖像自動(dòng)增強(qiáng)應(yīng)用場(chǎng)合，硬件系統(tǒng)一般直接在時(shí)域進(jìn)行圖像增強(qiáng)處理。現(xiàn)有的系統(tǒng)一般采用直方圖均衡化法[4-5]或分段線性變換法[6-7]進(jìn)行品質(zhì)提升。其中，直方圖均衡化法的優(yōu)點(diǎn)是能夠自動(dòng)地增強(qiáng)整個(gè)圖像的對(duì)比度，但具體的處理效果不易控制，往往在增強(qiáng)了目標(biāo)的同時(shí)，也增強(qiáng)了背景和噪聲，并且可能出現(xiàn)大量灰度合并的現(xiàn)象。而分段線性變換法相對(duì)簡(jiǎn)單，其形式可以任意組合，適應(yīng)性較強(qiáng)。但缺點(diǎn)是自主性差，需要人工參與以確定具體的分段區(qū)域、比例系數(shù)，以獲得較好的增強(qiáng)效果。

本文將直方圖均衡化法自主性強(qiáng)和分段線性變換法適應(yīng)性強(qiáng)的優(yōu)點(diǎn)相結(jié)合，提出了一種改進(jìn)型分段線性變換算法。通過(guò)統(tǒng)計(jì)圖像直方圖分布情況，自動(dòng)確定分段線性函數(shù)的比例系數(shù)以實(shí)現(xiàn)自主的圖像增強(qiáng)處理。同時(shí)，在算法設(shè)計(jì)階段和硬件實(shí)現(xiàn)階段充分考慮算法通過(guò)FPGA芯片實(shí)現(xiàn)的可能性和復(fù)雜度，即將算法的硬件友好性作為重要的設(shè)計(jì)指標(biāo)。因此，所設(shè)計(jì)的算法易于通過(guò)FPGA系統(tǒng)進(jìn)行實(shí)現(xiàn)，且系統(tǒng)的實(shí)時(shí)性和處理效果能夠得到保證。

1 自動(dòng)圖像增強(qiáng)算法

日常拍攝照片時(shí)，由于存在光照情況不好、曝光時(shí)間選擇不合適等情況，得到的圖片會(huì)表現(xiàn)為部分灰度區(qū)間像素點(diǎn)分布非常集中，而某些區(qū)間甚至無(wú)像素點(diǎn)分布的現(xiàn)象。如圖1所示，像素點(diǎn)幾乎完全分布于數(shù)字量（DN）30～45和235～240的灰度區(qū)間（分別對(duì)應(yīng)背景和過(guò)曝區(qū)域）。

分段線性變換法能夠?qū)υ擃?lèi)圖片進(jìn)行處理[8]。它通過(guò)線性函數(shù)對(duì)圖像中的部分灰度區(qū)域進(jìn)行變換。目的是將圖像中的視覺(jué)敏感區(qū)域進(jìn)行擴(kuò)展；相應(yīng)的，將圖像中背景等視覺(jué)非敏感區(qū)進(jìn)行壓縮，在總體上調(diào)整圖像的對(duì)比度，增強(qiáng)圖像的視覺(jué)效果。但是由于該算法中線性函數(shù)的系數(shù)無(wú)法自主決定，需要人工指定，因此難以進(jìn)行實(shí)際應(yīng)用。

分析可知，若能夠基于分段線性變換法自動(dòng)將圖像中分布較為集中的灰度區(qū)間進(jìn)行擴(kuò)展，同時(shí)將像素點(diǎn)分布較少的區(qū)間進(jìn)行自動(dòng)壓縮，將在整體上，使得像素點(diǎn)分布更加均勻，圖像核心區(qū)域?qū)Ρ榷冗M(jìn)一步增強(qiáng)。即如果能夠合理劃分區(qū)間，并對(duì)每個(gè)區(qū)間進(jìn)行自動(dòng)的分段線性化，將能夠有效解決傳統(tǒng)分段線性變換法的固有問(wèn)題。進(jìn)一步分析可知，解決該問(wèn)題的核心是自動(dòng)確定每個(gè)區(qū)間的線性函數(shù)系數(shù)和自動(dòng)調(diào)整不同區(qū)間的線性函數(shù)系數(shù)。

沿著該思路，本文提出了一種自動(dòng)圖像增強(qiáng)算法，該算法分為三個(gè)步驟。

步驟一，確定劃分區(qū)間的數(shù)目和方式。由于圖像對(duì)應(yīng)的環(huán)境中照度分布未知，同時(shí)，在一定的照度范圍內(nèi)，可以認(rèn)為人眼的敏感程度一致。從算法的適應(yīng)性角度出發(fā)，采用區(qū)間均分的方式進(jìn)行處理較為合理。在自然場(chǎng)景中，視覺(jué)同時(shí)敏感的物體一般不超過(guò)5個(gè)。進(jìn)一步考慮到當(dāng)采用FPGA系統(tǒng)實(shí)現(xiàn)直方圖統(tǒng)計(jì)時(shí)，所耗費(fèi)的存儲(chǔ)空間同劃分的區(qū)間數(shù)目成正比。綜合評(píng)估，算法最終采用5個(gè)均勻劃分的灰度區(qū)間進(jìn)行圖像描述。

圖1 灰度值集中的圖像Fig.1 The gray value of concentrated image

已知，8位量化圖片的灰度級(jí)別為0～255，當(dāng)均勻劃分成5段時(shí)，各閉區(qū)間分別對(duì)應(yīng)灰度級(jí)[0,51]、[52,102]、[103,153]、[154,204]、[205,255]。需要特別指出的是，由于該圖像增強(qiáng)算法僅對(duì)圖像的灰度值進(jìn)行調(diào)整，因此，對(duì)于紅綠藍(lán)（RGB）格式的彩色圖像，需要首先進(jìn)行RGB至亮度和色度（YUV）的格式轉(zhuǎn)換，在轉(zhuǎn)換為YUV格式后，亮度信息均包含于Y分量中，U和V分量中僅包含色度信息；因此僅需對(duì)Y分量進(jìn)行處理，U、V分量保持不變。

步驟二，對(duì)灰度區(qū)間進(jìn)行分段線性變換。按照步驟一劃分的區(qū)間設(shè)計(jì)如下的分段線性變換公式：

式中 x為變換前的灰度值；y為變換后的灰度值；K1～K5為對(duì)應(yīng)每個(gè)灰度區(qū)間線性變換的縮放比例。由于變換后區(qū)間連接點(diǎn)處的灰度值不應(yīng)該出現(xiàn)跳躍，因此，區(qū)間連接處的數(shù)值分別取為：y1=51×K1；y2=51×(K1+K2)；y3=51×(K1+K2+K3)；y4=51×(K1+K2+K3+K4)。

步驟三，確定每個(gè)區(qū)間線性變換公式的系數(shù)。經(jīng)過(guò)步驟二的建模，算法需要自動(dòng)確定系數(shù)K1～K5的數(shù)值。

受直方圖均衡化方法啟發(fā)，較好的圖像增強(qiáng)效果應(yīng)該是增強(qiáng)后的圖像直方圖分布比較均勻。因此，系數(shù)K1～K5的具體數(shù)值可由5段區(qū)間的直方圖分布決定。即建立直方圖分布同線性變換系數(shù)之間的對(duì)應(yīng)關(guān)系。假設(shè)原始圖片的直方圖中，5段區(qū)間中像素點(diǎn)的個(gè)數(shù)分別為R1～R5?？紤]到運(yùn)算復(fù)雜度和硬件電路的實(shí)現(xiàn)難度，可以利用線性函數(shù)擬合區(qū)間中像素?cái)?shù)與分段線性變換系數(shù)之間的關(guān)系。即假設(shè)它們之間的對(duì)應(yīng)關(guān)系滿(mǎn)足如下公式：

式中 Kn（對(duì)應(yīng)K1～K5）為前述的各區(qū)間的線性變換的縮放比例；Rn（對(duì)應(yīng)R1～R5）為前述的各區(qū)間像素點(diǎn)的個(gè)數(shù)；變量g為線性因子；b為閾值因子。由該公式可以推知，若某區(qū)間內(nèi)像素個(gè)數(shù)較多，可認(rèn)為該區(qū)間的圖像信息量較大，則計(jì)算得到的比例系數(shù)也較大。

進(jìn)一步，需要確定系數(shù)間的關(guān)系。分析可知，變換前后圖像灰度范圍不能改變，均為[0, 255]。由式（1）知，變換后y的最大值為51×（K1+K2+K3+K4+K5），同時(shí)，該最大值仍應(yīng)該為255，則可以構(gòu)建如下的約束條件。

由于K1～K5分別對(duì)應(yīng)各區(qū)間灰度值的縮放比例，而由式（3）知，總的縮放比例和不變。因此，圖像中若部分灰度區(qū)間被拉伸，則一定存在其它灰度區(qū)間被壓縮。

同時(shí)，5段區(qū)間的像素個(gè)數(shù)應(yīng)滿(mǎn)足如下約束：

式中 P為圖像總像素?cái)?shù)；H、V分別是圖像水平方向和垂直方向上的像素個(gè)數(shù)。例如，圖像分辨率為1 920×1 080的圖像，H=1 920，V=1 080，P=2 073 600。

將式（2）代入式（3）得：

將式（4）代入式（5）得：

將式（6）代入式（2）得：

由式（7）可知，閾值因子b實(shí)質(zhì)上是作為一個(gè)參數(shù)來(lái)控制增強(qiáng)的強(qiáng)度。b值越小，強(qiáng)度越大。以H×V=1 920×1 080為例，若b=0.5，當(dāng)Rn=1 920×1 080時(shí)，Kn=3，表示該區(qū)間需要拉伸；當(dāng)Rn=1 920×1 080/5時(shí)，Kn=1，表示該區(qū)間寬度保持不變；當(dāng)Rn=0時(shí)，Kn=0.5，表示該區(qū)間需要壓縮。

經(jīng)測(cè)試，推薦的b值取值范圍為[0.3,0.75]，可取默認(rèn)值0.6。

2 算法的硬件實(shí)現(xiàn)

進(jìn)一步，通過(guò)硬件電路實(shí)現(xiàn)設(shè)計(jì)的實(shí)時(shí)算法。本文采用FPGA芯片作為系統(tǒng)的核心處理芯片。在系統(tǒng)設(shè)計(jì)時(shí)采用了模塊化設(shè)計(jì)方法[9]，在模塊實(shí)現(xiàn)時(shí)，采用了并行處理方式和流水線技術(shù)[10-11]。

圖2為基于CMOS圖像傳感器的FPGA圖像增強(qiáng)系統(tǒng)總體框圖[12]。其中，自動(dòng)圖像增強(qiáng)模塊處于系統(tǒng)的核心位置，在圖中以淺灰色背景框標(biāo)出。CMOS驅(qū)動(dòng)模塊、SDRAM驅(qū)動(dòng)模塊實(shí)現(xiàn)CMOS圖像傳感器的驅(qū)動(dòng)和數(shù)據(jù)采集；采集到的視頻圖像經(jīng)圖像差值模塊得到RGB格式的彩色圖像；經(jīng)YUV變換模塊，將圖像轉(zhuǎn)換為YUV格式，并輸出灰度分量Y至自動(dòng)增強(qiáng)模塊進(jìn)行圖像增強(qiáng)處理；處理后的視頻圖像經(jīng)接口模塊輸出給后端電路進(jìn)行視頻壓縮等后續(xù)處理。

圖3為自動(dòng)增強(qiáng)模塊的結(jié)構(gòu)圖。該模塊按照功能可劃分為三個(gè)子模塊，分別是信息統(tǒng)計(jì)子模塊、分段線性變換子模塊和延時(shí)同步子模塊。其中，信息統(tǒng)計(jì)子模塊實(shí)現(xiàn)直方圖統(tǒng)計(jì)和比例系數(shù)計(jì)算功能；分段線性變換子模塊根據(jù)比例系數(shù)生成分段函數(shù)，并依據(jù)分段函數(shù)對(duì)輸入的圖像灰度值進(jìn)行線性調(diào)整；延時(shí)同步子模塊對(duì)彩色圖像中色度數(shù)據(jù)進(jìn)行延時(shí)和同步處理，使得輸出的灰度數(shù)據(jù)和色度數(shù)據(jù)保持同步。

具體實(shí)現(xiàn)時(shí)，采用了同步化思想設(shè)計(jì)硬件電路結(jié)構(gòu)[13]。系統(tǒng)時(shí)鐘設(shè)為80MHz，統(tǒng)一采用時(shí)鐘上升沿采樣。由于信息統(tǒng)計(jì)子模塊和分段線性變化子模塊處理時(shí)，都需要對(duì)整幅圖像信息進(jìn)行統(tǒng)計(jì)和處理，因此，會(huì)出現(xiàn)滯后現(xiàn)象，即本幅圖像用到的比例系數(shù)，是上一幅圖像計(jì)算處理的。為了解決這一問(wèn)題，本文采用了超前處理的設(shè)計(jì)思路。如圖4所示，電路中單獨(dú)把信息統(tǒng)計(jì)子模塊置于前端數(shù)據(jù)流中，緊鄰CMOS驅(qū)動(dòng)模塊。模塊結(jié)構(gòu)調(diào)整后，圖像數(shù)據(jù)存入SDRAM的同時(shí)統(tǒng)計(jì)圖像信息，計(jì)算比例系數(shù)；當(dāng)圖像數(shù)據(jù)完成緩存，再次從SDRAM讀出時(shí)，對(duì)應(yīng)該圖像的比例系數(shù)已經(jīng)計(jì)算完成。模塊結(jié)構(gòu)調(diào)整后，為了配合直方圖統(tǒng)計(jì)功能模塊的工作，增加了Y分量變換功能電路，用于提取Bayer格式圖像中的灰度分量Y。

圖3 自動(dòng)增強(qiáng)模塊結(jié)構(gòu)圖Fig.3 Block diagram of the automatic enhancement module

圖4 自動(dòng)增強(qiáng)模塊電路圖Fig.4 Circuit of the automatic image enhances module

為了確保系統(tǒng)的運(yùn)算速度，采用了并行結(jié)構(gòu)和流水線處理方式實(shí)現(xiàn)信息統(tǒng)計(jì)。其中，Y分量變換功能電路采用三路并行處理結(jié)構(gòu)，對(duì)像數(shù)據(jù)中三個(gè)顏色分量R、G、B并行計(jì)算。由于Y分量變換涉及到實(shí)時(shí)乘法運(yùn)算，本文采用了基于移位操作的硬件友好型乘法器結(jié)構(gòu)實(shí)現(xiàn)。如圖5所示，該乘法器分為四級(jí)流水線，采用移位連同加法操作實(shí)現(xiàn)實(shí)時(shí)乘法運(yùn)算。x和y為乘法器輸入數(shù)據(jù)；z為對(duì)應(yīng)的乘積；LS表示向左移位操作，LS2為左移2位；sel為選擇信號(hào)。直方圖統(tǒng)計(jì)功能電路用于統(tǒng)計(jì)像素點(diǎn)Y分量分布于[0,51]、[51,102]、[102,153]、[153,204]、[204,255]這5段區(qū)間中的數(shù)量，同樣采用了并行處理結(jié)構(gòu)實(shí)時(shí)統(tǒng)計(jì)5段區(qū)間中的像元個(gè)數(shù)R1～R5。由于涉及到高位寬的實(shí)時(shí)累加和運(yùn)算，通常的電路結(jié)構(gòu)會(huì)產(chǎn)生大的組合邏輯塊，影響系統(tǒng)時(shí)序[14]。為了減少延時(shí)，電路采用流水線處理方式（如圖6所示），把高位寬累加器分為多個(gè)低位寬累加器。圖中，di為8bit位寬，是三級(jí)流水線結(jié)構(gòu)累加器電路輸入；do為30bit位寬，是所求取的累加和。系數(shù)計(jì)算功能電路用于執(zhí)行對(duì)應(yīng)式（7）的數(shù)值運(yùn)算。即根據(jù)5段區(qū)間像元個(gè)數(shù)R1～R5計(jì)算出對(duì)應(yīng)的比例系數(shù)K1～K5。該電路也采用5路并行處理結(jié)構(gòu)，并采用移位連同加法操作實(shí)現(xiàn)實(shí)時(shí)乘法運(yùn)算。

圖5 流水線乘法器電路圖Fig.5 Circuit of the pipelined multiplier

圖6 流水線累加器電路圖Fig.6 Circuit of the pipelined accumulator

分段線性變換子模塊用于實(shí)現(xiàn)式（1）中的5段線性函數(shù)。硬件電路中，采用了一種細(xì)化的串并行相結(jié)合的處理結(jié)構(gòu)?？傮w上采用5路并行處理結(jié)構(gòu)同步計(jì)算5個(gè)區(qū)間的線性變換函數(shù)；每路的內(nèi)部均用多級(jí)流水技術(shù)實(shí)現(xiàn)乘法和求和運(yùn)算。最終，將5個(gè)區(qū)間線性變換后的數(shù)據(jù)合并為一路數(shù)據(jù)輸出。

延時(shí)同步子模塊采用基于雙端口RAM的延遲電路結(jié)構(gòu)實(shí)現(xiàn)色度數(shù)據(jù)的緩存。緩存延時(shí)后，色度數(shù)據(jù)與分段線性變換后的灰度數(shù)據(jù)同步輸出。

3 實(shí)驗(yàn)結(jié)果

通過(guò)某型號(hào)可見(jiàn)光CMOS相機(jī)FPGA處理板及電路，實(shí)現(xiàn)了本文提出的自動(dòng)增強(qiáng)算法，并進(jìn)行相應(yīng)的測(cè)試。為了配合測(cè)試，采用圖像采集設(shè)備對(duì)處理后的視頻進(jìn)行實(shí)時(shí)顯示。同時(shí)，為了驗(yàn)證算法的魯棒性，對(duì)不同類(lèi)型的圖像進(jìn)行了多次測(cè)試。

3.1 閾值因子影響分析

圖7和圖8為其中一次測(cè)試的結(jié)果。圖7（a）為原始拍攝的圖像，圖8（a）為對(duì)應(yīng)的直方圖。當(dāng)設(shè)置b=0.75時(shí)，圖像增強(qiáng)處理后的效果如圖7（b）所示，相應(yīng)的直方圖如圖8（b）所示。相應(yīng)的，圖中給出了設(shè)置b=0.6 和b=0.33時(shí)的處理效果（圖7（c）和圖7（d））。

比較可知，原始圖像偏暗，大量細(xì)節(jié)信息集中于[20,80]的灰度區(qū)間，不適合人眼辨識(shí)，增強(qiáng)后的圖像變亮，細(xì)節(jié)清晰。且隨著b值的減小，增強(qiáng)強(qiáng)度變大。

從直方圖中可以看出，圖像中信息量大的區(qū)域被拉伸，信息量少的區(qū)域被壓縮。例如，圖8（d）中的細(xì)節(jié)信息分布于[50,160]的灰度區(qū)間，比原始圖像的[20,80]區(qū)間拉伸了接近2倍；原始圖像信息量較少的[100,220]灰度區(qū)間，在圖8（d）中被壓縮到[170,220]區(qū)間，壓縮了接近二分之一。

圖7 不同閾值因子下圖像處理效果圖Fig.7 Image processing effect in different coefficient

圖8 不同閾值因子下直方圖Fig.8 Histogram in different coefficient

表1為原始圖像在5段區(qū)間內(nèi)像素個(gè)數(shù)統(tǒng)計(jì)表。R1～R5分別對(duì)應(yīng)均勻分布的5段區(qū)間中像素的個(gè)數(shù)。表2為不同b值時(shí)，求取的對(duì)應(yīng)各個(gè)區(qū)間的K值。

表1 原始圖像在5段區(qū)間內(nèi)像素個(gè)數(shù)統(tǒng)計(jì)表Tab.1 Histogram statistics of pixel number in five interval

表2 不同閾值因子下5段區(qū)間比例系數(shù)統(tǒng)計(jì)表Tab.2 Coefficient number under different enhancement factor

分析可知，R1、R2值較大，對(duì)應(yīng)的比例系數(shù)K1、K2值也相應(yīng)較大；R3、R4和R5值小，對(duì)應(yīng)的比例系數(shù)K3、K4和K5值也較小。其中，比例系數(shù)K1、K2大于1說(shuō)明對(duì)該區(qū)間圖像具有拉伸效果，比例系數(shù)K3、K4和K5小于1說(shuō)明對(duì)該區(qū)間圖像具有壓縮效果。b取值不同時(shí)，雖然處理效果略有差異，但b的取值在一定范圍內(nèi)變化時(shí)，均能夠取得較好的處理效果，算法的魯棒性強(qiáng)。

3.2 算法的適應(yīng)性分析

圖9 不同場(chǎng)景圖像增強(qiáng)前后對(duì)比圖（b=0.6）Fig.9 Comparison of images before and after image enhancementprocessing（b=0.6）

圖9 為b取為固定值0.6時(shí)，對(duì)不同場(chǎng)景圖像進(jìn)行自動(dòng)圖像增強(qiáng)處理的效果。共包括圖9（a）～9（c）四組圖片，每組圖片的左上角為原始圖像，右上角為原始圖像對(duì)應(yīng)的直方圖，左下角為增強(qiáng)處理后的圖像，右下角為其對(duì)應(yīng)的直方圖。其中，圖9（a）為原始圖像過(guò)暗的示例；圖9（b）和圖9（c）為原始圖像相對(duì)適中的示例，其中，圖9（b）略微偏暗，圖9（c）略微偏亮；圖9（d）為圖像過(guò)亮的示例。如圖所示，經(jīng)圖像增強(qiáng)處理后，各場(chǎng)景圖像均取得了滿(mǎn)意的視覺(jué)效果，細(xì)節(jié)豐富的區(qū)域?qū)Ρ榷蕊@著提高表明，本文提出的算法具有較強(qiáng)的適應(yīng)性和魯棒性。

3.3 同其它算法的比較

進(jìn)一步，對(duì)本文提出的算法與傳統(tǒng)的直方圖均衡化法的處理效果進(jìn)行了實(shí)驗(yàn)對(duì)比。仍然選擇圖9（b）的原始圖像作為測(cè)試圖像，并分別采用兩種算法進(jìn)行處理。處理結(jié)果如圖（10）所示。其中，圖10（a）為采用本文提出算法的處理效果圖，圖10（b）為對(duì)應(yīng)的直方圖；圖10（c）為采用直方圖均衡化法的處理效果圖，圖10（d）為對(duì)應(yīng)的直方圖。比較可知，利用直方圖均衡化法處理后的圖像顏色失真明顯，直方圖的分布過(guò)于零散且處理后圖像DN值普遍偏高。本文提出算法的處理明顯優(yōu)于直方圖均衡化法。

圖10 同直方圖均衡化法處理效果對(duì)比圖Fig.10 Comparison of the processing effects by the proposed algorithm and the histogram equalization algorithm

4 結(jié)束語(yǔ)

本文提出了一種適合于實(shí)時(shí)處理的彩色圖像自動(dòng)增強(qiáng)算法。該算法以分段線性變換法為基礎(chǔ)，通過(guò)統(tǒng)計(jì)均勻分布的5段圖像灰度區(qū)間像素點(diǎn)的分布情況，由提出的灰度分布和線性變換比例系數(shù)間關(guān)系的計(jì)算模型，自動(dòng)求取各區(qū)間的比例系數(shù)。進(jìn)而，通過(guò)采用高效的并行流水線技術(shù)，并充分考慮硬件模塊內(nèi)部的潛在并行度和硬件資源消耗，設(shè)計(jì)完成了相應(yīng)的FPGA系統(tǒng)的電路結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的算法和硬件系統(tǒng)的實(shí)時(shí)性好，魯棒性和適應(yīng)性強(qiáng)，能夠有效的提高圖像中細(xì)節(jié)區(qū)域的對(duì)比度，改善視覺(jué)效果。

References)

[1] 王軍, 李國(guó)宏. CMOS圖像傳感器在航天遙感中的應(yīng)用[J]. 航天返回與遙感, 2008, 29(2): 42-47. WANG Jun, LI Guohong. Application of CMOS Image Sensor in Spacecraft Remote Sensing[J]. Spacecraft Recovery & Remote sensing, 2008, 29(2): 42-47. (in Chinese)

[2] 王守覺(jué), 丁興號(hào), 廖英豪, 等. 一種新仿生彩色圖像增強(qiáng)方法[J]. 電子學(xué)報(bào), 2008, 36(10): 1970-1973. WANG Shoujue, DING Xinghao, LIAO Yinghao, et al. A Novel Bio-inspired Algorithm for Color Image Enhancement[J]. Acta Electronica Sinica, 2008, 36(10): 1970-1973. (in Chinese)

[3] 周妍, 李慶武, 霍冠英. 基于非下采樣Contourlet變換系數(shù)直方圖匹配的自適應(yīng)圖像增強(qiáng)[J]. 光學(xué)精密工程, 2014, 22(8): 2214-2222. ZHOU Yan, LI Qingwu, HUO Guanying. Adaptive Image Enhancement Based on NSCT Coefficient Histogram Matching [J]. Optics and Precision Engineering, 2014, 22(8): 2214-2222. (in Chinese)

[4] 曹聚亮, 呂海寶, 李冠章. 基于自適應(yīng)局部灰度修正的直方圖均衡算法[J]. 紅外與激光工程, 2004, 33(5): 513-515. CAO Juliang, LYU Haibao, LI Guanzhang. Histogram Equalization Algorithm Based on Adaptive Local Gray Level Modification[J]. Infrared and Laser Engineering, 2004, 33(5): 513-515. (in Chinese)

[5] CHENG H D, SHI X J. A Simple and Effective Histogram Equalization Approach to Image Enhancement[J]. Digital Signal Processing, 2004, 14(2): 158-170.

[6] 陳明亮, 陳成新, 古建平. 一種基于直方圖的自適應(yīng)分段線性變換法[J]. 國(guó)外電子測(cè)量技術(shù), 2015(2): 36-38. CHEN Mingliang, CHEN Chengxin, GU Jianping. A Piecewise Linear Transform Based Adaptive Histogram Method[J]. Foreign Electronic Measurement Technology, 2015(2): 36-38. (in Chinese)

[7] 張俊華, 楊根, 徐青. 基于分段線性變換的圖像增強(qiáng)[C]//第十四屆全國(guó)圖象圖形學(xué)學(xué)術(shù)會(huì)議. 福州: 中國(guó)圖象圖形學(xué)會(huì), 2008. ZHANG Junhua, YANG Gen, XU Qing. Based on Piecewise Linear Transformation of Image Enhancement[C]//National Conference on Image and Graphics. Fuzhou: China Society of Image and Graph-iCS.2008. (in Chinese).

[8] 李曉冰. 一種紅外測(cè)量圖像自適應(yīng)分段線性灰度變換方法[J]. 光電子技術(shù), 2011, 31(4): 236-239. LI Xiaobing. An Infrared Measurement Image Adaptive Piecewise Linear Gray Transform Method[J]. Optoelectronic Technology, 2011, 31(4): 236-239. (in Chinese)

[9] 王建華, 劉纏牢, 陳大川, 等. 基于DSP+FPGA技術(shù)的實(shí)時(shí)視頻采集系統(tǒng)的設(shè)計(jì)[J]. 國(guó)外電子測(cè)量技術(shù), 2007, 26(9): 42-44. WANG Jianhua, LIU Chanlao, CHEN Dachuan, et al. Design of Real-time Video Processing System Based on DSP+FPGA[J]. Foreign Electronic Measurement Technology, 2007, 26(9): 42-44. (in Chinese)

[10] DIAZ J, ROS E, PELAYO F, et al. FPGA Based Real-time Optical-flow System[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(2): 274-279.

[11] GENOVESE M, NAPOLI E. ASIC and FPGA Implementation of the Gaussian Mixture Model Algorithm for Real-time Segmentation of High Definition Video[J]. IEEE Transactions on Very Large Scale Integration Systems, 2013, 22(3): 537-547.

[12] 楊會(huì)玲, 王軍, 楊會(huì)偉. 高幀頻CMOS實(shí)時(shí)圖像采集系統(tǒng)設(shè)計(jì)[J]. 微計(jì)算機(jī)信息, 2008, 24(30): 309-311. YANG Huiling, WANG Jun, YANG Huiwei. Design of High Frame Frequency CMOS Real-time Image Acquisition Systerm[J]. Microcomputer Information, 2008, 24(30): 309-311. (in Chinese)

[13] 陳必威, 梁志毅, 王延新, 等. 基于FPGA的高幀速CMOS成像系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)測(cè)量與控制, 2012, 20(5): 1397-1400. CHEN Biwei, LIANG Zhiyi, WANG Yanxin, et al. Design of a High Speed CMOS Imaging System Based on FPGA [J]. Computer Measurement & Control, 2012, 20(5): 1397-1400. (in Chinese)

[14] 陳國(guó)柱, 劉濤, 李元宗. 基于FPGA的圖像采集與存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J]. 機(jī)械工程與自動(dòng)化, 2007(4): 44-46. CHEN Guozhu, LIU Tao, LI Yuanzong. Design of Image Sampling and Storage System Based on FPGA[J]. MechanicalEngineering & Automation, 2007(4): 44-46. (in Chinese)

[15] 滿(mǎn)益云, 胡永力, 王小勇. 從圖像處理的角度觀點(diǎn)出發(fā)來(lái)看光學(xué)遙感器的成像質(zhì)量[J]. 航天返回與遙感, 2006, 27(1): 18-22. MAN Yiyun, HU Yongli, WANG Xiaoyong. From Image Processing Concepts to Glom the Image Quality of Optical Remote Sensor[J]. Spacecraft Recovery & Remote Sensing, 2006, 27(1): 18-22. (in Chinese)

[16] 劉曉松, 楊新, 汪進(jìn), 等. 一種用于數(shù)字圖像傳感器的彩色插值算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2003, 8(5): 516-521．LIU Xiaosong, YANG Xin, WANG Jin, et al. A kind of Color Interpolation Algorithm for Digital Image Sensor[J]. Journal of Image and Graphic, 2003, 8(5): 516-521. (in Chinese)

[17] 張起貴, 趙麗娟. 基于FPGA的貝爾圖像插值算法實(shí)現(xiàn)[J]. 科學(xué)技術(shù)與工程, 2012, 12(35): 9568-9569. ZHANG Qigui, ZHAO Lijuan. Research on Interpolation Algorithm Based on FPGA[J]. Science Technology and Engineering. 2012, 12(35): 9568-9569. (in Chinese)

[18] 喻再光, 趙群飛. 基于Ycbcr三基色插值及其在DSP上的實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2005, 8(10): 104-106. YU Zaiguang, ZHAO Qunfei. Three-color Interpolation Algorithm Based on Ycbcr and Its Implementation on aDSP System[J]. Computer Engineering and Application, 2005, 8(10): 104-106. (in Chinese)

[19] 尤政, 李濤. CMOS圖像傳感器在空間技術(shù)中的應(yīng)用[J]. 光學(xué)技術(shù), 2002, 28(1): 31-35. YOU Zheng, LI Tao. Application of CMOS Image Sensor in Space Technology[J]. Optical Technique, 2002, 28(1): 31-35. (in Chinese)

Design and Implementation of a Hardware-Friendly Automatic Image Enhancement Algorithm

FAN Bin1,2YU Qifeng1
（1 National University of Defense Technology, Changsha 410073, China）
（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

Because the existing image enhancement algorithm is difficult to balance the two aspects of processing effect and speed requirements, this paper proposes a hardware-friendly automatic image enhancement algorithm for improving image quality in real time. Image quality evaluation is based on the histogram distribution in the image, and image quality enhancement is based on piecewise linear transformation The core of the proposed algorithm is to establish the quantitative relationships between the histogram distribution and the coefficients of the piecewise linear function. And as a result, the coefficients can be automatically calculated. Furthermore, the corresponding FPGA system architecture is implemented. Especially, the high-performance parallel pipelined technology and inner potential parallel processing ability of the modules are paid more attention to ensure the real-time processing ability of the complete system. The simulations and the experimentations show that the proposed FPGA system costs less hardware resources and is characterized as real-time processing ability and good adaptability. It can achieve good processing effects for different sceneries, and can be used in various practical applications.

image enhancement; hardware-friendly; automatic; real-time; space remote sensing

TP72

A

1009-8518(2016)06-0046-11

10.3969/j.issn.1009-8518.2016.06.006

范斌，女，1972年生，1993年獲西北工業(yè)大學(xué)學(xué)士學(xué)位，2000年獲北京航空航天大學(xué)碩士學(xué)位，研究員，現(xiàn)為國(guó)防科學(xué)技術(shù)大學(xué)航空宇航科學(xué)與技術(shù)專(zhuān)業(yè)博士研究生。研究方向?yàn)轱w行器光測(cè)與視覺(jué)導(dǎo)航。E-mail：fanbin508@163.com。

（編輯：毛建杰）

2016-10-09

國(guó)家重大科技專(zhuān)項(xiàng)工程