靳陽陽,韓現偉,周書寧,張世超
(河南大學 物理與電子學院,開封 475001)
在全球信息化大幅發(fā)展的時代,對于這個世界的認識越來越依靠于信息的爆炸性傳遞.大部分人認識世界的主要途徑還是眼睛的可視性,人眼所看到的一切都可以化作圖像的形式.圖像的獲取、生成、壓縮、存儲、變換過程自然會受到各種狀況的影響,例如獲取圖像時會因為天氣原因,不同光照條件,圖像亮度也有著細微的變化,同樣由于儀器設備的質量,參數的設置,人員的操作都會使圖像質量在一定程度上的損傷,影響圖像的質量.圖像增強算法的出現,無疑是對受損的圖像做一個“修補”的工作,以此來滿足各樣的需求.圖像增強的目的是為了適應人眼的視覺特性,且易于讓機器來進行識別.近些年來,圖像增強的發(fā)展涉及了很多領域,其中包括了遙感衛(wèi)星成像領域、醫(yī)學影像領域、影視攝影等各領域[1].
要想真正地實現圖像增強的效果,首先對于整個圖像來講,要提高圖像部分和整體的對比度,細節(jié)也不能忽略;其次應提高圖像的信噪比,抑制噪聲的產生,對“降質”的圖像處理;然后是對于增強過的圖像來講,避免出現局部增強不適,影響人眼的觀看模式.
下面我們將列出幾類典型的且應用范圍比較廣的圖像增強算法以及改進的算法.直方圖均衡(HE)技術原理是對原圖像的灰度直方圖從比較集中的某個灰度區(qū)間轉換為全部灰度區(qū)域內的均勻分布[2];由此算法進行轉化的局部直方圖均衡化[3],符合圖像局部特性;Kim等提出的保持亮度的雙直方圖均衡算法(BBHE)[4],最大亮度雙直方圖均衡(MMBEBHE)算法有效地保持圖像亮度[5];迭代閾值的雙直方圖均衡算法(IBBHE)[6]用迭代的方法達到增強對比度和亮度保持的效果;彩色圖像直方圖均衡算法[7],運算復雜度很低,合并圖像的視覺效果很好.基于偏微分方程(PDE)的增強方法是把圖像作為水平集或高維空間中的曲面,再根據曲線和曲面演化逐步來增強圖像的對比度[8];基于全變分模型插值的圖像增強方法[9],保留原圖像的細節(jié),提高了對比度;基于HE 的偏微分方程增強方法,在梯度域增強對比度基礎上[10]提出新梯度變換函數.小波變換中增強本質是圖像信號分解為不同頻段圖像分量[11];小波變換圖像多聚集模糊增強方法[12],增強后的圖像較為清晰;基于離散余弦變換(DCT)和離散小波變換(DWT)的圖像增強方法,提高圖像的質量,同時減少計算復雜度和內存使用量[13];基于小波分析和偽彩色處理的圖像增強方法[14],在降噪增強的同時進一步提高圖像分辨率.基于量子力學偏微分方程的缺陷圖像增強的研究[15].基于PDE 的紅外圖像增強,很好改進了傳統(tǒng)對比度增強方法的不足[16];基于PDE 平滑技術是一種新興的圖像增強濾波技術,實質性、開創(chuàng)性的研究在圖像增強濾波中引入的尺度空間理論[17].基于LBPV (Local Binary Pattern Variance)的分數階微分圖像增強算法[18],在圖像紋理和細節(jié)方面處理效果比現有分數階算法效果更好;自適應分數階微分理論指紋圖像增強算法改進了傳統(tǒng)分數階微分形式,提高了計算精度[19].基于多尺度Retinex 的HSV 彩色快速圖像增強算法,在HSV顏色模型中有與Multi-Scale Retinex (MSR)等同的結果,處理時間短[20];基于多尺度Retinex 的數字射線照相增強算法,改善對比度,抑制噪聲[21];MSR與顏色恢復(MSRCR)算法增強的圖像在復雜的情況下進行識別物體[22];基于變分Retinex 方法的圖像增強,良好結合了MSRCR和變分方法的優(yōu)點,保證圖像自然度[23].近年來,基于深度學習的圖像處理算法迎來了一個新的時代[24].Hu 等利用超分辨卷積神經網絡(SRCNN)方法提高了風云衛(wèi)星亮溫圖像的峰值信噪比,結果較傳統(tǒng)方法更精細[25];Li 等利用深度學習來增強低光圖像,提出利用深度的卷積神經網絡進行學習,提高圖像質量[26].
直方圖均衡化算法,簡言之就是對圖像直方圖的每個灰度級來進行統(tǒng)計[3].實現歸一化的處理,再對每一灰度值求累積分布的結果,可求得它的灰度映射表,由灰度映射表,可對原始圖像中的對應像素來進行修正,生成一個修正后的圖像.
1.1.1 傳統(tǒng)標準直方圖均衡算法
傳統(tǒng)直方圖均衡算法是通過圖像灰度級的映射,在變換函數作用下,呈現出相對均勻分布的輸出圖像灰度級,增強了圖像的對比度.該算法是相對于圖1中n=1,均衡函數為fHE的簡化模型[27],即:
圖1 全局均衡算法的模型
其中,函數fHE代表直方圖均衡過程,其大致過程為:已知輸入和輸出圖像為X和Y,總灰度級為L,則存在Xk={X0,X1,···,XL?1},均衡后輸出和輸入圖之間有如下變換關系:
其中,c(Xk)展現的累積概率分布表示函數輸入圖像灰度級.
如果輸入圖像看作一個連續(xù)隨機變量,即L=∞,則輸出圖像自然是一個隨機變量,輸出圖像灰度級均衡后的概率分布將趨于均勻,則輸出圖像的亮度均值為:
得到均衡后圖像的均值分布與原圖像無關,由此可知其不能有效保持原始圖像的亮度,由于原圖像各灰度級概率密度的差異,簡并現象的產生明顯變多.
1.1.2 保持亮度的雙直方圖均衡算法
BBHE 實質是利用兩個獨立的子圖像的直方圖等價性[4].兩個子圖像的直方圖等價性是根據輸入圖像的均值對其進行分解得到,其約束條件是得到均衡化后的子圖像在輸入均值附近彼此有界作為基于圖像均值進行的分割,均衡后圖像均值偏離原始圖像均值的現象不會出現,達到了亮度保持的目的,其算法流程如下:
1)計算輸入圖像均值Gmean,根據均值將原始直方圖分為左右兩個子直方圖.
2)分別計算左右兩個子直方圖的灰度分布概率直方圖PL(i)和PR(i),即:
其中,NL和NR分別表示左右兩個子直方圖的總像素數,L表示圖像總灰度級數.
3)計算左右兩子直方圖的累積分布直方圖cd fL(i)和cdfR(i),即:
4)計算左右兩個映射表tabL(i)和tabR(i),合并之后得到最終的映射表tab,其中round表示四舍五入取整,即:
對于一些低照度和高亮的圖像,均值會處于較低和較高的地方,若此時基于均值進行分割并分別均衡的話,很大程度上會導致一個有大量數據的子直方圖在小范圍內進行均衡的情況出現,另一個只有少量數據的子直方圖卻在較寬的范圍內均衡.
19世紀80年代Morlet 提出小波變換的概念,數學家Merey 在十幾年后提出小波基構造思想,隨著Mallat 的加入,兩個人共同建立了小波變換算法.通過小波逆變換將同態(tài)濾波處理的低頻分量和經自應閾值噪、改進模糊增強的高頻分量得到增強處理后的紅外圖像[28].
1.2.1 標準小波變換圖像增強
小波理論具有低熵和多分辨率的性質,處理小波系數對降噪有一定作用,噪聲主要在高通系數中呈現,對高低通子帶均需要增強對比度和去噪處理.標準小波變換圖像增強(WT)將圖像分解為1 個低通子圖像和3 個具有方向性的高通子圖像,高通子圖像包括水平細節(jié)圖像、垂直細節(jié)圖像和對角細節(jié)圖像[29].小波變換最大的特點是能較好地用頻率表示某些特征的局部特征,而且小波變換的尺度可以不同[30].
1.2.2 改進后的小波變換圖像增強算法
針對傳統(tǒng)方法對圖像多聚焦模糊特征進行增強會出現圖像不清晰、細節(jié)丟失現象,小波變換圖像多聚焦模糊特征增強方法,利用背景差分法將目標圖像的前景區(qū)域提取出來,背景區(qū)域亮度會隨時間發(fā)生變化,進而完成背景區(qū)域特征更新;根據全局像素點熵值和預設閾值校正加強模糊特征,突出小波變換圖像邊界局部紋理細節(jié)信息,完成增強變換.基于小波變換域的醫(yī)學圖像增強方法[31],是基于Shearlet 變換改進的Gamma校正,采用改進的伽瑪校正對低頻進行處理,利用模糊對比函數增強圖像細節(jié),增強圖像的對比度.
二進小波變換簡單的對信號尺度參數實現了離散化,不過仍具備和連續(xù)小波變換同樣的平移不變特性.利用二進小波變換將指紋圖像分解[32],步驟如下:
1)首先將獲取的指紋圖像進行尺度的分解,這樣得到的頻率分量為一低三高;
2)對低頻分量進行直方圖均衡;
3)對3 個高頻分量先進行高斯拉普拉斯掩膜銳化,得到銳化后的圖像;
4)直方圖均衡后的低頻分量和處理后的3 個高頻分量進行二進小波逆變換重構,得到增強后的圖像.
1.3.1 標準偏微分方程圖像增強
假設Vlo(p)和Vl(p)分別為兩幅圖像lo和l 的對比度場,若Vlo(p)與Vl(p)在每一點上具有相同的梯度方向,但前者大小均大于后者,則圖像應該lo比l 具有更高的對比度,可以將lo看作l 的增強圖像.實際上,從圖像l 到圖像lo的過程就是標準PDE 圖像增強實現的過程,可以由以下式子來描述它們的關系:
式中,Vlo(p)為增強后圖像的對比度場;k為增強因子,一般情況下k>1,過大的話會增大噪聲.對于式(12),圖像l是已知的,其解為:
式中,φ是一個與坐標無關的常數.可看到兩幅圖像之間的動態(tài)范圍存在k倍的差距.對于可在計算機屏幕上顯示的數字圖像,其動態(tài)范圍為0~255.我們要做到先要對lo(p)的對比度場進行約束,之后開始按照步驟運算,最后才能得到比較準確的數據.
1.3.2 改進的偏微分方程增強方法
為避免增強圖像梯度場同時造成噪聲的危害加劇,尋找一種比較適合的增強方法.定義原圖像的數值梯度函數為?u,梯度模的最大值為max‖?u‖,最小值為min‖?u‖,增強之后的圖像梯度為S[10]:
近些年,分數階微積分在多領域都有了突破性進展[34].分數階微分不僅可以提升圖像中的高頻分量,還可以以一種非線性形式保留圖像中低頻分量所帶有的性能.常用的分數階微分定義有G-L、R-L、Caputo 三種定義,其中最常用的是采用非整型分數階微積分的G-L 定義[35].
1.4.1 圖像增強的分數階微分算子構造
讓圖像像素鄰域中任一像素與對應系數進行乘法運算,得到的結果再進行和運算,得到像素點所在位置的回復,當鄰域的大小為m×n,要求的系數會很多.這些系數被排列成一個矩陣,稱為濾波器、模板或者掩模[36].
在整數階微分方程的增強算子中,有一類是拉普拉斯算子,對任一二元連續(xù)函數f(x,y)來講,其拉氏變換可表示為:
由于在圖像f(x,y)中,兩個相鄰像素點之間灰度產生差異的距離最小,因此圖像f(x,y)在它的x和y方向上灰度值的變化只能以像素之間的最小距離為單位來進行數值度量和分析,所以f(x,y)的最小等分間隔只能設為:h=1,如果圖像中x和y方向的持續(xù)區(qū)間分別為x∈[x1,x2]和y∈[y1,y2],則最大等分份數分別為nx=[x2?x1]和ny=[y2?y1].
將上式拉普拉斯變換寫成離散的表示形式,對x方向和y方向重新定義,得到它的二階微分表示:
根據以上定義,可以得到:
拉氏算子還要對處理前后的圖像完成進一步的疊加,其方式如下:
在霧天圖像中應用算子增強圖像,邊緣輪廓還有紋理部分的效果會很容易看到,不過若是圖像像素中某一范圍灰度變化不明顯,細節(jié)可能受到損失.因此,構建圖像增強的分數階微分算子,將整數階微分擴展到分數階微分上并且應用于圖像增強中[37].
1.4.2 改進的分數階微分算子增強圖像
相比傳統(tǒng)的分數階微分算法的不足,提出新的改進算法,在極端條件處理拍攝的交通圖像時,具有良好效果.上文提到的指紋圖像增強算法,對傳統(tǒng)形式加以改造,在計算精度上有所提升,進而構造了更加高精度的分數階微分掩模.通過對像素周圍的紋理對比從而逐點選擇微分階,明確的選擇了具有二階精度的分數階微分形式來構造IRH 算子,并對算子結構進行相應的改進,之后利用圖像的梯度信息和局部統(tǒng)計信息,結合中心像素對相鄰像素的影響,建立自適應分數階微分的自適應函數,此法保留了指紋紋線和圖像紋理細節(jié),對于降噪起到很好的作用.
Retinex是retina(視網膜)和cortexv(大腦皮層)組成的,Retinex 算法由美國物理學家提出[38].Retinex 理論的基礎是人類視覺系統(tǒng)的色彩恒常性,人類視覺感知系統(tǒng)的色知覺存在“先入為主”的特性,即光源條件發(fā)生改變,視網膜接收到的彩色信息也會被人們的大腦駁回.Retinex 理論的依據就是是原始圖像S(x,y)可以分解為照射圖像L(x,y)和反射圖像R(x,y),最重要的就是讓S(x,y)擺脫L(x,y)的影響,以便得到圖像的反射屬性.
1.5.1 經典的Retinex 圖像增強
對數域進行操作可以把乘法運算變成簡單的加法運算,進而出現了多種Retinex 算法.經典的有:單尺度Retinex 算法(SSR)、多尺度Retinex 算法(MSR)和帶色彩恢復的多尺度Retinex 算法(MSMCR)等[39].
針對運算速度緩慢的問題,在1986年,Jobson 等[40]將高斯低通濾波與Retinex 結合,改進了Land 提出的中心環(huán)繞Retinex 算法(Center/Surround Retinex),提出了單尺度Retinex(SSR)算法.在SSR 算法中,Jobson等創(chuàng)新的使用高斯函數與圖像進行卷積的方式來近似實現了入射分量的表達.它的數學表達式如式(20)表示:
其中,Ii(x,y)表示原始圖像的第i個通道分量的像素值,i∈(R,G,B) 顏色通道中的一個,G(x,y,c)表示中心環(huán)繞函數,?是一種卷積操作表示,入射分量的表達可以借用Jobson 等的成果,Li(x,y)則可以看做入射圖像的第i個通道分量.SSR 的實現過程如式(21) 至式(23)所示:
由于SSR 算法處理要對圖像細節(jié)對比度和色彩的保留做到很好的發(fā)展,而尺度c又相對難做到極好的運用,MSR 算法的出現,在很大程度上解決了這一問題,起到了平衡圖像色彩和細節(jié)的良好效果.
1.5.2 改進的Retinex 圖像增強
Retinex 算法對于圖像增強的效果需要經過精確且復雜的計算,最后的結果精確度越高,增強效果將會更好.文獻[20]中基于多尺度Retinex 的HSV 彩色快速圖像增強算法.在HSV 模型中用多尺度Retinex 進行圖像增強,由于顏色轉換的非線性,計算起來非常復雜.使用亮度校正的MSR 算法基于HSV 顏色模型和修正的V 頻道輸出圖像的RGB 分量的線性形式減少30–75%的平均處理時間,MSR 算法在Haar 小波變換低頻區(qū)域應用亮度校正的處理速度有很明顯優(yōu)勢,平均加速度接近3 倍.文獻[22,23]中介紹了MSRCR 算法.由于傳統(tǒng)均值移位算法有不少的不足,改進后,對要增強的圖像可以在情況復雜下進行識別物體,增強對比度的同時,光暈現象的產生被消滅,噪聲得到抑制,保證圖像自然度.基于Retinex 提出一種自適應的圖像增強方法,其中包括如下4 個步驟:(1)用引導濾波器估計其照度分量;(2)提取圖像的反射分量;(3)對反射分量進行顏色恢復校正;(4)后處理.由于霧霾和照度較低,自然生成的圖像質量比較差,而此法不管是在定量還是定性上都突出了更好的優(yōu)勢.此算法最終的結果圖像具有清晰的對比度和生動自然的顏色[41].
在當今社會經濟科技奮進之時,深度學習的發(fā)展可謂是如日中天,特別是在圖像增強方面.
1.6.1 卷積神經網絡圖像增強算法
神經網絡(neural networks)最基本的組成結構是神經元(neuron),神經元概念源于生物神經網絡[42].卷積神經網絡(Convolutional Neural Network,CNN)在傳統(tǒng)神經網絡基礎上,引入了卷積(convolution)和池化(pooling),CNN 的建筑靈感來自于視覺感知[43].CNN是深度學習領域最重要的網絡之一,CNN 在計算機視覺和自然語言處理等諸領域都有很大成就.卷積神經網絡的特性比較突出,除了可以實現權值共享外,可調的參數相對來說不多,對二維圖像這類的,它的平移、傾斜、縮放包括其他形變都擁有著極高的不變性.CNN 相比于一般的神經網絡,具有很大優(yōu)勢[44]:(1)局部連接.每個神經元只與少數神經元相連,有效地減少了參數,加快了收斂速度;(2)重量共享.一組連接可做到同時分享相同的權值,進一步降低了所需的參數;(3)降采樣降維.池化層利用圖像部分相關的依據對圖像進行降采樣,降低運算數據量,留存有效的信息值.卷積神經網絡大致包含4 部分,卷積層、池化層、全連接層以及反卷積層,各自具有不同作用,承擔獨自的工作.深度越深,網絡性能越好;隨著深度增加,網絡性能逐漸飽和.
1.6.2 基于深度學習圖像增強的改進算法
Hu 等基于深度學習方法增強MMSI 亮溫圖像,設計卷積神經網絡重建風云四號衛(wèi)星MMSI 的亮溫圖像和風云三號衛(wèi)星微波成像儀亮溫圖像[25].在根據SRCNN進行實現映射函數fo=F(g),式中,g為監(jiān)測的天線溫度的圖像,可用于復原F(g),使其盡可能接近地面真實高分辨率亮溫圖像f.映射函數F的完成可以依據學習思想,構建一種卷積神經網絡,為了讓觀測圖像數據重新構建為理想的高分辨數據,需要對卷積神經網絡進行一系列特征變換,此過程即達成卷積核的卷積操作.相比古老的插值方法而言,SRCNN 方法除了提高圖像的峰值信噪比之外,在提高圖像細節(jié)較古老的方法也有很大的提高.
通過對論文文獻研究比對,以及對于其中的經典算法以及改進的算法,對應用廣泛的上述6 大類圖像增強算法進行較概括的研究分析.
圖2是幾種不同算法得到的增強圖像.從增強圖像的效果來看,HE 增強效果是對圖像的動態(tài)范圍進行拉大實現的,增強效果隨動態(tài)范圍增加而變差.BBHE算法均衡后的圖像在增強對比度的同時很好保持原圖像的平均亮度.IBBHE 根據各子圖像的直方圖分別進行獨立的均衡化處理,IBBHE 增強效果更好.WT 算法增強圖像細節(jié)信息,但是增加了噪聲.小波變換圖像多聚集模糊增強方法,對圖像增強后,圖像較為清晰,細節(jié)沒有丟失,效果較好.PDE和TVPDE 算法放大了圖像對比度場,增強后圖像都有較高對比度[45].自適應分數階微分可以很好降噪.SSR和MSR 算法去除了圖像中照度分量影響,還原景物本身的亮度信息,MSRCR處理后的圖像比原圖像細節(jié)增加了,亮度有所提高,顏色有一定矯正,對顏色的恢復存在失真現象.基于深度學習的圖像增強算法通過復雜的神經網絡,進行大量的訓練,得到的模型同時減少了訓練時間,取得了更好的精度.
圖2 不同算法得到的增強圖像
對一幅圖像的增強效果來講,需要對圖像對比度和信息熵來進行評價和比較,可以對圖像有很好認識.
圖像對比度的計算公式:
其中,Ii,j為中心像素點的灰度值,N為圖像局部塊內像素點的個數.為了計算一幅完整圖像的對比度,需要對圖像中所有部分塊對比度總體的平均值來表示.
圖像的信息熵公式如下:
式中,p(k)為灰度級k的概率密度,M為最大的灰度級.表1中為第一幅圖通過不同算法得到的圖像質量的客觀結果評價,評價指標為對比度和信息熵.通過對文獻中算法的研究以及本文中對增強算法的分析對比,我們得到表2中對不同算法優(yōu)缺點的總結.
表1 不同算法得到的圖像質量的客觀結果評價
表2 不同算法的優(yōu)缺點
根據上文所介紹的不同圖像增強算法及實驗分析對比結果,可預見未來的圖像增強算法發(fā)展將有以下特點:超分辨率、多維化、智能化和超高速.
1)超分辨率,對獲得的低分辨率圖像進行增強從而得到超高分辨率的圖像,重點是對采集分辨率以及顯示分辨率做進一步的提升,突破技術壁壘限制,向時空感知超分辨率邁進.
2)多維化,多維數據增強系統(tǒng)在多維系統(tǒng)中進行實時改進圖像數據,進行超大核的卷積處理,讓圖像和圖形產生一個高度的結合,對多維圖像的增強效果達到一個新的高度.
3)智能化,讓機器按照人類的思維和邏輯來進行有效的圖像增強,結合計算機視覺和智能發(fā)展領域,創(chuàng)新共同服務智能領域的圖像增強技術.
4)超高速,在硬件和軟件性能提高的基礎上,原始圖像預處理時間幾乎可以忽略不計,圖像增強速度達超高速水平,各領域對圖像增強技術都有依賴和期待.
水下圖像增強在海洋生境制圖、改善水下場景的三維重建、水下援救和海洋生物的可視化研究等領域有著廣泛的應用.目前水下圖像增強對水下圖像的色彩失真效應很難完全進行補償,增強后圖像存在一定程度的色彩失真,對色彩失真的研究成為今后水下圖像增強的重點方向,目前研究都是對自然水域下的圖像進行增強,今后重點可向人工光源的方向邁進.
醫(yī)學影像中圖像增強,對于目前人類疾病的診斷和治療起到了舉足輕重的作用,不過由于醫(yī)學圖像成像的影響因素存在不確定性,復雜程度過高,對獲取的圖像進行深一步增強,可提高現代醫(yī)學精確性和效率.
遙感影像中的圖像增強,在土地利用變化、全球農情遙感、防范自然災害、軍事偵察和定量遙感等領域中進一步深入應用,可以及時發(fā)現自然環(huán)境意外情況,為應對險情做好充足的準備,對我國領空區(qū)域實施嚴密的監(jiān)控,做好充分的戰(zhàn)時緊急準備.
刑偵安防方面,比如在雨天、霧天或夜間由于環(huán)境的影響,導致監(jiān)控拍攝的圖像分辨率較低,很難觀察嫌疑人面部輪廓,對其進行增強,可以很好改善圖像質量,從而快速鎖定目標.再如雙能X 射線對機場行李進行檢測,對獲得的X 光圖像進行圖像增強,抑制X 射線存在的泊松噪聲和脈沖噪聲的影響,對人工識別違禁品過程提供參考,成為航空安全不可或缺的一道防線.
目前我們所熟知的增強圖像算法如本文所講,對目前流行的圖像增強做一個技術路線,如圖3所示.
圖3 增強圖像技術路線
圖像增強是數字圖像處理領域目前流行的方向之一,各種增強算法層出不窮,已經在遙感、醫(yī)學、氣象等領域有了很大的進展.本文討論的算法對圖像質量的增強和對細節(jié)的處理都有一定的效果,但在圖像恢復中仍存在著細節(jié)的不足和色彩的損失,這些方面需要進一步加強.因此,就現階段來講,還沒有任何一種算法可以使增強圖像的各項指標達到最優(yōu)化,而是只能在一定程度上實現一個平衡狀態(tài).不過隨著算法的不斷改進以及計算機硬件性能的提高,未來的圖像增強技術將會在視覺效果、對比度、信噪比、信息熵等方面有更好的進步和更大的突破,對其在眾多領域發(fā)揮更大的作用打下堅實的基礎.