基于特征分類的麻將圖像光照不均校正方法

王財(cái)盛 ，朱 威，2，胡文文，徐鑫濤

1.浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023 2.浙江省嵌入式系統(tǒng)聯(lián)合重點(diǎn)實(shí)驗(yàn)室，杭州 310023

基于特征分類的麻將圖像光照不均校正方法

王財(cái)盛1，朱 威1，2，胡文文1，徐鑫濤1

1.浙江工業(yè)大學(xué) 信息工程學(xué)院，杭州 310023 2.浙江省嵌入式系統(tǒng)聯(lián)合重點(diǎn)實(shí)驗(yàn)室，杭州 310023

針對麻將排版視覺檢測裝置采集到的圖像存在光照不均問題，提出了一種基于麻將特征分類的自適應(yīng)圖像校正方法。通過對麻將的排版特征進(jìn)行分析，采用背景差分法和投影法將整體排版麻將灰度圖從采集圖像中分割出來；將整體排版麻將劃分為多個(gè)單個(gè)麻將，并通過對單個(gè)麻將的光照特征進(jìn)行分析，將單個(gè)麻將按光照類型分為均勻類麻將、陰影類麻將和高光類麻將共三類；對陰影類麻將和高光類麻將進(jìn)行均值歸一化處理，再對麻將圖像進(jìn)行整體銳化，并結(jié)合色度分量增強(qiáng)麻將的圖案特征；根據(jù)麻將噪聲特征，基于空域幅值統(tǒng)計(jì)去除陰影類麻將中的圖像噪點(diǎn)。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方法相比，該方法能更好地改善麻將圖像光照不均現(xiàn)象，處理后的圖像有效地提高了麻將排版識(shí)別率。

麻將圖像；光照不均；圖像銳化；色度分量；局部去噪

1 引言

麻將包裝是麻將生產(chǎn)線的最后一道工序，需要檢測麻將的整體排版是否正確，目前基本以人工檢測方式來完成。在長時(shí)間工作情況下，人工檢測麻將排版的方式容易因人眼疲勞而出現(xiàn)錯(cuò)檢和漏檢，同時(shí)人工檢測也存在人力成本高和檢測速度慢等問題。隨著機(jī)器視覺技術(shù)的快速發(fā)展，“機(jī)器眼睛”[1]正逐漸代替人工實(shí)現(xiàn)更高準(zhǔn)確率的視覺檢測，在這樣的趨勢下，麻將包裝過程中的麻將排版檢測方式正在發(fā)生轉(zhuǎn)變，新一代的麻將排版視覺檢測裝置正在興起。然而，在視覺檢測過程中，麻將本身對光線的吸收和反射性不同，并且由于受到拍攝設(shè)備本身和拍攝環(huán)境的影響[2]，采集圖像中常出現(xiàn)光源照射不均的現(xiàn)象。這種光照不均現(xiàn)象將會(huì)影響圖像特征的提取精度[3]，在麻將圖像特征提取過程中引起信息缺失，導(dǎo)致機(jī)器視覺識(shí)別失敗。

為了解決視覺檢測過程中光照不均現(xiàn)象產(chǎn)生的一系列問題，提高識(shí)別精度同時(shí)降低識(shí)別復(fù)雜度，必須對采集到的圖像進(jìn)行必要的校正處理，增強(qiáng)圖像有效信息，減少或者消除無效信息[4]。目前的圖像光照不均校正方法有很多，常采用的經(jīng)典的方法有灰度變換方法[5]，基于照明反射模型的同態(tài)濾波法[6-7]和Retinex方法[7-9]等。灰度變換方法的典型代表是直方圖均衡化[7，10]，該方法在拉伸對比度方面的效果非常顯著，整個(gè)過程自動(dòng)完成，無需設(shè)置參數(shù)，但是無法控制增強(qiáng)的區(qū)域，存在灰度級合并現(xiàn)象，容易引起有用細(xì)節(jié)的丟失。同態(tài)濾波雖然能夠?qū)⒐庹招畔⒎蛛x出來進(jìn)行處理，有效地保留了圖像中的細(xì)節(jié)部分，但是不太適用于光照強(qiáng)度變化劇烈的場合，且濾波器參數(shù)較難設(shè)置，難以估計(jì)照射分量和反射分量。Retinex不僅能使圖像得到很好的動(dòng)態(tài)范圍壓縮，而且保證了圖像的色感一致性，但是該方法對于高光細(xì)節(jié)信息效果不佳，且容易發(fā)生部分顏色扭曲現(xiàn)象。國內(nèi)外已有文獻(xiàn)提出了一些光照不均校正新方法，文獻(xiàn)[11]提出了一種盲反向伽馬校正方法，通過分析圖像的高頻相關(guān)性，估計(jì)伽馬校正系數(shù)，該方法在不顯著改變圖像外觀的情況下，很好地增強(qiáng)了圖像的對比度，但是圖像清晰度較低。文獻(xiàn)[12]針對醫(yī)學(xué)圖像，提出了一種Retinex方法和基函數(shù)擬合相結(jié)合的光照補(bǔ)償方法，該方法能有效校正光照不均現(xiàn)象且較好地保存原圖像信息，但是該方法僅對皮膚鏡圖像有較好效果。

在麻將檢測及打包系統(tǒng)的研發(fā)過程中，發(fā)現(xiàn)上述校正方法并不能很好地處理麻將圖像光照不均現(xiàn)象。本文在充分研究各類校正方法的基礎(chǔ)上，通過對麻將圖像進(jìn)行特征分析，提出了一種基于特征分類的光照不均麻將圖像校正方法。該方法的主要思路如下：（1）分析麻將的排版特征，將整體排版麻將灰度圖從采集圖像中分割出來；（2）將整體排版麻將劃分為多個(gè)單個(gè)麻將（以下簡稱單麻將），并基于單麻將的光照特征，對單麻將進(jìn)行分類處理；（3）對麻將圖像進(jìn)行自適應(yīng)的整體銳化，使圖像更加清晰；（4）充分利用麻將圖像色度信息，對麻將圖案特征進(jìn)行增強(qiáng)；（5）設(shè)計(jì)適合于麻將圖像的去噪方法，使最終圖像的二值化效果更好。

本文方法具有以下優(yōu)點(diǎn)：（1）根據(jù)麻將圖像的光照特征對麻將進(jìn)行分類處理，減少計(jì)算復(fù)雜度同時(shí)也提高了處理精度；（2）充分利用麻將的色度信息，增強(qiáng)麻將圖案特征，尤其對于光照較強(qiáng)部分，具有較好的增強(qiáng)效果；（3）通過分析麻將的噪聲特點(diǎn)，針對帶陰影的麻將，進(jìn)行四鄰域統(tǒng)計(jì)去噪，在有效地保留麻將圖像信息的同時(shí)獲得較好的去噪效果。

2 麻將圖像光照不均特征分析

2.1 光照不均現(xiàn)象分析

圖1所示為麻將打包機(jī)的麻將排版視覺檢測裝置設(shè)計(jì)示意圖，排版好的麻將隨著黑色傳送帶從左往右通過，并在工業(yè)攝像頭正下方由擋板1控制停下，攝像頭拍下此時(shí)的麻將圖像，本設(shè)計(jì)中采集到的圖像色度空間格式為YUV。采集圖像經(jīng)視覺識(shí)別算法檢測，若排版正確則擋板1上移，麻將繼續(xù)向右通過；若排版不正確，則用擋板2將麻將往錯(cuò)誤通道推掉。由于拍攝背景內(nèi)容基本保持不變，可預(yù)先拍攝一幅背景圖像，取其Y分量圖像作為背景圖像灰度圖（以下所有的灰度圖均為Y分量圖像），采用背景差分法[13]，將采集圖像灰度圖與背景圖像灰度圖相減取絕對值并二值化，容易提取得到整體排版麻將的坐標(biāo)位置，進(jìn)而從采集圖像中分割得到整體排版麻將灰度圖。但是此裝置會(huì)受到周圍電線遮擋、金屬擋板反光以及麻將本身凹凸不平且各種顏色吸收反射光照能力差異等因素影響，分割得到的整體排版麻將灰度圖常出現(xiàn)光照不均現(xiàn)象，顯著地降低了麻將圖像排版識(shí)別率，因此非常需要對麻將圖像進(jìn)行光照不均校正處理。

圖1 麻將打包機(jī)視覺檢測裝置

麻將圖像光照不均現(xiàn)象大致可以分為兩種，一種是有陰影現(xiàn)象，陰影使麻將圖像亮度大幅度下降，也使麻將背景像素點(diǎn)亮度不一，圖2（a）所示，右上角有明顯的陰影區(qū)域。另一種是高光失真現(xiàn)象，由于光照位置和角度的影響，部分麻將圖像發(fā)生反光現(xiàn)象，產(chǎn)生高光區(qū)，使麻將圖像失真，如圖2（b）所示，麻將的“萬”字部分高光失真嚴(yán)重。這兩種現(xiàn)象對麻將圖像識(shí)別均會(huì)產(chǎn)生較大影響，是圖像識(shí)別的難點(diǎn)，因此，本文方法主要針對這兩種情況做光照不均校正處理。

圖2 不同類型光照的整體排版麻將灰度圖

2.2 麻將圖像特征分析

圖3 灰度投影曲線圖

在分析完麻將圖像的全局特征后，繼續(xù)分析其局部特征。圖4給出了三種不同光照特征的單麻將：圖4（a）為受陰影影響的麻將，其麻將背景的灰度值較小，且各個(gè)灰度值離散程度較高；圖4（b）為光照均勻的麻將，其麻將背景灰度值較大，各個(gè)灰度值離散程度較低；圖4（c）為高強(qiáng)度光照的麻將，其麻將背景灰度值較大，各個(gè)灰度值離散程度更低?？紤]到這三種情況下單麻將的麻將背景灰度值數(shù)據(jù)相差較大，使用麻將背景灰度值的均值和方差快速區(qū)分單麻將的光照類型，實(shí)現(xiàn)對單麻將的分類，為研究麻將圖像光照不均校正處理提供了新思路。

校正方法大致可以分為兩個(gè)方向，一個(gè)是全局校正，另一個(gè)是局部校正。由于拍攝角度，拍攝距離及圖像本身反光性質(zhì)的關(guān)系，整體排版麻將灰度圖中的各個(gè)部分光照程度不一，使用全局校正算法容易丟失圖像局部細(xì)節(jié)。由于單麻將的面積較小，同一麻將的光照程度較為接近，而最終需要的識(shí)別也是基于單麻將的，因此使用基于單麻將的局部校正較為合適。

由圖2觀察可得，麻將整體呈矩形排列，且每一個(gè)單麻將的圖案部分（以下簡稱麻將圖案）均處于中心位置，麻將行與行、列與列之間存在麻將背景部分（以下簡稱麻將背景）。由于麻將背景的灰度值較大，麻將圖案的灰度值較小、采集圖像灰度圖與背景圖像灰度圖的差值絕對值圖像（以下簡稱差值圖）的背景灰度值也較小，因此可以通過投影法得到圖像的位置特征信息。圖3（a）為差值圖的灰度值豎直投影圖，圖3（b）為差值圖的灰度值水平投影圖，其中橫坐標(biāo)為投影位置，縱坐標(biāo)為該位置的投影值歸一化后的幅值。從圖中分析可得，這兩幅圖中幅值為零的曲線是由差值圖的背景部分（以下簡稱圖像背景）投影得到，分布在前景整體排版麻將的兩側(cè)。基于這一特征，容易得到整體排版麻將的上下左右邊界位置坐標(biāo)，從而分割得到整體排版麻將灰度圖。在圖3中，波峰代表整體排版麻將灰度圖的麻將背景，波谷代表麻將圖案。波峰中心輕微的凹陷表示麻將行與行、列與列之間存在的空隙，但是峰谷值較為復(fù)雜，單一閾值難以很好地將單麻將劃分開來，因此使用投影方式劃分單麻將并不適合。

3 麻將圖像光照不均校正方法

根據(jù)前一章對光照不均麻將圖像的特征分析，本章提出了一種麻將圖像的光照不均校正方法，該方法的處理流程如圖5所示。首先對輸入的采集圖像進(jìn)行預(yù)處理，分割得到整體排版麻將灰度圖；接著，基于麻將圖像的整體特征將所有單麻將劃分開來；然后，基于單麻將圖像的麻將背景特征，對單麻將進(jìn)行光照類型分類；再對分類后的高光類麻將和均勻類麻將進(jìn)行均值歸一化處理；然后對整體排版麻將灰度圖進(jìn)行統(tǒng)一的銳化和色度增強(qiáng)；最后針對所有受陰影影響的單個(gè)麻將進(jìn)行去噪處理，輸出校正后的最終圖像。

圖5 本文方法流程框圖

3.1 圖像預(yù)處理

采集圖像預(yù)處理的目的是為了從中分割得到整體排版麻將灰度圖，主要步驟包括灰度化、背景差分、二值化和前景坐標(biāo)提取。由于采集到的圖像常會(huì)包含光源、視覺檢測裝置的金屬擋板和線材等，圖像背景部分十分復(fù)雜，常用的前景提取方法費(fèi)時(shí)且效果不佳。本文利用拍攝背景不會(huì)發(fā)生顯著變化的圖像特性，使用了背景差分方法和差值圖二值化法，將整體排版麻將灰度圖從采集圖像中提取出來。

首先預(yù)先采集一幅背景圖像，保存背景圖像灰度圖。接著，每次將采集圖像灰度化后得到的采集圖像灰度圖與已保存的背景圖像灰度圖對應(yīng)位置相減并取絕對值，得到一幅背景為黑色的差值圖，如式（1）所示：

式中，Ireal為采集圖像灰度圖，Iback為背景圖像灰度圖。

此時(shí)該差值圖中的圖像背景較黑，灰度值較低，而麻將部分較白，灰度值較高，由于圖像背景的灰度值和麻將背景的灰度值相差較大，很容易得到整體排版麻將在采集圖像中的位置坐標(biāo)，進(jìn)而將整體排版麻將分割出來。為提高處理效率，本文直接使用閾值Tinit作為劃分圖像背景和圖像前景整體排版麻將的閾值來遍歷該差值圖，得到該差值圖的二值圖，如式（2）所示：

式中ΔId(h,v)為差值圖的二值圖中坐標(biāo)為(h,v)的灰度值，255表示該位置顏色被置為白色，0表示該位置顏色被置為黑色，Tinit根據(jù)實(shí)驗(yàn)分析選取，其值越大，麻將圖案信息保留越多，但同時(shí)噪聲也越多，其值越小，麻將圖案信息越容易丟失，但噪聲也越少，本文選取的典型值為100。

由于整體排版麻將排列為矩形，根據(jù)前一章的分析，可通過投影方式得到整體排版麻將上下左右邊界坐標(biāo)，具體步驟如下：首先利用式（3）對差值圖的二值圖進(jìn)行水平投影，再利用式（4）對差值圖的二值圖進(jìn)行豎直投影：

式中Am×n為差值圖的二值圖分布矩陣，m為豎直像素個(gè)數(shù)，n為水平像素個(gè)數(shù)，HORm×1和VER1×n分別為水平投影矩陣和豎直投影矩陣，Cn×1和R1×m分別為元素全為1的列向量和元素全為1的行向量。在水平投影矩陣HORm×1中，從上到下出現(xiàn)的連續(xù)num個(gè)投影值均大于Tc的起始位置記為上邊界的豎直坐標(biāo)，從下到上連續(xù)num個(gè)投影值均大于Tc的起始位置記為下邊界的豎直坐標(biāo)，num和Tc的取值大小會(huì)影響得到的整體排版麻將的邊緣分割，它們的取值越大，得到的整體排版麻將的邊緣越容易落在理想邊緣的內(nèi)部，而取值越小，得到的整體排版麻將的邊緣越容易落在理想邊緣的外部。結(jié)合圖3的實(shí)驗(yàn)分析，本文中num取為50，Tc取為0.3。同理，利用豎直投影也能得到左右邊界的水平坐標(biāo)。使用這些坐標(biāo)可以將整體排版麻將灰度圖從采集圖像中分割出來。

3.2 單麻將光照類型分類和歸一化處理

式中IEi,j(k)為整體排版麻將中第i排和第 j列的均勻類單麻將的屬于麻將背景的第k個(gè)像素點(diǎn)的灰度值，numew表示該單麻將中屬于麻將背景的像素點(diǎn)的個(gè)數(shù)，麻將背景已由大津法劃分得到。為了提高校正的魯棒性，對所有uew進(jìn)行排序，取其中值作為校正基準(zhǔn)值avgbase。

接著，計(jì)算高光類麻將和陰影類麻將的麻將背景均值。由于不同麻將，光照不均程度不一，為增加校正精度，每一個(gè)高光類麻將和陰影類麻將的麻將背景均值都要計(jì)算，如式（6）所示：

對于一幅整齊排列的光照不均麻將圖像，將處理單元細(xì)化到單麻將，不僅能降低處理難度，也能增加校正精度。由于麻將整體模版固定，麻將整體的行列數(shù)也是固定不變的已知數(shù)據(jù)，因此本文采用等間距法劃分單麻將。在預(yù)處理中可以獲得整體排版麻將的像素寬度和像素高度，將麻將整體的像素寬度與麻將整體的行數(shù)作商，即可得到單麻將的像素寬度，同理也可得到單麻將的像素高度，從而可等間距地將所有單麻將劃分開來。

本文根據(jù)單麻將白色背景的灰度值特征，將單麻將按光照類型分為三類，即高光類麻將、均勻類麻將和陰影類麻將。分類的具體步驟包括：（1）使用大津法（Otsu[14]）計(jì)算出劃分麻將圖案和麻將背景的整體閾值TWseg，若當(dāng)前像素點(diǎn)灰度值大于TWseg，則認(rèn)為該像素點(diǎn)屬于麻將背景，否則屬于麻將圖案。（2）分析單麻將白色背景灰度值的均值和方差，若均值大于Tavg，且方差小于Tvar，則將該麻將記為高光類；若均值大于Tavg，且方差大于等于Tvar，則記為均勻類；不滿足以上兩種情況的，則記為陰影類。Tavg和Tvar取值大小直接影響單麻將的分類，從而影響后續(xù)進(jìn)行均值歸一化的單麻將數(shù)目。為使實(shí)驗(yàn)結(jié)果更佳，Tavg應(yīng)取較大值，Tvar應(yīng)取較小值，使均勻類麻將歸類更為嚴(yán)格。經(jīng)實(shí)驗(yàn)統(tǒng)計(jì)分析，均勻類麻將和高光類麻將的麻將背景灰度值均值都較大，且高光類麻將的方差基本小于12，因此本文Tavg取250，Tvar取12。

高光類麻將由于反光等原因，其部分圖像灰度值均值過高，產(chǎn)生失真；而陰影類麻將由于擋板遮擋等原因，其圖像存在陰影，灰度值離散程度較高。針對這些特征，本文采用均值歸一化法對這兩類麻將進(jìn)行校正處理，具體步驟如下：

首先利用式（5）計(jì)算每一個(gè)均勻類麻將中麻將背景部分的均值uew：式中IHi,j(k)為整體排版麻將第i排和第 j列的高光類或陰影類單麻將中屬于麻將背景的第k個(gè)像素點(diǎn)的灰度值，numue-wh表示該麻將中屬于麻將背景的像素點(diǎn)個(gè)數(shù)。

然后，利用式（7）計(jì)算每一個(gè)高光類或陰影類麻將的校正量：

最后，利用式（8）得到每一個(gè)高光類或陰影類麻將經(jīng)均值歸一化校正后的每一個(gè)像素的灰度值Gadj(x,y)：

式中Gorg(x,y)為當(dāng)前單個(gè)麻將中坐標(biāo)為(x,y)位置像素點(diǎn)的原始灰度值。

3.3 圖像銳化

觀察圖2可知，由于拍攝設(shè)備和拍攝距離的局限性，麻將圖案清晰度不高，需要采用圖像增強(qiáng)方法增強(qiáng)圖案。圖像增強(qiáng)算法可以改善圖像的視覺效果，提高清晰度[15]。在圖像處理領(lǐng)域中，圖像增強(qiáng)的常用方法是圖像銳化。銳化是指對圖像進(jìn)行清晰度的加強(qiáng)，銳化處理的主要目的是突出灰度的過渡部分[7]，補(bǔ)償圖像的輪廓，增強(qiáng)圖像的邊緣，使圖像變得清晰，可分空域處理和頻域處理兩大類。由于頻域處理需要空域轉(zhuǎn)頻域和頻域轉(zhuǎn)空域處理，計(jì)算復(fù)雜度較高，因此本文采用了空域處理法?？沼蛱幚淼慕?jīng)典方法有梯度銳化法、拉普拉斯銳化法和USM銳化法。梯度銳化法處理后的圖像僅顯示輪廓，而灰度變化比較平緩的圖案則顯得很黑；USM銳化法需要設(shè)置銳化參數(shù)，較為復(fù)雜。拉普拉斯算法是偏導(dǎo)數(shù)運(yùn)算的線性組合，具有增強(qiáng)邊緣信息精確定位的優(yōu)點(diǎn)。綜合考慮計(jì)算復(fù)雜度和處理精度，本文采用四鄰域拉普拉斯算法，其基本表達(dá)式如式（9）所示，利用式（10）可得銳化后灰度值Gsharpen(x,y)，其中Gadj(x,y)為經(jīng)過均值歸一化處理后的整體排版麻將灰度圖在坐標(biāo)為(x,y)位置的像素點(diǎn)的灰度值。

圖6（a）所示為銳化前整體排版麻將灰度圖，圖6（b）所示為銳化后整體排版麻將灰度圖，比較可得，銳化效果十分明顯，麻將圖案變得更加清晰，圖像質(zhì)量得到較大提升。

圖6 銳化前后整體排版麻將灰度圖

3.4 色度增強(qiáng)

圖像銳化不可避免地造成了圖像信息的部分丟失，麻將圖案線條變細(xì)而產(chǎn)生斷裂現(xiàn)象，尤其是灰度值較高的部分，這部分麻將圖案線條本身就較細(xì)，麻將圖案線條分段現(xiàn)象更為嚴(yán)重，因此，需要對灰度值較大部分的像素點(diǎn)進(jìn)行增強(qiáng)處理。圖7（a）所示為未經(jīng)任何校正的整體排版麻將灰度圖，圖7（b）所示為整體排版麻將V分量色度圖，分析這兩幅圖像可得，在相同光照條件下，顏色鮮艷的紅色圖案的亮度更高，灰度值更大。基于這個(gè)特性，本文設(shè)計(jì)了色度增強(qiáng)法，通過分析整體排版麻將的V分量色度信息，補(bǔ)償紅色對應(yīng)的圖案部分，改善銳化后圖像的質(zhì)量。

圖7 整體排版麻將灰度和色度圖

由于本文采集圖像的色度空間為YUV格式，因此容易得到反映圖像紅色成分的色度分量V。對整體排版麻將灰度圖的每個(gè)像素點(diǎn)，若其在采集圖像中對應(yīng)位置像素點(diǎn)的色度分量V數(shù)值大于等于THc，則將該像素點(diǎn)的灰度值大小進(jìn)行減半處理，暗化紅色圖案。THc取值大小影響麻將圖像的紅色圖案區(qū)域大小，其取值過大，得到紅色圖案區(qū)域就過小，色度增強(qiáng)效果就不明顯，其取值過小，得到紅色圖案區(qū)域就過大，部分非紅色圖案被劃分到紅色圖案區(qū)域，色度增強(qiáng)過度，麻將圖案信息產(chǎn)生失真，影響后續(xù)識(shí)別。經(jīng)實(shí)驗(yàn)分析，本文THc取140。如圖8所示，圖8（a）為未進(jìn)行色度增強(qiáng)校正的整體排版麻將灰度圖，圖8（b）為色度增強(qiáng)校正后的整體排版麻將灰度圖，比較可得，圖8（b）中“萬”字麻將的紅色部分亮度變暗，與黑色部分更為接近，有利于后續(xù)識(shí)別過程的二值化，很好地增加了識(shí)別精度。

3.5 圖像去噪

圖像去噪的目的是從受噪聲污染的圖像中恢復(fù)得到圖像的有效信息，經(jīng)典的圖像去噪方法有均值濾波、中值濾波、維納濾波[7，16]以及形態(tài)學(xué)濾波[7，17]等。其中，均值濾波能夠很好地抑制圖像中的顆粒噪聲，但容易使圖像變模糊；中值濾波是一種非線性的濾波技術(shù)，它可以克服均值濾波等線性濾波方法帶來的模糊現(xiàn)象，在去除噪聲的同時(shí)也能較好地保護(hù)圖像邊緣，但容易丟失一些圖像的細(xì)節(jié)信息；維納濾波采用最小均方誤差準(zhǔn)則，能根據(jù)圖像的局部方差調(diào)整濾波平滑效果，善于保留圖像的邊緣和其他高頻部分，尤其適用于去除白噪聲。

圖8 色度增強(qiáng)前后對比圖

本文去噪是為了提高后續(xù)麻將圖像二值化的精度，需要提高麻將背景和麻將圖案的對比度，而一般去噪方法在去除噪聲的同時(shí)容易模糊麻將圖案，無法很好地提高二值化精度。因此本文針對這一需求，設(shè)計(jì)了一種能增強(qiáng)麻將背景和麻將圖案對比度的去噪方法，提高后續(xù)二值化的精度。通過分析麻將圖像特征，發(fā)現(xiàn)其噪聲一般位于有光照陰影的區(qū)域，本文只對帶陰影的麻將進(jìn)行去噪處理，既減少了計(jì)算復(fù)雜度，又避免了非陰影麻將的圖像失真。由于麻將圖像的噪聲普遍表現(xiàn)為椒鹽噪聲，在充分研究各類去噪方法的基礎(chǔ)上，本文設(shè)計(jì)了一種基于幅值的四鄰域統(tǒng)計(jì)局部去噪方法，對整體排版麻將灰度圖中的每一個(gè)單麻將處理步驟如下：

步驟1判斷待處理單麻將是否為帶陰影麻將，若是，則進(jìn)行步驟2，若否，則結(jié)束處理。

步驟2計(jì)算單麻將的噪聲閾值TNseg，為了盡可能保留麻將圖案特征，這個(gè)閾值應(yīng)取稍大點(diǎn)的值。本文將單麻將的麻將背景中灰度值小于THwh的灰度均值作為TNseg，本文根據(jù)實(shí)驗(yàn)分析選取的THwh典型值為220。

步驟3統(tǒng)計(jì)當(dāng)前像素點(diǎn)及其四個(gè)空間相鄰的灰度值，若灰度值小于TNseg，則令numblack+1；若灰度值大于TNseg，則令 numwhite+1。

步驟4比較numblack和numwhite的值，若numblack≤numwhite，則將當(dāng)前像素點(diǎn)判斷為噪聲，將其灰度值直接置為最大值255，即白色；若numblack≥numwhite，則不作處理。

如圖9所示，圖9（a）所示為未進(jìn)行圖像去噪處理的整體排版麻將灰度圖，圖9（b）所示為采用了基于幅值的四鄰域統(tǒng)計(jì)局部去噪處理的整體排版麻將灰度圖。從圖中可以看出，圖像上方陰影區(qū)域的噪聲得到了很大的抑制，圖像對比度得到了較好的增強(qiáng)。

圖9 去噪前后效果對比圖

4 實(shí)驗(yàn)結(jié)果與分析

本文方法在Window系統(tǒng)平臺(tái)上用Matlab2011a編程實(shí)現(xiàn)，為檢驗(yàn)該方法對光照不均麻將圖像的處理效果，本章實(shí)驗(yàn)對分辨率為720P的攝像頭采集的一組整體排版麻將圖像進(jìn)行光照不均校正，并與文獻(xiàn)[7]中的全局直方圖均衡化、局部直方圖均衡化、同態(tài)濾波和多尺度Retinex這四種方法進(jìn)行比較。

圖10所示，圖10（a）為受陰影影響嚴(yán)重的麻將圖像原始灰度圖，其中四個(gè)角落位置的麻將有不同程度的陰影。圖10（b）為采用全局直方圖均衡方法處理圖10（a）后的圖像，從效果上看，陰影面積擴(kuò)大了，而且麻將圖像變得更加模糊，圖像質(zhì)量更差。圖10（c）為采用局部直方圖均衡方法處理圖10（a）后的圖像，觀察可知，局部直方圖均衡法效果相比全局直方圖均衡化方法有所提升，但陰影現(xiàn)象并未消除，右上角仍存在較為嚴(yán)重的陰影區(qū)域，這是因?yàn)榫植恐狈綀D均衡化與全局直方圖均衡化方法一樣，只能在整體上提升圖像的對比度，但是無法兼顧圖像細(xì)節(jié)，圖像細(xì)節(jié)十分粗糙，圖像質(zhì)量較差，效果不是很理想。圖10（d）為采用Retinex方法處理圖10（a）后的麻將圖像，從圖上可以看出Retinex方法能有效消除麻將圖像的光照不均現(xiàn)象，但圖像整體亮度也降低下來，尤其是麻將白色背景部分變成了灰色，經(jīng)分析發(fā)現(xiàn)出現(xiàn)這種現(xiàn)象是該方法的必然結(jié)果。Retinex方法認(rèn)為物體的顏色是由物體對長波（紅色）、中波（綠色）、短波（藍(lán)色）光線的反射能力來決定的，物體的色彩不受光照非均勻性的影響，以色感一致性（顏色恒常性）為基礎(chǔ)。該方法將圖像分解為入射圖像和反射圖像兩部分，入射圖像是光照產(chǎn)生的，而反射圖像是物體的內(nèi)在屬性，其光照不均校正的基本思想是去除或降低入射圖像（該部分變化較為緩慢，對應(yīng)圖像的低頻分量）的影響，盡量保留能反映物體本質(zhì)的反射屬性圖像。由于該方法為了消除光照影響，削弱了圖像的低頻分量，而麻將的背景區(qū)域是白色，其灰度值是基本恒定的，屬于低頻分量，因此麻將白色區(qū)域被削弱了，導(dǎo)致圖像信息出現(xiàn)嚴(yán)重失真。圖10（e）為采用同態(tài)濾波方法處理圖10（a）后的圖像，同態(tài)濾波在一定程度上改善了圖像質(zhì)量，但是難以消除陰影帶來的不均勻現(xiàn)象。圖10（f）為使用本文方法處理圖10（a）后得到的圖像，本文方法在均衡圖像光照的同時(shí)，較好地保留了圖像的細(xì)節(jié)信息。觀察圖10（f）可見，經(jīng)本文方法處理后，麻將圖像四個(gè)角落的陰影被有效消除了，而且圖像變得更加清晰，視覺效果更佳，圖像質(zhì)量得到了較大的提升。

圖11為處理高光類麻將的結(jié)果圖，觀察原始灰度圖11（a）可知，圖像中間部分光照強(qiáng)度大，高光現(xiàn)象嚴(yán)重，尤其是“萬”和“中”字圖案的亮度值過大，圖像細(xì)節(jié)信息丟失，導(dǎo)致后續(xù)二值化效果不佳。觀察圖11（b）可知，全局直方圖均衡化能降低“萬”和“中”字圖案的亮度，但是同時(shí)也使得圖像上方的花牌麻將圖案變得很模糊。由圖11（c）可知，局部直方圖均衡化方法對于高光類麻將圖像效果不明顯，與原圖相比，圖像質(zhì)量并未發(fā)生太大變化。由圖11（d）可知，Retinex方法能在一定程度上抑制高光現(xiàn)象，但是圖像的整體亮度也下降較多，效果不佳，尤其是麻將白色部分失真尤為嚴(yán)重。觀察圖11（e）可得，同態(tài)濾波方法能有效抑制高光現(xiàn)象，但是麻將圖像比原始圖像稍顯模糊，特別是圖像上方的花牌麻將圖案明顯變模糊。圖11（f）為本文方法處理高光類麻將的效果圖，觀察可得，本文方法有效抑制了“萬”和“中”字圖案的高光現(xiàn)象，而且圖案變得更加清晰，圖像質(zhì)量得到了有效的提升。

圖10 各類方法處理陰影類麻將的結(jié)果

圖11 各類方法處理高光類麻將的結(jié)果

從圖10和圖11觀察可知，在全局直方圖均衡化、局部直方圖均衡化、多尺度Retinex和同態(tài)濾波這四種方法中，同態(tài)濾波對于麻將圖像光照不均校正的效果更佳，為進(jìn)一步分析本文方法的效果，實(shí)驗(yàn)進(jìn)一步選取了四幅圖像，使用同態(tài)濾波和本文方法進(jìn)行校正效果比較，如圖12所示。從圖中可以看出，同態(tài)濾波方法對于麻將圖像的校正穩(wěn)定性較差，其中高光類麻將圖像校正后效果較佳，如圖12（h）所示，而陰影類麻將圖像校正效果不佳，如圖12（b）、（e）、（k）所示。本文方法對于麻將圖像的校正穩(wěn)定性較佳，不論是高光類麻將還是陰影類麻將，校正后的圖像對比度得到很好的提升，圖案更為清晰。

圖12 實(shí)驗(yàn)結(jié)果比較

5 結(jié)束語

圖像光照不均的問題在工業(yè)視覺領(lǐng)域十分常見，它也是提高麻將打包機(jī)中麻將排版檢測準(zhǔn)確率的一個(gè)難點(diǎn)。本文提出了一種基于特征分類的麻將圖像光照不均校正方法，該方法先對整體排版麻將圖像進(jìn)行分割，再對單麻將進(jìn)行劃分和分類，然后對不同光照類型麻將設(shè)計(jì)不同的圖像處理，同時(shí)利用麻將圖像的自身特征，進(jìn)一步改善麻將光照不均現(xiàn)象。與直方圖均衡化、同態(tài)濾波和Retinex等經(jīng)典方法相比，本文方法基于麻將圖像特性進(jìn)行光照不均校正，不僅具有較好的校正效果，而且魯棒性更佳，對于麻將光照陰影和高光現(xiàn)象均適用，可以有效地提高后續(xù)麻將識(shí)別的準(zhǔn)確率。在本文方法的基礎(chǔ)上，下一步將研究低復(fù)雜度高準(zhǔn)確率的麻將排版檢測方法。

[1]楊祖彬，代小紅.基于圖像配準(zhǔn)的食品包裝印刷缺陷檢測與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2015，42（8）：319-322.

[2]曾凡鋒，付亞南，李良旭.基于區(qū)域的光照不均文本圖像校正方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（12）：4233-4237.

[3]吳金杰，楊翠榮，楊勇，等.一類光照不均圖像的特征提取方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20（12）：79-82.

[4]馬超玉.光照不均勻條件下圖像增強(qiáng)算法研究[D].長春：長春理工大學(xué)，2014.

[5]Bhukhanwala S A，Ramabadran T V.Automated global enhancement of digitized photographs[J].IEEE Transactions on Consumer Electronics，1994，40（1）：1-10.

[6]Fries R W，Modestino J W.Image enhancement by stochastic homomorphic filtering[J].IEEE Transactionson Acoustics，Speech and Signal Processing，1979，27（6）：625-637.

[7]Gonzalez R C，Woods R E.Digital images processing[M].3rd ed.Beijing：Publishing House of Electronic Industry，2007.

[8]Jang J H，Bae Y，Ra J B.Contrast-enhanced fusion of multisensorimagesusing subband-decomposed multiscale retinex[J].IEEE Transactions on Image Processing，2012，21（8）：3479-3490.

[9]Lee S.An efficient content-based image enhancement in the compressed domain using retinex theory[J].IEEE Transactions on Circuits and Systems for Video Technology，2007，17（2）：199-213.

[10]Abdullah-Al-Wadud M，Kabir M H，Dewan M，et al.A dynamic histogram equalization for image contrast enhancement[J].IEEE Transactions on Consumer Electronics，2007，53（2）：593-600.

[11]Farid H.Blind inverse gamma correction[J].IEEE Transactions on Image Processing，2001，10（10）：1428-1433.

[12]Agarwal T K，Tiwari M，Lamba S S.Modified histogram based contrast enhancement using homomorphic filtering for medical images[C]//2014 IEEE International Advance Computing Conference（IACC），2014：964-968.

[13]曹倩霞，羅大庸，王正武.光照突變場景中結(jié)合Phong模型的分層差分前景檢測[J].計(jì)算機(jī)科學(xué)，2015，42（2）：283-286.

[14]Zhang Z，Zhou N.A novel image segmentation method combined Otsu and improved PSO[C]//Advanced Computational Intelligence（ICACI），Nanjing，2012：583-586.

[15]李成，鞠明，畢篤彥，等.基于視覺特性的非銳化掩模圖像增強(qiáng)[J].光電工程，2009，36（9）：110-117.

[16]張瞳，朱虹，張然，等.復(fù)小波域維納濾波與偏微分?jǐn)U散相結(jié)合的圖像去噪方法[J].中國圖象圖形學(xué)報(bào)，2009，14（5）：848-852.

[17]錢素琴.基于最優(yōu)形態(tài)學(xué)濾波的面料縫紉加工檢測[J].中國圖象圖形學(xué)報(bào)，2008，13（10）：1902-1905.

WANG Caisheng1,ZHU Wei1，2,HU Wenwen1,XU Xintao1

1.College of Information Engineering,Zhejiang University of Technology,Hangzhou 310023,China 2.United Key Laboratory of Embedded System of Zhejiang Province,Hangzhou 310023,China

Uneven illumination correction of mahjong image based on feature classification.Computer Engineering and Applications,2017,53（21）：195-202.

To solve the uneven illumination of mahjong image for the visual detection of mahjong arrayal,an adaptive correction method of mahjong image based on the feature classification is proposed.Firstly,according to the feature analysis of mahjong’s arrangement,the background subtraction and projection methods are used to segment the whole mahjong image from the capture image.Secondly,the whole mahjong is divided into single mahjong,which is further divided into three types：highlight mahjong,shadow mahjong and uniform mahjong by the feature analysis of illumination.Thirdly,mean normalization is performed for the highlight mahjong and shadow mahjong.Fourthly,the whole mahjong image is sharpened,and its characteristics are strengthened by using the chrominance component.Finally,it uses the local method of analyzing the amplitude around to remove the noise of the shadow mahjong based on the feature of the noise.Experimental results show that the proposed method has better correction for the uneven illumination of mahjong image than state-of-art methods and can improve the recognition rate effectively for the mahjong arrayal detection.

mahjong image;uneven illumination;sharpening;chrominance;local denoising

A

TP391

10.3778/j.issn.1002-8331.1604-0369

國家自然科學(xué)基金（No.61401398）。

王財(cái)盛（1991—），男，碩士生，研究領(lǐng)域?yàn)闄C(jī)器視覺算法；朱威（1982—），男，博士，副教授，研究領(lǐng)域?yàn)橐曨l編解碼和圖像處理，E-mail：weizhu@zjut.edu.cn；胡文文（1991—），男，碩士生，研究領(lǐng)域?yàn)榍度胧较到y(tǒng)與應(yīng)用；徐鑫濤（1991—），男，碩士生，研究領(lǐng)域?yàn)榍度胧綀D像處理。

2016-04-26

2016-07-04

1002-8331（2017）21-0195-08

CNKI網(wǎng)絡(luò)優(yōu)先出版：2016-09-29,http://www.cnki.net/kcms/detail/11.2127.TP.20160929.1618.010.html