紅外監(jiān)控圖像紅眼檢測(cè)與消除

陳健沛++朱煒湛++蔡志崗

摘 要： 主動(dòng)式紅外攝像機(jī)在夜視監(jiān)控視頻中極易出現(xiàn)紅眼效應(yīng)，在圖像中留下明顯的亮圓斑。針對(duì)此缺陷，提出一種自動(dòng)紅眼檢測(cè)與消除算法。首先對(duì)紅外夜視監(jiān)控圖像進(jìn)行邊緣檢測(cè)和形態(tài)學(xué)閉運(yùn)算，形成連通域；然后通過(guò)分析亮圓斑的幾何特征提出三個(gè)限制條件，篩選出紅眼所在的連通域，輸出紅眼掩膜；最后對(duì)紅眼區(qū)域用灰度替換和平滑濾波方法進(jìn)行消除處理。該方法無(wú)需人臉檢測(cè)，無(wú)需利用色彩信息，實(shí)驗(yàn)結(jié)果表明，紅眼消除效果良好，速度快，為紅外灰度圖像優(yōu)化提供了有效的方法。

關(guān)鍵詞： 紅眼效應(yīng)； 紅外監(jiān)控?cái)z像機(jī)； 紅眼定位； 紅眼消除

中圖分類號(hào)： TN929.1?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）17?0065?03

Detection and elimination of red?eye in infrared monitoring images

CHEN Jianpei1， ZHU Weizhan2， CAI Zhigang1

（1. State Key Laboratory of Optoelectronic Materials and Technologies， Sun Yat?sen University， Guangzhou 510275， China；

2. Guangdong Beseen Digital Technology Limited Company， Guangzhou 510663， China）

Abstract： Since red?eye effect is liable to appear in night vision monitoring video of active infrared camera， the obvious bright and round spots will be left in digital images. For this defect， an algorithm which can detect and eliminate red?eye automatically is proposed. The edge detection and morphological closed operation of monitoring image of infrared night vision were conducted to form connecting areas. Then three constraints are put forward by analyzing the geometric features of the bright spots to select connecting areas that the red?eye are locating， and output red eye mask. The red eye areas are eliminated by using the methods of grayscale replacement and smoothing filtering. There is no need to detect human face and use color information for this method. The experimental results show that the proposed method can eliminate red?eye fast and effectively， which provides an effective method for the optimization of infrared grayscale images.

Keywords： red?eye effect； infrared monitoring camera； red?eye location； red?eye elimination

0 引 言

隨著社會(huì)對(duì)安防的重視，視頻監(jiān)控技術(shù)特別是紅外夜視監(jiān)控得到了空前應(yīng)用。國(guó)內(nèi)外在夜視監(jiān)控技術(shù)領(lǐng)域，普遍使用的是低照度攝像機(jī)加紅外補(bǔ)光照明技術(shù)，但是由于紅眼效應(yīng)，瞳孔位置會(huì)在監(jiān)控圖像上形成一個(gè)明亮的圓斑，破壞圖像的真實(shí)性。為了解決此缺陷，本文從紅眼檢測(cè)和紅眼消除兩方面進(jìn)行研究，以提高紅外夜視監(jiān)控質(zhì)量。

從1989年Hutchinson發(fā)現(xiàn)近紅外光源攝像的紅眼效應(yīng)開始[1]，紅眼檢測(cè)發(fā)展迅速，日漸成熟。張昌明，Rizon， Yoo，Chen等大多數(shù)研究員都在人臉特征檢測(cè)的基礎(chǔ)上，縮小范圍再定位紅眼[2?5]。Gaubatz和Ali研究團(tuán)隊(duì)結(jié)合顏色和強(qiáng)度變化創(chuàng)建檢測(cè)掩膜實(shí)現(xiàn)紅眼檢測(cè)，得到了很好的監(jiān)測(cè)效果[6?7]，由于紅外監(jiān)控是灰度圖像，沒(méi)有顏色信息，此方法并不適用。陳春波和Morimoto等人利用近軸光照射瞳孔的亮狀態(tài)和遠(yuǎn)軸光照射瞳孔的暗狀態(tài)對(duì)兩張圖像進(jìn)行差分處理[8?9]，很好地提取出人眼位置，但該方法需要復(fù)雜的設(shè)備，并不適合室外夜視監(jiān)控。

Zhao和王基帆在室內(nèi)理想條件下拍攝紅眼圖片，使用數(shù)理形態(tài)學(xué)的開運(yùn)算或者Quoit濾波處理紅外圖像并與原圖像進(jìn)行差分，從而實(shí)現(xiàn)瞳孔定位，具有很好的參考價(jià)值[10?11]。

柯達(dá)公司的Dobbs和Goodwin最早提出采用圖像處理方法進(jìn)行紅眼消除[12]，之后DeLuca，Steinberg等人申請(qǐng)了大量消除紅眼效應(yīng)的專利，Schettini，趙全友，路明等國(guó)內(nèi)外研究人員都致力于研究自動(dòng)紅眼消除算法[13?17]，并取得了一定效果，但這些方法都是基于RBG或者YUV顏色空間的，并不能直接應(yīng)用于紅外監(jiān)控圖像。

由于受到室外夜視環(huán)境和成像系統(tǒng)本身等多種因素的影響，主動(dòng)式紅外監(jiān)控圖像無(wú)色彩信息，人臉檢測(cè)難度大，前人研究方法都無(wú)法直接應(yīng)用，所以本文針對(duì)紅外夜視監(jiān)控圖像的特點(diǎn)提出具有可靠性的紅眼檢測(cè)和紅眼消除新方法。

1 紅眼檢測(cè)

一般情況下，為了保證室外監(jiān)控范圍，監(jiān)控圖像中的人物都比較小，加之黑暗條件下，攝像系統(tǒng)為取得合適亮度而提高感光度引起圖像噪聲，導(dǎo)致人物圖像模糊，人臉特征不明顯，無(wú)法檢測(cè)人臉。但是紅眼效應(yīng)所產(chǎn)生的明亮小圓斑，其“亮”、“圓”特征非常明顯，通過(guò)圖1所示的流程，基本上可以剔除復(fù)雜的背景干擾，準(zhǔn)確得到紅眼位置的掩膜。

（1） 對(duì)輸入的紅外監(jiān)控圖像采用Canny算子進(jìn)行邊緣檢測(cè)。Canny算法在檢測(cè)前會(huì)進(jìn)行高斯濾波，有效地抑制噪聲；使用4個(gè)mask 檢測(cè)水平、垂直以及對(duì)角線方向的邊緣，沒(méi)有方向性，對(duì)圓形的檢測(cè)最有效果，能夠精確檢測(cè)出紅眼效應(yīng)的邊緣。

（2） 將邊緣圖像進(jìn)行形態(tài)學(xué)閉操作，即先膨脹后腐蝕操作，形成封閉的連通域。

（3） 對(duì)所有的連通域進(jìn)行條件篩選，通過(guò)分析紅眼亮斑特征，其判定內(nèi)容分別為：連通域的長(zhǎng)短軸之比、連通域面積、連通域平均灰度值。

根據(jù)連通域的形狀，可以計(jì)算得到與該區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長(zhǎng)軸[a]和短軸[b]（像素意義下），對(duì)于標(biāo)準(zhǔn)的圓形來(lái)說(shuō)，長(zhǎng)短軸之比[K=ab=1，]雖然紅眼效果在圖像上產(chǎn)生一個(gè)圓斑，但是由于環(huán)境影響，[K]值在[1，2]之間都是可能出現(xiàn)的。

紅外夜視圖像的紅眼效應(yīng)產(chǎn)生的圓斑是有一定面積的，對(duì)連通域的面積進(jìn)行限制，可以抑制環(huán)境背景中出現(xiàn)圓形物體的干擾，更重要的是可以剔除高亮噪點(diǎn)。其面積大小[A]應(yīng)該根據(jù)監(jiān)控范圍以及攝像機(jī)像素大小確定，一般情況下[A]值在[10，100]之間。

邊緣檢測(cè)會(huì)提取出所有明顯的邊界，包括光亮和灰暗的邊界，所以需要通過(guò)連通域的平均灰度值[S]大小剔除暗圓斑連通域，調(diào)查發(fā)現(xiàn)圖像亮度適中情況下，紅眼效應(yīng)的圓斑平均灰度值[S]普遍大于150。

以上三個(gè)判定條件雖然都比較粗糙，但是各自獨(dú)立，結(jié)合在一起可以嚴(yán)格篩選出紅眼亮斑。算法采用的門限為[1≤K≤2，10≤A≤100，S≥150，]符合條件的連通域即為紅眼所在位置，輸出為紅眼掩膜，為下一步的紅眼消除提供依據(jù)。

2 紅眼消除

國(guó)內(nèi)外研究人員多數(shù)致力于彩色圖像的紅眼消除，主要用G，B顏色信息對(duì)紅眼位置的R分量進(jìn)行矯正，幾乎沒(méi)有涉及到灰度圖像的紅眼消除，但是夜視紅外監(jiān)控圖像的紅眼效應(yīng)非常明顯，給觀測(cè)者帶來(lái)不舒服的視感刺激，所以解決此問(wèn)題對(duì)提高監(jiān)控質(zhì)量還是很有必要的。在夜視紅外監(jiān)控中，紅眼效應(yīng)已經(jīng)完全破壞了眼睛位置的真實(shí)信息，本文只能憑借人們的觀察習(xí)慣，用人臉的灰度值作為參考，對(duì)紅眼進(jìn)行矯正消除。

首先對(duì)紅眼掩膜用[3×3]大小的正方形為結(jié)構(gòu)元素進(jìn)行膨脹操作，提選出紅眼周圍寬為3個(gè)像素的圓環(huán)，作為矯正參考區(qū)域。該區(qū)域避開眼睛，但在人臉?lè)秶鷥?nèi)，如圖2所示。然后計(jì)算矯正參考區(qū)域的灰度平均值[V，]并將紅眼區(qū)域的像素灰度值修改為[V2]。這樣眼睛位置要比人臉稍暗一點(diǎn)，但是修正后的紅眼邊界過(guò)渡不自然，通過(guò)高斯平滑處理使邊界模糊達(dá)到目的。平滑范圍包括修正后的眼睛和作為矯正參考的區(qū)域，使用如下[3×3]高斯算子：

3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)在室外樹林環(huán)境下進(jìn)行，截取其中一張夜視紅外監(jiān)控圖像進(jìn)行處理分析。圖3（a）是直接從攝像機(jī)輸出的原始監(jiān)控圖像，人臉模糊，環(huán)境復(fù)雜，但是紅眼效應(yīng)產(chǎn)生的明亮圓斑非常明顯。經(jīng)過(guò)Canny算子邊緣檢測(cè)和閉運(yùn)算后，圖3（b）中顯示了樹葉復(fù)雜輪廓對(duì)紅眼檢測(cè)帶來(lái)一定的干擾。但是對(duì)連通域進(jìn)行[1≤K≤2，][10≤A≤100，S≥150]三個(gè)條件篩選限定后，只留下了紅眼連通域，形成紅眼掩膜，如圖3（c）所示。圖3（d）是將該紅眼掩膜在原圖中標(biāo)記出來(lái)，可見定位非常準(zhǔn)確，為紅眼消除提供了準(zhǔn)確依據(jù)。通過(guò)本文提出的紅眼消除算法處理后，得到圖3（e）結(jié)果，通過(guò)放大圖可以看出消除效果是理想的，過(guò)渡平滑，紅眼不再突出。不過(guò)由于左邊的人佩戴眼鏡造成反光，帶來(lái)一定的影響。

另外，對(duì)一段視頻共150幀圖片進(jìn)行實(shí)驗(yàn)，94%的紅眼能夠檢測(cè)出并被修正，達(dá)到了很好的效果。但也有8%的圖片出現(xiàn)了誤檢，將圖片中類似于紅眼效應(yīng)的亮斑進(jìn)行了錯(cuò)誤的修正。

4 結(jié) 語(yǔ)

針對(duì)紅外夜視監(jiān)控圖像出現(xiàn)的紅眼效應(yīng)，本文在前人的研究基礎(chǔ)上提出一種新穎的紅眼檢測(cè)及消除算法。該算法無(wú)需利用顏色信息，也不用對(duì)人臉進(jìn)行檢測(cè)，針對(duì)紅外監(jiān)控圖像直接判斷出紅眼所在位置，避免了人臉檢測(cè)帶來(lái)的誤判，同時(shí)也大大減少了對(duì)人臉檢測(cè)所耗費(fèi)的時(shí)間，為實(shí)時(shí)檢測(cè)提供了有力工具。而且紅眼消除算法簡(jiǎn)單，消除后具有良好的視覺(jué)效果，實(shí)用性強(qiáng)。不過(guò)該算法會(huì)將圖像中任何與紅眼效應(yīng)相似的明亮圓斑消除掉，這是需要繼續(xù)改進(jìn)的地方。

參考文獻(xiàn)

[1] HUTCHINSON T E， WHITE K P， MARTIN W N， et al. Human?computer interaction using eye?gaze input [J]. IEEE Tran?sactions on Systems， Man and Cybernetics， 1989， 19（6）： 1527?1534.

[2] 張昌明，童衛(wèi)青，王燕群.一種高性能近紅外光人臉檢測(cè)和眼睛定位算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20（4）：96?101.

[3] RIZON M， KAWAGUCHI T. Automatic eye detection using intensity and edge information [C]// Proceedings of 2000 IEEE International Conference on TENCON. [S.l.]： IEEE， 2000， 2： 415?420.

[4] YOO S， PARK R H. Red?eye detection and correction using in painting in digital photographs [J]. IEEE Transactions on Consumer Electronics， 2009， 55（3）： 1006?1014.

[5] CHEN Yongsheng， SU Chanhung， CHEN Jiunhung， et al. Vi?deo?based real time eye tracking technique for auto stereoscopic displays [C]// Proceedings of 2000 the 5th IEEE International Conference on Artificial Intelligence and Applications. Taibei， China： IEEE， 2000： 188?193.

[6] GAUBATZ M， ULICHNEY R. Automatic red?eye detection and correction [C]// Proceedings of 2002 IEEE International Conference on Image Processing. [S.l.]： IEEE， 2002， 1： 804?807.

[7] ALI T， KHATTAK S， KIM I. Automatic red?eye effect removal using combined intensity and color information [J]. Journal of Imaging Science， 2011， 59（1）： 8?16.

[8] 陳春波，王元慶.基于紅眼效應(yīng)的人眼探測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2007，43（9）：198?200.

[9] MORIMOTO C H， KOONS D， AMIR A， et al. Pupil detection and tracking using multiple light sources [J]. Image and Vision Computing， 2000， 18（4）： 331?335.

[10] ZHAO S Y， GRIGAT R R. An automatic face recognition system in the near infrared spectrum [C]// Proceedings of 2005 the 4th International Conference on Machine Learning and Data Mining in Pattern Recognition. Leipzig： Springer， 2005： 437?444.

[11] 王基帆，童衛(wèi)青.基于數(shù)理形態(tài)學(xué)的近紅外光圖像實(shí)時(shí)人臉檢測(cè)[J].華東師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2010（3）：39?47.

[12] DOBBS C M， GOODWIN R M. Localized image recoloring using ellipsoid boundary function： US， 5130789 A [P]. 1992?07?14.

[13] DELUCA M J. Red?eye filter method and apparatus： US， 8264575 B1 [P]. 2012?09?11.

[14] STEINBER E， PRILUTSKY Y， CORCORAN P， et al. Red?eye filter method and apparatus： US， 8493466 B2 [P]. 2013?07?23.

[15] SCHETTINI R， GASPARINI F， CHAZLI F. A modular procedure for automatic red eye correction in digital photos [C]// Proceedings of 2004 SPIE Conference On Color Imaging IX： Processing， Hardcopy， and Applications. [S.l.]： SPIE， 2004： 139?147.

[16] 趙全友，潘保昌，鄭勝林，等.一種自動(dòng)紅眼檢測(cè)與消除算法倡[J].計(jì)算機(jī)應(yīng)用研究，2009，26（2）：763?765.

[17] 路明，趙群飛，施鵬飛.一種自動(dòng)紅眼消除方法[J].電路與系統(tǒng)學(xué)報(bào)，2006，11（6）：124?128.