一種模糊紅外圖像人眼快速定位方法

鄭 爽，付冬梅

?

一種模糊紅外圖像人眼快速定位方法

鄭 爽，付冬梅

（北京科技大學 自動化學院，北京 100083）

熱像儀拍攝的紅外圖像能夠反映人體表面的溫度分布，進而間接反映其生理狀態(tài)。但紅外圖像目標邊界不清晰，與可見光圖像相比目標更加模糊，因此對目標的定位和檢測更加困難。本文研究并提出了一種快速自動定位人眼的方法，該方法從模板匹配的角度出發(fā)，結(jié)合模板和圖像子區(qū)域的灰度相似度和紋理相似度進行匹配，同時利用Zernike矩和連通域分析篩選搜索點，減少了搜索次數(shù)。試驗結(jié)果表明，本文提出的算法同經(jīng)典的基于灰度相關(guān)的模板匹配算法相比速度更快，準確率更高。

紅外圖像；人眼定位；模板匹配

0 引言

人的體溫和健康存在著密切關(guān)系，利用熱像儀進行溫度測量具有快速、非接觸、非入侵的優(yōu)勢，Barnes[1]在Science發(fā)表文章提出紅外熱圖像可以反映人的生理異常。近年來，已經(jīng)有越來越多的學者致力于發(fā)掘紅外熱成像技術(shù)在醫(yī)學輔助診斷中的潛能。T. Kamao等人[2]提出，眼部熱紅外圖像可用于干眼癥篩查；Su. T. Y.等人[3]發(fā)現(xiàn)眼表溫度大幅度變化區(qū)域同淚膜破裂區(qū)域在位置及面積上具有很強的一致性；Jen-Hong Tan等人[4]基于紅外熱成像技術(shù)提出了一種區(qū)分正常人和干眼癥人群的方法。但是這些文獻均為人工定位眼睛位置，且只針對單只眼進行研究，至少進行兩次試驗才能獲取雙眼的溫度信息，而且當需要對比雙眼溫度變化時，由于拍攝時間不同將使得比較結(jié)果不準確。為了解決上述問題，提升計算機輔助診斷系統(tǒng)的自動化程度，本文利用AVIO公司生產(chǎn)的H2640紅外熱像儀拍攝了640×480像素大小的人臉圖像，該圖像可以同時反映雙眼溫度，但由于儀器分辨率的限制，為了獲得盡量多的眼部溫度信息，人臉在圖像中不完整。獲得人臉圖像后，自動而精確地定位人眼從而成為眼部溫度分析前的關(guān)鍵步驟。

目前人眼定位技術(shù)有主要分為3類：基于灰度特征、基于統(tǒng)計學習和基于模板匹配。謝秀珍等人[5]利用積分投影和“三庭五眼”的先驗知識找到眉眼位置，但該方法易受眉毛、發(fā)型的影響，造成眼部定位不準確。Shangfei Wang等人[6]提出了一種長波紅外熱圖像人眼定位方法，利用Adaboost算法選擇Haar特征并用支持向量機進行分類，但該方法訓練過程需要大量樣本，計算復雜度高，非常耗時。美國西弗吉尼亞大學Bourlai等人[7]基于模板匹配對紅外人臉圖像進行眼睛定位，首先根據(jù)積分投影曲線找到臉部邊界以及眉毛水平位置，然后應(yīng)用歸一化互相關(guān)匹配算法，對平均眼模板和人臉兩側(cè)眉毛以下區(qū)域進行灰度相似度度量，相關(guān)系數(shù)最高的點即為眼睛位置，但這種經(jīng)典的基于灰度歸一化互相關(guān)匹配算法存在計算量大、時間復雜度高的缺陷，且算法穩(wěn)定性較差。綜合上述算法的不足，本文針對紅外圖像較模糊、目標和背景對比度低等特點，提出了一種快速的基于灰度和紋理特征匹配的人眼定位方法，不僅實現(xiàn)了模糊紅外圖像的人眼準確定位而且減少了搜索點數(shù)提高了算法速率。

1 算法原理

紅外圖像同可見光圖像相比目標更加模糊，非全臉圖像與全臉圖像相比可利用的面部結(jié)構(gòu)幾何關(guān)系的先驗知識較少。且眉毛和發(fā)型對水平積分投影曲線干擾較大，很難根據(jù)水平積分投影曲線定位人眼水平位置。同時，僅根據(jù)灰度相似度進行模板匹配受非人眼區(qū)域干擾較大，定位難度顯著增加。本文從模板匹配的角度出發(fā)，結(jié)合圖像同模板的灰度相似度、紋理相似度等信息進行人眼定位，算法主要分為離線部分和在線部分，離線部分主要是平均眼模板生成，在線部分包括臉部輪廓提取、搜索點篩選及配對、模板匹配3個模塊。算法流程如圖1所示。

1.1 平均眼模板

進行模板匹配之前需定義好眼模板，首先在人臉圖像上手動截取人眼所在區(qū)域，然后對其進行尺度標準化（本文取100×170像素）和灰度歸一化處理，經(jīng)過眼科專業(yè)醫(yī)生的指導與討論，本文從140余幅圖像中最終選擇了50幅眼部圖像，它們涵蓋了從20～70歲的年齡段、不同性別（男23幅，女27幅）、不同形狀和大小，取灰度平均得到平均人眼圖像，即平均眼模板，如圖2所示。

1.2 基于Zernike矩的臉部輪廓提取

首先，利用限制對比度自適應(yīng)直方圖均衡化對人臉圖像進行對比度增強。然后利用7×7尺寸的Zernike算子[8]提取臉部輪廓得到二值邊緣圖像。圖3為理想的邊緣階躍模型。通過將不同階次的Zernike模板與圖像卷積獲取圖像相應(yīng)階次的Zernike矩，從而計算出每個像素點對應(yīng)的參數(shù)、、和，其中為背景灰度，為邊緣處階躍高度，為原點到邊緣的距離，為邊緣法線與軸方向的夾角，然后通過和的閾值判斷該點是否為邊緣點。

假設(shè)圖像為，圖像各階次的Zernike矩用表示，則：

式中：*表示復共軛；(,)為Zernike多項式：

式(1)中：(,)為灰度值，作為常數(shù)可移至積分外，計算得00、11、20的7×7尺寸的模板系數(shù)為M：

￠表示旋轉(zhuǎn)后的Zernike矩，有：

圖1 本文算法流程

圖2 平均眼模板

圖3 理想的邊緣階躍模型

由于Zernike矩有旋轉(zhuǎn)不變性，可計算出邊緣檢測需要的4個參數(shù)：

＝20/11￠(6)

式中：00、11、20為Zernike矩，11￠為圖像旋轉(zhuǎn)后的Zernike矩。

根據(jù)邊緣判定條件＞t?＞t判斷像素點是否為邊緣，閾值取t＝0.1Max[(,)]，t＝2.5。根據(jù)閾值判斷[,]為邊緣點后，考慮到模板效應(yīng)，需要把單位圓上計算出來的垂直距離放大/2倍，該點對應(yīng)的實際邊緣點坐標為[s,s]，則有：

圖4為輪廓提取結(jié)果，其中圖4(a)為均衡化后的圖像；圖4(b)為Canny算子邊緣提取結(jié)果，雖然其保留了較多細節(jié)但同時存在很多干擾，圖4(c)為Sobel算子邊緣提取結(jié)果，相對于前者有了較大改善，但其所提取的輪廓連續(xù)性較差，不利于后續(xù)處理；圖4(d)為Zernike矩算子邊緣提取結(jié)果，相對于前兩者，該方法可以成功提取紅外人臉圖像的主要輪廓。

1.3 搜索點篩選及配對

對二值圖像進行連續(xù)兩次形態(tài)學膨脹，結(jié)構(gòu)元素分別選擇線性和圓盤，對膨脹后的二值圖像按面積進行連通域過濾，將過濾后連通域的中心作為候選人眼中心，圖5為二值圖像連通域分析結(jié)果，圖6在原圖中標記了搜索點的位置，“●”表示候選人眼中心點，即搜索點。

以往利用模板匹配以及統(tǒng)計學習的方法對人眼進行定位時，大多對全臉進行搜索，搜索范圍大，本文通過輪廓提取和連通域分析可大大減小搜索次數(shù)，提升算法運行速率。

圖4 輪廓提取結(jié)果

圖5 連通域分析結(jié)果

圖6 標記搜索點

之后，對搜索點進行篩選。眉毛發(fā)型對水平積分投影曲線干擾較大，很難定位人眼水平位置，如圖7所示。將垂直積分投影曲線最左側(cè)和最右側(cè)的峰值點所在的列作為人臉左右邊界，可得到人眼垂直位置，如圖8所示。去掉臉部邊界附近以及鼻子附近的搜索點。

圖7 水平積分投影曲線

圖8 垂直積分投影曲線

根據(jù)雙眼左右對稱的先驗規(guī)則對搜索點進行配對，得到候選人眼中心對。設(shè)平均眼模板大小為×，以搜索點為中心大小為×的子區(qū)域稱作候選人眼區(qū)域。

1.4 基于灰度和紋理特征的模板匹配

對圖像0°、45°、90°、135°方向上距離為1的兩個像素點進行統(tǒng)計，得到灰度共生矩陣。根據(jù)灰度共生矩陣提取能量Asm、熵Ent、對比度Con、自相關(guān)性Corr四個紋理特征，可分別得到平均眼模板和候選人眼區(qū)域的紋理特征矩陣[9]。通過計算歸一化互相關(guān)系數(shù)對模板和候選人眼區(qū)域進行灰度相似度度量和紋理特征相似度度量，將兩類相似度按式(15)進行加權(quán)，結(jié)果最高的候選區(qū)域?qū)礊殡p眼所在位置。

其中，紋理特征：

式中：X,j代表候選人眼區(qū)域，其中心在圖像中的坐標為(,)，候選人眼區(qū)域和平均眼模板的歸一化互相關(guān)系數(shù)為：

式中：＝1,2；和分別為模板的行數(shù)和列數(shù)；1為候選人眼區(qū)域灰度矩陣；1為平均眼模板的灰度矩陣；2為候選人眼區(qū)域紋理特征矩陣；2為平均眼模板的紋理特征矩陣。

相似度加權(quán)：

0＝11＋22(15)

式中：12為權(quán)重系數(shù)；1為灰度相似度；2為紋理特征相似度，本文1取0.1，2取0.9。

2 仿真結(jié)果及分析

對所采集的71幅模糊紅外人臉圖像利用本文所提出的算法進行仿真，并對人臉左右兩側(cè)眉毛以下的區(qū)域應(yīng)用經(jīng)典的基于灰度歸一化互相關(guān)匹配算法[7]進行處理，將兩個結(jié)果進行對比，表1為兩種算法平均處理時間以及定位準確率。圖9為經(jīng)典算法處理結(jié)果，圖10為本文算法處理結(jié)果。

由表1可以看出，經(jīng)典的基于灰度相關(guān)模板匹配算法耗時長、穩(wěn)定性差，而本文通過對匹配區(qū)域進行篩選使得搜索點大大減少，算法速率提高了3.7倍。由圖4(a)中也可以看出圖像較模糊，經(jīng)典算法通常不能準確定位到雙眼而本文算法可以進行準確定位，定位準確率提升了1.5倍。

表1 不同算法對比

圖9 NCC算法處理結(jié)果

圖10 本文算法處理結(jié)果

3 結(jié)論

本文提出了一種模糊紅外圖像人眼快速定位方法，該方法與經(jīng)典的基于灰度相關(guān)的匹配算法相比，利用Zernike矩輪廓提取和連通域分析減少了搜索次數(shù)，將算法速率提升了3.7倍。另外，在匹配過程中，本文不僅對平均眼模板和待匹配子區(qū)域進行了灰度相似度度量還結(jié)合了紋理特征進行了相似度度量，將準確率提升了1.5倍，為后續(xù)眼部溫度數(shù)據(jù)分析打下了良好的基礎(chǔ)。

致謝

感謝中國解放軍第306醫(yī)院眼科醫(yī)生，尤其是羅靈、高付林在圖像采集和篩選過程中給予的支持和幫助。

[1] Barnes R B. Thermography of the human body: infrared-radiant energy provides new concepts and instrumentation for medical diagnosis[J]., 1963, 3569 (140):870-877.

[2] Tomoyuki K, Masahiko Y, Shiro K, et al. Screening for dry eye with newly developed ocular surface thermographer[J]., 2011, 151(5):782-791.

[3] SU T Y, CHANG S W, YANG C J, et al. Direct observation and validation of fluoresce in tear film break-up patterns by using a dual thermal-fluorescent imaging system[J]., 2014, 5(8): 2614-2619.

[4] Acharya U R, Tan J H, Koh J E W, et al. Automated diagnosis of dry eye using infrared thermography images[J]., 2015, 71: 263-271.

[5] 謝秀珍, 唐琎, 陳守明, 等. 一種在紅外圖像中定位人眼的方法[J].計算機工程與應(yīng)用, 2011, 47(5): 202-205.

XIE Xiuzhen, TANG Jin, CHEN Shouming, et al. Method for eyes localization in infrared image[J]., 2011, 47(5): 202-205.

[6] WANG S, LIU Z, SHEN P, et al. Eye localization from thermal infrared images[J]., 2013, 46(10): 2613-2621.

[7] Bourlai T, Jafri Z. Eye detection in the middle-wave infrared spectrum: towards recognition in the dark[C]//2011(WIFS), 2011: 1-6.

[8] XIAO Peng Z, YUAN Wei B. Improved algorithm about subpixel edge detection based on Zernike moments and three-grayscale pattern[C]//2, 2009: 1-4.

[9] 侯旺, 孫曉亮, 尚洋, 等. 紅外弱小目標檢測技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J]. 紅外技術(shù), 2015, 37(1): 1-10

HOU Wang, SUN Xiao-liang, SHANG Yang, et al. Present state and perspectives of small infrared targets detection technology[J]., 2015, 37(1): 1-10.

Fast Eye Detection from Blurred Infrared Images

ZHENG Shuang，F(xiàn)U Dongmei

(,,100083,)

Thermal image taken by infrared thermography can reflect distributing of skin temperature and indirectly reflect the physiological status, but the boundary of the object in infrared image is not that clear. Compared with visible image, ‘the infrared one’ is much more blurred, which makes it harder to locate and detect targets. In this paper, a novel method based on template matching is proposed to detect eyes quickly. It can locate the eyes correctly by means of gray scale correlation and texture correlation between template image and sub-images. And the method of Zernike moment operator and connected component analysis are adopted to reduce the search times. The experiments show that this algorithm performs better in detecting rate and accuracy than classical template matching algorithm based on gray correlation.

infrared image，eye detection，template matching

TP391

A

1001-8891(2016)10-0845-05

2016-01-24；

2016-04-22.

鄭爽（1992-），河北人，碩士研究生，研究方向：紅外圖像處理。E-mail：subrinacheng@163.com.

付冬梅（1963-），女，北京人，教授，研究方向：紅外圖像技術(shù)，人工免疫計算、數(shù)據(jù)智能分析。E-mail：fdm2003@163.com。

國家自然科學基金（61272358）。