基于雙路徑殘差網(wǎng)絡(luò)的虹膜圖像超分辨率重建

王鶴銘, 沈文忠

(上海電力大學(xué) 電子與信息工程學(xué)院, 上海 200090)

虹膜識(shí)別是一種可靠的身份認(rèn)證方式,虹膜紋理具有高度的穩(wěn)定性、唯一性和鑒別能力[1]。在不可控的應(yīng)用場(chǎng)景中,如監(jiān)控和移動(dòng)生物識(shí)別中,由于設(shè)備或采集距離的限制,采集的虹膜圖像缺失像素分辨率,導(dǎo)致虹膜定位錯(cuò)誤甚至無(wú)法定位,嚴(yán)重影響了虹膜識(shí)別性能。圖像超分辨率(Super Resolution,SR)重建技術(shù)為解決這一問(wèn)題提供了方法。

超分辨率重建技術(shù)[2-3]是指根據(jù)一幅或多幅低分辨率(Low Resolution,LR)圖像,重建一幅高分辨率(High Resolution,HR)圖像,可大致分為基于插值、基于重構(gòu)和基于學(xué)習(xí)3種方法?；诓逯档姆椒?如最近鄰插值和雙三次插值法,具有算法簡(jiǎn)單、計(jì)算速度快等特點(diǎn),但重建圖像精度不高?；谥貥?gòu)的方法,如鄰域嵌入和錨點(diǎn)鄰域回歸,是利用圖像先驗(yàn)信息作為約束條件生成銳利的紋理細(xì)節(jié),但當(dāng)縮放因子較大時(shí),重建效果迅速退化。近幾年,隨著機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的迅猛發(fā)展,基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)的超分辨技術(shù)成為研究熱點(diǎn)。SRCNN[4]是最早的3層CNN網(wǎng)絡(luò),將SR任務(wù)分為特征提取、非線性映射和圖像重建3部分,具有優(yōu)于插值法和重構(gòu)法的重建效果。但由于網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,所以重建圖像存在模糊現(xiàn)象。深度超分辨率(Very Deep Super Resolution,VDSR)[5]拓展了SRCNN的非線性映射部分,改用20層卷積層的VGG-Net為基本架構(gòu),并采用小尺寸卷積核,取得了良好的重建效果。深度遞歸卷積網(wǎng)絡(luò)(Deeply Recarsive Convolution Network,DRCN)[6]為減少網(wǎng)絡(luò)參數(shù)量,堆疊16層遞歸卷積層,并采用遞歸監(jiān)督和跳躍連接加速網(wǎng)絡(luò)收斂,穩(wěn)定訓(xùn)練過(guò)程,提升網(wǎng)絡(luò)性能。殘差密積網(wǎng)絡(luò)(Residual Dense Network,RDN)[7]結(jié)合殘差塊和密集塊的獨(dú)特優(yōu)勢(shì),設(shè)計(jì)殘差密集塊提取特征,并充分融合圖像上下文信息,進(jìn)一步提高了重建精度。

上述工作主要針對(duì)自然圖像的超分辨任務(wù)。虹膜圖像有其獨(dú)特的屬性,結(jié)構(gòu)信息較少,虹膜紋理具有隨機(jī)性、復(fù)雜性和極大的變異性,就使得在開(kāi)放的數(shù)據(jù)集中進(jìn)行超分辨任務(wù)變得尤為困難。此外,自然圖像關(guān)注重建的視覺(jué)效果,注重優(yōu)化保真度指標(biāo),如峰值信噪比(Peak Signal to Noise Ratio,PSNR)和結(jié)構(gòu)相似度(Structual Similarity,SSIM)。虹膜圖像的超分辨除保證視覺(jué)感受外,還應(yīng)考慮其識(shí)別效果。已有少量超分辨率研究圍繞虹膜圖像展開(kāi)。文獻(xiàn)[8]探討了CNN在虹膜識(shí)別應(yīng)用中的可行性,將5個(gè)預(yù)訓(xùn)練好的網(wǎng)絡(luò)作為虹膜關(guān)鍵信息提取器,使用支持向量機(jī)作為分類器,發(fā)現(xiàn)CNN擅長(zhǎng)表達(dá)虹膜圖像,并可有效提高虹膜分類準(zhǔn)確度。文獻(xiàn)[9]采用不同類別的數(shù)據(jù)集(紋理、自然以及虹膜圖像數(shù)據(jù)集)分別訓(xùn)練SRCNN和VDSR,使用虹膜圖像微調(diào),發(fā)現(xiàn)重建圖像保真度及識(shí)別效果均優(yōu)于傳統(tǒng)方法。本文在以上工作的基礎(chǔ)上,結(jié)合虹膜圖像細(xì)節(jié)紋理差異,設(shè)計(jì)了適用于虹膜圖像的超分辨率重建的雙路徑結(jié)構(gòu),能準(zhǔn)確重建高保真度的高分辨率虹膜圖像;對(duì)超分辨率主體網(wǎng)絡(luò)、特征提取模塊、上采樣策略進(jìn)行了優(yōu)化設(shè)計(jì),進(jìn)一步提高重建圖像的PSNR和SSIM;進(jìn)行了虹膜匹配實(shí)驗(yàn),取得了優(yōu)異的識(shí)別效果。

1 雙路徑殘差網(wǎng)絡(luò)

為了獲取虹膜圖像的結(jié)構(gòu)和紋理特征,本文采用雙路徑網(wǎng)絡(luò)結(jié)構(gòu),由不同的支路網(wǎng)絡(luò)完成不同的特征提取任務(wù),具體如圖1所示。與SRCNN類似,雙路徑殘差網(wǎng)絡(luò)將整個(gè)網(wǎng)絡(luò)分為淺層特征提取、非線性映射和圖像重建3部分。

圖1 雙路徑殘差網(wǎng)絡(luò)

1.1 淺層特征提取

早期的SRCNN和VDSR等超分辨網(wǎng)絡(luò)采用前置放大策略,先將原始低分辨率圖像ILR通過(guò)插值法放大為目標(biāo)尺寸,隨后送入網(wǎng)絡(luò)。提取的特征包含插值法引入的誤差信息,故而重建精度不高。本文采用后放大策略,與上采樣模型配合,直接從ILR提取淺層特征F-1和F0。F-1用于全局殘差學(xué)習(xí),F0作為兩個(gè)支路網(wǎng)絡(luò)的輸入。

1.2 非線性映射

虹膜內(nèi)外圓是重要的結(jié)構(gòu)信息,用于虹膜的精確定位,虹膜紋理細(xì)節(jié)是匹配的唯一依據(jù)。針對(duì)這兩種不同的特征,本文采用雙路徑結(jié)構(gòu)[10],支路1提取細(xì)節(jié)特征,支路2提取結(jié)構(gòu)特征。在雙路徑均引入殘差密集塊(Residual Dense Block,RDB),用于提取深層虹膜特征,具體如圖1中藍(lán)色卷積塊所示。各支路采用RDB提取深層信息,原始RDB如圖2所示。

圖2 原始RDB

RDB由一組3×3卷積層、密集連接、通道約束層以及局部殘差學(xué)習(xí)組成。密集連接和局部殘差學(xué)習(xí)能充分利用各級(jí)分層特征,相當(dāng)于高通濾波器,不斷地將前向特征向后傳遞。在保留高頻分量的同時(shí),避免了卷積過(guò)深而造成的信息丟失。

假設(shè)第d個(gè)RDB內(nèi)有C層3×3卷積層,則第C層卷積層的輸出表示為

FC=WC[Fd-1,F1,F2,…,FC-1]

(1)

式中:WC——第C層卷積;

[Fd-1,F1,F2,…,FC-1]——C層前面所有層的輸出及RDB輸入的密集連接。

第d個(gè)RDB的輸出表示為

Fd=Wd([Fd-1,F1,F2,…,FC])+Fd-1

(2)

式中:Wd——通道約束。

本文改進(jìn)原始RDB,設(shè)計(jì)兩條使用不同尺寸的卷積核支路的RDB。卷積核越大,其對(duì)圖像的感受范圍越大,能提取更為全局、語(yǔ)義層次更高的特征。支路1使用的卷積核尺寸為3×3,有較小的感受野,對(duì)于細(xì)微的紋理信息比較敏感,可捕捉相鄰像素間上下、左右之間的關(guān)系,并提取細(xì)節(jié)特征[11]。支路2卷積核尺寸為5×5,對(duì)于圖像的形狀輪廓較為敏感,因有大的感受野,故能從原圖中提取豐富的結(jié)構(gòu)特征。但大尺寸卷積核會(huì)增加參數(shù)量和計(jì)算復(fù)雜度。卷積核數(shù)量相同時(shí),一個(gè)5×5卷積層的參數(shù)量和計(jì)算量是3×3卷積層的2.78倍。由于兩個(gè)3×3卷積核感受野與一個(gè)5×5卷積核感受野相同,因此將5×5卷積核替換為兩個(gè)3×3卷積核,既可以保證感受野和網(wǎng)絡(luò)性能不變,又可以減小計(jì)算復(fù)雜度和參數(shù)量。這樣,支路2的卷積層數(shù)量是支路1的2倍。

支路1提取的紋理特征FD表示為

(3)

式中:W1,W2,W3,…,WD——D個(gè)RDB的特征提取;

F1,F2,F3,…,FD——RDB提取的特征。

支路2提取的結(jié)構(gòu)特征用F′D表示。

1.3 圖像重建

圖像重建包含特征融合、全局殘差學(xué)習(xí)和上采樣模型。結(jié)構(gòu)特征和紋理特征融合可以更好地表達(dá)虹膜圖像。跳躍連接是對(duì)特征的并行排列,特征本身大小不會(huì)改變,可以有效減少網(wǎng)絡(luò)中要求準(zhǔn)確承載信息的負(fù)擔(dān),緩解網(wǎng)絡(luò)模型模擬非線性映射的難度。本文采用跳躍連接集成結(jié)構(gòu)和紋理特征,為減少計(jì)算復(fù)雜度,采用1×1的卷積核約束通道數(shù)量。全局殘差學(xué)習(xí)能夠加快網(wǎng)絡(luò)收斂,降低訓(xùn)練難度。最終提取的特征FG可表示為

FG=WG([FD,F′D])+F-1

(4)

式中:WG——通道約束;

[FD,F′D]——跳躍連接。

FG是直接從原始低分辨虹膜圖像上提取的低維度特征,需通過(guò)上采樣將特征圖映射為目標(biāo)大小。本文采用文獻(xiàn)[12]提出的亞像素卷積層,具體如圖3所示。

圖3 亞像素卷積層

首先,亞像素卷積層采用后放大策略,不會(huì)引入錯(cuò)誤信息。其次,亞像素卷積層使用手工固定卷積核,而是通過(guò)訓(xùn)練得到一組周期移動(dòng)卷積核,這些卷積核切合當(dāng)前超分辨任務(wù),能有效保證重建質(zhì)量。周期移動(dòng)卷積核(Periodic Shuffling,PS)可表示為

PS(T)x,y,c=T[x/r],[y/r],C·r·mod(y,r)+C·mod(x,r)+c

(5)

式中:T——網(wǎng)絡(luò)中的張量;

x,y——HR空間中的像素坐標(biāo);

r——用于重建的上采樣因子;

c——最終通道數(shù)。

這些濾波器可以將r×r通道的LR特征圖映射為r通道的HR。重建的高分辨率圖像ISR可表示為

ISR=PS(FG)

(6)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文使用中科院CASIA-IrisV4/CASIA-Iris-Lamp虹膜圖像庫(kù)訓(xùn)練網(wǎng)絡(luò)。該圖像庫(kù)是在不同光照條件下采集的,瞳孔會(huì)隨光照變化而彈性變形,使得相應(yīng)的SR任務(wù)難度增加。選用Lamp模擬真實(shí)采集的應(yīng)用場(chǎng)景。Lamp共計(jì)16 212張圖像,411人。隨機(jī)選擇300人,挑選結(jié)構(gòu)清晰、紋理豐富的左右眼各10幅圖像,共計(jì)6 000幅圖像作為訓(xùn)練集。隨機(jī)選擇300人,左右眼各6幅圖像,共計(jì)3 600幅作為測(cè)試集。

Lamp圖像視為HR,本文采用雙三次插值法(Bicubic)作為退化模型,對(duì)Lamp下采樣,模擬實(shí)際的LR。在網(wǎng)絡(luò)訓(xùn)練之前,首先對(duì)原始HR圖像按照步長(zhǎng)(設(shè)為16)進(jìn)行裁剪,得到一系列48×48 HR圖像塊,然后根據(jù)縮放因子(例如4倍)的大小,進(jìn)行下采樣,得到對(duì)應(yīng)圖像塊LR(12×12)。LR和HR組成圖像對(duì),相當(dāng)于將input和label送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.2 實(shí)驗(yàn)設(shè)置

在Windows 10系統(tǒng)中搭建的Tensorflow框架下進(jìn)行訓(xùn)練,電腦硬件參數(shù)為Inter Core i7-8700K,顯卡為Nvidia Geforce RTX 2080Ti。初始化學(xué)習(xí)率為10-4,學(xué)習(xí)率更新策略為Adam,動(dòng)量參數(shù)β設(shè)置為0.9,激活函數(shù)統(tǒng)一設(shè)置為Relu,訓(xùn)練周期為100。

超分辨率的目的是重建高分辨率圖像ISR,使其盡量接近原圖IHR。網(wǎng)絡(luò)訓(xùn)練是在尋找LR和HR之間的非線性映射,也在不斷更新和優(yōu)化各層網(wǎng)絡(luò)參數(shù)W和b。本文選用平均絕對(duì)誤差(Mean Absolute Error,MAE)作為損失函數(shù),則為

(7)

式中:W,b——卷積核參數(shù)和偏差;

M,N——圖像的寬和高;

I(x,y)——圖像坐標(biāo)(x,y)處的像素值。

Bicubic,VDSR,DRCN,RDN等算法的訓(xùn)練采用與本文相同的訓(xùn)練集和測(cè)試集,訓(xùn)練設(shè)置均與其對(duì)應(yīng)開(kāi)源代碼一致。本文算法在實(shí)驗(yàn)過(guò)程中對(duì)其進(jìn)行了2倍、4倍和8倍的重建。采用主觀可視化比較(PSNR)和客觀評(píng)價(jià)指標(biāo)(SSIM)對(duì)這5種算法進(jìn)行評(píng)估?？紤]到虹膜圖像的實(shí)際應(yīng)用,設(shè)計(jì)了虹膜匹配實(shí)驗(yàn),將等錯(cuò)誤率(EER)作為另一評(píng)價(jià)指標(biāo)。

2.3 網(wǎng)絡(luò)優(yōu)化

網(wǎng)絡(luò)中RDB數(shù)量(D)及RDB內(nèi)卷積層數(shù)(C)對(duì)網(wǎng)絡(luò)深度、參數(shù)量以及重建質(zhì)量等影響較大。本文在縮放因子為4時(shí),改變D和C,訓(xùn)練不同深度的網(wǎng)絡(luò),尋找最優(yōu)化網(wǎng)絡(luò)模型。首先,擬定C為4,改變D的大小訓(xùn)練網(wǎng)絡(luò),并統(tǒng)計(jì)各項(xiàng)評(píng)估指標(biāo)。RDB數(shù)量?jī)?yōu)化如表1所示。

表1 RDB數(shù)量?jī)?yōu)化

由表1可知,PNSR和SSIM值越高、EER值越小意味著較好的重建質(zhì)量。當(dāng)D=9時(shí),PSNR和SSIM的值最高,EER值最小,達(dá)到了最佳的視覺(jué)感受和識(shí)別效果。然而此時(shí)網(wǎng)絡(luò)最深,參數(shù)量最多,測(cè)試時(shí)間最長(zhǎng),計(jì)算中消耗大量?jī)?nèi)存,不可視為最優(yōu)網(wǎng)絡(luò)?？紤]到虹膜圖像的超分辨率重建側(cè)重于識(shí)別準(zhǔn)確率,因此根據(jù)EER與計(jì)算速度的折中,選定D為5。隨后,改變C的大小訓(xùn)練網(wǎng)絡(luò),卷積層數(shù)量?jī)?yōu)化如表2所示。

表2 卷積層數(shù)量?jī)?yōu)化

由表2可知,隨著卷積層數(shù)的增加,PSNR和SSIM僅有較小的波動(dòng),C=8時(shí),其EER最優(yōu),但其參數(shù)量為123 MB,測(cè)試時(shí)間最長(zhǎng)。C=2時(shí),EER顯示最差結(jié)果。C=6時(shí)EER值比C=4時(shí)小0.005%,但其參數(shù)量多出2倍多,測(cè)試時(shí)間也較長(zhǎng)。因此,根據(jù)EER與計(jì)算速度的折中,選定C=4。

2.4 實(shí)驗(yàn)結(jié)果及分析

不同超分辨率算法重建圖像的PSNR和SSIM實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同超分辨率重建算法的PSNR與SSIM

由表3可以發(fā)現(xiàn),不同縮放因子下,CNN重建虹膜圖像的PSNR與SSIM普遍高于Bicubic,效果顯著,表明CNN在虹膜圖像超分辨率任務(wù)中的巨大潛力。本文算法在8倍重建時(shí),取得了最優(yōu)的PSNR和SSIM,分別比RDN高0.34 dB和0.003 dB,在4倍重建時(shí),取得最優(yōu)的PSNR,表明本文算法在較大縮放因子時(shí)虹膜圖像超分辨率重建中優(yōu)勢(shì)顯著。

不同超分辨率算法重建可視化比較如圖4所示。

圖4 不同超分辨率算法重建虹膜圖像的可視化比較

在2倍重建時(shí),各個(gè)算法都表現(xiàn)出接近原圖的重建效果,隨著縮放因子增加,部分網(wǎng)絡(luò)重建性能下降。4倍重建時(shí),Bicubic出現(xiàn)朦朧的視覺(jué)感受,VDSR和DRCN出現(xiàn)虹膜圖像紋理模糊,細(xì)節(jié)丟失的現(xiàn)象,而RDN和本文算法始終有著清晰的結(jié)構(gòu)和紋理。8倍重建時(shí),Bicubic的虹膜區(qū)域已經(jīng)完全模糊,甚至出現(xiàn)可見(jiàn)的像素粒,VDSR和DRCN也由于過(guò)度平滑而丟失大量紋理,RDN和本文算法雖然也有細(xì)節(jié)丟失,但是保留了虹膜區(qū)域的部分塊狀結(jié)構(gòu)性紋理。相比之下,本文算法的紋理亮度較深,觀察光斑、睫毛、瞳孔邊緣等可以發(fā)現(xiàn),其對(duì)微小細(xì)節(jié)的恢復(fù)更加準(zhǔn)確,展現(xiàn)出優(yōu)越的重建質(zhì)量。

本文同時(shí)進(jìn)行了虹膜匹配實(shí)驗(yàn),并根據(jù)EER評(píng)估各超分辨率重建算法的重建質(zhì)量。原始圖像的EER為1.394%,其他算法的EER如表4所示。

表4 不同超分辨率算法的EER

由表4可以發(fā)現(xiàn),在2倍重建時(shí),Bicubic的 EER為1.482%,最接近原圖,且優(yōu)于其他網(wǎng)絡(luò)。因此,當(dāng)采集的低分辨率虹膜圖像不需要大的上采樣因子時(shí),相比基于CNN的算法,采用傳統(tǒng)插值法足以完成超分辨率任務(wù),其識(shí)別效果僅有少量退化。在4倍重建時(shí),DRCN和本文算法取得最佳識(shí)別效果。在8倍重建時(shí),本文算法的識(shí)別效果最佳,且遠(yuǎn)高于其他算法,表現(xiàn)出優(yōu)異的重建性能。此外,結(jié)合表3可以發(fā)現(xiàn),較高PSNR和SSIM并不會(huì)帶來(lái)較好的虹膜識(shí)別效果,在2倍重建時(shí),DRCN的PSNR和SSIM分別比Bicubic高2.83 dB和0.014,而EER低于Bicubic。這表明虹膜圖像的視覺(jué)效果與識(shí)別效果沒(méi)有明顯的相關(guān)性,虹膜圖像的超分辨率任務(wù)更應(yīng)該注重提升識(shí)別的準(zhǔn)確率,而非視覺(jué)效果。

3 結(jié) 語(yǔ)

本文提出基于虹膜圖像的雙路徑殘差網(wǎng)絡(luò),將低分辨率虹膜圖像作為網(wǎng)絡(luò)輸入,設(shè)計(jì)雙支路,利用不同深度的殘差密集塊分別提取細(xì)節(jié)特征和結(jié)構(gòu)特征,引用全局殘差學(xué)習(xí)融合特征,最后經(jīng)亞像素卷積層將提取的低維度特征放大,重建出高分辨率虹膜圖像。實(shí)驗(yàn)結(jié)果表明,本文所提算法能高效準(zhǔn)確重建高分辨率虹膜圖像,尤其在縮放因子較大的情況下,其領(lǐng)先的PSNR和SSIM及清晰的可視化效果表明重建圖像具有較高的保真度。同時(shí),與其他算法相比,本文算法的EER表現(xiàn)更好。由于在虹膜圖像采集過(guò)程中會(huì)出現(xiàn)低分辨率美瞳圖像,因此實(shí)際虹膜識(shí)別過(guò)程中需即時(shí)偵測(cè)美瞳圖像,考慮將圖像超分辨率技術(shù)用于重建高分辨率美瞳圖像,以提高其偵測(cè)準(zhǔn)確率。