基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點(diǎn)預(yù)測算法

李 策, 朱子重, 許大有, 高偉哲, 靳山崗

(蘭州理工大學(xué) 電氣工程與信息工程學(xué)院, 甘肅 蘭州 730050)

一個(gè)場景中哪些部分或者哪些特有的形式吸引人類的眼球，是視覺心理學(xué)研究的主要內(nèi)容之一.同時(shí)設(shè)計(jì)注視點(diǎn)預(yù)測的計(jì)算模型，亦是計(jì)算機(jī)視覺中一個(gè)長期研究的課題[1].常見的注視點(diǎn)預(yù)測算法通常將注視點(diǎn)預(yù)測問題構(gòu)建成一個(gè)視覺注意力或顯著性的估計(jì)問題，通過提取圖像特征，得到圖像中的顯著性區(qū)域，從而實(shí)現(xiàn)圖像的注視點(diǎn)預(yù)測.Itti等[2]通過高斯金字塔模型生成多尺度圖像，對原圖像濾波提取顏色、亮度、方向特征，利用中心位置與周邊區(qū)域之差獲得三種特征，模擬人類視覺注意力機(jī)制，得到圖像的注視點(diǎn)圖.受此啟發(fā)，許多學(xué)者利用不同的特征或不同的顯著圖計(jì)算方法，得到圖像中人眼注視的顯著區(qū)域.Hou等[3]提出了一種分析每幅圖像的對數(shù)光譜并獲取光譜殘差的方法，該方法可以獲得預(yù)注意視覺搜索行為的估計(jì).Torralba等[4]基于圖像全局上下文信息，提高觀察者在真實(shí)場景中眼睛運(yùn)動(dòng)的預(yù)測性能.此外，將圖像變換到頻域中，Guo等[5-7]研究了圖像頻域的幅度譜和相位譜與人眼注視之間的關(guān)系，并取得了一定的成果，推動(dòng)了注視點(diǎn)預(yù)測模型的發(fā)展.

然而，傳統(tǒng)算法通過在空域或者頻域中提取與注視點(diǎn)相關(guān)的低級特征信息，進(jìn)行注視點(diǎn)預(yù)測，其結(jié)果與人眼真實(shí)注視位置差距較大.隨著自然場景下眼動(dòng)追蹤大規(guī)模數(shù)據(jù)的采集，為了提高注視點(diǎn)預(yù)測準(zhǔn)確度，基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)變得更加實(shí)用.

Judd等[8]采用基于機(jī)器學(xué)習(xí)的方法，通過學(xué)習(xí)多種圖像特征來訓(xùn)練視覺注意模型，從一組低級、中級、高級視覺特征中預(yù)測注視密度圖，該方法認(rèn)為圖像中物體屬性有助于注視點(diǎn)的預(yù)測.隨著卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出較好的性能，研究者提出了基于卷積神經(jīng)網(wǎng)絡(luò)的注視點(diǎn)預(yù)測模型.Vig等[9]提出深度網(wǎng)絡(luò)集成eDN (ensemble of deep networks)模型，這是利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測圖像顯著性的第一次嘗試.Kümmerer等[10]為了探討低級特征和高級特征對注視點(diǎn)預(yù)測的貢獻(xiàn)，提出了Deep Gaze II模型，取得了較好的效果.Cornia等[11]提出了多級融合的卷積神經(jīng)網(wǎng)絡(luò)ML-Net(multi-level network)模型，融合了卷積神經(jīng)網(wǎng)絡(luò)中不同層中提取的特征，由三個(gè)模塊組成：一個(gè)特征提取卷積神經(jīng)網(wǎng)絡(luò)、一個(gè)特征編碼網(wǎng)絡(luò)和一個(gè)先驗(yàn)學(xué)習(xí)網(wǎng)絡(luò).Pan等[12]利用生成對抗網(wǎng)絡(luò)SalGAN (saliency prediction with generative adversarial networks)模型獲得注視點(diǎn)預(yù)測圖，它由生成器和鑒別器兩個(gè)模塊組成，生成器可以更好地生成注視點(diǎn)圖，判別器可以更好地分辨真實(shí)注視點(diǎn)圖與生成注視點(diǎn)圖.Cornia等[13]提出顯著視注意模型SAM(saliency attentive model)，將編碼器產(chǎn)生的特征圖送入到卷積長短期記憶網(wǎng)絡(luò)，細(xì)化注視點(diǎn)預(yù)測圖，最后通過添加中心先驗(yàn)獲得最終的注視點(diǎn)預(yù)測圖.Liu等[19]提出了空間上下文長期遞歸卷積網(wǎng)絡(luò)DSCLRCN(spatial contextual long-term recurrent convolutional network)模型，首先利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的局部顯著性，然后對圖像進(jìn)行水平和垂直掃描，生成一個(gè)空間長短期模型來捕捉全局語義信息；DSCLRCN模型利用上述兩個(gè)操作可以有效地結(jié)合局部和全局上下文信息來預(yù)測圖像的注視點(diǎn).

上述基于卷積神經(jīng)網(wǎng)絡(luò)的算法中，卷積提取特征過程往往是在空域中進(jìn)行的，容易丟失圖像的細(xì)節(jié)信息；同時(shí)常用的卷積核操作僅可獲得單一尺度的特征圖，導(dǎo)致獲得的注視點(diǎn)預(yù)測精度不高；此外，對于比較復(fù)雜的場景圖像，現(xiàn)有算法依然存在注視點(diǎn)預(yù)測不準(zhǔn)確以及預(yù)測有誤的現(xiàn)象.

為此，本文提出了一種基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點(diǎn)預(yù)測算法.從超復(fù)數(shù)小波變換[14]的頻域中提取圖像的細(xì)節(jié)信息，并且結(jié)合圖像空域特征信息，作為注視點(diǎn)預(yù)測的輸入信息來源；同時(shí)在卷積網(wǎng)絡(luò)中，利用不同步長的空洞卷積，獲得圖像頻域和空域特征圖下多尺度的注視點(diǎn)預(yù)測信息，有效解決了由于特征圖尺度單一導(dǎo)致的注視點(diǎn)預(yù)測偏低問題；進(jìn)而引入通道和空間的注意力機(jī)制，有效抑制了特征圖中背景信息的干擾，提高了注視點(diǎn)預(yù)測精度.

1 基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點(diǎn)預(yù)測算法

針對已有注視點(diǎn)預(yù)測模型存在特征細(xì)節(jié)缺失、尺度單一和背景信息干擾導(dǎo)致的注視點(diǎn)預(yù)測精度偏低等問題，本文提出了一種基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點(diǎn)預(yù)測算法.首先，利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像經(jīng)過超復(fù)數(shù)小波變換的頻域注視點(diǎn)預(yù)測信息，與卷積神經(jīng)網(wǎng)絡(luò)獲取的圖像空域注視點(diǎn)預(yù)測信息結(jié)合，得到圖像的注視點(diǎn)預(yù)測特征信息；然后，將獲得的圖像頻域和空域特征圖作為空洞空間金字塔池化模塊[15]ASPP(atrous spatial pyramid pooling)的輸入，得到不同感受野的注視點(diǎn)預(yù)測信息，能夠解決卷積操作獲得特征圖的尺度單一問題；最后，引入殘差卷積注意力模塊[16]Res_CBAM(residual convolutional block attention module)，有效抑制了特征圖中背景信息的干擾，從而實(shí)現(xiàn)了圖像注視較好的預(yù)測.在公開的數(shù)據(jù)集SALICON[17]和CAT2000[18]上，分別從主觀和客觀對比實(shí)驗(yàn)中驗(yàn)證了所提算法的可行性.

本文所提算法框架如圖1所示，分為4個(gè)模塊：

圖1 本文所提模型結(jié)構(gòu)圖Fig.1 The architecture of the proposed model

1) 圖像頻域信息獲取模塊,利用超復(fù)數(shù)小波變換[14]獲取圖像的細(xì)節(jié)信息；

2) 特征提取模塊,使用雙分支網(wǎng)絡(luò)(FDFN和SDFN)分別從頻域和圖像的空域中提取與注視點(diǎn)相關(guān)的特征信息；

3) ASPP模塊,獲取不同感受野的特征信息，提高注視點(diǎn)預(yù)測準(zhǔn)確度；

4) Res_CBAM模塊,結(jié)合空間和通道的注意力機(jī)制，獲取輸出特征圖中與注視點(diǎn)預(yù)測相關(guān)的特征信息，利用網(wǎng)絡(luò)模型推理注視點(diǎn)位置，獲得較為準(zhǔn)確的注視點(diǎn)預(yù)測圖.

1.1 圖像頻域信息獲取模塊

超復(fù)數(shù)小波變換具有良好的平移不變性和方向選擇性，同時(shí)能夠有效提取圖像的細(xì)節(jié)信息，因此本文利用超復(fù)數(shù)小波變換獲得圖像的頻域信息，將其作為注視點(diǎn)預(yù)測的細(xì)節(jié)信息輸入到卷積網(wǎng)絡(luò)中，解決由于卷積網(wǎng)絡(luò)提取空域特征時(shí)圖像部分細(xì)節(jié)信息容易丟失的問題，提高注視點(diǎn)預(yù)測精度.圖像經(jīng)過超復(fù)數(shù)小波變換后，可以產(chǎn)生4幅近似圖和12幅子帶圖.本文中所使用的超復(fù)數(shù)小波變換是指雙樹四元數(shù)二維離散小波變換，二維的四元數(shù)解析信號被定義為

其中:f(x,y)表示一個(gè)實(shí)數(shù)范圍內(nèi)的二維信號;fHi1(x,y)和fHi2(x,y)分別表示信號f(x,y)沿著x軸和y軸方向的希爾伯特變換;fHi3(x,y)表示f(x,y)在兩個(gè)方向上的希爾伯特變換;σ(x)表示在x軸方向的脈沖函數(shù);σ(y)表示在y軸方向上的脈沖函數(shù).

圖像經(jīng)過超復(fù)數(shù)小波變換后，獲得的頻域圖可以表示為

(5)

其中:φ(·)和ψ(·)分別表示對應(yīng)方向上的尺度函數(shù)和小波基函數(shù);每一個(gè)超復(fù)數(shù)的實(shí)部表示近似部分，i、j、k三個(gè)方向上的虛部分別表示水平細(xì)節(jié)、垂直細(xì)節(jié)和對角細(xì)節(jié)；LL代表低頻子帶；LH、HL和HH代表三個(gè)高頻子帶.

本文中，用超復(fù)數(shù)小波變換將圖像由RGB空間轉(zhuǎn)換到頻域空間，而利用超復(fù)數(shù)小波變換的目的是獲取注視點(diǎn)預(yù)測細(xì)節(jié)信息，因此所提算法僅使用超復(fù)數(shù)小波變換的子帶圖，即令實(shí)部為零，通過頻域特征提取網(wǎng)絡(luò)(frequency domain feature network,FDFN)提取與注視點(diǎn)相關(guān)的細(xì)節(jié)信息.

1.2 特征提取模塊

由于卷積提取注視點(diǎn)特征信息過程中，圖像的細(xì)節(jié)信息不可避免地會(huì)有一些丟失；而超復(fù)數(shù)小波變換產(chǎn)生的子帶圖補(bǔ)充了注視點(diǎn)預(yù)測的細(xì)節(jié)信息，同時(shí)圖像空域中的顏色、紋理、亮度等信息也是與注視點(diǎn)預(yù)測高度相關(guān)的特征信息.因此，本文提出了一種雙分支卷積網(wǎng)絡(luò)，利用FDFN和SDFN(spatial domain feature network,融合空域特征提取網(wǎng)絡(luò))同時(shí)學(xué)習(xí)圖像頻域和空域中與注視點(diǎn)相關(guān)的有效信息，提高注視點(diǎn)預(yù)測精度.本文使用經(jīng)過修改的VGG16卷積網(wǎng)絡(luò)提取注視點(diǎn)預(yù)測特征，為了保證特征圖中注視點(diǎn)信息的完整性，在后兩個(gè)池化層(Pool4,Pool5)中去掉了下采樣過程，從而使特征圖的尺寸不再降低.對于FDFN模塊，圖像的頻域信息來源于超復(fù)數(shù)小波變換第一、二、三級分解的子帶圖(HWT1,HWT2,HWT3).在超復(fù)數(shù)小波變換的子帶圖中，一方面通過卷積方式獲取與注視點(diǎn)預(yù)測相關(guān)的細(xì)節(jié)信息；另一方面，由于池化操作會(huì)改變特征圖的尺寸，為了保證特征圖尺寸大小的一致性，對于超復(fù)數(shù)小波變換二級分解的子帶圖(HWT2)，去掉Conv1模塊中提取特征圖的池化操作.這樣，在Conv2模塊中，由超復(fù)數(shù)小波變換一級分解子帶產(chǎn)生的特征圖與二級分解子帶產(chǎn)生的特征圖尺寸一致，通過融合二者，可以有效增加超復(fù)數(shù)小波變換不同級分解之間的信息互補(bǔ)，獲取豐富的注視點(diǎn)預(yù)測細(xì)節(jié)信息，從而更加有效地進(jìn)行注視點(diǎn)預(yù)測.同樣的，對于超復(fù)數(shù)小波變換三級分解的子帶圖(HWT3)，去掉Conv1和Conv2模塊中的池化操作.具體過程如圖2所示.其中，使用VGG16去掉后兩個(gè)池化層(Pool4，Pool5)下采樣后對HWT1進(jìn)行特征提取，而對于HWT2和HWT3在使用上述網(wǎng)絡(luò)提取特征時(shí)，又去掉部分池化層(如紅色虛線框所示).對于SDFN模塊，其輸入圖像(Img)空域的特征提取過程與HWT1一致.

圖2 VGG16提取超復(fù)數(shù)小波變換多級分解特征示意圖

由FDFN和SDFN模塊得到的頻域和空域的注視點(diǎn)預(yù)測特征圖，本文中通過卷積的方式將二者進(jìn)行融合(如圖1中頻/空域特征融合模塊)，得到融合了頻域和空域信息的注視點(diǎn)預(yù)測特征圖.

1.3 ASPP模塊

在注視點(diǎn)預(yù)測模型中，注視點(diǎn)的產(chǎn)生不僅要考慮圖像的局部信息，還要考慮圖像的全局信息，因此本文利用不同步長的空洞卷積，獲取特征圖不同感受野信息，從而更好地得到注視點(diǎn)預(yù)測位置.ASPP[15]在輸入特征圖上利用不同感受野的空洞卷積操作，多次提取輸入特征圖的信息，在獲得特征圖更多感受野信息的同時(shí)，將獲取到的不同感受野特征圖池化，減少網(wǎng)絡(luò)模型參數(shù)量.為了獲取圖像頻域和空域中不同尺寸感受野的注視點(diǎn)預(yù)測信息，本文將雙分支網(wǎng)絡(luò)獲得的圖像空域特征和超復(fù)數(shù)小波變換頻域特征融合后作為ASPP模塊的輸入，所提算法中使用采樣率為rates={4，8，12}、卷積核為3×3的空洞卷積從輸入特征圖提取不同感受野的特征圖信息，如圖3所示.此外，對輸入特征圖進(jìn)行正常的卷積提取特征和特征圖的平均計(jì)算，與原文的ASPP模塊相比，本文通過ASPP模塊獲取圖像頻域和空域的不同尺寸感受野中注視點(diǎn)預(yù)測相關(guān)的信息，從而獲得更好的注視點(diǎn)預(yù)測準(zhǔn)確性.

圖3 ASPP模塊示意圖

1.4 Res_CBAM模塊

卷積操作能夠提取圖像中的顯著特征，對于注視點(diǎn)預(yù)測模型，由于提取的注視點(diǎn)特征圖中，有一部分表征的是背景干擾信息，容易導(dǎo)致模型預(yù)測的注視點(diǎn)位置分散，降低注視點(diǎn)預(yù)測的精度.由于Res_CBAM模塊[16]在圖像分類和目標(biāo)檢測中能夠抑制圖像背景信息，取得提高目標(biāo)分類精度和目標(biāo)檢測準(zhǔn)確度的效果，因此本文將Res_CBAM模塊引入到注視點(diǎn)預(yù)測任務(wù)中，選擇性地整合多層次的上下文語義信息，可以減少背景的干擾，增加注視點(diǎn)預(yù)測相關(guān)信息的權(quán)重，從而使注視點(diǎn)預(yù)測模型取得更好的性能.

如圖4所示，當(dāng)給定特征圖F∈RW×H×C作為輸入(C表示特征圖的通道，W×H表示特征圖的尺寸),MC∈R1×1×C表示通道注意圖，MS∈RW×H×1表示空間位置注意圖，則Res_CBAM模塊可以表示為

圖4 Res_CBAM模塊Fig.4 Res_CBAM module

(6)

其中:?表示對應(yīng)位置元素相乘;F′表示通道注意輸出特征圖;F″表示空間位置注意輸出特征圖;Fout是殘差卷積注意模塊的輸出.

通道注意圖MC和空間位置注意圖MS可由下面的公式計(jì)算獲得:

在本文中，使用Res_CBAM模塊作為注意力機(jī)制，對卷積提取頻域信息過程中最后四個(gè)池化層的輸出進(jìn)行約束增強(qiáng)處理.將Res_CBAM模塊的輸出與解碼過程融合，提高網(wǎng)絡(luò)推理過程中注視點(diǎn)預(yù)測的準(zhǔn)確性.最終，解碼后可以獲得與圖像尺寸大小一致的注視點(diǎn)預(yù)測圖.

1.5 損失函數(shù)

(9)

其中：i表示圖像第i個(gè)像素；ε是一個(gè)正則化常數(shù).利用KL-Div衡量注視點(diǎn)預(yù)測結(jié)果與標(biāo)注的顯著性密度圖之間的分布差異，L1值越小說明差異性越小，即注視點(diǎn)預(yù)測結(jié)果越好.為了更好地?cái)M合KL-Div，提高算法精度，通過Adam優(yōu)化算法逐步最小化損失函數(shù)，獲得較好的網(wǎng)絡(luò)模型參數(shù).

2 實(shí)驗(yàn)分析

為了對模型性能進(jìn)行全面的評估，在所提模型的訓(xùn)練和測試過程中，使用SALICON[17]和CAT2000[18]兩個(gè)公開的注視點(diǎn)預(yù)測數(shù)據(jù)集完成本次實(shí)驗(yàn).本文使用實(shí)驗(yàn)平臺的CPU型號是Intel Core i7 9700K 8GB，GPU型號是GTX 2080 8GB顯存，操作系統(tǒng)是Ubuntu16.04.算法是基于Tensorflow 1.14.0版本實(shí)現(xiàn).程序中，卷積網(wǎng)絡(luò)的權(quán)重初始化為在ImageNet上訓(xùn)練的VGG16模型的權(quán)重.網(wǎng)絡(luò)中，將學(xué)習(xí)率設(shè)置為10-5，batch_size設(shè)置為1，訓(xùn)練20個(gè)批次.在20個(gè)批次訓(xùn)練中，將在驗(yàn)證集上損失函數(shù)最小的一次作為最優(yōu)模型.圖5是20個(gè)批次在驗(yàn)證集上的損失函數(shù)曲線，可以看出隨著訓(xùn)練批次的增加，損失函數(shù)逐漸降低，13次以后損失函數(shù)的變化不是很大，在第18個(gè)批次時(shí)最小，因此本文采用第18個(gè)批次的訓(xùn)練參數(shù)作為本文所提算法中最終的模型參數(shù).并且應(yīng)用線性相關(guān)系數(shù)CC(Pearson’s correlation coefficient)、Shuffled ROC曲線下的面積sAUC(shuffled area under curve)、相似度度量SIM(similarity)和標(biāo)準(zhǔn)化掃描路徑顯著性NSS(normalized scanpath saliency)等評價(jià)指標(biāo)對所提模型進(jìn)行全面的評價(jià)[19].

圖5 在驗(yàn)證集上的損失函數(shù)曲線Fig.5 Loss function curve on the validation sets

CC是衡量注視點(diǎn)預(yù)測圖與密度分布GT圖之間線性關(guān)系的隨機(jī)變量，如下式所示：

(10)

SIM以直方圖的形式度量兩個(gè)分布之間的相似度,如下式所示：

(11)

NSS指標(biāo)是專門為評價(jià)注視點(diǎn)預(yù)測模型而定義的,其思想是量化眼睛注視點(diǎn)處的顯著性映射值，并將其與顯著性映射方差進(jìn)行歸一化，如下式所示：

(12)

Shuffled ROC曲線下的面積sAUC是AUC的一種變體，它使用其他圖像的人類注視圖作為非注視點(diǎn)分布.AUC指標(biāo)定義為ROC曲線下的面積.

本節(jié)首先從主觀和客觀上與其他模型比較分析.此外，本次試驗(yàn)中，針對模型的每一個(gè)模塊進(jìn)行了控制變量實(shí)驗(yàn)，在SALICON數(shù)據(jù)集上利用評價(jià)指標(biāo)定量分析預(yù)測效果.

2.1 在SALICON數(shù)據(jù)集上主客觀實(shí)驗(yàn)對比

在SALICON數(shù)據(jù)集[17]上，表1與現(xiàn)有的注視點(diǎn)預(yù)測算法進(jìn)行了客觀結(jié)果對比，其中*表示引用論文中的實(shí)驗(yàn)結(jié)果.可以看出，本文所提算法在CC、sAUC和SIM三個(gè)評價(jià)指標(biāo)上均能取得較好的注視點(diǎn)預(yù)測結(jié)果.在評價(jià)指標(biāo)CC和SIM上，本文所提算法與CEDN[15]算法相比，分別提高了5%和9%；而在sAUC評價(jià)指標(biāo)上，本文所提算法雖然沒有完全達(dá)到DSCLRCN[19]的性能，但其值僅降低了0.86%，相差較小.

表1 SALICON數(shù)據(jù)集上客觀對比結(jié)果Tab.1 Objective results on the SALICON dataset

從主觀結(jié)果上看(如圖6所示)，可以觀察到，基于卷積神經(jīng)網(wǎng)絡(luò)(本文所提算法、CEDN[15]、SAM[13])的算法效果遠(yuǎn)遠(yuǎn)優(yōu)于傳統(tǒng)算法(HFT[7]、IT[2]).對于較簡單的圖像場景(圖6前兩行)，本文所提算法的注視點(diǎn)預(yù)測位置相對比較精確.對于復(fù)雜的圖像場景(圖6后三行)，本文所提算法依然能找到符合人眼注視的位置，CEDN[15]、HFT[7]、IT[2]算法在第四幅圖像上的注視點(diǎn)位置預(yù)測有誤.

圖6 SALICON數(shù)據(jù)集下主觀結(jié)果對比Fig.6 Subjective results on the SALICON dataset

2.2 在CAT 2000數(shù)據(jù)集上主客觀實(shí)驗(yàn)對比

為了驗(yàn)證模型的泛化性能，在CAT2000[18]數(shù)據(jù)集上進(jìn)行訓(xùn)練和測試.CAT2000數(shù)據(jù)集的圖像尺寸較大，因此相應(yīng)地增加了注視點(diǎn)預(yù)測難度.實(shí)驗(yàn)的客觀結(jié)果見表2，其中*表示引用論文中的實(shí)驗(yàn)結(jié)果.從表2可以看到，與CEDN[15]算法相比，本文所提算法在CC、sAUC和SIM三個(gè)評價(jià)指標(biāo)上分別提高了9.4%、4.8%和4.7%.

表2 CAT 2000上客觀結(jié)果對比Tab.2 Objective results on CAT 2000 dataset

主觀結(jié)果如圖7所示，可以看出，相對于其他算法，本文所提算法在CAT2000數(shù)據(jù)集上依然能夠獲得較好的注視點(diǎn)預(yù)測效果，說明本文所提算法具有較好的魯棒性.

圖7 CAT 2000測試主觀對比結(jié)果Fig.7 Subjective results on the CAT 2000 dataset

2.3 超復(fù)數(shù)小波變換、ASPP和Res_CBAM模塊分析

為了說明本文所提算法中每個(gè)模塊的有效性，本節(jié)對超復(fù)數(shù)小波變換級數(shù)、ASPP模塊和Res_CBAM模塊在注視點(diǎn)預(yù)測中所起到的有效性進(jìn)行驗(yàn)證.結(jié)果表明，所提算法中每個(gè)模塊都能有效提高注視點(diǎn)預(yù)測準(zhǔn)確度.

2.3.1超復(fù)數(shù)小波不同級數(shù)變換性能分析

由于超復(fù)數(shù)小波可以進(jìn)行多級變換，因此在卷積網(wǎng)絡(luò)中，超復(fù)數(shù)小波的哪一級或者哪些級的信息有利于注視點(diǎn)預(yù)測是需要考慮的.對此，利用超復(fù)數(shù)小波不同級的分解訓(xùn)練網(wǎng)絡(luò)模型，在SALICON數(shù)據(jù)集上通過CC、sAUC、SIM和NSS評價(jià)標(biāo)準(zhǔn)確定超復(fù)數(shù)小波變換特征圖的選取，具體實(shí)驗(yàn)結(jié)果見表3.由圖8可以看出，利用超復(fù)數(shù)小波多級變換的子帶圖可以增加注視點(diǎn)預(yù)測的細(xì)節(jié)信息，提高注視點(diǎn)預(yù)測精度.然而，當(dāng)加入超復(fù)數(shù)小波變換的第四級分解子帶圖時(shí)，模型性能提升不大，有些評價(jià)指標(biāo)還有略微的下降，相對于僅用一級超復(fù)數(shù)小波變換，使用前三級超復(fù)數(shù)小波變換的結(jié)果在CC、sAUC、NSS和SIM評價(jià)指標(biāo)上，注視點(diǎn)預(yù)測準(zhǔn)確度提高了8.4%、3.0%、8.9%和7.0%.因此，所提模型中使用了超復(fù)數(shù)小波變換的前三級分解子帶圖.超復(fù)數(shù)小波變換將圖像從RGB三通道的空域變換到含有圖像細(xì)節(jié)的頻域，利用頻域的細(xì)節(jié)信息，有效豐富了注視點(diǎn)預(yù)測特征.上述實(shí)驗(yàn)表明，使用超復(fù)數(shù)小波變換可提高注視點(diǎn)預(yù)測的準(zhǔn)確度.

圖8 使用超復(fù)數(shù)小波變換不同級分解的主觀結(jié)果對比Fig.8 Subjective results of different levels of quaternion wavelet transform

表3 加入超復(fù)數(shù)小波變換不同級分解的客觀結(jié)果分析

2.3.2ASPP和Res_CBAM模塊

為了評估ASPP和Res_CBAM模塊的作用，所提模型中去掉ASPP模塊(-ASPP)或者去掉CBAM模塊(-CBAM)進(jìn)行注視點(diǎn)預(yù)測，通過在評價(jià)指標(biāo)CC、sAUC、NSS和SIM上對比測試結(jié)果，驗(yàn)證模塊的有效性.

本節(jié)從客觀評價(jià)標(biāo)準(zhǔn)和主觀注視點(diǎn)預(yù)測圖兩個(gè)方面對注視點(diǎn)預(yù)測算法中所使用的模塊進(jìn)行評價(jià).在表4(其中-ASPP和-CBAM分別表示在本文所提模型中去掉ASPP或者Res_CBAM模塊)中可以看到，使用ASPP模塊在CC、sAUC、NSS和SIM

表4 加入ASPP和Res_CBAM模塊的客觀結(jié)果分析Tab.4 Analysis of objective results by using the ASPP and Res_CBAM modules

評價(jià)指標(biāo)上能夠提高1.8%、1.1%、1.2%和2.3%，使用Res_CBAM模塊在CC、sAUC、NSS和SIM評價(jià)指標(biāo)上注視點(diǎn)預(yù)測準(zhǔn)確度也有相應(yīng)的提高，分別提高了0.5%、0.3%、0.1%和0.2%.

主觀結(jié)果如圖9所示.可以看出，ASPP模塊可以模擬人類視覺系統(tǒng)，從特征圖中獲得不同感受野信息，結(jié)合這些不同感受野信息，預(yù)測出較為準(zhǔn)確的注視點(diǎn)位置(圖9最后一行)；對于大量的注視點(diǎn)預(yù)測特征圖，在特征圖空間位置和通道中，除了含有大量與注視點(diǎn)相關(guān)的信息外，一些特征圖是對背景信息的表達(dá)，而Res_CBAM模塊能夠從特征圖空間位置和通道中篩選出與注視點(diǎn)相關(guān)的信息，抑制背景信息的干擾；對于比較復(fù)雜的圖像，也能夠獲得較準(zhǔn)確的注視點(diǎn)預(yù)測(圖9第三行).

圖9 ASPP和Res_CBAM模塊的主觀對比Fig.9 Subjective results of different levels of quaternion wavelet transform

3 結(jié)語

超復(fù)數(shù)小波變換能夠從頻域角度為注視點(diǎn)預(yù)測提供相關(guān)的圖像細(xì)節(jié)信息，與現(xiàn)有的深度卷積算法結(jié)合，可以更加全面地得到注視點(diǎn)預(yù)測特征信息，進(jìn)而提高算法精度.ASPP模塊可以增大感受野，在網(wǎng)絡(luò)模型學(xué)習(xí)參數(shù)時(shí)，模擬人眼觀察圖像的過程，由局部到全局，判斷注視點(diǎn)位置的正確性和準(zhǔn)確性.而Res_CBAM模塊在網(wǎng)絡(luò)模型中能夠?qū)W習(xí)推理注視點(diǎn)預(yù)測過程，提高注視點(diǎn)預(yù)測精度.從主觀和客觀實(shí)驗(yàn)結(jié)果對比表明，本文所提算法取得了較好的注視點(diǎn)預(yù)測效果.今后將結(jié)合圖像中人與人、人與物體、物體與物體之間的語義關(guān)系，從圖像中獲取更加符合人類視覺的注視點(diǎn)預(yù)測結(jié)果.此外，本算法今后將從模型壓縮入手，減少模型的參數(shù)量，使模型進(jìn)一步滿足實(shí)時(shí)性的要求.