• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于文本語義指導(dǎo)的自然場景文本圖像超分辨方法

    2023-12-27 07:18:48習(xí)晨晨孟雅蕾張凱兵
    空軍工程大學(xué)學(xué)報 2023年6期
    關(guān)鍵詞:識別率注意力語義

    習(xí)晨晨,何 昕,孟雅蕾,張凱兵

    (1.西安工程大學(xué)電子信息學(xué)院,西安,710048;2.西安工程大學(xué)計算機科學(xué)學(xué)院,西安,710048)

    文本圖像作為一種特殊圖像存在于人們的生活當(dāng)中,人類大腦時刻在對看到的場景進行分析,并根據(jù)場景中的文字指導(dǎo)行為。但是受環(huán)境、設(shè)備等因素的影響,采集的文本圖像往往存在模糊、失真等低質(zhì)量的情況。因此如何正確提取低質(zhì)量文本圖像中的信息來獲得更高質(zhì)量的圖像已經(jīng)成為一個日益緊迫的問題。文本圖像超分辨重建技術(shù)應(yīng)運而生[1-2]。文本圖像超分辨重建技術(shù)已經(jīng)在交通安全監(jiān)控、筆跡識別、證件識別、自動駕駛以及書法文物保護與恢復(fù)等領(lǐng)域具有極大的應(yīng)用價值。

    相比于規(guī)整的掃描文檔圖像,自然場景中拍攝的圖像所包含的文本有水平、傾斜甚至彎曲的文字,而且受制于硬件設(shè)備、攝像機抖動、相機與目標(biāo)對象間的相對運動等拍攝條件的限制導(dǎo)致圖像存在不同程度的模糊、昏暗或者分辨率低等情況,多種因素表明自然場景文本圖像超分辨(scene text image super-resolution,STISR)非常困難。近年來,隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的自然場景文本圖像超分辨技術(shù)克服了傳統(tǒng)方法復(fù)雜度高、泛化性差且需要較多的先驗信息等的局限性,取得令人矚目的成就。Wang等[3]引入條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial networks,cGAN)來重建STISR,去除了cGAN中的批歸一化(batch normalization,BN)層,引入了Inception結(jié)構(gòu),有效擴展了網(wǎng)絡(luò)的寬度,使生成器能自適應(yīng)地捕捉圖像中不同大小的文本線索,更適合STISR重建任務(wù)。Xue等[4]采用殘差密集網(wǎng)絡(luò)(residual in residual dense network,RRDN)提取比普通殘差網(wǎng)絡(luò)更深層的高頻特征,并利用注意力機制增強空間和通道特征,同時引入了梯度損失監(jiān)督網(wǎng)絡(luò)訓(xùn)練,以獲取更加清晰的文本邊緣,該方法在STISR任務(wù)上取得了不錯的結(jié)果。Zhang等[5]設(shè)計了一種不需要預(yù)訓(xùn)練的STISR重建網(wǎng)絡(luò),該網(wǎng)絡(luò)主要由卷積層、BN層、LeakyReLU激活層以及上采樣層和下采樣層組成,利用深度圖像先驗(deep image prior,DIP)的特點,設(shè)計了一種新的加權(quán)MSE損失函數(shù)來突出文本圖像的高頻細(xì)節(jié)。

    2021年,Fang等[6]提出文本超分辨生成對抗網(wǎng)絡(luò)(text super-resolution generative adversarial networks,TSRGAN),引入生成對抗網(wǎng)絡(luò)來防止網(wǎng)絡(luò)產(chǎn)生過平滑圖像,同時加入三元組注意力機制提高網(wǎng)絡(luò)的表征能力,并引入小波損失來重構(gòu)更清晰的邊緣。Honda等[7]提出了一種基于多任務(wù)學(xué)習(xí)的STISR網(wǎng)絡(luò)(multi-task super-resolution,MTSR),該網(wǎng)絡(luò)使用了2個并行任務(wù):圖像重建和圖像超分辨(super-resolution,SR),將重建模塊和SR模塊的特征進行融合然后送入下一層進行迭代,使SR網(wǎng)絡(luò)能夠?qū)W習(xí)到重建任務(wù)中所提取的特征,最后得到一個訓(xùn)練完備的STISR模型,獲得不錯的重建效果。但上述方法缺少先驗信息的利用,導(dǎo)致恢復(fù)圖像缺少細(xì)節(jié)信息,不能達到令人滿意的效果。

    本文受文本先導(dǎo)超分辨(text-prior guided super-resolution,TPGSR)網(wǎng)絡(luò)[8]啟發(fā),以文本超分辨網(wǎng)絡(luò)(text super-resolution network,TSRN[13])為基礎(chǔ),從先驗信息利用和損失函數(shù)2個角度考慮自然場景文本圖像超分辨任務(wù),提出了一個新的文本語義指導(dǎo)的超分辨網(wǎng)絡(luò)(text-semantic guided super-resolution network,TSGSRN)。針對TPGSR方法中使用低分辨文本先驗指導(dǎo)網(wǎng)絡(luò)訓(xùn)練導(dǎo)致先驗信息利用不準(zhǔn)確的問題,本文提出使用預(yù)訓(xùn)練語義感知網(wǎng)絡(luò)建立SR圖像和真實高分辨(high resolution,HR)圖像之間的文本語義監(jiān)督,以有效提高網(wǎng)絡(luò)模型對文本字符的語義理解能力。除此之外,針對現(xiàn)有的十字交叉注意力機制只關(guān)注局部特征的問題,本文使用循環(huán)十字交叉注意力[9],提升遠(yuǎn)距離像素之間的相關(guān)性,更好地融合周圍像素的上下文信息,從而捕獲全局信息。最后,考慮到現(xiàn)有方法使用邊緣檢測算子提取邊緣導(dǎo)致的邊緣特征丟失問題,采用軟邊緣損失和梯度損失對重建結(jié)果進行優(yōu)化。在相同的實驗條件下,提出的TSGSRN能獲得比現(xiàn)有方法更好的質(zhì)量評價指標(biāo)[10-11]。

    1 TSGSRN整體框架

    本文提出的TSGSRN的整體框架如圖1所示,由超分辨重建模塊和文本語義感知模塊組成。

    圖1 基于文本語義指導(dǎo)的自然場景文本圖像超分辨方法整體框架

    超分辨重建模塊以LR圖像及其二進制掩碼圖作為輸入。其中,LR圖像為RGB圖像,二進制掩碼圖為二值圖(文字區(qū)域置為1,背景區(qū)域置為0)。首先,網(wǎng)絡(luò)的輸入經(jīng)過中心對齊網(wǎng)絡(luò)進行對齊,然后通過單個卷積層提取特征;其次,通過7個相同的超分辨殘差塊;最后,使用Pixel-Shuffle對處理后的特征映射進行上采樣,以生成SR結(jié)果,并通過L2損失、梯度損失和軟邊緣損失計算重建圖像和真實圖像之間的差異。文本語義感知模塊通過預(yù)訓(xùn)練識別網(wǎng)絡(luò)建立SR圖像和HR圖像之間的字符類別概率分布差異,獲得更多面向文本的信息。相比于TSRN,TSGSRN有以下改進:①使用預(yù)先訓(xùn)練的語義感知網(wǎng)絡(luò)感知文本自身的語義信息,使得模型具有更好的語義理解能力;②TSGSRN在每個超分辨殘差塊中加入了注意力機制進一步提升超分辨效果;③使用軟邊緣損失對生成圖像的邊緣進行約束,得到邊緣更準(zhǔn)確、清晰的超分辨結(jié)果。

    2 TSGSRN設(shè)計

    2.1 超分辨重建模塊

    SR重建模塊主要由對齊模塊、基于殘差網(wǎng)絡(luò)的重建主體、后上采樣模塊組成。首先,LR文本圖像及其二進制掩碼圖像作為輸入,送入到對齊網(wǎng)絡(luò)中,使得輸入的LR圖像與真實的HR圖像具有中心對齊的效果,以減小數(shù)據(jù)本身存在的像素誤差。對齊網(wǎng)絡(luò)采用薄板樣條變換(thin plate spline,TPS),對齊過程可以表示為:

    Fin=fTPS(ILR)

    (1)

    式中:fTPS表示薄板樣條變換;Fin表示對齊網(wǎng)絡(luò)的輸出特征。然后,輸出的特征經(jīng)過一個卷積核大小為9×9的卷積和PRelu激活函數(shù),表示為:

    (2)

    (3)

    (4)

    式中:fup表示2倍上采樣操作;ISR表示整個超分辨重建模塊的輸出結(jié)果。

    2.2 文本語義感知模塊

    為了使得網(wǎng)絡(luò)能夠充分理解文本的內(nèi)容信息,具有更好的感知能力,本文提出文本語義感知模塊見圖2,為文本語義感知(semantic-aware,SA)模塊的內(nèi)部結(jié)構(gòu)。

    圖2 文本語義感知模塊結(jié)構(gòu)

    SA模塊使用CRNN網(wǎng)絡(luò)[12],該網(wǎng)絡(luò)結(jié)構(gòu)包含3個部分:卷積層、循環(huán)層和轉(zhuǎn)錄層。卷積層使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN),從輸入圖像中提取圖像特征;循環(huán)層使用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN),對圖像特征的語義信息進行建模,用來預(yù)測從卷積層獲取的特征序列的標(biāo)簽分布;轉(zhuǎn)錄層使用CTC損失使得預(yù)測序列更準(zhǔn)確地與目標(biāo)序列對齊,把從循環(huán)層獲取的標(biāo)簽分布去重整合得到最終的分類文本先驗。

    SR重建模塊得到的SR圖像ISR和真實的HR圖像分別送入CRNN網(wǎng)絡(luò)中,以SR圖像為例:首先經(jīng)過6個卷積層,得到卷積層的輸出特征:

    (5)

    然后,特征FCNN送入循環(huán)層,循環(huán)層使用雙向長短時記憶網(wǎng)絡(luò),根據(jù)輸入的特征進行預(yù)測,得到所有字符的SoftMax概率分布,該分布是長度為字符類別數(shù),高度為字母表a~z和數(shù)字表0~9的向量。將該分布送入第3部分轉(zhuǎn)錄層,使用CTC損失使得預(yù)測序列更準(zhǔn)確地與目標(biāo)序列對齊,把從循環(huán)層獲取的標(biāo)簽分布去重整合得到最終的分類文本先驗,如圖3所示。白點越明顯,表示屬于該類別的概率越高;越模糊,表示屬于該類別的概率越低。

    圖3 字符分類概率圖

    2.3 循環(huán)十字交叉注意力

    隨著注意力機制被提出,超分辨任務(wù)也取得了進一步的發(fā)展。通道注意力首先被提出,其旨在建立不同通道之間的相關(guān)性,通過對每個通道的特征賦予不同的權(quán)重,從而強化重要特征,抑制非重要特征,更關(guān)注于全局特征;空間注意力旨在增強關(guān)鍵區(qū)域的特征表達,通過對空間中每個位置生成權(quán)重掩膜進行加權(quán),增強感興趣區(qū)域表達,弱化無關(guān)的背景區(qū)域;三元組注意力通過利用三分支結(jié)構(gòu)實現(xiàn)跨維交互,建立維度間的依賴關(guān)系;坐標(biāo)注意力則是將位置信息嵌入到通道中,分別沿2個方向聚合特征,可以在一個空間方向上捕獲遠(yuǎn)程依賴關(guān)系,同時在另一個空間方向上保存精確的位置信息,其只能捕獲某一個坐標(biāo)的信息,不能捕獲周圍相鄰像素的信息,而循環(huán)十字交叉注意力通過級聯(lián)2個相同的十字交叉注意力,更好地融合全局上下文信息。

    十字交叉注意力結(jié)構(gòu)如圖4所示,對于輸入特征X,首先使用3個不同的1×1卷積核獲取注意力模型中的Q,K,V;通過Q和K來獲取當(dāng)前像素下橫向和縱向像素點之間的相關(guān)性。最后將相關(guān)性矩陣與V整合,再加上原始的特征X,得到最終的注意力特征X′,但是該注意力只計算了“十字”結(jié)構(gòu)中像素點的相關(guān)性,對于周圍的像素點未遍歷,只關(guān)注到局部特征。因此,通過級聯(lián)雙層的十字交叉注意力可對周圍像素點進行遍歷,從而融合全局上下文信息。循環(huán)十字交叉注意力在語義分割任務(wù)中已經(jīng)取得不錯的效果。由于文本超分辨的目的是增強文字區(qū)域,弱化背景區(qū)域,因此該注意力可應(yīng)用于文本超分辨任務(wù)。

    圖4 十字交叉注意力

    2.4 損失函數(shù)設(shè)計

    在SR任務(wù)中,聯(lián)合不同損失函數(shù)對網(wǎng)絡(luò)模型進行優(yōu)化,有利于加快網(wǎng)絡(luò)訓(xùn)練時的收斂速度,從而提升模型的重建性能。因此,本文將像素?fù)p失、梯度損失、軟邊緣損失和文本語義感知損失聯(lián)合起來共同訓(xùn)練所提出的深度網(wǎng)絡(luò)。本文方法使用的損失函數(shù)如下:

    1)像素?fù)p失。像素?fù)p失表示SR結(jié)果和目標(biāo)圖像之間的曼哈頓距離,相比于L1損失,L2損失有利于恢復(fù)清晰的邊緣,提高模型收斂速度。因此,本文采用L2損失度量重建圖像與目標(biāo)圖像之間的誤差。像素?fù)p失表示為:

    (6)

    式中:ISR為SR圖像;IHR為真實的HR圖像。

    2)梯度損失。圖5(a)、(b)和(c)分別表示LR、SR和HR圖像,圖5(d)、(e)和(f)分別表示其梯度圖??梢钥闯?LR圖像的梯度場為矮胖型,而HR圖像的梯度場為高瘦型,為了減小SR圖像和真實HR圖像之間的梯度分布差異,引入梯度損失,從而進一步減小SR圖像和真實HR圖像之間的差異,表達式為:

    圖5 低分辨、超分辨和高分辨圖像及其對應(yīng)的梯度圖

    Lgrad=‖?ISR-?IHR‖1

    (7)

    式中:?表示梯度操作。

    3)軟邊緣損失。為了保證恢復(fù)圖像的邊緣完整性,本文直接通過軟邊緣損失對SR圖像和HR圖像進行監(jiān)督,表達式為:

    (8)

    4)文本語義感知損失。由于CRNN中的CNN的淺層特征和深層特征分別關(guān)注局部結(jié)構(gòu)信息和全局語義信息,因此,文本語義感知損失可以同時保證低級筆畫結(jié)構(gòu)和高級文本上下文之間的一致性。相比于一般的自然圖像超分辨方法側(cè)重圖像的局部細(xì)節(jié),對文本語義和字符的形狀理解不佳,因此,從預(yù)訓(xùn)練的文本語義感知模型中可以獲得更多面向文本的信息,它可以更好地衡量SR圖像和HR圖像中前景字符之間的相似性,表達式為:

    Ltsa=λ1|tSR-tHR|+λ2DKL(tSR‖tHR)

    (9)

    式中:tSR和tHR分別表示SR圖像和HR圖像的語義類別概率;|·|表示L1范數(shù);DKL表示KL散度操作;λ1和λ2為很小的常數(shù),均設(shè)置為1.0。本文聯(lián)合以上4個損失對網(wǎng)絡(luò)模型參數(shù)進行優(yōu)化,整個網(wǎng)絡(luò)的損失函數(shù)表示為:

    L=αLpixel+βLgrad+γLedge+λLtsa

    (10)

    式中:α,β,γ,λ為用于平衡4個損失的權(quán)衡因子。本文將權(quán)重分別設(shè)置為:20、0.1、0.1和0.1。

    3 實驗結(jié)果與分析

    3.1 實現(xiàn)細(xì)節(jié)

    本文方法使用WANG等[13]提出的TextZoom數(shù)據(jù)集進行訓(xùn)練和測試,該數(shù)據(jù)集是從CAI等[14]提出的RealSR和ZHANG等[15]提出的SRRAW中裁剪得到。該數(shù)據(jù)集是第一個用于自然場景文本圖像超分辨任務(wù)的數(shù)據(jù)集,由相機在不同焦距的真實場景中捕獲(如圖6所示),其包含LR-HR圖像對,但由于人為抖動等原因,存在像素不對齊問題。

    (a)150 mm

    TextZoom數(shù)據(jù)集中18 986張圖像用于訓(xùn)練,4 373張用于測試。測試集根據(jù)恢復(fù)難易程度分為3個等級:easy,medium和hard(如圖7所示)。Easy包含1 619張圖像,medium包含1 411張圖像,hard包含1 343張圖像。與合成的文本數(shù)據(jù)集的不同之處在于,該數(shù)據(jù)集的LR圖像不是經(jīng)過對HR圖像下采樣獲得。并且TextZoom數(shù)據(jù)集在真實場景中經(jīng)歷了復(fù)雜的退化,這使得SR模型難以恢復(fù)高質(zhì)量的文本圖像。低分辨圖像大小為16×64,HR圖像大小為32×128。本算法模型基于Pytorch平臺實現(xiàn),GPU使用Nvidia 2080Ti,學(xué)習(xí)率設(shè)置為0.001。

    (a)easy

    3.2 對比結(jié)果與分析

    為了驗證本文提出方法的有效性,在公共的自然場景文本超分辨數(shù)據(jù)集TextZoom上進行了驗證實驗。本文方法對比了8種主流的超分辨方法:BICUBIC[16]、SRCNN[17]、SRResNet[18]、RDN[19]、VDSR[20]、LapSRN[21]、TSRN[13]、TSRGAN[6]。在TextZoom數(shù)據(jù)集上進行2倍放大的識別率評定結(jié)果如表1所示。ASTER,MORAN和CRNN為常用的3種文本識別器。ASTER由矯正網(wǎng)絡(luò)和識別網(wǎng)絡(luò)組成,矯正網(wǎng)絡(luò)使用TPS,識別網(wǎng)絡(luò)是一種加入注意力機制的序列-序列模型,對矯正后的圖像進行字符預(yù)測;MORAN由矯正子網(wǎng)絡(luò)MORN和識別子網(wǎng)絡(luò)ASRN組成,針對彎曲等不規(guī)則文本圖像具有較好的識別效果;CRNN的詳細(xì)介紹見2.2節(jié)。表1中,average為3個測試子集識別率的加權(quán)平均值,由于3個測試子集數(shù)量分別為1 619,1 411和1 343,因此將權(quán)重分別設(shè)置為0.37,0.32和0.31。PSNR[22]和SSIM[23]指標(biāo)的定量評定結(jié)果如表2所示。在表中最優(yōu)值均加粗表示。(注:由于TSRGAN方法源碼未公開,所有數(shù)據(jù)均摘錄于原論文)

    表1 識別率對比實驗結(jié)果

    表2 PSNR和SSIM指標(biāo)對比實驗結(jié)果

    在所有的比較方法中,前6種方法為一般圖像超分辨方法,沒有加入任何的圖像先驗信息,受模型性能制約,效果較差;TSRN使用梯度損失加強邊緣的構(gòu)建,效果略有提升;TSRGAN在TSRN基礎(chǔ)上增加對抗損失和小波損失,進一步提升了超分辨效果;本文方法在TSRN基礎(chǔ)上加入文本語義先驗和軟邊緣損失,識別率進一步提升。從表1可以看出,本文方法在3個識別器上的平均識別率相比于TSRN分別提升了2.06%、1.80%和2.89%。在ASTER和CRNN識別器上的平均識別率相比于TSRGAN分別提高了0.34%和1.48%。在MORAN上的平均識別率卻稍低于TSRGAN。

    由表2可以看出,本文方法相比于TSRN在3個測試子集的結(jié)構(gòu)相似性(structual similarity,SSIM)指標(biāo)分別提升了0.008 1、0.014 3和0.012 7;峰值信噪比(peak signal to noise ratio,PSNR)指標(biāo)分別提升了0.47、0.34和0.22。相比于TSRGAN方法,本文方法的SSIM指標(biāo)在測試子集easy和medium上略低,原因在于TSRGAN引入了對抗網(wǎng)絡(luò),使得生成的文本圖像具有更豐富的細(xì)節(jié)。

    由于PSNR指標(biāo)具有爭議性,模糊的圖像可能具有較高的PSNR值,而清晰的圖像可能傾向于表現(xiàn)出較低的PSNR值,不一定符合人眼的視覺感知質(zhì)量,因此,不以PSNR指標(biāo)作為主要評價指標(biāo)。綜上,本文方法相比于其他對比方法表現(xiàn)出了一定的優(yōu)勢。

    為了更直觀地對比不同SR方法的重建性能,圖8展示了所有對比方法在TextZoom數(shù)據(jù)集上的SR重建效果對比。本文選取一些最具有代表性且邊緣細(xì)節(jié)及文字完整性較好的圖像進行視覺質(zhì)量對比??梢钥吹?方法SRCNN、SRResNet、RDN、VDSR、LapSRN和TSRN方法的重建結(jié)果較為平滑,邊緣完整性較差,而本文方法獲得的結(jié)果均表現(xiàn)出較為完整的字符邊緣,這主要得益于模型加入了文本語義信息和軟邊緣損失。盡管TSRN也能夠重建出較好效果的圖像,但是在細(xì)節(jié)上仍然存在問題,字符的分離度較差,存在相鄰字符之間的粘連問題。其原因在于該網(wǎng)絡(luò)在訓(xùn)練的過程中只針對邊緣結(jié)構(gòu)進行了優(yōu)化,而缺少文本本身的語義信息參與指導(dǎo),導(dǎo)致訓(xùn)練得到的模型在重建過程中很難對相鄰字符之間的特征進行精準(zhǔn)表示。

    圖8 不同超分辨方法視覺對比結(jié)果

    綜上,本文方法在相鄰字符的處理上具有一定的優(yōu)勢,且效果逼真,識別錯誤率最低。此外,本文方法與TSRGAN相比在參數(shù)量上也有明顯的優(yōu)勢。本文提出的基于文本語義指導(dǎo)的STISR方法具有較好的重建性能,更適合STISR重建任務(wù)。

    3.3 消融實驗

    1)循環(huán)十字交叉注意力。為了驗證提出方法使用的循環(huán)十字交叉注意力的有效性,對比了幾種具有代表性的注意力:通道注意力(CA)[24]、通道-空間注意力(CBAM)[25]、三元組注意力[26](TAM)和坐標(biāo)注意力(CoA)[27],在3個測試子集的對比結(jié)果如表3所示。

    表3 不同注意力的對比實驗結(jié)果

    由表3可見,相比于其它注意力模型,使用的循環(huán)十字交叉注意力在easy和medium測試子集上的識別率、PSNR和SSIM指標(biāo)具有一定的優(yōu)勢,能顯著提升重建圖像質(zhì)量。

    2)文本語義感知模塊。為了驗證SA模塊的有效性,對該模塊進行了消融實驗,從定量和定性2個層面證明SA模塊的有效性,定量對比結(jié)果如表4所示,加入SA模塊后,在測試集的3個子集上的平均識別率、平均PSNR和SSIM值都高于沒有SA模塊的模型。重建圖像的視覺質(zhì)量對比如圖9所示。從圖9可以看出,在SA模塊的作用下,模型具有較高的字符語義理解能力,字符的完整程度明顯較高,與HR圖像的相似性更高。

    表4 語義感知模塊有效性定量對比實驗結(jié)果

    (a)無SA模塊

    3)損失函數(shù)。為了驗證本文方法所用損失函數(shù)的有效性,對其進行了消融實驗,如表5所示。

    表5 不同損失函數(shù)的消融實驗對比結(jié)果

    由表5可以看出,相比于單一的損失函數(shù),聯(lián)合所有的損失函數(shù)能夠顯著提升模型的重建性能,得到更好的重建效果。表5中,第1行只使用像素?fù)p失,模型的重建效果不理想;第2行表示在像素?fù)p失的基礎(chǔ)上加入梯度損失,可以看出,在3個測試子集的識別、PSNR和SSIM指標(biāo)均有所提高;第3行表示在像素?fù)p失、梯度損失的基礎(chǔ)上加入軟邊緣損失,可以看出,在medium測試子集的識別率提高了0.66%,在medium測試子集上的PSNR指標(biāo)提高了0.51 dB;第4行表示在像素?fù)p失、梯度損失和軟邊緣損失的基礎(chǔ)上加入文本語義感知損失,可以看出,在3個測試子集的識別率、PSNR和SSIM均有所提高,相比于只使用像素?fù)p失的模型,對比指標(biāo)有大幅度提升。上述實驗結(jié)果驗證了本文提出的3個損失函數(shù)對模型性能提升均有貢獻。

    4)SRRB的數(shù)量。此外,還驗證了SRRB的數(shù)量對網(wǎng)絡(luò)模型重建性能的影響,結(jié)果如圖10和圖11所示,對于STISR任務(wù),并不是越深的網(wǎng)絡(luò)效果越好,主要在于圖像先驗信息的引入,由圖10可以看出,SRRB數(shù)量為7時,模型在3個測試子集上均具有最好的識別率。

    圖10 SRRB數(shù)量的消融實驗在識別率上的對比結(jié)果

    (a)PSNR指標(biāo)

    SRRB的數(shù)量對PSNR和SSIM指標(biāo)的影響結(jié)果如圖11所示,可以看出,當(dāng)SRRB數(shù)量為7時,模型具有最佳的PSNR和SSIM指標(biāo)。

    4 結(jié)語

    本文提出了一種基于文本語義指導(dǎo)的STISR模型,該模型能夠充分利用文本圖像的文本語義信息指導(dǎo)超分辨模型訓(xùn)練,通過循環(huán)十字交叉注意力提升模型對文本上下文的理解能力,提升有效信息的表達能力,將更多的注意力放在文字本身。在常用的基準(zhǔn)數(shù)據(jù)集TextZoom上的實驗結(jié)果表明,本文提出的方法在主觀和客觀質(zhì)量評價方面都能夠獲得更好的重建結(jié)果,尤其在處理文本字符的粘連問題方面相比于其他方法具有顯著優(yōu)勢。

    盡管提出的基于文本語義指導(dǎo)的STISR重建方法能夠獲得更好的重建性能,但是仍然存在不足之處。首先,數(shù)據(jù)集中存在大量模糊圖像,模型對其語義理解能力不佳,效果較差;其次,STISR任務(wù)可以視為高頻信息恢復(fù)后的顏色填充問題,如何只對圖像的高頻信息進行處理顯得尤為重要,是未來需要進一步研究的問題。

    猜你喜歡
    識別率注意力語義
    讓注意力“飛”回來
    語言與語義
    基于類圖像處理與向量化的大數(shù)據(jù)腳本攻擊智能檢測
    計算機工程(2020年3期)2020-03-19 12:24:50
    基于真耳分析的助聽器配戴者言語可懂度指數(shù)與言語識別率的關(guān)系
    提升高速公路MTC二次抓拍車牌識別率方案研究
    “揚眼”APP:讓注意力“變現(xiàn)”
    傳媒評論(2017年3期)2017-06-13 09:18:10
    A Beautiful Way Of Looking At Things
    高速公路機電日常維護中車牌識別率分析系統(tǒng)的應(yīng)用
    “上”與“下”語義的不對稱性及其認(rèn)知闡釋
    認(rèn)知范疇模糊與語義模糊
    亚洲精华国产精华精| 欧美黄色淫秽网站| 一区二区三区国产精品乱码| 视频在线观看一区二区三区| 国产精品日韩av在线免费观看| 午夜福利在线在线| 亚洲成国产人片在线观看| 日本a在线网址| 免费在线观看完整版高清| 亚洲精品国产区一区二| 欧美乱码精品一区二区三区| 欧美久久黑人一区二区| 国产国语露脸激情在线看| 日本免费a在线| 热re99久久国产66热| 国产亚洲欧美98| 亚洲欧美一区二区三区黑人| 久热这里只有精品99| 香蕉久久夜色| 亚洲av电影不卡..在线观看| 在线观看午夜福利视频| 长腿黑丝高跟| 2021天堂中文幕一二区在线观 | 亚洲国产精品合色在线| 亚洲国产中文字幕在线视频| 一本久久中文字幕| 久久久久久久久久黄片| 不卡一级毛片| 久久国产亚洲av麻豆专区| 亚洲av电影不卡..在线观看| 热99re8久久精品国产| 亚洲av第一区精品v没综合| 久久久久久国产a免费观看| 中文字幕人妻丝袜一区二区| 精品国产美女av久久久久小说| www日本黄色视频网| 国产亚洲精品第一综合不卡| 国产精品一区二区精品视频观看| 亚洲午夜理论影院| 看片在线看免费视频| 日本在线视频免费播放| 老司机午夜福利在线观看视频| 欧美成人一区二区免费高清观看 | 非洲黑人性xxxx精品又粗又长| 日本五十路高清| 亚洲avbb在线观看| 亚洲七黄色美女视频| 99国产极品粉嫩在线观看| a在线观看视频网站| 精品国产亚洲在线| 别揉我奶头~嗯~啊~动态视频| 久久精品aⅴ一区二区三区四区| 精品久久久久久久人妻蜜臀av| 久久精品成人免费网站| 久久久国产欧美日韩av| 国产v大片淫在线免费观看| 国产高清激情床上av| xxx96com| 成人免费观看视频高清| 欧美又色又爽又黄视频| 国产精品一区二区精品视频观看| 波多野结衣巨乳人妻| 亚洲国产中文字幕在线视频| 给我免费播放毛片高清在线观看| 夜夜爽天天搞| 欧美成人性av电影在线观看| 两个人视频免费观看高清| 亚洲av熟女| 欧美在线一区亚洲| 一级作爱视频免费观看| 日日干狠狠操夜夜爽| 国产一区二区在线av高清观看| 婷婷六月久久综合丁香| 精品国产一区二区三区四区第35| 91成人精品电影| ponron亚洲| 激情在线观看视频在线高清| 精品高清国产在线一区| 伦理电影免费视频| 欧美大码av| 欧美国产日韩亚洲一区| 性欧美人与动物交配| 亚洲欧美激情综合另类| 老司机午夜十八禁免费视频| 亚洲精华国产精华精| 亚洲精品中文字幕一二三四区| 久久久水蜜桃国产精品网| 午夜福利高清视频| 亚洲精品一卡2卡三卡4卡5卡| 日日爽夜夜爽网站| 亚洲男人的天堂狠狠| 一级作爱视频免费观看| 一个人观看的视频www高清免费观看 | 久久草成人影院| 欧美日韩福利视频一区二区| 色播亚洲综合网| 日日干狠狠操夜夜爽| 中亚洲国语对白在线视频| 国产精品 国内视频| 18美女黄网站色大片免费观看| 中国美女看黄片| 一边摸一边抽搐一进一小说| av视频在线观看入口| 听说在线观看完整版免费高清| 天堂√8在线中文| 久久香蕉国产精品| 国产一卡二卡三卡精品| 久久久久久人人人人人| 18禁观看日本| 亚洲真实伦在线观看| 日韩中文字幕欧美一区二区| 欧美性长视频在线观看| 色婷婷久久久亚洲欧美| 欧美久久黑人一区二区| 国产精品野战在线观看| 国产亚洲精品av在线| 久久精品亚洲精品国产色婷小说| 国产成人精品久久二区二区免费| 色尼玛亚洲综合影院| 校园春色视频在线观看| 久久久国产成人精品二区| 久久久久九九精品影院| 亚洲九九香蕉| av视频在线观看入口| 嫩草影院精品99| 黄色视频不卡| 男女床上黄色一级片免费看| av欧美777| 色在线成人网| 12—13女人毛片做爰片一| 亚洲成人免费电影在线观看| 欧美激情久久久久久爽电影| 在线国产一区二区在线| 99国产精品99久久久久| 亚洲九九香蕉| 亚洲真实伦在线观看| 亚洲av成人不卡在线观看播放网| 国产又爽黄色视频| 88av欧美| 视频区欧美日本亚洲| 69av精品久久久久久| 精品熟女少妇八av免费久了| 午夜激情福利司机影院| 99精品久久久久人妻精品| 两性夫妻黄色片| 无人区码免费观看不卡| 婷婷丁香在线五月| 日本三级黄在线观看| 久9热在线精品视频| 一边摸一边抽搐一进一小说| 亚洲五月天丁香| 欧美日韩福利视频一区二区| 国产区一区二久久| 欧美丝袜亚洲另类 | a级毛片在线看网站| 日本a在线网址| 亚洲精华国产精华精| 又大又爽又粗| 一进一出抽搐动态| 老司机福利观看| 亚洲免费av在线视频| 日韩一卡2卡3卡4卡2021年| 99久久国产精品久久久| 久99久视频精品免费| 久9热在线精品视频| 麻豆国产av国片精品| 男人操女人黄网站| 男人操女人黄网站| 麻豆国产av国片精品| 制服诱惑二区| 国产av又大| 国产真实乱freesex| 欧美日韩一级在线毛片| 日韩有码中文字幕| 一进一出抽搐动态| 久久这里只有精品19| 操出白浆在线播放| 美女 人体艺术 gogo| 黄色片一级片一级黄色片| 可以在线观看的亚洲视频| 99精品久久久久人妻精品| 可以在线观看的亚洲视频| 18禁黄网站禁片午夜丰满| 三级毛片av免费| 热99re8久久精品国产| 很黄的视频免费| av片东京热男人的天堂| 法律面前人人平等表现在哪些方面| 少妇的丰满在线观看| 成熟少妇高潮喷水视频| 国产精品一区二区免费欧美| 超碰成人久久| ponron亚洲| 国产免费av片在线观看野外av| 日本免费a在线| 后天国语完整版免费观看| 亚洲欧美精品综合久久99| 脱女人内裤的视频| 在线国产一区二区在线| 国产精品亚洲美女久久久| 白带黄色成豆腐渣| 亚洲成人免费电影在线观看| 国产男靠女视频免费网站| 久久国产乱子伦精品免费另类| 色在线成人网| 两个人免费观看高清视频| 最近最新中文字幕大全免费视频| 国产色视频综合| 日韩有码中文字幕| 校园春色视频在线观看| √禁漫天堂资源中文www| 色综合婷婷激情| 在线观看www视频免费| 亚洲国产看品久久| 亚洲,欧美精品.| 成人亚洲精品一区在线观看| 成人午夜高清在线视频 | 18美女黄网站色大片免费观看| 一区二区三区精品91| 成人三级做爰电影| 十分钟在线观看高清视频www| 丰满人妻熟妇乱又伦精品不卡| 1024手机看黄色片| bbb黄色大片| 精品久久蜜臀av无| 日本在线视频免费播放| 国产aⅴ精品一区二区三区波| 久久人妻av系列| 窝窝影院91人妻| 中文字幕精品免费在线观看视频| 亚洲一区中文字幕在线| 婷婷精品国产亚洲av| 亚洲精品国产区一区二| 男人舔奶头视频| 美女午夜性视频免费| 哪里可以看免费的av片| 成人亚洲精品一区在线观看| 日本免费a在线| 99riav亚洲国产免费| 操出白浆在线播放| 狂野欧美激情性xxxx| 精品久久久久久久久久久久久 | 久久精品亚洲精品国产色婷小说| 黄色 视频免费看| 日韩 欧美 亚洲 中文字幕| 深夜精品福利| 国产高清有码在线观看视频 | 91成人精品电影| 99在线人妻在线中文字幕| 日韩大码丰满熟妇| 亚洲第一电影网av| 国产伦在线观看视频一区| 欧美不卡视频在线免费观看 | 美女国产高潮福利片在线看| 韩国精品一区二区三区| 岛国视频午夜一区免费看| 久久久水蜜桃国产精品网| 99国产综合亚洲精品| 最近最新免费中文字幕在线| 国产熟女午夜一区二区三区| 国产激情久久老熟女| 欧美日本视频| 国产精品1区2区在线观看.| 97人妻精品一区二区三区麻豆 | 久久精品成人免费网站| 亚洲成a人片在线一区二区| 日本一本二区三区精品| 精品福利观看| 久久精品人妻少妇| 88av欧美| 18美女黄网站色大片免费观看| 成年女人毛片免费观看观看9| 亚洲中文日韩欧美视频| 国产99白浆流出| 91成人精品电影| 宅男免费午夜| 丝袜美腿诱惑在线| 国产色视频综合| 国产单亲对白刺激| 久久久久久久久免费视频了| 国产伦一二天堂av在线观看| 熟女电影av网| 午夜福利18| 国产精品二区激情视频| 免费看美女性在线毛片视频| 又大又爽又粗| 亚洲欧美激情综合另类| 亚洲天堂国产精品一区在线| 久久精品国产综合久久久| 国产精品1区2区在线观看.| 此物有八面人人有两片| 国产精品久久久久久精品电影 | 黄色丝袜av网址大全| 午夜日韩欧美国产| 婷婷精品国产亚洲av| 亚洲精品在线观看二区| 国产精品,欧美在线| 日韩欧美免费精品| 99精品久久久久人妻精品| 黄色丝袜av网址大全| 不卡av一区二区三区| 成人av一区二区三区在线看| 黄片小视频在线播放| 午夜免费激情av| 亚洲天堂国产精品一区在线| 国产精品免费视频内射| 日韩 欧美 亚洲 中文字幕| 精品免费久久久久久久清纯| 欧美色欧美亚洲另类二区| 淫妇啪啪啪对白视频| 久久久久国产精品人妻aⅴ院| 男人舔奶头视频| 久久久久久大精品| 午夜老司机福利片| 亚洲av中文字字幕乱码综合 | 久久精品影院6| 欧美成人一区二区免费高清观看 | 午夜两性在线视频| 国产不卡一卡二| 精品免费久久久久久久清纯| 在线av久久热| 国产精品野战在线观看| 999久久久国产精品视频| videosex国产| 亚洲成a人片在线一区二区| 国产亚洲精品av在线| 精品久久久久久,| 90打野战视频偷拍视频| 欧美色视频一区免费| 两个人看的免费小视频| 午夜两性在线视频| 久久精品国产亚洲av香蕉五月| 色精品久久人妻99蜜桃| svipshipincom国产片| 天天一区二区日本电影三级| 巨乳人妻的诱惑在线观看| 日日干狠狠操夜夜爽| 日本一区二区免费在线视频| 最近最新中文字幕大全电影3 | 女同久久另类99精品国产91| 一级a爱片免费观看的视频| 亚洲精品粉嫩美女一区| 一区二区三区精品91| √禁漫天堂资源中文www| 亚洲va日本ⅴa欧美va伊人久久| 欧美激情极品国产一区二区三区| 色播亚洲综合网| www国产在线视频色| 亚洲中文日韩欧美视频| 免费在线观看影片大全网站| 国产欧美日韩精品亚洲av| 麻豆成人午夜福利视频| 级片在线观看| 在线观看www视频免费| 深夜精品福利| 在线观看免费午夜福利视频| 国产成人精品久久二区二区免费| 97碰自拍视频| av在线天堂中文字幕| 亚洲欧美精品综合久久99| 在线观看免费视频日本深夜| 老汉色av国产亚洲站长工具| 最近在线观看免费完整版| 亚洲 欧美一区二区三区| 久久精品91蜜桃| 久久精品影院6| 国产成人av教育| 国产熟女xx| 国产一区在线观看成人免费| av视频在线观看入口| 欧美中文日本在线观看视频| 欧美日本视频| 国产亚洲精品第一综合不卡| 亚洲熟妇熟女久久| 国产日本99.免费观看| 我的亚洲天堂| 亚洲熟女毛片儿| 哪里可以看免费的av片| 国产视频内射| 777久久人妻少妇嫩草av网站| 一进一出好大好爽视频| 人成视频在线观看免费观看| 成年女人毛片免费观看观看9| 午夜激情av网站| 国产精品一区二区三区四区久久 | 国产97色在线日韩免费| 国产伦在线观看视频一区| 午夜福利欧美成人| 嫁个100分男人电影在线观看| 可以在线观看毛片的网站| 欧美+亚洲+日韩+国产| 久久久精品欧美日韩精品| 国产日本99.免费观看| 亚洲国产日韩欧美精品在线观看 | 国产精品亚洲一级av第二区| 国产精品久久久久久精品电影 | 搡老熟女国产l中国老女人| 亚洲精品在线观看二区| 国产精品自产拍在线观看55亚洲| 国产麻豆成人av免费视频| 午夜日韩欧美国产| 亚洲精品一区av在线观看| 丝袜美腿诱惑在线| 国产成人欧美在线观看| 欧美精品啪啪一区二区三区| 国产不卡一卡二| 亚洲九九香蕉| 欧美一级毛片孕妇| 成人国产综合亚洲| 日韩欧美一区视频在线观看| 久久久久久久午夜电影| 免费在线观看亚洲国产| 一本综合久久免费| 美女免费视频网站| 亚洲aⅴ乱码一区二区在线播放 | 99热6这里只有精品| 91九色精品人成在线观看| 91成人精品电影| 满18在线观看网站| 欧美中文综合在线视频| 99国产精品一区二区三区| 亚洲国产精品sss在线观看| 两个人视频免费观看高清| 男女那种视频在线观看| 亚洲精品一区av在线观看| 中国美女看黄片| 啦啦啦韩国在线观看视频| 亚洲自拍偷在线| 亚洲精华国产精华精| 日韩大尺度精品在线看网址| 精品人妻1区二区| a级毛片在线看网站| 成人18禁在线播放| 悠悠久久av| 欧美性猛交黑人性爽| 久久这里只有精品19| 757午夜福利合集在线观看| 午夜两性在线视频| 国产亚洲精品久久久久5区| 国产精品久久电影中文字幕| 少妇粗大呻吟视频| 国产黄色小视频在线观看| 成熟少妇高潮喷水视频| 国产亚洲av高清不卡| 琪琪午夜伦伦电影理论片6080| 亚洲一区高清亚洲精品| 亚洲欧美精品综合一区二区三区| 国产av不卡久久| 熟女少妇亚洲综合色aaa.| 国内少妇人妻偷人精品xxx网站 | 午夜成年电影在线免费观看| 黄色 视频免费看| 性色av乱码一区二区三区2| 日韩欧美在线二视频| 免费在线观看影片大全网站| 丝袜美腿诱惑在线| 制服人妻中文乱码| 午夜免费成人在线视频| 夜夜爽天天搞| 国产成人av激情在线播放| 每晚都被弄得嗷嗷叫到高潮| 男女做爰动态图高潮gif福利片| 国产精华一区二区三区| 国产精品亚洲美女久久久| 91大片在线观看| 桃红色精品国产亚洲av| 色老头精品视频在线观看| 成在线人永久免费视频| 丰满人妻熟妇乱又伦精品不卡| 嫩草影视91久久| 国产成人影院久久av| 精品卡一卡二卡四卡免费| 一级a爱片免费观看的视频| 男人的好看免费观看在线视频 | 在线观看免费日韩欧美大片| 麻豆一二三区av精品| 美女免费视频网站| 黄色片一级片一级黄色片| 久久久久国产精品人妻aⅴ院| 日韩欧美三级三区| 非洲黑人性xxxx精品又粗又长| 国产精品99久久99久久久不卡| 亚洲精品国产精品久久久不卡| 色尼玛亚洲综合影院| 午夜免费成人在线视频| 国产精华一区二区三区| 不卡av一区二区三区| www.999成人在线观看| 99久久精品国产亚洲精品| 精品少妇一区二区三区视频日本电影| 久久精品影院6| av片东京热男人的天堂| av免费在线观看网站| 亚洲九九香蕉| 人妻丰满熟妇av一区二区三区| 日本 av在线| 国产成人一区二区三区免费视频网站| 国产熟女xx| 日本精品一区二区三区蜜桃| 国产麻豆成人av免费视频| 色婷婷久久久亚洲欧美| 长腿黑丝高跟| 亚洲精品国产一区二区精华液| 久久婷婷成人综合色麻豆| 亚洲一码二码三码区别大吗| 啦啦啦观看免费观看视频高清| 欧美在线黄色| bbb黄色大片| 精品少妇一区二区三区视频日本电影| 一个人免费在线观看的高清视频| 国内久久婷婷六月综合欲色啪| 国产精品影院久久| 桃红色精品国产亚洲av| 老司机深夜福利视频在线观看| 一区二区日韩欧美中文字幕| 中文字幕精品亚洲无线码一区 | 亚洲国产欧美网| 宅男免费午夜| 久久久久国产一级毛片高清牌| 少妇粗大呻吟视频| 欧美成人一区二区免费高清观看 | 亚洲精品美女久久av网站| 99热这里只有精品一区 | 哪里可以看免费的av片| 欧洲精品卡2卡3卡4卡5卡区| 国产精品影院久久| 成人手机av| 亚洲av五月六月丁香网| 90打野战视频偷拍视频| 两个人看的免费小视频| 99re在线观看精品视频| 精品无人区乱码1区二区| 亚洲成人免费电影在线观看| 亚洲精品中文字幕一二三四区| 成人一区二区视频在线观看| 国产精品久久久人人做人人爽| 十分钟在线观看高清视频www| 亚洲成人久久性| 久久精品成人免费网站| 亚洲最大成人中文| 国产一区二区三区在线臀色熟女| 九色国产91popny在线| 亚洲国产看品久久| 桃色一区二区三区在线观看| 麻豆久久精品国产亚洲av| 在线观看免费日韩欧美大片| 老熟妇乱子伦视频在线观看| 亚洲九九香蕉| 中文字幕高清在线视频| 国产精品日韩av在线免费观看| 亚洲在线自拍视频| 国产精品免费一区二区三区在线| 成人18禁在线播放| avwww免费| 老司机福利观看| 国产成人系列免费观看| xxxwww97欧美| 精品人妻1区二区| 成人国语在线视频| 精品人妻1区二区| 亚洲欧美精品综合久久99| 男人舔女人下体高潮全视频| 久久久国产成人精品二区| 国产三级在线视频| 欧美色欧美亚洲另类二区| 午夜免费成人在线视频| 日本一区二区免费在线视频| 悠悠久久av| 国产真实乱freesex| 亚洲色图 男人天堂 中文字幕| 熟女少妇亚洲综合色aaa.| 日韩成人在线观看一区二区三区| 日本 欧美在线| 啦啦啦韩国在线观看视频| 99精品欧美一区二区三区四区| 法律面前人人平等表现在哪些方面| 91成人精品电影| 欧美成狂野欧美在线观看| 91在线观看av| 长腿黑丝高跟| 国内精品久久久久精免费| www日本黄色视频网| 一级作爱视频免费观看| 妹子高潮喷水视频| 日韩高清综合在线| 中文亚洲av片在线观看爽| 精品久久久久久久末码| 欧美性长视频在线观看| 视频区欧美日本亚洲| 日日摸夜夜添夜夜添小说| 亚洲精品粉嫩美女一区| 亚洲人成网站高清观看| 91麻豆精品激情在线观看国产| svipshipincom国产片| 亚洲精品久久成人aⅴ小说| 熟女少妇亚洲综合色aaa.| 一a级毛片在线观看| 欧美另类亚洲清纯唯美| 午夜a级毛片| 欧洲精品卡2卡3卡4卡5卡区| 日韩欧美一区视频在线观看| 欧美中文综合在线视频| 亚洲精品久久成人aⅴ小说| 欧美另类亚洲清纯唯美| 一a级毛片在线观看| 国产成人av激情在线播放| 深夜精品福利| 人妻丰满熟妇av一区二区三区| 国产成年人精品一区二区| 人人澡人人妻人| 亚洲成av片中文字幕在线观看| 亚洲人成网站高清观看| 88av欧美| 99精品在免费线老司机午夜| 国产午夜精品久久久久久|