基于重組性高斯自注意力的視覺Transformer

趙 亮 周繼開

目前計(jì)算機(jī)視覺領(lǐng)域使用的方法有兩大類,分別是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNN)和Transformer.其中CNN 是圖像分類[1]、目標(biāo)檢測[2]和語義分割[3]等計(jì)算機(jī)視覺任務(wù)的主流方法,自AlexNet[4]誕生并在ImageNet 圖像分類挑戰(zhàn)中獲得冠軍以后,研究者們開始通過各種方法設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò),使得網(wǎng)絡(luò)變得更深、更密集、更復(fù)雜[5-8],在隨后的幾年內(nèi)出現(xiàn)了很多經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò).VGGNet[5]探索了CNN 的深度及性能之間的關(guān)系,通過使用很小的卷積疊加增加網(wǎng)絡(luò)的深度達(dá)到提升網(wǎng)絡(luò)精度的效果;DenseNet[6]通過從特征圖的角度入手,為每一個(gè)模塊加入密集連接達(dá)到了更好的性能和更少的參數(shù)量;ResNet[7]通過引入殘差結(jié)構(gòu)解決了隨著網(wǎng)絡(luò)層數(shù)的加深出現(xiàn)梯度消失的問題;GoogLeNet[9]使用密集成分來近似最優(yōu)的稀疏結(jié)構(gòu),在提升性能的同時(shí)不增加計(jì)算量;EfficientNet[10]提出了一種多維度混合的模型縮放方法,可以同時(shí)兼顧模型的精度以及速度.在CNN 模型性能越來越強(qiáng)的同時(shí),另一類視覺Transformer的方法橫空出世.Transformer 由于其自注意力模塊具有捕捉長距離依賴[11]的能力廣泛被應(yīng)用于自然語言處理的任務(wù)中,而后被用到了計(jì)算機(jī)視覺任務(wù)中并取得了比CNN 方法更優(yōu)的效果.在文獻(xiàn)[12-15]中將自注意力模塊嵌入到CNN 中并應(yīng)用于圖像分類、目標(biāo)檢測和語義分割等計(jì)算機(jī)視覺任務(wù)中.Vision Transformer (ViT)[16]不使用卷積神經(jīng)網(wǎng)絡(luò)而是通過將圖像序列化的方法首次將Transformer 架構(gòu)應(yīng)用到圖像領(lǐng)域中,并且在ImageNet 數(shù)據(jù)集上取得了比ResNet 更好的效果,而后在短時(shí)間內(nèi)被引入改進(jìn)[17-20]并應(yīng)用于各種圖像領(lǐng)域的各種下游任務(wù)[21-24].但是Transformer 的復(fù)雜度成為了其性能最大的瓶頸,為了減小因全局自注意力引起的二次復(fù)雜度,現(xiàn)有的方法較多使用局部自注意力機(jī)制.目前現(xiàn)有的局部自注意力機(jī)制主要有7 類(如圖1 所示).

圖1 現(xiàn)有局部自注意力方法Fig.1 Existing local self-attention methods

1)目前幾乎所有的基于局部自注意力的Transformer 模型都會(huì)使用常規(guī)窗口自注意力(Windowmulti-head self-attention,W-MSA),通過W-MSA與其他類型的局部自注意力交替使用來建立窗口之間的通信,如圖1(a)所示.

2)HaloNet[25]通過對窗口進(jìn)行縮放的操作來收集窗口之外的信息并建立跨窗口的信息交互,如圖1(b)所示.

3)Swin Transformer 通過在連續(xù)的局部注意力層之間移動(dòng)窗口的分區(qū)建立跨窗口之間的信息通信緩解感受野受限的問題,如圖1(c)所示.

4)CrossFormer[26]提出了跨尺度嵌入層和長短注意力,有效地建立了長遠(yuǎn)距離的跨窗口的連接.

5)Shuffle Transformer[27]在連續(xù)的局部自注意力層之間加入空間shuffle 的操作,以提供長距離窗口之間的連接并增強(qiáng)建模能力.

6)GG Transformer[28]受到了人類在自然場景中識別物體的Glance 和Gaze 行為的啟發(fā),能夠有效地對遠(yuǎn)程依賴性和局部上下文進(jìn)行建模,4)～6)這3 種局部注意力可統(tǒng)一歸為圖1(d)的形式.

7)Axial-DeepLab[29]將二維自注意力分解為橫向和縱向兩個(gè)一維的自注意力,如圖1(e)所示.

8)CSWin Transformer[30]提出了一種在“十”字等寬窗口內(nèi)計(jì)算自注意力的方式(Cross-shaped window self-attention),通過橫條和縱條窗口自注意力并行實(shí)現(xiàn),如圖1(f)所示.

9)Pale Transformer[31]提出了“十”字等間隔窗口自注意力(Pale-shaped-attention,PS-Attention),如圖1(g)所示.

圖1 展示了現(xiàn)有的局部自注意力方法.不同的顏色表示不同的窗口,在每個(gè)窗口內(nèi)執(zhí)行計(jì)算自注意力,并通過引入各種策略來建立跨窗口之間的連接.這些工作雖然取得了優(yōu)異的性能,甚至優(yōu)于一些最新的CNN 的方法,但是每個(gè)自注意力層中的依賴性仍然具有局限性,具體表現(xiàn)在當(dāng)特征圖很大時(shí),通過有間隔的采樣點(diǎn)組成的窗口無法建立所有窗口之間的信息流動(dòng)導(dǎo)致了模型捕獲的上下文語義信息的能力不足.針對上述問題,本文提出了一種高斯窗口自注意力機(jī)制(Gaussian window-multihead self-attention,GW-MSA),它包括縱向高斯窗口自注意力(Vertical Gaussian window-multihead self-attention,VGW-MSA)和橫向高斯窗口自注意力(Horizontal Gaussian window-MSA,HGW-MSA)兩種類型的局部自注意力.GW-MSA與圖1(d)中的Shuffled W-MSA 聯(lián)合組成了SGWMSA,有效地捕捉更豐富的上下文依賴,如圖2 所示,不同顏色的點(diǎn)代表不同的窗口組成,在GW-MSA中,通過混合高斯權(quán)重重組GWR 策略重構(gòu)特征圖,并在重構(gòu)后的特征圖上計(jì)算局部自注意力.本文在Swin Transformer 結(jié)構(gòu)的基礎(chǔ)上,引入SGW-MSA 設(shè)計(jì)了SGWin Transformer 模型,在公開數(shù)據(jù)集CIFAR10、mini-imagenet、KITTI、PASCAL VOC和MS COCO 上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明SGWin Transformer 在圖像分類和目標(biāo)檢測的任務(wù)上優(yōu)于其他同等參數(shù)量的基于局部自注意力的Transformer 網(wǎng)絡(luò).

圖2 局部自注意力組合Fig.2 Local self-attention combination

1 模型框架

1.1 Swin Transformer 算法

Swin Transformer 提出了一種新的基于Transformer 的視覺主干網(wǎng)絡(luò),自注意力的計(jì)算在局部非重疊窗口內(nèi)進(jìn)行.一方面可以將復(fù)雜度從之前的和圖像大小成平方的關(guān)系變成線性關(guān)系,并且采用非重疊局部窗口,大大減小了計(jì)算量;另一方面在不同的注意力層之間采用移動(dòng)窗口的操作,使得不同窗口之間的信息可以交換.并且由于性能超越了參數(shù)量相似的CNN 主干,推動(dòng)了Transformer 成為了視覺主干網(wǎng)絡(luò)的新主流,在近兩年出現(xiàn)了越來越多基于局部自注意力機(jī)制的視覺Transformer 方法,然而目前的各種局部自注意力建立遠(yuǎn)距離跨窗口連接策略具有一定的局限性.當(dāng)特征圖很大時(shí),現(xiàn)有的窗口連接的策略無法建立所有窗口之間的信息流動(dòng)導(dǎo)致無法捕捉足夠的上下文信息.假設(shè)特征圖的高和寬分別為h和w,局部窗口的高和寬分別為Wh和Ww,對于特征圖上劃分的某一個(gè)局部窗口,該窗口在縱向和橫向可以建立最近窗口連接的距離分別為:

在縱向和橫向可以建立最遠(yuǎn)窗口連接的距離分別為:

1.2 SGWin Transformer 的整體結(jié)構(gòu)

為了解決當(dāng)特征圖過大時(shí)現(xiàn)有的局部自注意力機(jī)制無法建立所有窗口之間的信息交互的問題,本文提出了一種新的局部自注意力機(jī)制SGW-MSA,并在Swin Transformer 的基礎(chǔ)上將所有的移動(dòng)窗口自注意力SW-MSA 替換為SGW-MSA 得到一種新的SGWin Transformer 模型,模型的整體架構(gòu)如圖3(a)所示.主干網(wǎng)絡(luò)符合標(biāo)準(zhǔn)的視覺分層Transformer 的PVT[32]的結(jié)構(gòu),該設(shè)計(jì)包含了4 個(gè)階段的金字塔結(jié)構(gòu),每個(gè)階段由Patch embed 或Patch merging 和多個(gè)SGWin Transformer block 串聯(lián)組合而成.如圖3(b)所示,每個(gè)SGWin Transformer block 由兩組結(jié)構(gòu)串聯(lián)組成,第一組結(jié)構(gòu)包括一個(gè)W-MSA 模塊和一個(gè)MLP,第二組結(jié)構(gòu)由一個(gè)SGW-MSA 模塊和一個(gè)MLP 模塊組成,MLP 對輸入特征圖進(jìn)行非線性化的映射得到新的特征圖,SGW-MSA 局部自注意力機(jī)制的示意圖如圖3(c)所示.整個(gè)模型的計(jì)算過程為: 輸入圖片通過Patch embed 將輸入圖像下采樣4 倍,并得到指定通道數(shù)的特征圖,特征圖會(huì)被送入Stage 1 的SGWin Transformer block 中,通過W-MSA、SGW-MSA 模塊提取局部特征和圖像中的上下文信息并建立所有窗口之間的信息流通,Stage 1 最后一個(gè)SGWin Transformer block 的輸出會(huì)被送入Stage 2 中,除Stage 1 之外的所有Stage 會(huì)通過一個(gè)Patch merging 將上一個(gè)階段輸出的特征圖尺寸降采樣兩倍(寬和高變?yōu)樵瓉淼亩种?,通道維度變?yōu)樵瓉淼膬杀?整個(gè)網(wǎng)絡(luò)之后可以接一個(gè)Softmax 層和一個(gè)全連接層用于圖像分類任務(wù),并且每個(gè)階段的特征圖可輸入到目標(biāo)檢測的FPN[33]部分中進(jìn)行多尺度目標(biāo)檢測.

圖3 SGWin Transformer 整體架構(gòu)Fig.3 Overall architecture of SGWin Transformer

1.3 SGW-MSA 局部自注意力機(jī)制

當(dāng)出現(xiàn)式(5)或式(6)中的情況時(shí),兩個(gè)窗口之間的縱(橫)向距離大于一定值時(shí)就無法建立連接.當(dāng)出現(xiàn)式(7)中的情況時(shí),兩個(gè)窗口之間的縱(橫)向距離大于或小于一定值時(shí)都無法建立連接.因此式(7)中的問題包含式(5)和式(6)存在的問題.僅考慮式(7)中的情況,將縱向無法建立窗口連接的兩個(gè)距離分別記為,將橫向無法建立窗口連接的兩個(gè)距離分別記為.如圖4所示,為了能夠建立所有窗口之間的信息交互,SGWMSA 將輸入特征圖在通道上均勻拆分成3 組,對第一組特征圖使用現(xiàn)有的Shuffled W-MSA 等間隔采樣點(diǎn)組成窗口用于縱(橫)向距離大于且小于窗口之間的聯(lián)系;后兩份特征圖分別使用橫向高斯窗口自注意力HGW-MSA 和縱向高斯窗口自注意力VGW-MSA 計(jì)算局部自注意力,建立Shuffled W-MSA 未能建立的窗口的聯(lián)系.最后將3 個(gè)部分的局部自注意力計(jì)算結(jié)果在通道上進(jìn)行合并得到最終的輸出結(jié)果.

圖4 SGW-MSA 局部自注意力示意圖Fig.4 SGW-MSA local self-attention diagram

1.3.1 GW-MSA 局部自注意力機(jī)制

GW-MSA 可用于建立Shuffled W-MSA 未能建立的窗口連接,分為VGW-MSA 和HGW-MSA兩種不同的形式.如圖5 所示,每個(gè)形式的GW-MSA由混合高斯權(quán)重重組GWR 模塊、常規(guī)局部自注意力W-MSA 和逆混合高斯權(quán)重重組(re Gaussian weight recombination,reGWR)模塊3 個(gè)部分組成,其中GWR 是本文為了建立縱(橫)向距離小于窗口之間的信息交互提出的一種特征圖重組的策略.

圖5 GW-MSA 局部自注意力示意圖Fig.5 GW-MSA local self-attention diagram

假設(shè)特征圖的高和寬分別為h和w,局部窗口的高和寬分別為Wh和Ww.GWR 會(huì)將輸入特征圖劃分成多個(gè)長條形狀的基礎(chǔ)元素塊(Basic element block,BEB),計(jì)算縱向的VGW-MSA 時(shí)將特征圖按高切分成若干份高寬分別為Wb(Wb

圖6 縱橫向基礎(chǔ)元素塊示意圖Fig.6 Schematic diagram of vertical and horizontal basic element block

為所有的基礎(chǔ)元素塊建立高斯權(quán)重分布表,結(jié)合高斯權(quán)重分布表盡可能使距離小于或者大于的基礎(chǔ)元素塊放在一起用于重組特征圖.然后在重組后的特征圖上使用W-MSA 計(jì)算局部自注意力.高斯權(quán)重分布表由一維高斯分布公式得到:

式中A代表權(quán)重的幅值,μ表示均值,σ2為方差.GWR 策略的思想就是根據(jù)高斯分布的特性.如圖6(c)和圖6(d)所示,縱向基礎(chǔ)元素塊越靠近圖像上邊緣或下邊緣,權(quán)重越小;橫向基礎(chǔ)元素塊越靠近左邊緣和右邊緣,權(quán)重越小.權(quán)重越高的基礎(chǔ)元素塊對應(yīng)圖像中的位置顏色越亮,代表對應(yīng)位置的權(quán)重越高;權(quán)重越低的基礎(chǔ)元素塊對應(yīng)圖像中的位置顏色越暗,代表對應(yīng)位置的權(quán)重越低.將特征圖上的每一個(gè)基礎(chǔ)元素塊看作一個(gè)點(diǎn),以特征圖中心的基礎(chǔ)元素塊為原點(diǎn)建立坐標(biāo)系,依據(jù)每個(gè)基礎(chǔ)元素塊在坐標(biāo)系中的位置可以被賦予一個(gè)對應(yīng)的高斯分布權(quán)重,縱(向和橫向的中心基)礎(chǔ)元素塊的位置坐標(biāo)記為,對于任意x位置下的基礎(chǔ)元素塊對應(yīng)的高斯權(quán)重分布遵循下式:

式中的σ取值為1.5,分子部分除以cx是為了控制權(quán)重不會(huì)過小而約等于0.為了盡可能將權(quán)重近似的基礎(chǔ)元素塊放在一起,本文采用了帶權(quán)重的隨機(jī)抽樣A-ExpJ[34]依據(jù)每一個(gè)基礎(chǔ)元素塊的索引以及對應(yīng)的權(quán)重進(jìn)行隨機(jī)抽樣,最后將所有基礎(chǔ)元素塊的索引按照抽樣的順序進(jìn)行排列得到新的重組后的特征圖.假設(shè)將特征圖劃分成基礎(chǔ)元素塊的序列索引為idx=[1,2,···,n],其中n=h/Wb或w/Wb;基礎(chǔ)元素塊的高斯權(quán)重分布表為W=[W1,W2,···,Wn],其中n=h/Wb或w/Wb;重組的索引idxnew可以由式(10)得到,其中n表示通過權(quán)重抽樣的個(gè)數(shù).A-ExpJ 表示帶權(quán)重的隨機(jī)抽樣函數(shù).最后按照新的基礎(chǔ)元素塊的索引對特征圖進(jìn)行重組得到GWR策略的輸出結(jié)果.

1.3.2 SGW-MSA 的計(jì)算過程

假設(shè)輸入特征圖為X∈Rh×w×c,SGW-MSA首先將輸入特征圖X在通道上切分成3 個(gè)部分,第一個(gè)部分的特征圖記為,第二個(gè)部分的特征圖記為,第三個(gè)部分的特征圖記為.對XS使用Shuffled W-MSA在特征圖上使用等間隔采樣點(diǎn)組成窗口,并在所有的窗口內(nèi)部計(jì)算自注意力.對XV和XH分別使用縱向和橫向的GWR 策略對特征圖進(jìn)行重組,并在重組的特征圖上使用W-MSA 計(jì)算局部自注意力.具體計(jì)算過程如下.

首先在XS上通過等間隔采樣特征點(diǎn)形成多個(gè)具有相同尺寸 (Wh,Ww)的窗口:

每一個(gè)窗口內(nèi)部單獨(dú)計(jì)算局部自注意力.在計(jì)算局部自注意力時(shí),使用3 個(gè)全連接層?Q,?K,?V計(jì)算得到Q (Qurey),K (Key),V (Value),計(jì)算式如下:

其中i∈[1,2,···,N],MSA表示Multi-head selfattention[33].最后將所有的局部自注意力的計(jì)算結(jié)果在空間上進(jìn)行合并得到新的特征圖:

因?yàn)镚WR 策略將原有的特征圖根據(jù)新的基礎(chǔ)元素塊的順序進(jìn)行了重組,所以需要將YV和YH依據(jù)原先的基礎(chǔ)元素塊的順序進(jìn)行還原.將兩個(gè)部分的局部自注意力計(jì)算結(jié)果在通道上進(jìn)行合并,得到最終的輸出結(jié)果,如式(20)所示,其中Concat表示在通道上進(jìn)行合并.

1.3.3 計(jì)算復(fù)雜度分析

對于給定的尺寸為Rh×w×c的特征圖,局部窗口的尺寸為 (Wh×Ww),用O表示復(fù)雜度.標(biāo)準(zhǔn)的全局自注意力(Global self-attention)的計(jì)算復(fù)雜度如式(21)所示:

SGW-MSA 的計(jì)算復(fù)雜度如式(22)所示

其中Ww,Wh分別為局部窗口的寬和高.對比式(9)和式(10),因?yàn)镾wSh ?hw,所以O(shè)SGW?OGlobal,即SGW-MSA 的計(jì)算復(fù)雜度遠(yuǎn)小于全局自注意力的計(jì)算復(fù)雜度.

1.4 SGWin Transformer block

SGWin Transformer block 由兩組結(jié)構(gòu)串聯(lián)組成.如圖7 所示,第一組結(jié)構(gòu)包括一個(gè)W-MSA 模塊和一個(gè)多層感知機(jī)模塊MLP,第二組結(jié)構(gòu)由一個(gè)SGW-MSA 模塊和一個(gè)MLP 模塊組成,MLP對輸入特征圖進(jìn)行非線性化的映射得到新的特征圖,W-MSA 用于捕捉特征圖的局部自注意力,SGW-MSA 用于捕捉局部自注意力并建立所有窗口之間的信息流通.整個(gè)SGWin Transformer block的向前傳播式如下:

圖7 SGWin Transformer block 結(jié)構(gòu)示意圖Fig.7 Structure diagram of SGWin Transformer block

其中xl-1為前一個(gè)Patch embed 或者Patch merging 或者SGWin Transformer block 的輸出,和xl分別代表(SG)W-MSA 模塊和MLP 模塊的輸出,LN 代表LayerNorm.

1.5 SGWin Transformer 的超參數(shù)配置

SGWin Transformer 的超參數(shù)配置與Swin Transformer 相同,如表1 所示.其中Stage=i表示SGWin Transformer 模型的第i個(gè)階段.Stride表示SGWin Transformer 模型在每個(gè)階段下采樣的倍數(shù).Layer 表示當(dāng)前階段的模塊名字,一個(gè)階段包含兩個(gè)模塊,Patch embed 和Patch merging 負(fù)責(zé)對特征圖進(jìn)行下采樣,下采樣的倍數(shù)分別為4 和2,Patch embed 和Patch merging 的輸出會(huì)被送入后續(xù)的Transformer block 中提取局部自注意力并進(jìn)行特征的映射,在最后一個(gè)Transformer block后接一個(gè)平均池化層和全連接層可用于圖像分類任務(wù),或者將每一層的特征圖輸出可用于目標(biāo)檢測任務(wù).模型的第i個(gè)Stage 的模型的超參數(shù)定義如下:

表1 SGWin Transformer 的超參數(shù)配置表Table 1 Super parameter configuration table of SGWin Transformer

1)Pi.第i個(gè)Stage 的輸入特征圖下采樣的倍數(shù),第一個(gè)Stage 下采樣的倍數(shù)是4,其余3 個(gè)Stage 的下采樣倍數(shù)為2;

2)Ci.第i個(gè)Stage 的輸入特征圖下采樣后新特征圖的通道數(shù);

3)Si.第i個(gè)Stage 的Transformer block 中計(jì)算局部自注意力的窗口大小;

4)Hi.第i個(gè)Stage 的Transformer block 中多頭自注意力機(jī)制的Head 數(shù)量;

5)Ri.第i個(gè)Stage 的Transformer block 中MLP 模塊的通道擴(kuò)展比.

2 實(shí)驗(yàn)結(jié)果

本文分別在圖像分類數(shù)據(jù)集CIFAR10[35]以及目標(biāo)檢測數(shù)據(jù)集KITTI[36]、PASCAL VOC[37]、MS COCO[38]上進(jìn)行了實(shí)驗(yàn),與其他參數(shù)量相似且具有代表性的基于局部自注意力的Transformer 的模型進(jìn)行了對比,并通過消融實(shí)驗(yàn)分析驗(yàn)證了本文提出的局部自注意力機(jī)制SGW-MSA 模塊的有效性.

2.1 熱力圖對比實(shí)驗(yàn)分析

熱力圖通常是對類別進(jìn)行可視化的圖像,表示著模型特征提取的能力.圖8 展示了本文算法與基線算法Swin Transformer 的熱力圖對比,第一行是原圖,第二行是Swin Transformer 的熱力圖,第三行是SGWin Transformer 的熱力圖.(a)、(b)、(c)列的對比可以看出SGWin Transformer 比Swin Transformer 熱力圖覆蓋的目標(biāo)范圍更全面;(d)列的對比可以看出SGWin Transformer 比Swin Transformer 的定位更準(zhǔn)確且小目標(biāo)檢測能力更強(qiáng).所以SGWin Transformer 算法比Swin Transformer 算法的目標(biāo)定位更加準(zhǔn)確,也驗(yàn)證了本文提出的SGW-MSA 局部自注意力機(jī)制的有效性.此外SGWin Transformer 對小目標(biāo)檢測的性能也有一定提升.

圖8 本文算法與Swin Transformer 的熱力圖對比Fig.8 Comparison between the algorithm in this paper and the thermal diagram of Swin Transformer

2.2 消融實(shí)驗(yàn)分析

為了驗(yàn)證SGW-MSA 模塊的有效性,首先在MS COCO 數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)分析.實(shí)驗(yàn)使用mmdetection[39]目標(biāo)檢測庫以及Mask R-CNN[40]目標(biāo)檢測框架,將主干網(wǎng)絡(luò)替換為Swin Transformer,然后依次將本文改進(jìn)的策略加入到Swin Transformer 中進(jìn)行實(shí)驗(yàn),優(yōu)化器采用對超參數(shù)不敏感的AdamW[41]優(yōu)化算法更新參數(shù),訓(xùn)練Epoch為12,初始學(xué)習(xí)率為1×10-4,在第8 Epoch 和第11 Epoch 結(jié)束時(shí)分別衰減10 倍,評價(jià)指標(biāo)采用目標(biāo)檢測平均精度APb以及實(shí)例分割平均精度APm.

2.2.1 GWR 策略超參數(shù)消融實(shí)驗(yàn)分析

GWR 策略通過橫條和豎條狀的基礎(chǔ)元素塊重組特征圖來建立距離小于的窗口的連接,對于基礎(chǔ)元素塊的寬度Wb的設(shè)置會(huì)直接影響重組后的特征圖的結(jié)果,也會(huì)對網(wǎng)絡(luò)的性能造成影響.為了驗(yàn)證Wb(Wb小于局部窗口的寬和高)的最佳取值,本文在默認(rèn)窗口大小為7×7的情況下,Wb的值從1 到6 取值進(jìn)行對比實(shí)驗(yàn),在不使用預(yù)訓(xùn)練模型的情況下,實(shí)驗(yàn)結(jié)果如表2 所示.

表2 基礎(chǔ)元素塊寬度消融實(shí)驗(yàn)對比Table 2 Comparison of ablation experiments of basic element block width

從表2 中可以看出當(dāng)基礎(chǔ)元素塊的寬度Wb從1 到6 改變的過程中,在1 到4 的區(qū)間內(nèi)精度呈現(xiàn)上升趨勢,在4 到6 區(qū)間內(nèi)精度呈現(xiàn)下降趨勢,在取值為4 時(shí)模型的精度達(dá)到了最高,達(dá)到了最好的效果,所以本文的GWR 策略中基礎(chǔ)元素塊的寬度確定為4.

2.2.2 縱向VGW-MSA 與橫向HGW-MSA 的消融實(shí)驗(yàn)分析

在驗(yàn)證GW-MSA 局部自注意力中包含的縱向VGW-MSA 和橫向HGW-MSA 的有效性時(shí),本文依次將基線算法Swin Transformer 的SW-MSA替換為Shuffled W-MSA、Shuffled W-MSA+VGWMSA、Shuffled W-MSA+VGW-MSA+HGWMSA,逐步驗(yàn)證每個(gè)模塊的有效性,在不使用預(yù)訓(xùn)練模型的情況下,實(shí)驗(yàn)結(jié)果如表3 所示.

表3 SGW-MSA 消融實(shí)驗(yàn)結(jié)果Table 3 SGW-MSA ablation experimental results

從表3 中可以看出本文算法的基線模型Swin Transformer 使用SW-MSA 局部自注意力的目標(biāo)檢測和實(shí)例分割的平均精度分別為30.8%和29.5%;將SW-MSA 替換為Shuffled W-MSA 后精度分別提升了2.8%和2.1%;將SW-MSA 替換為Shuffled W-MSA 與縱向高斯窗口自注意力VGW-MSA 的結(jié)合后精度分別提升了1.3%和1.1%;將SW-MSA替換為SGW-MSA (Shuffled W-MSA+VGWMSA+HGW-MSA)后精度分別提升了1.4% 和1.0%.這些消融實(shí)驗(yàn)的數(shù)據(jù)進(jìn)一步驗(yàn)證了本文提出的SGW-MSA 局部自注意力機(jī)制的有效性.

2.2.3 三種局部自注意力特征圖融合的消融實(shí)驗(yàn)與分析

為了更直觀地感受到SGW-MSA 聯(lián)合3 種自注意力機(jī)制的優(yōu)勢,選用ImageNet 中的圖像分別可視化3 種局部自注意力機(jī)制的注意力熱力圖.輸入圖像采用 224×224 像素的尺寸,每一個(gè)stage 中特征圖的尺寸分別為 56×56,28×28,14×14,7×7,越靠后的stage 可視化出的熱力圖覆蓋的物體范圍越大、效果越好,但是考慮到最后一個(gè)stage 特征圖的尺寸為7×7 等于局部自注意力機(jī)制的窗口大小,此時(shí)的三個(gè)局部自注意力全部退化為全局自注意力.因此選取第3 個(gè)stage 中最后一個(gè)SGWin Transformer block 中SGW-MSA 的3 個(gè)自注意力的熱力圖進(jìn)行可視化對比.融合效果示意圖如圖9 所示.

圖9 融合效果示意圖Fig.9 Schematic diagram of fusion effect

圖9 展示了各部分注意力機(jī)制的輸出結(jié)果.可以看到每一種注意力的關(guān)注部分都有所不同.Shuffled W-MSA 建立固定距離的窗口連接,對跳躍的關(guān)注目標(biāo)和周圍信息的聯(lián)系比較敏感.VGWMSA 建立縱軸上任意距離的窗口連接,對目標(biāo)和縱向背景之間的聯(lián)系比較敏感.HGW-MSA 建立橫軸上任意距離的窗口連接,更關(guān)注目標(biāo)和橫向背景之間的聯(lián)系.因此,相比于單一的局部自注意力機(jī)制,SGW-MSA 通過融合3 種自注意力機(jī)制的方式,具有更優(yōu)秀的上下文信息提取能力.

2.3 圖像分類實(shí)驗(yàn)

2.3.1 CIFAR10 圖像分類實(shí)驗(yàn)

CIFAR10 數(shù)據(jù)集包含60000 張尺寸為 32 的彩色圖片,分為10 個(gè)類別,每一個(gè)類別有6000 張圖像.分為訓(xùn)練集50000 張,測試集10000 張.本文在訓(xùn)練集上訓(xùn)練模型,并用測試集測試輸出的Top1 準(zhǔn)確率(排名第一的類別與實(shí)際結(jié)果相符的準(zhǔn)確率).在訓(xùn)練模型時(shí),采用PyTorch 深度學(xué)習(xí)框架和Timm 圖像分類庫,優(yōu)化器采用了對超參數(shù)不敏感的AdamW[42],學(xué)習(xí)率采用余弦退火[43]的方式,初始的學(xué)習(xí)率設(shè)置為 1 ×10-3,最小學(xué)習(xí)率為1×10-6,warmup 學(xué)習(xí)率為 1 ×10-4,warmup Epoch設(shè)置為3,權(quán)重衰減率為 2 ×10-5,動(dòng)量為0.9,數(shù)據(jù)增強(qiáng)采用隨機(jī)裁剪和水平隨機(jī)翻轉(zhuǎn).訓(xùn)練總輪數(shù)為130 Epoch,在120 個(gè)Epoch 之后保持最低學(xué)習(xí)率繼續(xù)訓(xùn)練10 Epoch.損失函數(shù)采用標(biāo)準(zhǔn)的交叉熵分類損失函數(shù).在不使用預(yù)訓(xùn)練模型的情況下,所有的模型均在一張RTX2070 的GPU 上訓(xùn)練,基礎(chǔ)配置采用表1 中的配置.因?yàn)镃IFAR10 數(shù)據(jù)集中的圖像較小,所以配置中的窗口大小Si設(shè)置為3;4 個(gè)階段的通道數(shù)Ci分別對應(yīng) [32,64,128,256];4 個(gè)階段Transformer block 的Head 數(shù)量Hi分別設(shè)置為[2,4,8,16];SGWin Transformer 的基礎(chǔ)元素塊的寬度Wb設(shè)置為1.表4 展示了參與對比的模型在CIFAR10 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.可以看出本文所設(shè)計(jì)的SGWin Transformer 在參數(shù)量相當(dāng)?shù)那闆r下的性能明顯優(yōu)于現(xiàn)有具有代表性的其他基于局部自注意力的Transformer 模型.Top1 準(zhǔn)確率比目前最先進(jìn)的Pale Transformer 提升0.41%,相比于基線算法Swin Transformer,SGWin Transformer 在參數(shù)量相同的情況下,僅僅通過替換SWMSA 為SGW-MSA 就達(dá)到了5.2%的提升,驗(yàn)證了本文設(shè)計(jì)的SGW-MSA 的有效性.

表4 CIFAR10 數(shù)據(jù)集上的Top1 精度對比Table 4 Top1 accuracy comparison on CIFAR10 dataset

2.3.2 mini-imagenet 數(shù)據(jù)集上的實(shí)驗(yàn)

本文還在mini-imagenet 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn).mini-imagenet 數(shù)據(jù)集包含60000 張圖像,分為100 個(gè)類別,每張圖像的寬高中的長邊均為500 個(gè)像素,每個(gè)類別的圖像大約有6000 張.將50000張圖像作為訓(xùn)練集,10000 張圖像作為驗(yàn)證集,訓(xùn)練模型的設(shè)置基本與第2.3.1 節(jié)中的CIFAR10 數(shù)據(jù)集相同,不同的是模型的超參數(shù)配置采用表1 中的配置,訓(xùn)練的Epoch 數(shù)為100.SGWin Transformer的基礎(chǔ)元素塊的寬度Wb設(shè)置為4.表5 展示了參與對比的模型在mini-imagenet 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.從表5 中的結(jié)果可以看出本文算法相比于基線Swin Transformer 提升了5.1%,同時(shí)比最先進(jìn)的Pale Transformer 提升了0.67%.證明了SGW-MSA的有效性.

表5 mini-imagenet 數(shù)據(jù)集上的Top1 精度對比Table 5 Top1 accuracy comparison on mini-imagenet dataset

2.4 目標(biāo)檢測實(shí)驗(yàn)

2.4.1 MS COCO 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

本文使用mmdetection 庫以及Mask R-CNN目標(biāo)檢測框架,將主干網(wǎng)絡(luò)替換為所有具有代表性的基于局部窗口自注意力的Transformer 模型,并與本文的方法進(jìn)行了對比,采用AdamW 優(yōu)化器更新網(wǎng)絡(luò)參數(shù),訓(xùn)練周期為36 Epoch,設(shè)置初始學(xué)習(xí)率為 1 ×10-4,在第27 Epoch 和33 Epoch 結(jié)束之后分別衰減10 倍.所有的模型均不使用預(yù)訓(xùn)練模型.實(shí)驗(yàn)結(jié)果如表6 所示.其中Params (M)代表模型的參數(shù)量,FLOPs (G)代表模型的計(jì)算復(fù)雜度.可以看出本文提出的SGWin Transforemr 算法達(dá)到了45.1%的mAP,相比于目前最先進(jìn)的Pale Transformer 模型提升1.8%,并且在參數(shù)量不變的情況下比基線算法Swin Transformer 提升了5.5%.此外,SGWin Transformer 在實(shí)例分割上也具有一定的提升,比最先進(jìn)的Pale Transformer 提升了1.3%,比基線算法Swin Transformer 提升了4.2%,也驗(yàn)證了本文提出的SGW-MSA的有效性.此外使用mmdetection 庫以及Cascade R-CNN[44]目標(biāo)檢測框架,除訓(xùn)練周期外實(shí)驗(yàn)配置如同上述的Mask RCNN,訓(xùn)練周期設(shè)置為11 Epoch,初始學(xué)習(xí)率為1×10-4,在第8 Epoch和11 Epoch 結(jié)束后分別衰減10 倍.實(shí)驗(yàn)結(jié)果如表7所示.本文提出的SGWin Transformer 算法達(dá)到42.9% (APb)和37.8% (APm),相比于Pale Transformer 模型分別提升了1.4%和1.7%,并且在參數(shù)量不變的情況下比基線算法Swin Transformer 分別提升了5.1%和4.4%.證明了SGWMSA 的有效性.

表6 以Mask R-CNN 為目標(biāo)檢測框架在MS COCO 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 6 Experimental results on MS COCO dataset based on Mask R-CNN

表7 以Cascade R-CNN 為目標(biāo)檢測框架在MS COCO 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 7 Experimental results on MS COCO dataset based on Cascade R-CNN

為了更直觀地展示SGWin Transformer 的有效性,本文選取MS COCO 測試集的圖像進(jìn)行檢測并將結(jié)果進(jìn)行可視化,如圖10 所示.以Cascade RCNN 為目標(biāo)檢測框架,分別將Swin Transformer以及SGWin Transformer 作為主干網(wǎng)絡(luò)進(jìn)行檢測.從圖中可以看出,SGWin Transformer 相比于基線算法檢測到了更多的小目標(biāo)(如圖10(a)中心的人和車,如圖10(b)中心處的綿羊)和遮擋目標(biāo)(圖10(c)最下邊的游艇,圖10(d)泳池中的人).證明了SGWMSA 能夠通過提取更多的上下信息來提高遮擋目標(biāo)和小目標(biāo)的檢測效果.

圖10 MS COCO 檢測結(jié)果或可視化Fig.10 MS COCO test results or visualization

2.4.2 在其他目標(biāo)檢測數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

本文還在KITTI 數(shù)據(jù)集和PASCAL VOC 數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn),使用PyTorch 深度學(xué)習(xí)框架以及YOLOv5[45]目標(biāo)檢測架構(gòu),采用SGD[46]優(yōu)化器,學(xué)習(xí)率采用余弦退火的方式,初始學(xué)習(xí)率設(shè)置為0.01,最小學(xué)習(xí)率為 1 ×10-6,warmup 學(xué)習(xí)率為0.1,warmup 學(xué)習(xí)率為0.1,warmup Epoch 為3,權(quán)重衰減為 5 ×10-4,動(dòng)量為0.937,數(shù)據(jù)增強(qiáng)采用Mosaic[47]、水平翻轉(zhuǎn)和色調(diào)變換.在3 張RTX3090的GPU 上訓(xùn)練模型,超參數(shù)采用表1 中的配置.采用上述的訓(xùn)練策略,所有的算法均不使用預(yù)訓(xùn)練模型,在PASCAL VOC 數(shù)據(jù)集上訓(xùn)練100 Epoch,在KITTI 數(shù)據(jù)集上訓(xùn)練300 Epoch,訓(xùn)練Batch size 數(shù)為64,實(shí)驗(yàn)結(jié)果如表8 所示.可以看出在模型參數(shù)量相當(dāng)?shù)那闆r下,本文提出的SGWin Transformer 模型在KITTI 數(shù)據(jù)集和PASCAL VOC 數(shù)據(jù)集的精度比最先進(jìn)的Pale Transformer 分別提升了0.3 和0.6,比基線算法Swin Transformer 分別提升了1.9 和4.5.在檢測速度方面,SGWin Transformer 的FPS 達(dá)到了56,超出最先進(jìn)的Pale Transformer 算法16%,相比于基線算法Swin Transformer 提升了12%.所以本文設(shè)計(jì)的SGWin Transformer 在速度和精度上都優(yōu)于其他Transformer,整體性能最好.

3 結(jié)論

本文針對現(xiàn)有的基于局部自注意力機(jī)制的Transformer 模型不能建立所有窗口之間信息流通的問題,提出了一種SGW-MSA 局部自注意力以及SGWin Transformer 模型,在SGW-MSA 中結(jié)合3 種不同的局部自注意力機(jī)制的特點(diǎn),有效地建立所有窗口之間的信息交互.實(shí)驗(yàn)結(jié)果表明在參數(shù)量和計(jì)算量相當(dāng)?shù)那闆r下,本文提出的算法比現(xiàn)有的基于局部自注意力的Transformer 模型更具有優(yōu)勢,證明了本文提出的SGW-MSA 通過高斯隨機(jī)窗口策略建立所有窗口之間的信息流動(dòng)能夠捕捉更多的特征圖語義信息并且具有更強(qiáng)大的上下文建模能力.

表 8 KITTI 和PASCAL VOC 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Table 8 Experimental results on KITTI and PASCAL VOC dataset