Transformer 網(wǎng)絡(luò)在雷達(dá)輻射源識(shí)別中的應(yīng)用

王亮，肖易寒

哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001

雷達(dá)是戰(zhàn)爭(zhēng)環(huán)境下的重要信息來源，可以獲得千里之外的戰(zhàn)爭(zhēng)情報(bào)，因此如何獲得敵方雷達(dá)信息，并且針對(duì)敵方雷達(dá)進(jìn)行有效地識(shí)別與干擾則顯得尤為重要。雷達(dá)輻射源識(shí)別工作實(shí)際上是對(duì)不同的雷達(dá)輻射源產(chǎn)生的信號(hào)進(jìn)行特征提取，然后進(jìn)行識(shí)別，由于信號(hào)特征來自輻射源個(gè)體的硬件部分，因此又稱輻射源識(shí)別。目前對(duì)于雷達(dá)輻射源個(gè)體的識(shí)別工作主要可以分為2 個(gè)過程，先進(jìn)行特征提取，再進(jìn)行分類，從而完成輻射源的識(shí)別[1]。目前，將深度學(xué)習(xí)應(yīng)用到雷達(dá)輻射源個(gè)體識(shí)別工作的研究越來越多，但是本質(zhì)上仍然是從信號(hào)的脈內(nèi)特征或個(gè)體特征等方面進(jìn)行識(shí)別[2]。卷積神經(jīng)網(wǎng)絡(luò)是應(yīng)用最為廣泛的一類深度學(xué)習(xí)方法，但是在將數(shù)據(jù)送入網(wǎng)絡(luò)之前一般會(huì)對(duì)原始數(shù)據(jù)提取初步特征，如雙譜特征[3]。但是卷積神經(jīng)網(wǎng)絡(luò)容易產(chǎn)生梯度問題，因此可以引入殘差網(wǎng)絡(luò)進(jìn)行優(yōu)化[4]。除此之外，其他深度學(xué)習(xí)方法如強(qiáng)化學(xué)習(xí)[5]、InfoGAN 網(wǎng)絡(luò)[6]等也可以用于特定輻射源信號(hào)特征提取與識(shí)別。

然而上述深度學(xué)習(xí)方法在進(jìn)行輻射源識(shí)別時(shí)存在一些問題：一方面雷達(dá)輻射源信號(hào)的單脈沖時(shí)域信號(hào)前后具有強(qiáng)相關(guān)性，上述方法對(duì)于這種特性的關(guān)注度不夠；另一方面單脈沖信號(hào)的數(shù)據(jù)量較大，采用不同數(shù)據(jù)量的識(shí)別效果不同。為了解決上述問題，本文采用將Transformer 網(wǎng)絡(luò)應(yīng)用于雷達(dá)輻射源識(shí)別工作，并探究不同因素對(duì)于識(shí)別效果的影響。

1 脈沖信號(hào)特征提取

1.1 信號(hào)包絡(luò)特征提取

為了能夠提取到雷達(dá)輻射源信號(hào)自身具有的個(gè)體特征，需要對(duì)采集后的信號(hào)進(jìn)行預(yù)處理，同時(shí)盡量避免影響到信號(hào)原本的信息。不同信號(hào)發(fā)射器的功率等方面存在差異，為了使信號(hào)幅值與能量保持一致，需要對(duì)原始信號(hào)進(jìn)行幅度歸一化操作[7]。為了消除原始信號(hào)中突變或無效的點(diǎn)帶來的影響，本文使用內(nèi)部歸一化的思想進(jìn)行信號(hào)處理，采用Hilbert 變換法取出包絡(luò)[8]，原始信號(hào)s(t)的Hilbert 變換為

取信號(hào)包絡(luò)特征具體操作如下：

1) 首先將原始信號(hào)s(t) 中間約的穩(wěn)態(tài)信號(hào)x(t)作為標(biāo)準(zhǔn)，計(jì)算全部點(diǎn)數(shù)的平均幅值A(chǔ)；

2) 對(duì)原始信號(hào)s(t)做Hilbert 變換，取出其實(shí)部s′(t)與 虛部(t)；

3) 計(jì)算包絡(luò)幅值S(t)=，再 將其除以平均幅值得到歸一化后的包絡(luò)。

圖1 展示了信號(hào)包絡(luò)及其上升沿的部分，而上升沿?cái)?shù)據(jù)量較少，大部分信號(hào)仍處于穩(wěn)態(tài)。

圖1 信號(hào)包絡(luò)上升沿部分

1.2 信號(hào)相位特征提取

信號(hào)包絡(luò)特征作為特征時(shí)存在受噪聲影響較大的缺點(diǎn)，在噪聲強(qiáng)度較高時(shí)，會(huì)產(chǎn)生較大的起伏。脈內(nèi)無意相位調(diào)制特征同樣可以反映出信號(hào)無意特征，而相位特征更多體現(xiàn)在信號(hào)的穩(wěn)態(tài)部分[9]。取相位具體過程如下:

1) 對(duì)原始信號(hào) 做Hilbert 變換，取出其實(shí)部s′(t)與 虛部(t)；

2) 對(duì)脈沖信號(hào)相位為信號(hào)實(shí)部與虛部的反正切變換，即 φ(t)=arctan((t)/s′(t))。

如圖2 所示是信號(hào)發(fā)生器某個(gè)脈沖的穩(wěn)態(tài)相位信息，該信號(hào)折疊相位在 [?π,π]之間成周期性變化，在不同的雷達(dá)輻射源信號(hào)中相位信息會(huì)發(fā)生變化，體現(xiàn)輻射源個(gè)體之間的差別。

圖2 信號(hào)穩(wěn)態(tài)部分相位

2 基于注意力機(jī)制的Transformer 網(wǎng)絡(luò)算法

2.1 Transformer 網(wǎng)絡(luò)基本結(jié)構(gòu)

Transformer 網(wǎng)絡(luò)最初是Google 在2017 年提出的，該結(jié)構(gòu)采用了注意力機(jī)制來對(duì)輸入數(shù)據(jù)進(jìn)行并行方式的特征提取，為了保證前后數(shù)據(jù)的關(guān)聯(lián)性，該網(wǎng)絡(luò)使用位置編碼來對(duì)輸入數(shù)據(jù)的位置信息進(jìn)行記錄。因此，一方面Transformer 結(jié)構(gòu)仍然可以保證數(shù)據(jù)前后的關(guān)聯(lián)性；另一方面，由于并行輸入，使得網(wǎng)絡(luò)訓(xùn)練時(shí)間大大縮短。如圖3所示是Transformer 網(wǎng)絡(luò)基本結(jié)構(gòu)單元，完整的Transformer 特征提取網(wǎng)絡(luò)結(jié)構(gòu)由兩部分構(gòu)成，編碼器Encoder 與解碼器Decoder，在進(jìn)行特征提取時(shí)，首先將輸入數(shù)據(jù)送入編碼器進(jìn)行編碼，得到數(shù)據(jù)的自相關(guān)性等特征，然后再由解碼器解碼，輸出序列[10?11]。

圖3 Transformer 基本結(jié)構(gòu)

Transformer 結(jié)構(gòu)采用注意力機(jī)制來進(jìn)行特征提取，本文所需要完成的工作是多臺(tái)信號(hào)源發(fā)生器的識(shí)別，需要完成不同信號(hào)源發(fā)生器產(chǎn)生的信號(hào)分類工作，因此僅需用到編碼器來提取特征。一般情況下，為了充分提取特征，在將數(shù)據(jù)進(jìn)行位置編碼后，送入到多層結(jié)構(gòu)相同的編碼器中，單層編碼器一般由自注意力層和全連接層組成。自注意力層一般使用多頭注意力機(jī)制，在這兩層中間可以添加殘差網(wǎng)絡(luò)等結(jié)構(gòu)。

2.2 位置編碼

Transformer 網(wǎng)絡(luò)結(jié)構(gòu)由于不是按照時(shí)序結(jié)構(gòu)順序提取特征的，因此沒有結(jié)合數(shù)據(jù)不同位置的序列關(guān)系，這對(duì)于學(xué)習(xí)諸如雷達(dá)信號(hào)這類前后關(guān)聯(lián)性較強(qiáng)的數(shù)據(jù)特征是極其不利的。因此，在原始數(shù)據(jù)分段后，需要對(duì)其進(jìn)行位置編碼，使之帶有位置信息，保持?jǐn)?shù)據(jù)相關(guān)性[12]。位置編碼公式為

式中：dpos為 某段信號(hào)p在信號(hào)脈沖中的實(shí)際位置，PE為 處于 pos位置信號(hào)的向量。在編碼后，原始數(shù)據(jù)如雷達(dá)特征序列可以保持前后的關(guān)聯(lián)信息，同時(shí)網(wǎng)絡(luò)的并行運(yùn)算使得Transformer 的長(zhǎng)距離學(xué)習(xí)能力較為優(yōu)秀。

2.3 注意力機(jī)制

Transformer 網(wǎng)絡(luò)的核心算法是注意力機(jī)制，縮放點(diǎn)積注意力機(jī)制是其中的一種，其優(yōu)點(diǎn)在于可以批量處理數(shù)據(jù)。可以表示為

為了讓注意力機(jī)制具有更高的運(yùn)算效率，Transformer 框架將多個(gè)縮放點(diǎn)積注意力機(jī)制結(jié)合，組成了多頭注意力機(jī)制[13?14]，n個(gè)頭的多頭注意力機(jī)制可以表示為

式中：Concat 為對(duì)多個(gè)單獨(dú)的點(diǎn)積注意力機(jī)制進(jìn)行拼接；參數(shù)矩陣Rdmodel×dv，dmodel為編解碼過程的向量維度。具體過程如圖4 所示：首先，將Q、K與V通過一個(gè)Linear層進(jìn)行線性變換，這一點(diǎn)與單層的點(diǎn)積注意力機(jī)制相同，之后進(jìn)行n次單層點(diǎn)積變換，每個(gè)機(jī)制的參數(shù)完全獨(dú)立，不會(huì)共用，在n次運(yùn)算完畢后，最終得到輸出H。

圖4 多頭注意力機(jī)制結(jié)構(gòu)

如圖4 所示，這種多頭注意力機(jī)制是將多頭運(yùn)算的結(jié)果進(jìn)行拼接而成，原始數(shù)據(jù)經(jīng)過不同空間的映射，使得模型能夠從多個(gè)方面進(jìn)行特征提取。同時(shí)多頭機(jī)制也同樣能夠?qū)Σ煌恢玫睦走_(dá)數(shù)據(jù)提取它們邏輯之間的關(guān)系。另外，這種機(jī)制具有更加強(qiáng)大的矩陣并行運(yùn)算能力。

2.4 基于Transformer 網(wǎng)絡(luò)的雷達(dá)輻射源算法

雷達(dá)輻射源信號(hào)一般會(huì)具有較大的數(shù)據(jù)量，對(duì)于單個(gè)脈沖而言，其中可以包含幾萬甚至十幾萬個(gè)點(diǎn)，并且數(shù)據(jù)前后的關(guān)聯(lián)性較強(qiáng)，因此Transformer模型適合用來對(duì)雷達(dá)輻射源信號(hào)進(jìn)行特征提取。一方面多頭自注意力機(jī)制能夠?qū)?shù)據(jù)進(jìn)行并行的快速運(yùn)算，另一方面，位置編碼使得數(shù)據(jù)具有關(guān)聯(lián)性。圖5 給出了Transformer 模型提取雷達(dá)輻射源信號(hào)特征的前向特征提取的具體流程。

圖5 Transformer 提取特征流程

1)輸入信號(hào)預(yù)處理。首先對(duì)雷達(dá)信號(hào)進(jìn)行歸一化，然后提取雷達(dá)包絡(luò)特征或相位特征，最后進(jìn)行數(shù)據(jù)截取。

3 實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練與測(cè)試

本文采用3 種信號(hào)發(fā)生器進(jìn)行實(shí)際信號(hào)采集，模擬真實(shí)雷達(dá)數(shù)據(jù)，從而進(jìn)行更加符合戰(zhàn)場(chǎng)情況的雷達(dá)輻射源個(gè)體識(shí)別工作[15]。通過添加高斯噪聲來改變信噪比，全部信號(hào)均為線性調(diào)頻信號(hào)，信號(hào)參數(shù)設(shè)置如表1 所示。

表1 無意信號(hào)參數(shù)設(shè)置

除此之外，各參數(shù)均包括正負(fù)2 種斜率，因此每個(gè)信號(hào)發(fā)生器產(chǎn)生2 160 個(gè)脈沖，其中80%用于訓(xùn)練，20%用于測(cè)試。在進(jìn)行單個(gè)脈沖的數(shù)據(jù)截取時(shí)，首先需要將原始數(shù)據(jù)對(duì)齊，以方便截取數(shù)據(jù)。對(duì)于包絡(luò)信息來說，其上升沿以及下降沿包含較多的特征信息，因此在提取時(shí)需要保留。而對(duì)于相位信息而言，在信號(hào)起振時(shí)相位并不穩(wěn)定，因此上升沿處的相位信息最好舍棄，取穩(wěn)態(tài)處的相位信息。

圖6 為信號(hào)截取位置示意圖，在取用包絡(luò)特征數(shù)據(jù)時(shí)，以原始信號(hào)包絡(luò)幅值為0.1 處作為起始值，根據(jù)需要的數(shù)據(jù)量進(jìn)行數(shù)據(jù)的截取；而在提取相位數(shù)據(jù)時(shí)，首先以包絡(luò)幅值為1 處對(duì)齊，此時(shí)，相位已經(jīng)達(dá)到了穩(wěn)定狀態(tài)，以該處作為數(shù)據(jù)起始的索引點(diǎn)，對(duì)原始信號(hào)進(jìn)行相位變換，并在索引點(diǎn)處對(duì)相位特征數(shù)據(jù)進(jìn)行截取。

圖6 信號(hào)截取位置示意

在模型參數(shù)選擇的問題上，損失函數(shù)選擇適合于數(shù)據(jù)分類的交叉熵(cross entropy，CE)損失函數(shù)。由于訓(xùn)練時(shí)需要改變數(shù)據(jù)長(zhǎng)度，因此數(shù)據(jù)維度視數(shù)據(jù)量而定。Transformer 網(wǎng)絡(luò)單元設(shè)置為6 個(gè)，在網(wǎng)絡(luò)訓(xùn)練時(shí)，采用Adam 優(yōu)化函數(shù)。學(xué)習(xí)率設(shè)置初始值為0.001，以使得梯度快速下降，在100 個(gè)循環(huán)后，設(shè)置為0.000 1，以防止梯度跨度過大，難以收斂。對(duì)于參數(shù)的選擇如表2 所示。

表2 參數(shù)設(shè)置

為了驗(yàn)證網(wǎng)絡(luò)提取特征的有效性，每類信號(hào)源取150 個(gè)添加10 dB 噪聲的原始數(shù)據(jù)，經(jīng)過Transformer 網(wǎng)絡(luò)層得到輸出，并且進(jìn)行均值池化后，再將數(shù)據(jù)通過t-SNE 方法進(jìn)行降維，從而將特征數(shù)據(jù)可視化。如圖7 所示，由圖中可以看出經(jīng)過特征提取的數(shù)據(jù)具有可區(qū)分的特征。

圖7 Transformer 網(wǎng)絡(luò)提取特征可視化

在本文方法中，單個(gè)數(shù)據(jù)樣本的長(zhǎng)度對(duì)于識(shí)別結(jié)果的影響較大，而識(shí)別率是評(píng)價(jià)網(wǎng)絡(luò)模型好壞的最有效手段，圖8～11 是針對(duì)于單個(gè)脈沖樣本取用不同長(zhǎng)度數(shù)據(jù)以及在不同信噪比下的識(shí)別率折線圖，其中單個(gè)脈沖數(shù)據(jù)長(zhǎng)度分別設(shè)置為100 個(gè)點(diǎn)、200 個(gè)點(diǎn)、500 個(gè)點(diǎn)以及1 000 個(gè)點(diǎn)，添加的噪聲為高斯噪聲，信噪比為0～15 dB，間隔為5 dB。

圖8 100 個(gè)數(shù)據(jù)點(diǎn)識(shí)別率

圖9 200 個(gè)數(shù)據(jù)點(diǎn)識(shí)別率

圖10 500 個(gè)數(shù)據(jù)點(diǎn)識(shí)別率

圖11 1 000 個(gè)數(shù)據(jù)點(diǎn)識(shí)別率

從圖8～11 中可以看出各種因素均會(huì)對(duì)于最終識(shí)別率產(chǎn)生影響。首先，就數(shù)據(jù)長(zhǎng)度而言，不同的數(shù)據(jù)長(zhǎng)度對(duì)于結(jié)果影響較大，在單個(gè)樣本點(diǎn)數(shù)為100 點(diǎn)時(shí)，無論哪種方法，整體識(shí)別率均較低，這是由于單個(gè)樣本的雷達(dá)數(shù)據(jù)過小，無法在較小的數(shù)據(jù)上提取到有效特征而導(dǎo)致的。隨著數(shù)據(jù)長(zhǎng)度的增加，各種方法的識(shí)別率均有所上升，尤其是相位數(shù)據(jù)，識(shí)別效果隨數(shù)據(jù)長(zhǎng)度的增長(zhǎng)最為迅速。表3 給出了本文方法采用相位數(shù)據(jù)的識(shí)別混淆矩陣，表示了在信噪比為15 dB 時(shí)網(wǎng)絡(luò)對(duì)于每一類的識(shí)別情況。其中第1 行為真實(shí)數(shù)據(jù)標(biāo)簽，第1 列為預(yù)測(cè)標(biāo)簽。

表3 識(shí)別混淆矩陣

對(duì)于不同的特征而言，在數(shù)據(jù)長(zhǎng)度為100 個(gè)點(diǎn)時(shí)，包絡(luò)特征的識(shí)別率要高于相位特征，這是由于本文方法在提取包絡(luò)上升沿部分的特征時(shí)更加有效，之后雖然包絡(luò)數(shù)據(jù)長(zhǎng)度仍然在增長(zhǎng)，但是由于該方法難以對(duì)包絡(luò)穩(wěn)態(tài)部分進(jìn)行有效地特征提取，因此識(shí)別率卻幾乎沒有變化。而結(jié)合相位特征的識(shí)別率卻隨著數(shù)據(jù)長(zhǎng)度的增加在逐漸上升，并在數(shù)據(jù)長(zhǎng)度為500 點(diǎn)時(shí)趨于穩(wěn)定。最后，對(duì)于不同的信噪比而言，噪聲對(duì)于包絡(luò)特征的影響要更大一些。

4 結(jié)論

本文首先對(duì)3 臺(tái)信號(hào)源發(fā)生器進(jìn)行信號(hào)采集，以模仿真實(shí)雷達(dá)輻射源數(shù)據(jù)。在Pytorch 平臺(tái)下構(gòu)建了Transformer 網(wǎng)絡(luò)模型，并將3 臺(tái)信號(hào)發(fā)生器采集的LFM 信號(hào)的包絡(luò)特征以及相位特征作為網(wǎng)絡(luò)的輸入，從而實(shí)現(xiàn)對(duì)信號(hào)源數(shù)據(jù)的識(shí)別與分類。同時(shí)本文探究了樣本的不同長(zhǎng)度對(duì)于識(shí)別效果的影響。結(jié)果表明，本文算法對(duì)于原始信號(hào)不同特征的敏感度不同，在提取相位特征時(shí)更加有效。并且在每個(gè)相位特征樣本長(zhǎng)度為500 個(gè)點(diǎn)時(shí)即可基本達(dá)到最佳的識(shí)別效果，同時(shí)該方法具有較強(qiáng)的抗噪聲性能。