基于Deep-LSTM 的通信信號(hào)調(diào)制識(shí)別算法

鄒海英

（四川大學(xué)電子信息學(xué)院，成都610065）

0 引言

調(diào)制識(shí)別技術(shù)在頻譜感知、電子對(duì)抗和防御等領(lǐng)域具有十分廣泛的應(yīng)用，因此一直是無線通信領(lǐng)域研究的熱點(diǎn)問題。早期的調(diào)制識(shí)別方法主要是基于統(tǒng)計(jì)模式的識(shí)別方法[1-2]，其特征主要靠人工提取。人工提取特征的方式，依賴人的經(jīng)驗(yàn)，魯棒性差，時(shí)間復(fù)雜度高，同時(shí)存在識(shí)別率偏低等問題。

近年來，隨著深度學(xué)習(xí)的快速發(fā)展，無線通信研究者開始把深度學(xué)習(xí)用于信號(hào)調(diào)制識(shí)別。Adzhemov S S[3]提出使用神經(jīng)網(wǎng)絡(luò)對(duì)無線電數(shù)字信號(hào)進(jìn)行調(diào)制識(shí)別的方法，該方法使用多層感知器作為分類識(shí)別器，可以使決策規(guī)則的形成過程自動(dòng)化。但多層感知器在低信噪比下分類效果差，識(shí)別率低。Hui Wang[4]提出使用主成分分析對(duì)提取的循環(huán)譜特征做降維處理，再利用ANN分類器對(duì)數(shù)字調(diào)制信號(hào)進(jìn)行分類識(shí)別，但該方法需要手工提取特征，時(shí)間復(fù)雜度較高。ZHIYU QU[5]提出使用時(shí)頻分析，圖像處理和卷積神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)雷達(dá)信號(hào)脈內(nèi)調(diào)制識(shí)別的方法，但該方法識(shí)別的調(diào)制類型偏少。Wu S 等人[6]提出一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的遠(yuǎn)距離通信信號(hào)特征的識(shí)別算法，但該算法的時(shí)間復(fù)雜度較高。Ahmed.K.Ali 等提出利用高階頻譜特征和基于神經(jīng)網(wǎng)絡(luò)屬性的分類算法，但該方法是在AWGN 信道環(huán)境下進(jìn)行的，不適用其他復(fù)雜的信道環(huán)境[7]。

針對(duì)上述調(diào)制識(shí)別算法存在的問題，結(jié)合LSTM在處理時(shí)序問題上面的優(yōu)勢(shì)，提出一種基于Deep-LSTM 的調(diào)制識(shí)別算法。該算法通過減少人工預(yù)處理和特征提取步驟，直接將輸入信號(hào)通過Deep-LSTM 網(wǎng)絡(luò)學(xué)習(xí)特征之后，后接Softmax 判決輸出。

1 信號(hào)模型及識(shí)別流程

1.1 信號(hào)模型

在簡單多徑信道環(huán)境下，信號(hào)傳輸模型可以表示為：

式中x(t)代表未知的調(diào)制信號(hào)，m(t)代表均值為0，方差為σ2的高斯白噪聲序列，r(t)為接收到的調(diào)制信號(hào)序列，h(n)表示多徑信道，n取值為0,1,2,3,…,K-1，h(n)的模型表達(dá)式為：

式中h0表示多徑主徑幅度增益，μ0表示主徑相移。ht、θt、μt分別表示第t個(gè)多徑幅度增益、多徑延遲、相移因子。

1.2 調(diào)制識(shí)別流程

深度學(xué)習(xí)方法不需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和特征提取步驟，直接把數(shù)據(jù)送入網(wǎng)絡(luò)輸入層，中間經(jīng)過網(wǎng)絡(luò)挖掘數(shù)據(jù)特征信息，最后由網(wǎng)絡(luò)輸出層輸出結(jié)果。因此使用深度學(xué)習(xí)方法對(duì)信號(hào)進(jìn)行調(diào)制識(shí)別，可以有效地降低時(shí)間復(fù)雜度，提高信號(hào)調(diào)制識(shí)別準(zhǔn)確率。基于深度學(xué)習(xí)的調(diào)制識(shí)別基本流程框架如圖1 所示。

圖1 基于深度學(xué)習(xí)的調(diào)制識(shí)別基本流程框架

2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)（LSTM）是RNN 的一種變體網(wǎng)絡(luò)，主要由遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)4 個(gè)部分組成，其內(nèi)部結(jié)構(gòu)圖如圖2 所示。

圖2 LSTM內(nèi)部結(jié)構(gòu)圖

遺忘門的作用是決定LSTM cell 第一步應(yīng)該扔掉什么信息，其計(jì)算公式為：

其中σ(?)表示sigmod 激活函數(shù)，wf表示遺忘門權(quán)重矩陣，bf表示遺忘門偏置向量，a(t-1)代表t-1 時(shí)刻LSTM cell 的輸出，x(t)表示t時(shí)刻LSTM cell 的輸入。

輸入門的作用是決定在t時(shí)刻要新添加哪些信息到LSTM cell 中，其計(jì)算公式為：

其中wu表示輸入權(quán)重矩陣，bu表示輸入門偏置向量。

在LSTM cell 中第三層tanh 層的作用是生成一個(gè)向量，以用來得到要新添加的信息，其計(jì)算公式為：

其中wc表示細(xì)胞狀態(tài)權(quán)重矩陣，bc表示細(xì)胞狀態(tài)偏置向量。

最終LSTM cell 將更新的細(xì)胞狀態(tài)信息保存下來，其計(jì)算公式為：

輸出門的作用得到LSTM cell 中的a(t)，也即t時(shí)刻LSTM cell 的輸出，再用a(t)通過Softmax 分類器得到最終的輸出y(t)。a(t)的計(jì)算公式為：

式（7）中wo表示輸出門權(quán)重矩陣，bo表示輸出門偏置向量。

3 基于Deep-LSTM的調(diào)制識(shí)別算法

3.1 Deep-LSTM算法模型

LSTM 網(wǎng)絡(luò)提取信號(hào)的調(diào)制特征是通過學(xué)習(xí)信號(hào)的調(diào)制信息，發(fā)現(xiàn)每條輸入信號(hào)中每個(gè)樣本點(diǎn)的時(shí)序關(guān)系，并將這些樣本點(diǎn)的時(shí)序關(guān)系進(jìn)行特征表達(dá)。當(dāng)LSTM 網(wǎng)絡(luò)的層數(shù)達(dá)到一定深度時(shí)，可以更有效地挖掘到信號(hào)的深層次特征，所以算法通過改進(jìn)LSTM 網(wǎng)絡(luò)設(shè)計(jì)了一個(gè)Deep-LSTM（Deep Long Short-Term Memory）神經(jīng)網(wǎng)絡(luò)用于對(duì)通信信號(hào)進(jìn)行調(diào)制識(shí)別，其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。Deep-LSTM 網(wǎng)絡(luò)一共包含8 層，前4層由LSTM 單元組成，后3 層由全連接層組成，最后通過一個(gè)Softmax 層判決輸出。網(wǎng)絡(luò)中的激活函數(shù)為selu 函數(shù)，dropout 值為0.5。

圖3 Deep-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

3.2 Deep-LSTM算法識(shí)別流程

Deep-LSTM 算法流程如圖4 所示。首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理；然后構(gòu)建Deep-LSTM 網(wǎng)絡(luò)，將網(wǎng)絡(luò)初始化；接著輸入訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；再使用BP 算法對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行微調(diào)得到預(yù)測(cè)模型；最后把測(cè)試數(shù)據(jù)送入Deep-LSTM 預(yù)測(cè)模型中，使用Softmax 進(jìn)行分類檢測(cè)，輸出識(shí)別準(zhǔn)確率。

圖4 Deep-LSTM算法流程圖

4 實(shí)驗(yàn)結(jié)果及性能分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

算法使用的實(shí)驗(yàn)數(shù)據(jù)為GNU Radio 信道模型生成的RML2016.10b 數(shù)據(jù)集[8]。該數(shù)據(jù)集包含10 種信號(hào)類型和20 種信噪比。10 種信號(hào)類型分別是8PSK,BPSK, CPFSK, GFSK, PAM4, QAM16, QAM64, QPSK,AM-DSB 和WBFM，20 種信噪比為-20dB 到18dB，步長為2dB。10 種信號(hào)均勻分布，總樣本大小為1200000。使用python 中的numpy 程序庫將數(shù)據(jù)集存儲(chǔ)格式轉(zhuǎn)換為Nexamples×Dimen1×Dimen2，其中Nexamples=1200000，Dimen1=2 表示每個(gè)樣本包含I/Q 兩路數(shù)據(jù)，Dimen2=128 表示每個(gè)樣本包含128 個(gè)采樣點(diǎn)數(shù)據(jù)，即RML2016.10b 數(shù)據(jù)集的存儲(chǔ)維度為（1200000,2,128）。

4.2 評(píng)價(jià)指標(biāo)

采用損失函數(shù)：交叉熵（Categorical Cross Entropy）和識(shí)別準(zhǔn)確率（Accuracy）作為評(píng)價(jià)Deep-LSTM 算法分類識(shí)別性能的指標(biāo)。

Categorical Cross Entropy 的計(jì)算公式為：式中n表示樣本數(shù)目，m表示待分類數(shù)，x?im表示期望輸出，xim表示實(shí)際輸出。

Accuracy 為識(shí)別準(zhǔn)確率指標(biāo)，其計(jì)算公式為：

式（10）中M為樣本總數(shù)，G(?)表示網(wǎng)絡(luò)模型預(yù)測(cè)函數(shù)，xi和yi表示第i個(gè)樣本數(shù)據(jù)和對(duì)應(yīng)的真實(shí)標(biāo)簽值。信號(hào)調(diào)制類型與對(duì)應(yīng)的真實(shí)標(biāo)簽值如表1 所示。

表1 信號(hào)調(diào)制類型與對(duì)應(yīng)的真實(shí)label 標(biāo)簽值

4.3 實(shí)驗(yàn)結(jié)果

Deep-LSTM 算法使用RML2016.10b 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)仿真，得到信號(hào)集的平均識(shí)別準(zhǔn)確率，如圖5所示。

圖5 信號(hào)集的平均識(shí)別準(zhǔn)確率

由圖5 可得隨著信噪比從-20dB 到18dB 不斷增加，識(shí)別率不斷提高。當(dāng)SNR≥5dB 時(shí)，平均識(shí)別率達(dá)到95%，說明算法的調(diào)制識(shí)別性能優(yōu)越。

圖6 為10 種調(diào)制信號(hào)在各信噪比下的識(shí)別準(zhǔn)確率。由圖可知，除了16QAM 和WBFM 信號(hào)，Deep-LSTM 算法對(duì)大部分信號(hào)都能很好地識(shí)別出來。

圖6 各調(diào)制信號(hào)在各信噪比下的識(shí)別準(zhǔn)確率

4.4 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證Deep-LSTM 算法識(shí)別性能的優(yōu)越性，進(jìn)行了以下對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)一：Deep-LSTM 算法與參考文獻(xiàn)算法[9]對(duì)比

表2 Deep-LSTM 算法與參考文獻(xiàn)算法識(shí)別性能表

表2 為專家系統(tǒng)算法（基于集成循環(huán)矩的調(diào)制識(shí)別方法，分類器分別采用DNN、DTree、KNN、SVM、NaiveBayes）和Deep-LSTM 算法的調(diào)制識(shí)別性能表。由表可知Deep-LSTM 算法在各信噪比下的識(shí)別率均高于專家系統(tǒng)算法，特別是在低信噪比下算法的識(shí)別性能優(yōu)勢(shì)更明顯。

實(shí)驗(yàn)二：LSTM 網(wǎng)絡(luò)層數(shù)對(duì)識(shí)別性能的影響

表3 LSTM 網(wǎng)絡(luò)層數(shù)對(duì)識(shí)別性能的影響

表3 為不同的LSTM 網(wǎng)絡(luò)層數(shù)對(duì)算法識(shí)別性能影響的實(shí)驗(yàn)結(jié)果。LSTM 的網(wǎng)絡(luò)層數(shù)直接影響Deep-LSTM 網(wǎng)絡(luò)學(xué)習(xí)信號(hào)調(diào)制特征的能力；當(dāng)LSTM 層數(shù)太少時(shí)，網(wǎng)絡(luò)無法有效地學(xué)習(xí)和提取到信號(hào)的調(diào)制特征信息，導(dǎo)致算法識(shí)別性能低下；當(dāng)LSTM 層數(shù)過多時(shí)，網(wǎng)絡(luò)訓(xùn)練參數(shù)過多，訓(xùn)練的時(shí)間復(fù)雜度較高，也會(huì)影響算法的識(shí)別性能。由表可知Deep-LSTM 算法網(wǎng)絡(luò)中LSTM 網(wǎng)絡(luò)層數(shù)選取4 層時(shí)算法識(shí)別性能明顯優(yōu)于LSTM 網(wǎng)絡(luò)層數(shù)為1,2,3,5 和6 時(shí)，故更加充分地說明Deep-LSTM 算法的可行性和有效性。

實(shí)驗(yàn)三：dropout 值對(duì)識(shí)別性能的影響

表4 dropout 對(duì)識(shí)別性能的影響

表4 為dropout 值對(duì)識(shí)別性能影響的實(shí)驗(yàn)結(jié)果。dropout 是為了防止模型過擬合的一個(gè)參數(shù)。由表可知，當(dāng)dropout 值從0.2 增加到0.5 時(shí)，算法識(shí)別性能明顯提高；當(dāng)dropout 值大于0.5 時(shí)，算法識(shí)別性能明顯降低了，這是因?yàn)閐ropout 值太大導(dǎo)致模型對(duì)樣本數(shù)據(jù)的擬合能力下降了。實(shí)驗(yàn)四：batch_size 對(duì)識(shí)別性能的影響

表5 為batch_size 對(duì)識(shí)別性能影響的實(shí)驗(yàn)結(jié)果。batch_size 為批處理樣本數(shù)量，其值的大小會(huì)影響網(wǎng)絡(luò)模型的訓(xùn)練速度和優(yōu)化程度，故選擇合適的batch_size值才能使網(wǎng)絡(luò)模型同時(shí)在時(shí)間和精度上達(dá)到最優(yōu)。由表可知Deep-LSTM 算法設(shè)置batch_size=1024 時(shí)的識(shí)別性能明顯比batch_size=512 和2048 更好。

5 結(jié)語

針對(duì)傳統(tǒng)的基于統(tǒng)計(jì)模式的調(diào)制識(shí)別算法存在識(shí)別準(zhǔn)確率低，特征提取困難、魯棒性和泛化能力偏差等問題，提出了基于Deep-LSTM 的常規(guī)通信信號(hào)調(diào)制識(shí)別方法。仿真實(shí)驗(yàn)結(jié)果表明，在SNR≥5dB 時(shí)，可以達(dá)到95%的平均識(shí)別準(zhǔn)確率，在識(shí)別性能、魯棒性和泛化能力等方面都優(yōu)于傳統(tǒng)的特征提取算法。但算法目前還有以下需要完善的地方：①算法在SNR≤0dB 時(shí)，識(shí)別效果不佳，未來可以考慮在深度學(xué)習(xí)網(wǎng)絡(luò)輸入端先對(duì)信號(hào)進(jìn)行降噪處理。②算法對(duì)16QAM 和WBFM 信號(hào)識(shí)別效果不佳，需要尋找新的算法來提高16QAM 和WBFM 信號(hào)的識(shí)別率。