基于軟閾值深度學(xué)習(xí)的自動(dòng)調(diào)制識(shí)別算法

何榮榮 徐逸凡 劉潔 姚凱凌

（1. 陸軍工程大學(xué)，南京 210000；2. 75836 部隊(duì)，廣州 510000）

引 言

調(diào)制方式識(shí)別是實(shí)現(xiàn)調(diào)制信號(hào)正確解調(diào)、接收的必要環(huán)節(jié). 傳統(tǒng)的調(diào)制識(shí)別方法是從時(shí)域波形、信號(hào)頻譜等信息提取特征，再輸入決策樹(shù)、支持向量機(jī)等機(jī)器學(xué)習(xí)模型或者人工進(jìn)行判斷[1]. 最后的結(jié)果依賴于特征選擇的好壞，需要專業(yè)知識(shí)和經(jīng)驗(yàn)積累，主觀因素強(qiáng)，并且難以應(yīng)對(duì)噪聲干擾. 現(xiàn)有調(diào)制識(shí)別方式識(shí)別種類有限，識(shí)別率不高，亟需改進(jìn). 近年來(lái)深度學(xué)習(xí)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理方面取得的成果斐然，使得基于深度學(xué)習(xí)的調(diào)制識(shí)別研究也受到眾多學(xué)者的關(guān)注. O’shea 等人首次將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)應(yīng)用在自動(dòng)調(diào)制識(shí)別中，將IQ 數(shù)據(jù)作為模型的輸入，對(duì)比傳統(tǒng)的機(jī)器學(xué)習(xí)方法具有更靈活的特征學(xué)習(xí)能力，提高了分類精度[2]. N. West 等在調(diào)制識(shí)別問(wèn)題上應(yīng)用了CNN、深度殘差網(wǎng)絡(luò)(deep residual network,ResNet)和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(long short term memory network, LSTM)，通過(guò)對(duì)比得出重要結(jié)論——識(shí)別率不依賴于網(wǎng)絡(luò)深度[3]. S. Rajendran 等將振幅相位信息輸入LSTM，識(shí)別率得到進(jìn)一步提高[4]. 后續(xù)許多研究工作采用LSTM 以及CNN，將IQ 數(shù)據(jù)、星座圖等信息作為輸入，均取得不錯(cuò)的成果[5-6].

然而，由于不理想信道，信號(hào)在傳輸過(guò)程中存在多徑衰落、陰影衰落、多普勒頻移等現(xiàn)象[7]，加上環(huán)境中的噪聲，限制了調(diào)制識(shí)別的分類精度. 本文提出了一種基于軟閾值的深度學(xué)習(xí)算法，將軟閾值作為非線性變換層嵌入到深度學(xué)習(xí)中，達(dá)到濾除噪聲的目的. 與其他深度學(xué)習(xí)算法相比，本文算法提升了模型的識(shí)別能力，尤其在低信噪比(signal-noise ratio，SNR)環(huán)境下.

1 問(wèn)題建模和方案設(shè)計(jì)

1.1 問(wèn)題建模

1.2 方案設(shè)計(jì)

為解決低SNR 條件下的調(diào)制識(shí)別問(wèn)題，本文提出了基于軟閾值深度學(xué)習(xí)的調(diào)制識(shí)別方法，整體框架如圖1 所示.

圖1 基于軟閾值的深度學(xué)習(xí)模型Fig. 1 Deep learning model based on soft threshold

1.2.1 網(wǎng)絡(luò)框架

所提網(wǎng)絡(luò)模型由卷積層、池化層、軟閾值學(xué)習(xí)層和全連接層組成. 將原始的IQ 數(shù)據(jù)轉(zhuǎn)換成幅度相位(amplitude phase，AP)信息，受文獻(xiàn)[4]的啟發(fā)，AP 信息對(duì)比原始IQ 數(shù)據(jù)提取特征更有效，更適合作為模型的輸入. 卷積層負(fù)責(zé)對(duì)輸入數(shù)據(jù)進(jìn)行自動(dòng)特征提取，池化層用于減少參數(shù)量以去除冗余信息、簡(jiǎn)化網(wǎng)絡(luò)的復(fù)雜度. 紅色虛線框內(nèi)是基于軟閾值的深度學(xué)習(xí)網(wǎng)絡(luò)模型，由卷積層、池化層、軟閾值學(xué)習(xí)網(wǎng)絡(luò)和全連接層組成，考慮到深度對(duì)識(shí)別率的微小作用以及帶來(lái)的時(shí)間復(fù)雜度，網(wǎng)絡(luò)層數(shù)并不深. 最后通過(guò)全連接層后使用softmax 激活函數(shù)，經(jīng)過(guò)歸一化轉(zhuǎn)化為預(yù)測(cè)概率. 對(duì)比各類調(diào)制方式的概率值，取最大的為識(shí)別結(jié)果輸出.

閾值的選取對(duì)于軟閾值函數(shù)的結(jié)果至關(guān)重要，傳統(tǒng)的軟閾值設(shè)置需要專家借助專業(yè)知識(shí)進(jìn)行多次調(diào)試得到，費(fèi)時(shí)費(fèi)力. 在文獻(xiàn)[8]中，作者提出了一種新的軟閾值學(xué)習(xí)方法. 在診斷機(jī)器故障領(lǐng)域同樣面對(duì)環(huán)境噪聲以及機(jī)器內(nèi)部噪聲影響判斷精確度的問(wèn)題，作者設(shè)計(jì)了深度殘差收縮網(wǎng)絡(luò)，融合了ResNet、注意力機(jī)制和軟閾值函數(shù)，由卷積層、殘差收縮模塊、全連接層組成. 其中將軟閾值作為非線性變換層插入殘差收縮模塊，免去了人工設(shè)置的種種弊端. 受文獻(xiàn)[8]啟發(fā)，本文設(shè)計(jì)了軟閾值學(xué)習(xí)層，如圖1 中紅色虛線框內(nèi)所示，將上一層提取的特征絕對(duì)值經(jīng)過(guò)全局平均池化得到一維向量，數(shù)目等于第一層卷積核的數(shù)目，再將向量輸入到兩層全連接網(wǎng)絡(luò)中. 最后將學(xué)習(xí)到的參數(shù)通過(guò)sigmoid 激活函數(shù)進(jìn)行歸一化作為每一個(gè)通道的閾值τ，具體為

2 實(shí)驗(yàn)仿真

為了驗(yàn)證本文提出模型的有效性，利用開(kāi)源數(shù)據(jù)集進(jìn)行實(shí)驗(yàn). 將數(shù)據(jù)集進(jìn)行預(yù)處理，提取AP 信息并分為訓(xùn)練集、驗(yàn)證集和測(cè)試集. 實(shí)驗(yàn)采用Tensorflow框架，利用GPU 加速.

2.1 數(shù)據(jù)集

本文使用開(kāi)源數(shù)據(jù)集RML2016.10a 作為訓(xùn)練數(shù)據(jù)，由GNU Radio 模擬生成，包括11 種常見(jiàn)的調(diào)制方式：BPSK，QPSK，8PSK，16QAM，64QAM，BFSK，CPFSK，PAM4，WBFM，AM-SSB 和AM-DSB(8 種數(shù)字調(diào)制和3 種模擬調(diào)制). 每種調(diào)制方式SNR 范圍為-20～18 dB，每組間隔2 dB，共220 000 組數(shù)據(jù). 每組為128 采樣點(diǎn)的IQ 數(shù)據(jù)，格式為2×128 的向量. 它模擬了信號(hào)傳播過(guò)程中的頻率選擇性衰落、采樣率偏移、高斯加性白噪聲，文獻(xiàn) [10]對(duì)其做了詳細(xì)介紹.

圖2 展示了11 種調(diào)制方式在SNR 分別為-20、0、18 dB 下的星座圖. 對(duì)于同一種調(diào)制方式，如紅色框內(nèi)，調(diào)制方式都為8PSK. 噪聲對(duì)IQ 數(shù)據(jù)的影響非常顯著，如黑色框內(nèi)，同在-20 dB 條件下，可以看出區(qū)分不同的調(diào)制方式是很困難的.

圖2 不同調(diào)制方式在不同SNR 下的星座圖Fig. 2 Constellations of different modulation modes at different SNR

2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理能夠提升模型收斂速度和效果. 很多研究者將循環(huán)譜、時(shí)域統(tǒng)計(jì)特征或者星座圖等作為模型的輸入，在人為選擇高階特征過(guò)程中既增加了計(jì)算量又丟失了其他信息. 文獻(xiàn)[4] 提出輸入AP 信息比直接輸入IQ 數(shù)據(jù)更能提升識(shí)別率，并且AP 信息的提取比較簡(jiǎn)單，不會(huì)帶來(lái)高階的計(jì)算復(fù)雜度，所以本文選取AP 信息作為模型的輸入. 預(yù)處理后對(duì)幅度進(jìn)行L2范數(shù)歸一化，之后對(duì)標(biāo)簽數(shù)據(jù)進(jìn)行One-hot 編碼，為后續(xù)實(shí)驗(yàn)做準(zhǔn)備.

2.3 超參數(shù)設(shè)置

整個(gè)訓(xùn)練過(guò)程基于Tensorflow 和Keras 深度學(xué)習(xí)框架，使用Nvidia JETSON AGX XAVIER GPU 加速. 第一層卷積層尺寸為1×2，通道數(shù)為80；第二層池化層尺寸為2×2，步數(shù)也是2×2；最后兩個(gè)全連接層神經(jīng)元分別為64 和16. 軟閾值學(xué)習(xí)網(wǎng)絡(luò)中兩層卷積層尺寸均為1×3，通道數(shù)為80，兩層全連接神經(jīng)元數(shù)目也是80. 采用Adam 優(yōu)化器，學(xué)習(xí)率初始值設(shè)置為0.01，迭代50 次，每次訓(xùn)練1 024 組數(shù)據(jù).

3 結(jié)果分析

本文首先采用第2 節(jié)設(shè)置的超參數(shù)進(jìn)行訓(xùn)練. 圖3展示了訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集損失值的下降過(guò)程. 通過(guò)20 輪的訓(xùn)練，訓(xùn)練集和驗(yàn)證集基本收斂，證明了所設(shè)置學(xué)習(xí)率的合理性.

圖3 訓(xùn)練集和驗(yàn)證集損失值下降曲線Fig. 3 Loss drop curve of training set and verification set

3.1 超參數(shù)研究

為了設(shè)置合適的參數(shù)，本文考慮了卷積層數(shù)、軟閾值學(xué)習(xí)網(wǎng)絡(luò)數(shù)目的影響. 圖4 對(duì)比了具有兩層卷積層、三層卷積層、兩個(gè)軟閾值學(xué)習(xí)網(wǎng)絡(luò)和本文算法的識(shí)別率. 從結(jié)果可得：增加網(wǎng)絡(luò)深度并不能進(jìn)一步提高識(shí)別率反而增加了時(shí)間冗余度，模型收斂變慢；本文所設(shè)置的模型超參數(shù)的效果是最好的.

圖4 模型層數(shù)對(duì)識(shí)別率的影響Fig. 4 The influence of model layer number on recognition rate

3.2 與其他算法對(duì)比

為了驗(yàn)證本文模型的有效性，將其他深度學(xué)習(xí)模型與之進(jìn)行對(duì)比. 這些深度學(xué)習(xí)模型是其他論文中提出的，收斂性和有效性已經(jīng)得到了驗(yàn)證，主要有：輸入為IQ 的CNN、輸入為IQ 的ResNet、輸入為AP 信息的ResNet、輸入為IQ 的LSTM、輸入為AP 的LSTM. 其中，CNN采用文獻(xiàn)[2]中訓(xùn)練好的網(wǎng)絡(luò)，模型包含了兩層卷積層、兩層池化層和兩層全連接層. ResNet 采用文獻(xiàn)[11]中訓(xùn)練好的網(wǎng)絡(luò)參數(shù)，考慮到時(shí)間復(fù)雜度，只堆疊了兩個(gè)殘差塊和兩層全連接. LSTM 包含了一層LSTM 層和兩層全連接層.

圖5 對(duì)比了不同網(wǎng)絡(luò)結(jié)構(gòu)在不同SNR 下的識(shí)別準(zhǔn)確率. 輸入為AP 的LSTM 在SNR 為0 以上的環(huán)境中識(shí)別率達(dá)到80%，而輸入為IQ 的LSTM 效果最差，最大準(zhǔn)確率只能達(dá)到60%左右，可以證明，LSTM 中AP 信息對(duì)于特征的提取更加有效.ResNet 和CNN 效果相當(dāng)，在高SNR 條件下能達(dá)到70%以上，并且對(duì)幅度相位和IQ 數(shù)據(jù)不敏感，加深深度并不能使識(shí)別率進(jìn)一步增加. 本文提出的網(wǎng)絡(luò)總體好于其他的網(wǎng)絡(luò)結(jié)構(gòu)，在SNR 達(dá)到-2 dB以上的條件下識(shí)別準(zhǔn)確率均能超過(guò)80%，最高達(dá)到88%；在低SNR 環(huán)境下，精確率明顯比其他算法高，SNR 超過(guò)-5 dB 就有超過(guò)一半的樣本實(shí)現(xiàn)正確的調(diào)制識(shí)別.表1 展示了不同深度學(xué)習(xí)模型所需要的訓(xùn)練時(shí)間. LSTM 雖然效果不錯(cuò)，但是僅僅一層網(wǎng)絡(luò)就花費(fèi)了4 000 s 以上的時(shí)間，時(shí)間復(fù)雜度很高. 本文提出的網(wǎng)絡(luò)相比其他網(wǎng)絡(luò)結(jié)構(gòu)耗時(shí)較少，效率較高.

圖5 不同模型識(shí)別率對(duì)比Fig. 5 Comparison of recognition rates of different models

表1 不同深度學(xué)習(xí)模型算法耗費(fèi)時(shí)間對(duì)比Tab. 1 Time cost of different deep-learning algorithms

3.3 總結(jié)分析

圖6 是SNR=18 dB 和2 dB 時(shí)的混淆矩陣. 從紅色虛線框可以看出，WBFM 很大概率會(huì)被誤識(shí)別為AM-DSB，同樣QAM16 和QAM64 也難以區(qū)分，導(dǎo)致識(shí)別率的降低. 要進(jìn)一步提高模型的精確性，需要解決容易混淆的調(diào)制方式，例如通過(guò)增加特征或擴(kuò)充數(shù)據(jù)等方式，我們會(huì)在后續(xù)的工作中進(jìn)行研究.

圖6 在SNR=18 dB 和2 dB 下的混淆矩陣Fig. 6 Confusion matrix when SNR =18 dB and 2 dB

4 結(jié) 論

環(huán)境或設(shè)備中的噪聲干擾會(huì)對(duì)正確解調(diào)信號(hào)帶來(lái)困難，影響到識(shí)別的準(zhǔn)確率. 為了解決低SNR 條件下的調(diào)制方式識(shí)別問(wèn)題，提出了一種基于軟閾值的深度學(xué)習(xí)方法，即在CNN 的基礎(chǔ)上加入軟閾值學(xué)習(xí)網(wǎng)絡(luò). 通過(guò)軟閾值函數(shù)濾除噪聲，軟閾值的設(shè)置通過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到，省去了傳統(tǒng)算法人工設(shè)置的諸多麻煩. 實(shí)驗(yàn)證明，本文提出的模型對(duì)比其他已有模型效果更好，尤其在低SNR 條件下，SNR 達(dá)到-2 dB 以上，識(shí)別率超過(guò)80%以上，并且效率很高. 本文提出的算法在電磁頻譜態(tài)勢(shì)感知系統(tǒng)中進(jìn)行了應(yīng)用，取得了良好的效果.