應(yīng)用深度學(xué)習(xí)的信號解調(diào)*

黃媛媛，張 劍,周興建,盧建川

(1.中興通訊股份有限公司，成都 610041；2.中國西南電子技術(shù)研究所，成都 610036)

?

應(yīng)用深度學(xué)習(xí)的信號解調(diào)*

黃媛媛1，張 劍**2,周興建2,盧建川2

(1.中興通訊股份有限公司，成都 610041；2.中國西南電子技術(shù)研究所，成都 610036)

針對噪聲干擾信道下的信號解調(diào)問題，提出了應(yīng)用深度學(xué)習(xí)的信號識別方法，通過識別信號完成信號解調(diào)。深層置信網(wǎng)絡(luò)使用受限波爾茲曼機(jī)為基本單元，設(shè)計(jì)針對通信信號識別的多層深層置信網(wǎng)絡(luò)。通信信號首先變換為特定表征序列，并以此構(gòu)建完備的訓(xùn)練集合對深度置信網(wǎng)絡(luò)進(jìn)行逐層的無監(jiān)督學(xué)習(xí)和全局有監(jiān)督的微調(diào)反饋學(xué)習(xí)，在深層置信網(wǎng)絡(luò)的權(quán)重參數(shù)優(yōu)化過程中實(shí)現(xiàn)對通信信號的特征提取與識別。仿真實(shí)驗(yàn)表明，與傳統(tǒng)調(diào)制信號解調(diào)方法相比，應(yīng)用深度學(xué)習(xí)的信號解調(diào)方法的檢測性能有約0.4 dB的提升。

無線通信；信號解調(diào)；深度學(xué)習(xí)；深層置信網(wǎng)絡(luò)；信號識別

1 引 言

現(xiàn)代無線通信系統(tǒng)中，用戶信息比特通常經(jīng)過信號調(diào)制處理變換為各種頻段上連續(xù)的電磁波來實(shí)現(xiàn)信息的遠(yuǎn)距離傳輸。在通信系統(tǒng)的接收端，電磁波信號通過天線、射頻信道、混頻等處理后變換為基帶調(diào)制信號，并通過解調(diào)處理完成信息的提取[1]。信號的解調(diào)處理一般根據(jù)不同的調(diào)制方式，采用一系列逆向的數(shù)值運(yùn)算處理完成。由于特定的一段基帶調(diào)制信號與特定的比特信息一一對應(yīng)，信號解調(diào)的過程也可以理解為在有噪聲干擾情況下的基帶調(diào)制信號識別，因此可以應(yīng)用信號識別的方法來實(shí)現(xiàn)通信信號的信息提取。

人工智能算法被廣泛應(yīng)用于語音、圖像、符號等多種信號的特征分析、分類識別及策略選擇等多種領(lǐng)域[2]。尤其是2006年后，加拿大多倫多大學(xué)教授Hinton和他的學(xué)生Salakhutdinov在《科學(xué)》雜志上提出了一種非常有效的無監(jiān)督逐層特性學(xué)習(xí)方法[3]，有效解決了深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的參數(shù)初始化和非凸代價函數(shù)在參數(shù)空間中存在的局部優(yōu)化問題，有力地推動了人工智能在各個方面的應(yīng)用研究。Bengio等人[4]提出了一種收縮判別分析(Contractive Discriminative Analysis,CDA) 算法用于分離強(qiáng)噪聲信號與判別性信號。2012年，微軟公司一個基于深度學(xué)習(xí)的語音視頻檢索系統(tǒng)將單詞識別錯誤率從27.4%降低到18.5%[5]。2014年，Sun Yi等[6]提出了一種用深度隱藏身份特征的方法學(xué)習(xí)高等級特征來進(jìn)行人臉識別，獲得了97.45%的準(zhǔn)確度。2014年，Shen Yelong等[7]提出了卷積版的深度結(jié)構(gòu)語義模型，將上下文中語義相似的單詞通過一個卷積結(jié)構(gòu)投影到上下文特征空間向量上，實(shí)現(xiàn)了準(zhǔn)確率從43.1%到44.7%的提高?；诰矸e神經(jīng)網(wǎng)絡(luò)的解調(diào)器被用于對雙極性擴(kuò)展的二進(jìn)制相移鍵控超奈奎斯特速率信號進(jìn)行解調(diào)，有利于解決由超奈奎斯特速率雙極性傳輸信號產(chǎn)生的嚴(yán)重碼間干擾問題[8]。

本文將深度學(xué)習(xí)技術(shù)引入通信信號的信號解調(diào)算法設(shè)計(jì)中，識別網(wǎng)絡(luò)利用受限波爾茲曼機(jī)來構(gòu)建多層深度置信網(wǎng)絡(luò)，通過識別調(diào)制信號來實(shí)現(xiàn)對接收的通信信號所傳輸?shù)谋忍匦畔⑦M(jìn)行判決。算法首先根據(jù)深度置信網(wǎng)絡(luò)的數(shù)據(jù)處理方式將基帶通信信號進(jìn)行采樣和數(shù)據(jù)變換，構(gòu)建完整的輸入輸出訓(xùn)練序列對；利用訓(xùn)練序列依次完成深度置信網(wǎng)絡(luò)的無監(jiān)督訓(xùn)練、有反饋的微調(diào)優(yōu)化，使得深度置信網(wǎng)絡(luò)正確提取接收信號特征，實(shí)現(xiàn)準(zhǔn)確判決傳輸信息比特的能力。仿真實(shí)驗(yàn)表明，采用深度學(xué)習(xí)的信號解調(diào)方法性能略高于傳統(tǒng)的解調(diào)方法。

2 深度置信網(wǎng)絡(luò)

調(diào)制信號識別所使用的深度置信網(wǎng)絡(luò)如圖1所示，于2006年首次由Hinton教授提出[3]。深度置信網(wǎng)絡(luò)由兩個受限波爾茲曼機(jī)串聯(lián)構(gòu)成,其中上層受限波爾茲曼機(jī)的輸入為某時刻接收到的通信信號經(jīng)過結(jié)構(gòu)變換后的待處理信號x=[x0,x1,…,xN]，其輸出信號作為下層受限波爾茲曼機(jī)的輸入，下層受限波爾茲曼機(jī)的輸出經(jīng)過軟分類處理得到當(dāng)前通信信號所傳輸信息的判決。

圖1 深度置信網(wǎng)絡(luò)Fig.1 Deep belief network

受限波爾茲曼機(jī)是一種包含兩層結(jié)構(gòu)的網(wǎng)絡(luò)[9]，分為可見層和隱藏層?？梢妼庸?jié)點(diǎn)向量記為v=[v0,v1,…,vK]，隱藏層節(jié)點(diǎn)向量記為h=[h0,h1,…，hM]，模型參數(shù)θ={W,a,b}，Wij表示可見層第i個節(jié)點(diǎn)和隱藏層第j個節(jié)點(diǎn)之間的權(quán)重系數(shù)，ai和bj分別為可見層節(jié)點(diǎn)和隱藏層節(jié)點(diǎn)的偏置量。本算法中偏置量設(shè)置為0，模型參數(shù)僅涉及權(quán)重矩陣θ={W}。受限波爾茲曼機(jī)網(wǎng)絡(luò)的狀態(tài)由節(jié)點(diǎn)的取值決定，每個狀態(tài)可以用分子熱力學(xué)中的能量函數(shù)來描述如下[10]：

E(v,h;θ)=-∑i,jvihjwij。

(1)

對應(yīng)的系統(tǒng)概率分布函數(shù)為

(2)

(3)

式中：Z是配分函數(shù)，是將所有狀態(tài)下的能量都考慮進(jìn)來的一個規(guī)整項(xiàng)?？梢妼拥倪吘壐怕史植紴?/p>

(4)

由于受限波爾茲曼機(jī)是一個用能量函數(shù)導(dǎo)出的描述顯層數(shù)據(jù)概率分布的模型，其模型參數(shù)的優(yōu)化可以使用最大似然準(zhǔn)則，最大化可見層的邊緣分布概率值:

(5)

上述參數(shù)的優(yōu)化計(jì)算可以采用Hinton提出的對比散度算法[11]實(shí)現(xiàn)。受限波爾茲曼機(jī)的參數(shù)迭代更新如下式所示：

(6)

式中：η為參數(shù)更新學(xué)習(xí)速率，n為迭代的次數(shù)。

3 應(yīng)用深度學(xué)習(xí)的信號解調(diào)算法

應(yīng)用深度學(xué)習(xí)的通信信號解調(diào)算法包括兩大部分來實(shí)現(xiàn)，首先是構(gòu)建深度置信網(wǎng)絡(luò)，并完成網(wǎng)絡(luò)參數(shù)的訓(xùn)練學(xué)習(xí)，然后才能將識別系統(tǒng)應(yīng)用于接收通信調(diào)制信號的識別。其中構(gòu)建深度置信網(wǎng)絡(luò)包括了通信信號數(shù)據(jù)變換和深度置信網(wǎng)絡(luò)本身結(jié)構(gòu)的構(gòu)建，網(wǎng)絡(luò)參數(shù)的訓(xùn)練包括無監(jiān)督的學(xué)習(xí)與有監(jiān)督的微調(diào)兩個階段。算法流程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

3.1 通信信號變換

由于深度置信網(wǎng)絡(luò)的首個可見層輸入數(shù)據(jù)為一系列0和1構(gòu)成的數(shù)據(jù)幀，離散采樣的通信基帶信號需要進(jìn)行變換處理才能轉(zhuǎn)變?yōu)樯疃戎眯啪W(wǎng)絡(luò)有效處理的數(shù)據(jù)幀結(jié)構(gòu)?；鶐Р蓸拥碾x散通信復(fù)數(shù)信號記為s(n)。對該信號首先進(jìn)行歸一化處理，使信號的實(shí)部與虛部信號值分布在[-1,1]區(qū)間。將[-1,1]區(qū)間離散劃分為21個階梯，記錄為Sr，則Sr=[-1,-0.9,-0.8,…,-0.1,0,0.1,…，0.8，0.9,1]，每個s(n)變換為一個長度為21由0和1構(gòu)成的數(shù)據(jù)序列，記為xtn，且滿足下式關(guān)系：

(7)

(8)

其中:i=0～20。當(dāng)每次信號識別完成連續(xù)KS個調(diào)制符號的解調(diào)時，深度置信網(wǎng)絡(luò)的輸入序列長度為21×KS。此時構(gòu)建完備的訓(xùn)練序列包含了2KS對輸入輸出組[x,y]，x為長度為21×KS的[0,1]序列，y為輸入x對應(yīng)的輸出序列，長度為KS。

3.2 網(wǎng)絡(luò)訓(xùn)練與學(xué)習(xí)

按照第2節(jié)的方法構(gòu)建后的深度置信網(wǎng)絡(luò)需要通過訓(xùn)練和學(xué)習(xí)，使深度置信網(wǎng)絡(luò)能準(zhǔn)確提取信號特征，實(shí)現(xiàn)對發(fā)送的不同調(diào)制信號進(jìn)行識別。網(wǎng)絡(luò)訓(xùn)練與學(xué)習(xí)包括兩個階段，無監(jiān)督的訓(xùn)練學(xué)習(xí)用于深度置信網(wǎng)絡(luò)的參數(shù)初始化與特征提取。其訓(xùn)練順序如圖1所示，為至上而下進(jìn)行，第一層的可見層通過訓(xùn)練學(xué)習(xí)計(jì)算得到隱藏層并更新本層的參數(shù)矩陣，然后第一層的隱藏層作為第二層的可見層進(jìn)行第二層的訓(xùn)練學(xué)習(xí)，直到完成所有網(wǎng)絡(luò)層的訓(xùn)練更新。以第一層訓(xùn)練為例，其無監(jiān)督訓(xùn)練學(xué)習(xí)包括下列步驟：

Step 1 本層的v=x，為訓(xùn)練樣本集合中的一個樣本，對所有隱藏層節(jié)點(diǎn)計(jì)算

(9)

sigm(x)=1/(1+e-x)。

(10)

Step 2 利用計(jì)算的隱藏層節(jié)點(diǎn)計(jì)算本層當(dāng)前網(wǎng)絡(luò)參數(shù)下的可見層

(11)

Step 3 用下式計(jì)算網(wǎng)絡(luò)參數(shù)的偏移量ΔW，代入公式(6)實(shí)現(xiàn)網(wǎng)絡(luò)配置參數(shù)的更新:

(12)

完成無監(jiān)督訓(xùn)練學(xué)習(xí)后需要對深度置信網(wǎng)絡(luò)進(jìn)行有監(jiān)督的微調(diào)學(xué)習(xí)來完成網(wǎng)絡(luò)優(yōu)化，這一過程是利用網(wǎng)絡(luò)輸出識別值與真實(shí)值的誤差進(jìn)行逆向反饋，對整個系統(tǒng)進(jìn)行微調(diào)，采用將自底向上的方式來進(jìn)行微調(diào)[10]。該過程與BP神經(jīng)網(wǎng)絡(luò)的逆向反饋調(diào)節(jié)思想一致。

深度置信網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)需要遍歷所有可能的發(fā)送信號，并在不同信噪比下反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)配置參數(shù)趨于穩(wěn)定。完成訓(xùn)練學(xué)習(xí)的深度置信網(wǎng)絡(luò)就可以開展對未知的接收通信信號進(jìn)行信號識別驗(yàn)證。

4 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證算法的有效性，對通信系統(tǒng)中的最小移頻鍵控(Minimum-Shift Keying，MSK)調(diào)制信號的信號識別進(jìn)行了計(jì)算機(jī)仿真。仿真中開展了對2、3、5個連續(xù)MSK符號所構(gòu)成的識別單元進(jìn)行處理，對應(yīng)的變換后輸入樣本長度分別為42、63、105；深度置信網(wǎng)絡(luò)采用兩層受限波爾茲曼機(jī)結(jié)構(gòu)，第一隱藏層節(jié)點(diǎn)數(shù)分別為12、18、30，第二隱藏層的節(jié)點(diǎn)數(shù)分別為4、8、32。深度置信網(wǎng)絡(luò)在不同信噪比下的信號解調(diào)性能如圖3所示，圖中對深度學(xué)習(xí)方法的識別性能與傳統(tǒng)相干解調(diào)性能進(jìn)行了對比。

圖3 信號解調(diào)性能對比圖Fig.3 Performance of signal demodulation

從圖3的仿真分析結(jié)果可以看出，應(yīng)用深度學(xué)習(xí)的信號識別解調(diào)方法的誤比特性能略優(yōu)于傳統(tǒng)的相干信號解調(diào)方法0.4 dB，因此采用該方法進(jìn)行通信信息的識別是有效的。對不同長度MSK符號的識別性能仿真對比表明，信號長度的增加基本不影響識別的誤比特率。由于MSK調(diào)制信號僅與傳輸?shù)那昂蟊忍匦畔⒂嘘P(guān)，因而大于兩個連續(xù)符號的識別網(wǎng)絡(luò)并不會引入更多關(guān)聯(lián)信息，因此無法進(jìn)一步改善信號的識別解調(diào)性能，因此對于采用MSK調(diào)制的通信信號，深度置信網(wǎng)絡(luò)可以采用規(guī)模較小的結(jié)構(gòu)實(shí)現(xiàn)信號的解調(diào)。此外，由于信號調(diào)制本質(zhì)上是將信息比特映射為特定符號，不同調(diào)制方式采用的映射符號特征不同而已，對于應(yīng)用深度學(xué)習(xí)的信號識別方法沒有本質(zhì)區(qū)別，僅需要重新學(xué)習(xí)訓(xùn)練而已，因而對于其他調(diào)制方式，如雙相移相鍵控(Binary Phase Shift Keying，BPSK)、高斯濾波最小移頻鍵控(Gaussian Minimum Shift Keying，GMSK)等信號識別的解調(diào)處理，仿真實(shí)驗(yàn)結(jié)果與采用MSK調(diào)制非常相似。

5 結(jié)束語

深度學(xué)習(xí)有力地推動了人工智能在各個領(lǐng)域的應(yīng)用。本文針對通信系統(tǒng)中噪聲干擾環(huán)境下的信號解調(diào)問題，提出了采用深度學(xué)習(xí)的通信信號識別解調(diào)方法。仿真驗(yàn)證表明，該方法的信號解調(diào)性能略優(yōu)于傳統(tǒng)的相干解調(diào)處理，證明了采用應(yīng)用深度學(xué)習(xí)的通信信息識別方法的有效性。此外，傳統(tǒng)的通信信號解調(diào)方法對不同的調(diào)制方法需要采用特定的解調(diào)處理，而人工智能的處理方法僅關(guān)注信號輸入輸出關(guān)系，因而可以采用統(tǒng)一處理架構(gòu)實(shí)現(xiàn)對不同調(diào)制信號的識別處理，有利于通信設(shè)備綜合化設(shè)計(jì)。由于通信環(huán)境的多樣性，通信信息處理需要面對復(fù)雜多變的電磁環(huán)境，而人工智能具備內(nèi)在的自我學(xué)習(xí)特性，有利于適應(yīng)不同通信環(huán)境應(yīng)用需求，因此下一步可以針對變化電磁環(huán)境下的通信信號開展深度學(xué)習(xí)架構(gòu)和實(shí)現(xiàn)方法的研究。

[1] 曹志剛，錢亞生.現(xiàn)代通信原理[M].北京：清華大學(xué)出版社，2002.

[2] TAN T,QIAN Y M,YU K. Cluster adaptive training for deep neural network based acoustic model[J].IEEE/ACM Transactions on Audio,Speech and Language Processing,2016,24(3): 459-468.

[3] HINTON G,SALAKHUTDINOV R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786): 504-507.

[4] RIFAI S,BENGIO Y,COURVILLEA,et al.Disentangling factors of variation for facial expression recognition[C]//Proceedings of the 12th European Conference on Computer Vision(ECCV).Florence,Italy:IEEE,2012:808-822．

[5] BENGIO Y,COURVILLE A,VINCENT P.Representation learning: a review and new perspectives[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8): 1798-1828．

[6] SUN Y,WANG X G,TANG X O. Deep learning face representation from predicting 10000 classes[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Columbus: IEEE,2014:1891-1898.

[7] SHEN Y L,HE X D,GAO J F,et al,Learning semantic representations using convolutional neural networks for Web search[C]//Proceedings of the Companion Publication of the 23rd International Conference on World Wide Web Companion. Seoul: IEEE,2014:373-374.

[8] OUYANG X C,WU L N.Faster-than-Nyquist rate communicationvia convolutional neural networks-based demodulators[J].Journal of Southeast University,2016,32(1):6-10.

[9] LE R N,BENGIO Y. Representational power of restricted Boltzmann machines and deep belief networks[J].Neural Computation,2008,20(6): 1631-1649.

[10] HUA Y M,GUO J H,ZHAO H.Deep belief networks and deep learning[C]//Proceedings of International Conference on Intelligent Computing and Internet of Things.Harbin: IEEE,2015:1-4.

[11] HINTON G E. Training products of experts by minimizing contrastive divergence[J].Neural Computation,2002,14(8):1771-1800.

Demodulation with Deep Learning

HUANG Yuanyuan1,ZHANG Jian2,ZHOU Xingjian2,LU Jianchuan2

(1.ZTE Corporation,Chengdu 610041，China;2.Southwest China Institute of Electronic Technology,Chengdu 610036，China)

This paper proposes a deep learning based demodulation method by identifying the modulated signal in radio channel. The proposed deep belief network is composed of multilayer restricted Boltzmann machines. The communication signal is transformed into a new form,which is used as the input of the deep belief network and system training. The deep belief network extracts the characteristics of communication signals by top-down depth learning and bottom-up feedback fine tuning. The algorithm’s practicability is verified by simulation. The simulation also indicates that the bit error rate(BER) of the proposed method is almost 0.4 dB better than that of traditional one.

wireless communication;demodulation;deep learning;deep belief network;signal identification

10.3969/j.issn.1001-893x.2017.07.001

黃媛媛，張劍,周興建,等.應(yīng)用深度學(xué)習(xí)的信號解調(diào)[J].電訊技術(shù)，2017,57(7):741-744.[HUANG Yuanyuan,ZHANG Jian,ZHOU Xingjian,et al.Demodulation with deep learning[J].Telecommunication Engineering,2017,57(7):741-744.]

2017-01-06；

2017-03-31 Received date:2017-01-06；Revised date：2017-03-31

國防重點(diǎn)實(shí)驗(yàn)室基金項(xiàng)目(9140C020203150C02008)

TN911

A

1001-893X(2017)07-0741-04

黃媛媛(1978—)，女，四川達(dá)州人，2006年于電子科技大學(xué)獲計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)碩士學(xué)位，現(xiàn)為工程師，主要研究方向?yàn)闊o線通信技術(shù)；

Email:swordisme@163.com

張 劍(1977—)，男，四川眉山人，2008年于電子科技大學(xué)獲信號與信息處理專業(yè)博士學(xué)位，現(xiàn)為高級工程師，主要研究方向?yàn)闊o線通信技術(shù)及其信號處理；

周興建(1970—)，男，四川廣安人，研究員，主要研究方向?yàn)闊o線通信技術(shù)；

盧建川(1964—)，男，重慶人，1989年于南京航空航天大學(xué)獲通信與信息系統(tǒng)專業(yè)碩士學(xué)位，現(xiàn)為研究員，主要研究方向?yàn)闊o線通信技術(shù)。

**通信作者：swordisme@163.com Corresponding author：swordisme@163.com