多元LDPC編碼調(diào)制系統(tǒng)CNN輔助迭代檢測(cè)譯碼算法

萬(wàn) 飛，白寶明，朱 敏

(西安電子科技大學(xué) 綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，陜西 西安710071)

0 引言

近年來(lái)，深度學(xué)習(xí)(Deep Learning,DL)已經(jīng)在圖像處理、機(jī)器翻譯、語(yǔ)音識(shí)別等領(lǐng)域展現(xiàn)出了顯著的性能提升，也在通信領(lǐng)域收到了廣泛的關(guān)注。DL在物理層的典型應(yīng)用包括模型/數(shù)據(jù)驅(qū)動(dòng)的檢測(cè)、均衡和譯碼。

當(dāng)前，將DL應(yīng)用到譯碼中已經(jīng)成為學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)同。文獻(xiàn)[1]將神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)引入到信道譯碼(BCH碼)中，其展現(xiàn)的優(yōu)異性能激發(fā)了DL與譯碼結(jié)合的研究熱潮。隨后，越來(lái)越多基于DL的譯碼方案被提出[2-3]，例如，自編碼器[4]和不同類型的NN譯碼方案的性能分析[5-6]。同時(shí)，DL與經(jīng)典算法的結(jié)合也被視為另一種有效利用深度學(xué)習(xí)能力的方案。文獻(xiàn)[7] 基于置信傳播譯碼算法與NN的結(jié)合，將因子圖上的權(quán)重視為分枝重要性度量，剪枝低重要性的因子圖分枝，對(duì)于Reed-Muller碼和短LDPC碼取得了良好的比特錯(cuò)誤率(Bit Error Rate,BER)性能，并且顯著降低了譯碼復(fù)雜度。其他傳統(tǒng)譯碼算法，比如最小和譯碼算法及偏移最小和算法[8]通過(guò)NN給因子圖增加乘性訓(xùn)練權(quán)重和偏移參數(shù)減少了近似誤差，也取得了性能提升。而針對(duì)相關(guān)噪聲的影響，文獻(xiàn)[9]在二元LDPC碼中使用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)來(lái)輔助收端抵抗噪聲的影響，同樣的方案也被采用輔助Polar碼譯碼[10]。當(dāng)下，大部分的工作都集中在二元碼上，并且除了基于掩模圖的方案[11]，其他所有方案都受限于信息長(zhǎng)度，基本都在中短碼長(zhǎng)下使用[12]。

而一般來(lái)說(shuō)，在等效比特長(zhǎng)度下，相較于二元LDPC碼，多元LDPC碼有著更小的生成矩陣和更優(yōu)異的誤碼性能。因此，神經(jīng)網(wǎng)絡(luò)的規(guī)模隨著碼長(zhǎng)的增長(zhǎng)呈指數(shù)增長(zhǎng)的限制對(duì)于多元碼不再是困難。并且，多元LDPC碼天然適合與高階調(diào)制相結(jié)合的特性也使得其更具有實(shí)用性。但是，軟判決譯碼算法的復(fù)雜度太高，這是限制多元LDPC碼實(shí)用的最大問(wèn)題。在文獻(xiàn)[13] 中，對(duì)于加性高斯白噪聲(Additive White Gaussian Noise,AWGN)信道傳輸?shù)姆?hào)使用sinc脈沖成形，提出一種基于硬消息傳遞的多元LDPC碼聯(lián)合檢測(cè)譯碼迭代(Iterative Joint Detection Decoding,IJDD)的方案。

本文考慮到更實(shí)際的場(chǎng)景，在發(fā)端使用了平方根升余弦(square-Root Raised-Cosine,RRC)脈沖成形濾波器。對(duì)于AWGN信道，在收端也使用對(duì)應(yīng)的RRC濾波器和適當(dāng)?shù)牟蓸印Ｒ虼?，端到端的等效離散模型可以視為信號(hào)經(jīng)歷了一個(gè)相關(guān)噪聲信道。同時(shí)，文獻(xiàn)[14]及后續(xù)的工作也展現(xiàn)出了一種全新的角度——從噪聲的角度考慮譯碼的方案?；谙嚓P(guān)噪聲的特性，采用DL來(lái)減弱噪聲的影響以提升傳輸?shù)男阅堋?/p>

本文提出了一種CNN輔助的迭代檢測(cè)譯碼(Iterative Detection and Decoding,IDD)框架，可以有效抵抗相關(guān)信道噪聲。NN從接收序列中恢復(fù)出相關(guān)噪聲，然后迭代地從接收序列中減去學(xué)習(xí)到的噪聲數(shù)據(jù)，減弱了噪聲影響的信號(hào)能夠得到更好的BER性能。并且，受利用NN譯碼方案的啟發(fā)，在CNN輔助的IDD方案(CNN-IDD)后再級(jí)聯(lián)一個(gè)網(wǎng)絡(luò)，可以達(dá)到進(jìn)一步的性能提升。

1 基礎(chǔ)原理

1.1 多元LDPC碼

在中短碼長(zhǎng)下，多元LDPC碼的性能優(yōu)于二元LDPC碼，尤其是與高階調(diào)制相結(jié)合時(shí)。然而，軟判決譯碼算法的高復(fù)雜度限制了其實(shí)際使用。在文獻(xiàn)[19-20]中，基于硬信息的IJDD譯碼算法被提出，在復(fù)雜度與性能之間實(shí)現(xiàn)了良好的平衡。IJDD算法的基本思想是采用硬消息迭代將信號(hào)檢測(cè)器和多元LDPC譯碼器融為一個(gè)整體，在信號(hào)空間上通過(guò)多次迭代將有噪接收信號(hào)逐步修正到正確信號(hào)點(diǎn)上。此后，基于符號(hào)投票準(zhǔn)則的大數(shù)邏輯算法被提出[13,21]。

1.2 深度學(xué)習(xí)(DL)

DL在圖像分類、語(yǔ)言處理和機(jī)器翻譯等方面的巨大成功引起了跨領(lǐng)域合作的熱潮。常用的NN包括多層感知機(jī)、CNN和循環(huán)NN，本文使用CNN來(lái)輔助譯碼。

如圖1所示，神經(jīng)網(wǎng)絡(luò)從左到右分別由輸入層、隱藏層和輸出層組成。

圖1 NN結(jié)構(gòu)圖

輸入層將數(shù)據(jù)集傳入NN，因此，其包含的神經(jīng)元數(shù)目與數(shù)據(jù)集的特征數(shù)一致。對(duì)應(yīng)地，輸出層將預(yù)測(cè)結(jié)果傳出NN，其包含的神經(jīng)元數(shù)目與標(biāo)簽維度一致。隱藏層是整個(gè)NN最為重要的部分，對(duì)應(yīng)于第i層的操作為：

zi=g(i)(wixi+bi)，

(1)

其中，zi為當(dāng)前層的輸出，xi為第i-1層的輸出zi-1。wi和bi分別為第i層的權(quán)重矩陣和偏置向量。激活函數(shù)g(·)給NN引入了非線性，也是DL強(qiáng)大表達(dá)能力的原因之一。常用的兩種激活函數(shù)——線性整流(Rectified linear unit,Relu)和sigmoid函數(shù)如下所示：

(2)

另一種重要的函數(shù)是損失函數(shù)，它衡量了模型預(yù)測(cè)與真實(shí)標(biāo)簽之間的差異，比如均方差(Mean Square Error)損失函數(shù)：

(3)

因?yàn)槠湓谙袼貓D上強(qiáng)大的特征提取能力，CNN被廣泛應(yīng)用在圖像處理中。如圖2所示，CNN利用卷積操作從部分像素點(diǎn)中提取特征。

圖2 CNN處理框圖

卷積核對(duì)于數(shù)據(jù)的復(fù)用能夠減少數(shù)據(jù)集規(guī)模需求，同時(shí)也會(huì)加速訓(xùn)練過(guò)程。后續(xù)的池化操作能夠避免過(guò)擬合。

2 CNN輔助的迭代檢測(cè)譯碼框架

2.1 系統(tǒng)模型

結(jié)合CNN-IJDD的多元LDPC碼編碼調(diào)制系統(tǒng)框圖如圖3所示。

圖3 CNN-IDD傳輸框圖

如圖4所示，經(jīng)過(guò)RRC脈沖成形，等效離散時(shí)間信道輸出為:

圖4 等效離散時(shí)間信道模型

y=x+n，

(4)

式中，噪聲n是擁有自相關(guān)矩陣R的復(fù)高斯隨機(jī)向量。令Ri,j為R的第(i,j)個(gè)元素，則

Ri,j=ρ|i-j|，

(5)

式中，ρ為相關(guān)系數(shù)。這樣的信道模型在文獻(xiàn)[22] 中也被引用。

(6)

zHT=0。

(7)

(8)

因此，估計(jì)的噪聲序列為：

(9)

這就是NN的原始數(shù)據(jù)。

CNN在獲取噪聲序列之后，利用實(shí)/復(fù)數(shù)轉(zhuǎn)換、卷積和非線性函數(shù)等操作，在損失函數(shù)和標(biāo)簽指引下進(jìn)行訓(xùn)練。

2.2 級(jí)聯(lián)網(wǎng)絡(luò)的CNN-IDD優(yōu)化結(jié)構(gòu)

受NN可以直接用于譯碼的啟發(fā)，在CNN-IDD迭代后再級(jí)聯(lián)CNN網(wǎng)絡(luò)，得到圖5的優(yōu)化CNN-IDD結(jié)構(gòu)，對(duì)最后一次迭代的譯碼器輸出再經(jīng)過(guò)一次CNN網(wǎng)絡(luò)修正來(lái)輔助CNN-IDD框架的譯碼輸出。

圖5 優(yōu)化的CNN-IDD傳輸框圖

2.3 數(shù)據(jù)處理和CNN設(shè)計(jì)

將原始數(shù)據(jù)傳入CNN時(shí)，簡(jiǎn)單地將復(fù)數(shù)向量直接聯(lián)合，得到類似圖像的矩陣是不合理的?？紤]到實(shí)際通信傳輸中復(fù)數(shù)信號(hào)的特點(diǎn)，如圖6所示，對(duì)應(yīng)圖3中的紅色虛線框，利用實(shí)部虛部分離和重構(gòu)的預(yù)處理操作。

圖6 CNN設(shè)計(jì)流程

(10)

通過(guò)此操作，訓(xùn)練所需要的數(shù)據(jù)集數(shù)量可以減半。將實(shí)部與虛部按列放置組合構(gòu)造得到數(shù)據(jù)矩陣。

由于池化操作和輸出層前的全連接結(jié)構(gòu)在本文提出的方案中會(huì)引起較大的性能損失，因此并不推薦采用。為了得到與標(biāo)簽向量相同的特征維度，設(shè)定最后一層隱藏層中卷積核的水平滑動(dòng)步長(zhǎng)為2，其余層中水平滑動(dòng)步長(zhǎng)均為1。垂直滑動(dòng)步長(zhǎng)由超參數(shù)設(shè)定，CNN的詳細(xì)處理過(guò)程如算法1所示。

相對(duì)應(yīng)的，在輸出層后，需要將預(yù)測(cè)數(shù)據(jù)按照下式，進(jìn)行實(shí)部虛部重新組合，整合為復(fù)數(shù)形式，即網(wǎng)絡(luò)學(xué)習(xí)到的噪聲序列：

(11)

算法1 CNN處理過(guò)程輸入:數(shù)據(jù)集:r^,J^特征向量:R(n),I(n)網(wǎng)絡(luò)參數(shù):長(zhǎng)度n,批量大小Bz,卷積層數(shù)L,每一層神經(jīng)元數(shù)目[a0=0,a1,…,aL]和濾波器大小[b1,b2,…,bL]目標(biāo):輸出估計(jì)噪聲r(shí)^,J^1:將r^,J^傳入輸入層;2:將輸入向量轉(zhuǎn)化為(Bz,n,0,1)形式張量;3:fori∈[1,L] do4:令卷積核大小為[bi,1,ai-1,ai];5:使用步長(zhǎng)[1,1,1,1]移動(dòng)卷積核fori

3 仿真結(jié)果與分析

3.1 參數(shù)設(shè)置

在訓(xùn)練階段，本文使用在多個(gè)信噪比[8 dB,18 dB,0.5 dB] 下生成的數(shù)據(jù)，對(duì)于每個(gè)信噪比生成200 000個(gè)符號(hào)，其中90%用于網(wǎng)絡(luò)訓(xùn)練，剩下的用于測(cè)試。模型共使用5層網(wǎng)絡(luò)，每一層的神經(jīng)元數(shù)目和激活函數(shù)設(shè)置如表1所示，其中“(a,b×c)”指的是通道數(shù)目a和卷積核大小b×c。利用Xavier初始化[24]、Adam優(yōu)化算法[25]和MSE損失函數(shù),設(shè)定學(xué)習(xí)率為0.01，衰減率為0.99。訓(xùn)練的截止條件設(shè)定為損失不再下降或者達(dá)到最大迭代次數(shù)5 000次。為了提高模型對(duì)于信噪比的穩(wěn)健性，使用了批量歸一化，對(duì)于每個(gè)信噪比下選取了50個(gè)樣本。同時(shí)，也采用了0.001的正則化和0.999的滾動(dòng)平均來(lái)改善模型的泛化能力。

表1 CNN參數(shù)設(shè)置表

3.2 性能與分析

圖7比較了多元LDPC碼硬判決譯碼和僅采用CNN的譯碼性能，對(duì)于BER=10-4時(shí)，CNN方案可以取得約1 dB的性能增益,這也驗(yàn)證了優(yōu)化的CNN-IDD方案的出發(fā)點(diǎn)。

圖8展現(xiàn)了迭代次數(shù)對(duì)于BER性能的影響?？梢钥吹剑瑢?duì)于BER=10-4時(shí)，2次迭代和10次迭代的CNN-IDD方案分別取得了0.5 dB和0.4 dB的性能增益。對(duì)10次迭代下僅采用一次網(wǎng)絡(luò)調(diào)用而不是每次IDD后都調(diào)用網(wǎng)絡(luò)的做法，在保證性能的前提下進(jìn)一步降低了復(fù)雜度。

圖8 CNN-IDD方案在不同迭代次數(shù)下的性能

圖9比較了CNN-IDD方案和優(yōu)化的CNN-IDD方案性能，對(duì)于2次迭代，優(yōu)化的CNN-IDD比原IJDD算法取得近1 dB的性能增益，比CNN-IDD方案取得了0.5 dB的性能增益。

圖9 優(yōu)化的CNN-IDD性能

4 結(jié)束語(yǔ)

本文針對(duì)多元LDPC碼編碼調(diào)制系統(tǒng)，提出了CNN-IDD方案及其優(yōu)化來(lái)減小相關(guān)信道噪聲影響。通過(guò)從接收信號(hào)中刪除CNN預(yù)測(cè)噪聲的迭代操作，收端減弱了噪聲對(duì)于信息的影響，從而給檢測(cè)和譯碼提供了經(jīng)過(guò)去噪處理的數(shù)據(jù)，即改善了接收信號(hào)的信噪比。仿真結(jié)果表明，對(duì)于GF(64)域上的(42,21)多于LDPC碼，優(yōu)化的CNN-IDD算法可以取得近1 dB的性能增益。后續(xù)，將考慮更高域上的多元LDPC碼的CNN-IDD方案，同時(shí)將信道擴(kuò)展至衰落噪聲信道和碼間干擾信道。