基于可學習權(quán)重衰減的大規(guī)模MIMO信號檢測

武苗苗，傅友華

（1.南京郵電大學電子與光學工程學院、微電子學院，江蘇 南京 210023 2.南京郵電大學射頻集成與微組裝技術(shù)國家地方聯(lián)合工程實驗室，江蘇 南京 210023）

未來移動通信網(wǎng)絡(luò)的發(fā)展旨在提高網(wǎng)絡(luò)容量、頻譜效率和降低延遲。大規(guī)模多輸入多輸出（Multiple?Input Multiple?Output，MIMO）技術(shù)是第五代移動通信系統(tǒng)的關(guān)鍵技術(shù)之一，其中蜂窩網(wǎng)絡(luò)的基站配備了數(shù)十、數(shù)百或數(shù)千個天線［1］。然而，隨著天線數(shù)的增加，傳統(tǒng)的信號檢測算法的性能和復(fù)雜度難以滿足下一代通信系統(tǒng)的需求。

傳統(tǒng)的MIMO信號檢測方案大致可以分為兩類：線性檢測算法和非線性檢測算法。最大似然（Maximum Likelihood，ML）［2］檢測器的檢測性能雖是最優(yōu)的，但其復(fù)雜性令人望而卻步。線性檢測算法，如迫零檢測（Zero Forcing，ZF）［3］算法和最小均方誤差（Minimum Mean Square Error，MMSE）［4］算法，雖具有較低的復(fù)雜度，但它們的誤碼率較高。隨著MIMO系統(tǒng)天線數(shù)的增加，系統(tǒng)對檢測性能要求越來越高，線性檢測算法的檢測性能已經(jīng)無法滿足。為了提高檢測算法的性能，通信領(lǐng)域?qū)W者將研究重心轉(zhuǎn)向了非線性檢測算法的研究。例如，球形解碼器（Sphere Decoder，SD），雖然提供了接近最優(yōu)的性能，但其復(fù)雜性仍然隨著天線數(shù)目的增加呈指數(shù)增長［5］。基于優(yōu)化的檢測器，如：半正定松弛（Semi?Definite Relaxation，SDR）［6］和近似消息傳遞（Approximate Message Passing，AMP）［7］，雖在某些情況下可實現(xiàn)接近最優(yōu)的性能，但前者的代價是高次多項式復(fù)雜度，后者的代價是迭代特性導致的發(fā)散。總之，大多數(shù)現(xiàn)有技術(shù)過于復(fù)雜，無法實現(xiàn)下一代大規(guī)模MIMO系統(tǒng)所需的規(guī)模。深度學習作為一種普適性算法，已經(jīng)在許多領(lǐng)域帶來了前所未有的性能提升，例如機器人、電子商務(wù)、計算機視覺和自然語言處理等領(lǐng)域。在大規(guī)模MIMO系統(tǒng)中使用深度學習，這將會是一個很好的研究方向。

在深度學習中，最近的發(fā)展提出了“l(fā)earning to learn”的方法。該方法將一個迭代算法展開到固定的迭代次數(shù)，每次迭代被認為是一個層，展開的結(jié)構(gòu)稱為深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）。這種模型驅(qū)動的深度學習方法可以達到或超過相應(yīng)的迭代算法的性能［8］。胡鐘秀等［9］將簡化近似消息傳遞迭代（Simplified Approximate Messaging Passing，SAMP）檢測算法與深度學習結(jié)合，提出了新型模型驅(qū)動的深度學習網(wǎng)絡(luò)SAMP?Net，通過學習得到最優(yōu)可訓練的參數(shù)，提高檢測性能。Samuel等［10］提出的檢測神經(jīng)網(wǎng)絡(luò)（Detection Network，DetNet）算法是深度展開技術(shù)在MIMO檢測中的成功應(yīng)用之一，它由投影梯度下降算法展開。Ma等［11］在傳統(tǒng)正交近似消息傳遞（Orthogonal Approximate Message Passing，OAMP）算法的基礎(chǔ)上，結(jié)合深度神經(jīng)網(wǎng)絡(luò)構(gòu)建了 OAMPNet［12］網(wǎng)絡(luò)模型，該模型在小尺度相關(guān)信道上有良好的性能。DetNet和 OAMPNet都是離線訓練的。Khani等［13］提出了大規(guī)模MIMO獨立同分布模型（Massive MIMO?independent identically distributed，MMNet?iid），該神經(jīng)網(wǎng)絡(luò)是在AMP的基礎(chǔ)上迭代展開，并添加了可訓練參數(shù)，在獨立同分布高斯信道上有良好的性能。

一般來說，通過設(shè)計更深層次的神經(jīng)網(wǎng)絡(luò)架構(gòu)來解決信號檢測問題，這會顯著增加訓練時長和計算復(fù)雜度，但并不會顯著提高檢測性能。因此就迫切需要設(shè)計具有可擴展性的DNN架構(gòu)，使得該架構(gòu)可以加速訓練的同時提高檢測性能。正是在這樣的背景下，DNN在訓練和推理方面的加速成為深度學習領(lǐng)域一個活躍的研究領(lǐng)域。最近降低復(fù)雜度的方法有 Drop?Connect［14］，Pruning［15］和 Dropout［16］。然而，這些方法中的大多數(shù)都是用來防止過擬合的，并沒有被明確設(shè)計用來降低復(fù)雜度，提高性能。Dropout主要思想是在訓練過程中隨機舍去一些神經(jīng)元，但這樣無法保證目標函數(shù)單調(diào)性。雖然在計算機視覺中已經(jīng)提出了許多關(guān)于DNN加速訓練和推理的方法，但很少有針對物理層通信設(shè)計系統(tǒng)的DNN加速。Mcdanel等［17］通過向卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的各層引入單調(diào)的非遞增信道系數(shù)動態(tài)調(diào)整輸入通道的數(shù)量，從而降低功耗和降低延遲，基于此本文試圖通過提出一個可擴展的DNN模型來填補這一空白，以獲得高效的大規(guī)模MIMO檢測。

本文在MMNet?iid的基礎(chǔ)上提出了新的基于權(quán)重衰減的網(wǎng)絡(luò)架構(gòu)（Weight Decay Network，WDNet），該網(wǎng)絡(luò)架構(gòu)基于投影梯度下降算法展開，并引入了單調(diào)非遞增函數(shù)的概念。該函數(shù)縮放神經(jīng)網(wǎng)絡(luò)的每一層，且單調(diào)非遞增函數(shù)本身是可訓練的，從而允許網(wǎng)絡(luò)在訓練期間動態(tài)地學習其自身權(quán)重的最佳衰減策略。將單調(diào)非遞增函數(shù)設(shè)置為可訓練參數(shù)，提高了WDNet的檢測性能。

1 系統(tǒng)模型

一個典型的多用戶MIMO系統(tǒng)模型如圖1所示。基站配備有Nr根天線同時服務(wù)于Nt個具有單天線的用戶。

圖1 一個基站配備Nr根天線和Nt個單天線用戶的上行鏈路MIMO系統(tǒng)

為了能夠應(yīng)用于深度學習模型，將式（1）變換為實域

信號檢測的目的是根據(jù)接收到的向量y＝Hx+n推斷發(fā)送信號向量x，其中，H為信道矩陣，n為高斯噪聲。在MIMO信號檢測中，假設(shè)信道狀態(tài)信息已知。在ML中，對所有可用的傳輸信號組合進行比較，并計算似然檢驗，其表達式為

ML檢測通過尋找最小距離度量來選擇最終的信號組合。ML檢測理論上是恢復(fù)傳輸信號的最優(yōu)方法，但其計算復(fù)雜度隨著天線數(shù)的增多而呈指數(shù)增加，因此不適用于大規(guī)模MIMO系統(tǒng)。在下一節(jié)中，將使用深度學習方法解決這一問題。

2 基于可學習權(quán)重衰減的大規(guī)模MIMO檢測

WDNet是一種非線性估計器，通過投影梯度下降優(yōu)化的遞歸公式展開ML度量來設(shè)計。本文提出的檢測器將單調(diào)非遞增函數(shù)應(yīng)用于現(xiàn)有的檢測網(wǎng)絡(luò)。這種修改降低了訓練檢測器的復(fù)雜度且提高了檢測性能。

2.1 單調(diào)非遞增函數(shù)β

不完全點積（Incomplete Dot Products，IDP）在正向傳播的點積計算中增加了一個由單調(diào)非遞增函數(shù)β組成的剖面。這使得系統(tǒng)以最高到最低遞減的方式優(yōu)先選擇層權(quán)重。數(shù)學上，對于兩個給定的向量x＝［x1，x2，…，xN］T和y＝［y1，y2，…，yN］T，其 IDP的截斷形式［19］為

式中，β1，β2，…，βN為單調(diào)非遞增函數(shù)系數(shù)。

在標準全連接網(wǎng)絡(luò)中，前饋傳遞輸出為

式中，j∈｛1，…，M｝，M為輸出分量的個數(shù)，N為輸入分量的個數(shù)，i，j分別為輸入、輸出維數(shù)；xi為第i個輸入分量，Wji為第j個輸出分量和第i個輸入分量對應(yīng)的信道或?qū)訖?quán)重，bj為偏倚。對不完全線性層進行如下計算

本文為權(quán)重引入單調(diào)非遞增函數(shù)［17］，表達式為

式中N為發(fā)送天線數(shù)，由圖2可知單調(diào)非遞增函數(shù)β的閾值與a（0≤a≤1）有關(guān)，因此不同a所對應(yīng)的單調(diào)非遞增函數(shù)對WDNet性能的影響將在第3節(jié)給出，并通過仿真找到a的最佳值。從圖2可以看出，該函數(shù)后半部分為衰減函數(shù)，通過衰減函數(shù)衰減了一半的通道系數(shù)。這意味著它允許網(wǎng)絡(luò)訓練調(diào)整梯度流，使重要的權(quán)重保存在未衰減的一半中，而不太重要的權(quán)重保存在衰減的一半中。

圖2 單調(diào)非遞增函數(shù)VS發(fā)送天線數(shù)

為了進一步提高WDNet的性能且在訓練期間動態(tài)地對權(quán)重進行優(yōu)先級排序，將單調(diào)非遞增函數(shù)設(shè)置為可訓練參數(shù)。在訓練和梯度更新過程中，單調(diào)性是通過式（7）函數(shù)的形狀來維持的。在訓練過程中，對每一個權(quán)重進行不同的縮放，當訓練次數(shù)達到一定時，每一個權(quán)重的單調(diào)非遞增系數(shù)都達到一個最優(yōu)值，從而提高WDNet的檢測性能。由于權(quán)重的飽和，a達到一定值后單調(diào)非遞增函數(shù)對WDNet性能的影響將趨于平穩(wěn)狀態(tài)。當a較小時，由于大部分權(quán)重被衰減，使得網(wǎng)絡(luò)的前饋推理不完整，從而會降低算法的收斂性和檢測性能；當a較大時，由于保留了大部分權(quán)重，增加了算法的復(fù)雜度。因此尋找一個合適的a以達到準確性和復(fù)雜度的平衡是必要的。

2.2 WDNet算法

圖3 WDNet結(jié)構(gòu)框圖

該神經(jīng)網(wǎng)絡(luò)第t層（1≤t≤T）的計算過程如下

太宰治：我的不幸，恰恰在于我缺乏拒絕的能力。我害怕一旦拒絕別人，便會在彼此心里留下永遠無法愈合的裂痕。

為了進一步提高WDNet的檢測性能，引入式（10）所示 ResNet的殘差特性［22］。

WDNet連接了上述形式的T層。其損失函數(shù)為所有T層的平均L2損耗

3 仿真分析

本節(jié)通過仿真評估和比較WDNet與其他檢測方案在獨立同分布高斯信道的性能。首先描述仿真要素；然后分析單調(diào)非遞增函數(shù)對WDNet性能的影響，WDNet的復(fù)雜度、收斂性、誤碼率性能，以及對MIMO配置和調(diào)制的魯棒性。

3.1 仿真要素

（1）數(shù)據(jù)：訓練和測試數(shù)據(jù)通過式（1）中所描述的模型生成，發(fā)送信號x經(jīng)過QAM16調(diào)制產(chǎn)生。瑞利衰落信道矩陣H從i.i.d高斯分布中采樣（即，H的每個元素是復(fù)數(shù)正態(tài)分布：H∈ CN（0，（1/Nr）INr））。系統(tǒng)的信噪比（Signal Noise Ratio，SNR）定義為

表1 訓練網(wǎng)絡(luò)所需參數(shù)及取值

3.2 性能分析

（1）單調(diào)非遞增函數(shù)對WDNet性能的影響：圖4展示了在13 dB和15 dB信噪比下不同a所對應(yīng)的單調(diào)非遞增函數(shù)對WDNet性能的影響。從中可以看出，13 dB和15 dB信噪比的誤碼率性能隨著a的增加而提高，但由于權(quán)重飽和，誤碼率在a＝0.5時飽和，并且此時WDNet準確性最高。因此在之后的訓練中，將a設(shè)置為0.5。

圖4 不同a所對應(yīng)的單調(diào)非遞增函數(shù)對WDNet誤碼率性能的影響

圖5 WDNet和MMNet?iid的CPU運行時間與天線數(shù)的關(guān)系

圖6 WDNet，MMNet?iid的誤碼率（BER）性能和層數(shù)的關(guān)系

（4）性能比較：圖7展示了當天線配置為16×64且調(diào)制方式為QAM16時，神經(jīng)網(wǎng)絡(luò)算法WDNet、MMNet?iid、DetNet 及傳統(tǒng)檢測算法 AMP、SDR、MMSE的誤碼率性能。由圖7可知，所有方法的準確性都隨著信噪比的增加而增強。從圖中可以看出，AMP在較高的信噪比情況下會遇到魯棒性問題。WDNet檢測方案在所有設(shè)置下都比傳統(tǒng)檢測方案MMSE，AMP和SDR擁有更好的準確性。這表明深度學習在解決通信問題上具有優(yōu)越性。DetNet在高階調(diào)制下，準確性低于MMSE。同時本文提出的 WDNet誤碼率性能優(yōu)于 MMNet?iid 和 DetNet，并且信噪比越高準確性越好。誤碼率為10-5時，WDNet的性能與 MMNet?iid性能之間具有約1 dB的性能增益。

圖7 WDNet與其他檢測器誤碼率性能的比較

（5）對MIMO配置和調(diào)制的魯棒性：由于可用于在線訓練的數(shù)據(jù)和計算資源有限，驗證離線訓練網(wǎng)絡(luò)的魯棒性尤為重要。圖8展示了MIMO配置和調(diào)制不匹配時 WDNet的誤碼率性能。在 16×64MIMO系統(tǒng)中，用QAM16調(diào)制符號訓練WDNet，并測試訓練參數(shù)的魯棒性。

圖8 WDNet與 MMNet?iid在 MIMO 配置失配和調(diào)制符號失配情況下性能比較

圖8（a）展示了在 MIMO配置不匹配情況下WDNet的誤碼率，其中網(wǎng)絡(luò)在具有QAM16的8×32系統(tǒng)中進行測試。雖然訓練和測試采用了不同的配置，但WDNet性能仍然優(yōu)于MMNet?iid，且性能損失很小。這種魯棒性表明WDNet對不同的MIMO配置具有靈活性。此外，圖8（b）顯示了調(diào)制符號不匹配情況下WDNet的性能，其中網(wǎng)絡(luò)在16×64系統(tǒng)中使用BPSK調(diào)制方式進行測試。當BER＝10-4時，WDNet僅因調(diào)制符號失配造成0.2 dB的性能損失，這表明WDNet對調(diào)制符號失配具有魯棒性。因此，可以在具有不同調(diào)制符號的不同MIMO配置中直接使用已訓練的網(wǎng)絡(luò)。

4 結(jié)束語

本文對基于深度學習的大規(guī)模MIMO信號檢測進行了研究。在MMNet?iid的基礎(chǔ)上提出了WDNet算法。該算法使用單調(diào)非遞增函數(shù)在訓練期間動態(tài)地對層權(quán)重進行優(yōu)先級排序。為了提高WDNet對激活函數(shù)變化的魯棒性，允許單調(diào)非遞增函數(shù)本身在所提出的體系結(jié)構(gòu)中是可訓練的參數(shù)，這提高了檢測精度。從仿真結(jié)果可以看出，具有可訓練參數(shù)的WDNet檢測性能優(yōu)于MMNet?iid檢測性能，并且對各種失配具有優(yōu)越的魯棒性。

附錄

假設(shè)2：zt-x由獨立于x的i.i.d零均值高斯項組成。

首先誤差向量zt-x可以重寫為

其中，矩陣 Ct＝I-βλtHHH，Bt＝βHH。