基于集成學(xué)習(xí)與特征降維的小樣本調(diào)制識(shí)別方法

史蘊(yùn)豪, 許 華, 鄭萬澤, 劉英輝

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院, 陜西 西安 710077)

0 引 言

通信信號(hào)調(diào)制方式識(shí)別是通信偵察、認(rèn)知電子戰(zhàn)領(lǐng)域的關(guān)鍵技術(shù)之一,在實(shí)際戰(zhàn)場環(huán)境中,由于敵我雙方的非協(xié)作特性,使得在還原敵方通信信號(hào)、獲取敵方情報(bào)信息之前必須進(jìn)行調(diào)制方式識(shí)別。此外,通信信號(hào)調(diào)制方式識(shí)別也為后續(xù)的信號(hào)解調(diào)、比特流分析、協(xié)議識(shí)別、信號(hào)解密、靈巧干擾等提供了重要支撐。

調(diào)制識(shí)別技術(shù)發(fā)展至今,無論是傳統(tǒng)方法還是近些年興起的深度學(xué)習(xí)方法均已取得杰出的研究成果。傳統(tǒng)方法方面,文獻(xiàn)[1-3]利用信號(hào)高階累積量實(shí)現(xiàn)調(diào)制信號(hào)分類,文獻(xiàn)[4-5]通過提取信號(hào)循環(huán)譜特征區(qū)分信號(hào)不同調(diào)制方式,文獻(xiàn)[6-7]利用信息熵特征實(shí)現(xiàn)信號(hào)分類。深度學(xué)習(xí)方法方面,O’shea等人[8-9]最早于2016年利用有監(jiān)督深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)調(diào)制方式識(shí)別,直接使用卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建端到端的學(xué)習(xí)模型,成功對(duì)11種數(shù)字或模擬調(diào)制方式進(jìn)行了識(shí)別。Jeong等人[10]提出利用短時(shí)傅里葉變換將信號(hào)從時(shí)域轉(zhuǎn)換為時(shí)頻域,并通過深度卷積神經(jīng)網(wǎng)絡(luò)提取時(shí)頻域特征,最終完成了7種調(diào)制方式的識(shí)別,其在-4 dB的信噪比下仍有90%以上的識(shí)別正確率。Fan等人[11]提出了一種聯(lián)合噪聲估計(jì)的調(diào)制識(shí)別算法,該算法同時(shí)將原始信號(hào)數(shù)據(jù)和信噪比作為神經(jīng)網(wǎng)絡(luò)的輸入,仿真結(jié)果顯示這種算法在不同信噪比和不同頻偏下的識(shí)別成功率已經(jīng)接近理論識(shí)別率的上限。Zhang等人[12]利用卷積神經(jīng)網(wǎng)絡(luò)提取信號(hào)SPWVD時(shí)頻圖特征和BJD時(shí)頻圖特征,并與大量手工特征融合對(duì)8種調(diào)制方式進(jìn)行識(shí)別,在信噪比為-4 dB時(shí)仍有92.5%的識(shí)別準(zhǔn)確率。

雖然近些年基于深度學(xué)習(xí)的調(diào)制識(shí)別方法在識(shí)別性能方面逐漸超越傳統(tǒng)人工特征方法,但是深度學(xué)習(xí)類方法需要大量帶標(biāo)簽信號(hào)樣本作為支撐,一旦帶標(biāo)簽樣本量不足,模型的識(shí)別性能就會(huì)發(fā)生急劇下降。隨著信號(hào)采集方式的多樣化以及存儲(chǔ)技術(shù)的高速發(fā)展,現(xiàn)階段獲取大量無類別標(biāo)記信號(hào)樣本變得相當(dāng)簡單,但是若想獲得同樣量級(jí)的有類別標(biāo)記信號(hào)則相當(dāng)困難,這是由于數(shù)據(jù)的類別標(biāo)記工作一般需要耗費(fèi)大量的人力、物力和時(shí)間。在實(shí)際戰(zhàn)場環(huán)境中,電磁頻譜中會(huì)出現(xiàn)大量信號(hào),將這些信號(hào)采集下來后逐一打上標(biāo)簽是不現(xiàn)實(shí)的,無法適應(yīng)瞬息萬變的戰(zhàn)場態(tài)勢,因此研究有標(biāo)簽信號(hào)樣本不足的小樣本調(diào)制識(shí)別問題就顯得尤為重要。

通過總結(jié)大量專家研究成果發(fā)現(xiàn),小樣本問題產(chǎn)生的根本原因是傳統(tǒng)方法通過固定模式處理信號(hào)序列提取信號(hào)特征,從而可利用低維度特征表示信號(hào)。然而,深度學(xué)習(xí)類方法由于網(wǎng)絡(luò)參數(shù)多、擬合難,需要大量的樣本才能完成低維特征提取。另一方面,分類器訓(xùn)練特征時(shí)所需樣本量也是隨著特征維度呈指數(shù)增長。因此，如何有效減小特征數(shù)量,并盡可能利用低維度特征表示高維信號(hào)序列是解決小樣本問題的核心所在。若能利用低維度特征表征原始時(shí)序信號(hào),則可極大減小分類器所需訓(xùn)練樣本。針對(duì)上述思路,本文提出一種基于集成學(xué)習(xí)與特征降維的小樣本調(diào)制方式分類模型。該模型通過集成人工設(shè)計(jì)特征與機(jī)器學(xué)習(xí)自動(dòng)提取特征構(gòu)成融合特征集,再針對(duì)性地設(shè)計(jì)特征選擇算法對(duì)融合特征集進(jìn)行優(yōu)選生成高效特征子集,最后設(shè)計(jì)高性能分類器對(duì)少量有標(biāo)簽信號(hào)進(jìn)行訓(xùn)練,從而解決有標(biāo)簽訓(xùn)練樣本不足導(dǎo)致的小樣本問題。

1 識(shí)別模型

基于集成學(xué)習(xí)與特征降維的小樣本模型本質(zhì)思想是利用低緯度特征表征原始信號(hào),降維對(duì)高維小樣本問題行之有效,信號(hào)降維主要包括特征提取和特征選擇兩方面。本文擬提取信號(hào)最具表征性、區(qū)分度的特征并降維,從而達(dá)到減少有標(biāo)簽訓(xùn)練樣本數(shù)的目的。如圖1所示,本文算法主要分為3個(gè)階段,第1階段為特征提取階段,利用傳統(tǒng)方法提取對(duì)信號(hào)區(qū)分能力強(qiáng)的人工特征,與此同時(shí)利用機(jī)器學(xué)習(xí)類方法中的自編碼器網(wǎng)絡(luò)對(duì)樣本進(jìn)行無監(jiān)督訓(xùn)練,自動(dòng)提取低維信號(hào)特征,而后將兩類特征進(jìn)行融合重組。第2階段為特征選擇階段,運(yùn)用自主設(shè)計(jì)定的特征選擇算法綜合選出一定數(shù)量的最具區(qū)分能力的特征,生成最優(yōu)特征子集。第3階段為分類階段,利用少量有標(biāo)簽樣本對(duì)高性能分類器進(jìn)行有監(jiān)督訓(xùn)練,從而完成信號(hào)小樣本條件下的分類識(shí)別。

圖1 算法總體框架

2 信號(hào)特征提取

2.1 人工特征提取

在調(diào)制識(shí)別領(lǐng)域中,眾多研究人員已進(jìn)行大量特征工程研究,設(shè)計(jì)了很多卓有成效的特征用于信號(hào)分類,并取得了優(yōu)異的結(jié)果。因此,利用前人的研究成果提升信號(hào)分類效率是重要的研究切入點(diǎn)。本文擬提取多類表征性強(qiáng)、區(qū)分度高的特征作為信號(hào)人工特征,包括信號(hào)高階累積量、信息熵特征以及時(shí)頻特征。

2.1.1 信號(hào)高階累積量特征

在調(diào)制技術(shù)領(lǐng)域,高階累積量是應(yīng)用非常廣泛的特征之一,由于其具有較強(qiáng)的周期分量,可用于準(zhǔn)確識(shí)別不同的調(diào)制信號(hào)。為提取高階累積量,首先要計(jì)算信號(hào)的高階矩,序列信號(hào)x(n)的高階矩計(jì)算公式為

Mp q=E[x(n)p-q(x*(n))q]

(1)

通過信號(hào)各階高階矩便可計(jì)算得到各類高階累積量,本文選擇下列高階累積量,這些累積量均已被證明在調(diào)制信號(hào)分類識(shí)別中有較好鑒別能力[13-14],即

(2)

(3)

(4)

(5)

(6)

2.1.2 信息熵特征

熵是用于評(píng)價(jià)信號(hào)或系統(tǒng)狀態(tài)平均不確定性的指標(biāo)。在信息論領(lǐng)域,熵用于衡量信息的信息量,信息的不確定程度越大,則其熵值越大,因此信息熵理論提供了一個(gè)很好的信號(hào)特征描述方法。本文擬提取信號(hào)的功率譜熵、奇異譜熵和能量譜熵,以此作為信號(hào)的特征[15]。

(1)功率譜熵

假設(shè)時(shí)間序列X長為L,對(duì)其進(jìn)行離散傅里葉變換,變換結(jié)果為

(7)

(8)

記

(9)

將式(9)代入香農(nóng)熵計(jì)算公式,即可得到功率譜香農(nóng)熵。

(2)奇異譜熵

奇異譜分析是近年來非常流行的一種研究非線性時(shí)間序列數(shù)據(jù)的方法,其結(jié)合相空間重構(gòu)和奇異值分解對(duì)時(shí)間序列維數(shù)進(jìn)行估計(jì)。假設(shè)一段離散時(shí)間序列為

X=[x1,x2,…,xN]

首先將信號(hào)分段,假設(shè)分段長度為m,在奇異譜分析過程中,m最好為信號(hào)周期的整數(shù)倍且不宜超過信號(hào)序列長度的1/3,重構(gòu)后的序列軌跡矩陣為

(10)

對(duì)式(10)進(jìn)行奇異值分解,可得

(11)

式中,U和V均為正交矩陣;U為左奇異矩陣;V為右奇異矩陣；Σ矩陣可化為對(duì)角陣,即

式中,σk表示矩陣M的奇異值且除對(duì)角線上元素以外其余值均為零,對(duì)角線上的非零元素便構(gòu)成了序列的奇異值譜,即

σ={σ1,σ2,…,σi,…,σj|j

記pi表示非零奇異值σi占所有非零奇異值之和的比值:

(12)

將式(12)代入香農(nóng)熵計(jì)算公式,即可得到奇異值香農(nóng)熵及奇異譜指數(shù)熵。指數(shù)熵的計(jì)算公式為

H=E[e1-pi]=∑pie1-pi

式中,H表示熵值;pi表示信號(hào)概率分布。

(3)能量譜熵

對(duì)于序列信號(hào)X=[x1,x2，…，xN],其能量譜定義為

(13)

式中,X(ω)表示序列X的傅里葉變換。記pi為

(14)

將式(14)代入指數(shù)熵計(jì)算公式,即可得到信號(hào)能量譜指數(shù)熵。

2.1.3 歸一化中心瞬時(shí)振幅的功率密度最大值

歸一化中心瞬時(shí)振幅的功率密度最大值可在一定程度上反應(yīng)不同信號(hào)的譜特征[16],其定義為

(15)

ac n(i)=an(i)-1

(16)

an(i)=a(i)/ma

(17)

(18)

式中,Ns表示信號(hào)序列長度;ma表示信號(hào)瞬時(shí)幅度的均值。

2.2 自編碼器特征提取

自編碼器作為一種無監(jiān)督機(jī)器學(xué)習(xí)算法可以在不借助標(biāo)簽信息的前提下學(xué)習(xí)數(shù)據(jù)的稀疏表示,近些年已有許多學(xué)者將其應(yīng)用至信號(hào)調(diào)制方式識(shí)別中。例如,文獻(xiàn)[17]使用兩個(gè)并行自編碼器完成信號(hào)調(diào)制方式識(shí)別,文獻(xiàn)[18]利用卷積自編碼器直接作用于信號(hào)序列以提取信號(hào)特征。

自編碼器結(jié)構(gòu)包括編碼器和解碼器兩部分,輸入數(shù)據(jù)首先通過編碼器進(jìn)行降維操作,再通過解碼器進(jìn)行數(shù)據(jù)重構(gòu),通過約束中間層的維度并最小化重構(gòu)數(shù)據(jù)與輸入數(shù)據(jù)間的誤差,從而達(dá)到特征映射的目的,在整個(gè)過程中雖然并未涉及輸入信號(hào)的標(biāo)簽信息但卻完成了信號(hào)特征提取的功能。本文設(shè)計(jì)了圖2所示的自編碼器結(jié)構(gòu)用作信號(hào)特征自動(dòng)提取,自編碼器網(wǎng)絡(luò)總體上由卷積層和全連接層構(gòu)成。在信號(hào)輸入自編碼器網(wǎng)絡(luò)之前,首先對(duì)信號(hào)進(jìn)行加噪處理,由于通過自編碼器后需重構(gòu)原始無噪數(shù)據(jù),因此自編碼器提取的特征具有抗噪能力,也更具魯棒性。本文網(wǎng)絡(luò)選用高斯噪聲干擾信號(hào),噪聲系數(shù)為0.1。信號(hào)輸入后首先通過兩層卷積層對(duì)其進(jìn)行特征提取,而后通過三層全連接層對(duì)特征進(jìn)行降維、再升維處理,最后再通過兩層卷積層對(duì)信號(hào)進(jìn)行重構(gòu),使得網(wǎng)絡(luò)輸出信號(hào)格式與輸入格式保持一致。

圖2 自編碼器結(jié)構(gòu)

(19)

式中,f(x)表示自編碼器中編碼器函數(shù)部分;h(x)表示自編碼器中解碼器函數(shù)部分。通過最小化損失函數(shù),約束輸入輸出之間的重構(gòu)誤差,便可以低維中間層特征表示高維信號(hào),從而達(dá)到特征提取的目的。

3 特征選擇算法

與前兩節(jié)所述的特征提取方法不同,特征選擇方法指的是從全部原始特征集中選擇最相關(guān)的特征子集以此降低特征向量維度。相較于特征提取方法,特征選擇方法更加側(cè)重于揭示特征與特征間、特征與類別間的因果關(guān)系。在以往的調(diào)制方式識(shí)別算法中,選用傳統(tǒng)手工特征還是利用機(jī)器學(xué)習(xí)方法自動(dòng)提取信號(hào)特征一直存在爭議,兩類方法也各自具有優(yōu)勢,因此本文先對(duì)兩類特征進(jìn)行融合,再使用特征選擇算法進(jìn)行綜合篩選,選取其中最具區(qū)分度的特征。一個(gè)好的特征選擇算法不僅可以幫助降低訓(xùn)練分類器所需樣本數(shù)量,剔除冗余或不相關(guān)特征,還可以提升模型運(yùn)行速度,加快算法收斂速度和降低硬件要求。

由于本文研究的是小樣本條件下的信號(hào)識(shí)別問題,因此在特征選擇時(shí)既有少量有標(biāo)簽的信號(hào),同時(shí)還存在大量無標(biāo)簽的信號(hào),即需要使用半監(jiān)督特征選擇算法進(jìn)行特征選擇。近些年,國內(nèi)外學(xué)者也提出了各式各樣的特征選擇算法,例如文獻(xiàn)[19-25]。其中,文獻(xiàn)[24]通過信息熵理論設(shè)計(jì)了隨機(jī)變量的對(duì)稱不確定性,用于度量特征與特征之間的冗余性、特征與類別之間的相關(guān)性,在多個(gè)數(shù)據(jù)集上均有良好的表現(xiàn)；文獻(xiàn)[25]則最大程度的利用了無標(biāo)簽樣本,確保了所選特征子集優(yōu)于僅用有類別標(biāo)記數(shù)據(jù)的特征選擇算法。本文綜合文獻(xiàn)[24]的快速過濾特征選擇(fast correlation-based filter, FCBF)算法和文獻(xiàn)[25]的半監(jiān)督代表特征選擇(semi-supervised representatives feature selection, SRFS)算法設(shè)計(jì)了新的半監(jiān)督特征選擇算法。

該方法的流程圖如圖3所示,整個(gè)特征選擇過程主要分為兩個(gè)階段,具體內(nèi)容如下。

圖3 特征選擇過程

(1)刪除不相關(guān)特征

有標(biāo)簽信號(hào)可利用標(biāo)簽信息直接求出特征與標(biāo)簽之間的互信息量作為衡量特征重要性的標(biāo)準(zhǔn)?；バ畔⑹莾蓚€(gè)隨機(jī)變量共同信息量的度量,假設(shè)特征為隨機(jī)變量X,信號(hào)標(biāo)簽為C,p(x)、p(c)和p(x,c)分別表示X、C、(X,C)的概率密度函數(shù),則隨機(jī)變量X與C的互信息量I(X,C)定義為

(20)

無標(biāo)簽信號(hào)雖然沒有標(biāo)簽信號(hào)可以利用,但是其本身包含的自信息量也可在一定程度上指導(dǎo)特征選擇。在信息論中,熵可用來度量特征自身包含的信息量,對(duì)于隨機(jī)變量X,熵的計(jì)算公式為

(21)

當(dāng)計(jì)算出各個(gè)特征與標(biāo)簽的互信息量與自信息量后,通過F-相關(guān)性判別特征Fi是否為不相關(guān)特征,F的計(jì)算公式為

F_Rel(Fi,C)=βI(Fi,C)+(1-β)H(Fi)

(22)

(2)刪除冗余特征

第一步刪除不相關(guān)特征后得到去相關(guān)特征子集{F1,F2,…,FM},將待選的特征按照F-相關(guān)性進(jìn)行降序排列,F-數(shù)值越大則排名越靠前。而后從前到后依次計(jì)算特征與類別間的F1-相關(guān)性,以及特征與特征之間的F2-相關(guān)性,F1-的計(jì)算公式為

F1_Rel(Fi,C)=βUI(Fi)/H(Fi)+(1-β)SU(Fi,C)

(23)

式中,UI(Fi)表示特征Fi與其他所有特征的互信息量的均值;SU(Fi,Fj)為特征Fi與Fj的對(duì)稱不確定性。其計(jì)算表達(dá)式分別為

(24)

(25)

F2-的計(jì)算公式為

F2_Rel(Fi,Fj)=βSU(Fi,Fj)+(1-β)USU(Fi,Fj)

(26)

式中,USU(Fi,Fj)表示特征Fi與Fj的無監(jiān)督對(duì)稱不確定性,具體表述為

(27)

UI(Fi;Fj)=UI(Fi)-UI(Fi|Fj)=

(28)

本文設(shè)定式(29)為冗余判別條件,若滿足該條件則將Fj視為冗余特征刪除,在刪除過程中優(yōu)先保留F-排序靠前的特征,迭代結(jié)束后最終剩余的即為最終選出的特征子集。

F1_Rel(Fi,C)≥F1_Rel(Fj,C)∩F2_Rel(Fi,Fj)≥

F1_Rel(Fj,C)

(29)

4 仿真驗(yàn)證

本文選用的調(diào)制信號(hào)集為{BPSK、4PSK、8PSK、8QAM、16QAM、64QAM、4PAM、8PAM},共計(jì)8種調(diào)制信號(hào)。各個(gè)信號(hào)序列長度L=128,包括I、Q兩路數(shù)據(jù),信號(hào)數(shù)據(jù)格式為[2, 128],訓(xùn)練集每類信號(hào)生成5 000個(gè)信號(hào)樣本,信噪比隨機(jī),共計(jì)40 000個(gè)信號(hào)樣本。這其中包含800個(gè)帶標(biāo)簽信號(hào)樣本,每類100個(gè),其余均為無標(biāo)簽樣本;測試集每個(gè)信噪比點(diǎn)生成100個(gè)樣本,信噪比從-10 dB至20 dB,間隔為2 dB,共計(jì)16個(gè)信噪比點(diǎn),12 800個(gè)信號(hào),所有信號(hào)均由Matlab R2016a仿真生成。

網(wǎng)絡(luò)訓(xùn)練均基于Python下的tensorflow、keras深度學(xué)習(xí)框架實(shí)現(xiàn),硬件平臺(tái)中CPU使用Intel(R)Core(TM)i7-8700, GPU使用NVIDIAGeForce 1060。

4.1 人工特征提取分析

本節(jié)將對(duì)第2節(jié)遴選出的人工特征性能進(jìn)行仿真驗(yàn)證,實(shí)驗(yàn)對(duì)8類調(diào)制信號(hào)在-10 dB至20 dB間每個(gè)信噪比點(diǎn)取100個(gè)樣本,提取信號(hào)的10種人工特征并取平均值,將其中具有代表性的特征并繪圖,得到如圖4所示的特征曲線。在進(jìn)行信號(hào)奇異譜分析時(shí),由于信號(hào)序列長度L=128,且基帶序列為隨機(jī)生成無周期特性,因此設(shè)置分段長度m=43;在計(jì)算序列離散傅里葉變換時(shí),由于要求傅里葉變換點(diǎn)數(shù)靠近序列長度且為2的整數(shù)冪,因此設(shè)置傅里葉變換點(diǎn)數(shù)N=128。由圖4可以看出,隨著信噪比的不斷上升,不同類別信號(hào)的特征值差距逐漸增大并逐漸趨于平穩(wěn),這有助于對(duì)信號(hào)進(jìn)行分類。但同時(shí)可以看出,每個(gè)特征均存在不好區(qū)分的調(diào)制類別,因此本文選擇將所有特征融合起來再由特征選擇算法進(jìn)行自動(dòng)選擇。通過本節(jié)可視化的特征實(shí)驗(yàn)可以看出,本文所選人工特征具有較好的調(diào)制信號(hào)區(qū)分能力。

圖4 信號(hào)特征曲線

4.2 自編碼器特征提取分析

本節(jié)將對(duì)自編碼器特征提取效果進(jìn)行實(shí)驗(yàn)驗(yàn)證,使用每類5 000個(gè)無標(biāo)簽信號(hào)樣本,共計(jì)40 000個(gè)無標(biāo)簽訓(xùn)練樣本對(duì)自編碼器進(jìn)行無監(jiān)督訓(xùn)練。自編碼器結(jié)構(gòu)如第2.2節(jié)所示,網(wǎng)絡(luò)訓(xùn)練過程中batch_size設(shè)置為500,共迭代100個(gè)epochs。輸入和輸出間使用MSE衡量損失,使用ADAM優(yōu)化器進(jìn)行優(yōu)化,網(wǎng)絡(luò)輸入、輸出信號(hào)格式均為[2, 128]。訓(xùn)練結(jié)束后保存網(wǎng)絡(luò)參數(shù),再將所有信號(hào)輸入網(wǎng)絡(luò)進(jìn)行計(jì)算,利用編碼層對(duì)信號(hào)樣本進(jìn)行壓縮,觀察編碼器與解碼器的輸出。信號(hào)壓縮重構(gòu)后的結(jié)果如圖5所示,其中圖5(a)～圖5(d)分別表示BPSK、8PSK、16QAM、64QAM信號(hào)輸入I、Q序列、輸出I、Q序列、中間層編碼器輸出特征向量。

圖5 自編碼器輸入輸出

通過圖5可以看出,經(jīng)過自編碼器重構(gòu)后信號(hào)波形并未發(fā)生明顯變化,這表示信號(hào)經(jīng)過網(wǎng)絡(luò)重構(gòu)后輸入端與輸出端誤差較小,意味著中間層的低維1×30特征在一定程度上可代表原始信號(hào)2×128的I、Q數(shù)據(jù)。

自編碼器訓(xùn)練過程中的損失值隨迭代次數(shù)的變化情況如圖6所示,可以看出,隨著網(wǎng)絡(luò)不斷迭代,輸入與輸出間的重構(gòu)誤差即訓(xùn)練損失不斷減小,輸入信號(hào)與重構(gòu)信號(hào)不斷逼近。

圖6 自編碼器訓(xùn)練損失

4.3 調(diào)制信號(hào)識(shí)別性能分析

本節(jié)將對(duì)調(diào)制信號(hào)識(shí)別性能進(jìn)行綜合探究,首先利用第4.2節(jié)訓(xùn)練好的自編碼器提取所有信號(hào)樣本低維度特征,而后將低維度特征與第4.1節(jié)中的手工特征融合,共計(jì)40維送入特征選擇器內(nèi),通過選擇后生成優(yōu)選特征子集,再利用少量帶標(biāo)簽樣本對(duì)分類器進(jìn)行訓(xùn)練。

在本節(jié)實(shí)驗(yàn)中,送入特征選擇器的特征集為{f1,f2,…,f40},其中前10維特征為手工特征{f1，f2，…,f10},分別代表{奇異譜香農(nóng)熵、功率譜香農(nóng)熵、C40、C42、C60、C61、C63、能量譜香農(nóng)熵、奇異譜指數(shù)熵、歸一化中心瞬時(shí)振幅功率密度最大值},后30維特征{f11，f12，…,f40}為自編碼器網(wǎng)絡(luò)自動(dòng)提取的編碼器輸出層特征。

特征選擇過程中,本文設(shè)定參數(shù)β=0.38,α=4。經(jīng)過特征選擇算法選擇后,選出的最優(yōu)特征子集為{f3、f7、f8、f9、f10、f12、f16、f19、f21、f27、f32、f36、f37}共計(jì)13維特征,所得特征比率為32.5%。

將特征選擇后的13維特征子集送入分類器中,利用800個(gè)帶標(biāo)簽信號(hào)對(duì)其進(jìn)行監(jiān)督訓(xùn)練。本文最終選擇的分類器為淺層BP神經(jīng)網(wǎng)絡(luò),之所以選擇淺層BP網(wǎng)絡(luò)作為特征分類器是因?yàn)闇\層網(wǎng)絡(luò)參數(shù)量級(jí)小,僅需少量訓(xùn)練樣本就可快速收斂擬合,因此非常適用于本文設(shè)定的小樣本場景。此外,BP網(wǎng)絡(luò)相較于傳統(tǒng)分類算法具有可學(xué)習(xí)性的優(yōu)勢,可自動(dòng)學(xué)習(xí)各個(gè)特征對(duì)分類結(jié)果影響的權(quán)重,這在一定程度上也起到了抑制弱相關(guān)特征的目的。BP網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示,網(wǎng)絡(luò)輸入層神經(jīng)元個(gè)數(shù)與特征維度相同,特征輸入后首先對(duì)其進(jìn)行批量歸一化,而后接入全連接層,全連接層神經(jīng)元個(gè)數(shù)分別為16、32、16,再將全連接層的輸出送入Softmax分類器。各神經(jīng)元均采用ReLU激活函數(shù)。為提升網(wǎng)絡(luò)的泛化能力,在第2、第3層全連接層后使用Dropout技術(shù)干擾訓(xùn)練以防止網(wǎng)絡(luò)過擬合,以提高網(wǎng)絡(luò)在測試樣本上的泛化能力,本文Dropout比例設(shè)置為0.1。

圖7 BP網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)過訓(xùn)練后分類器的識(shí)別性能如圖8所示。其中,圖8(a)表示信噪比為20 dB時(shí)的信號(hào)識(shí)別混淆矩陣,不同信噪比下各個(gè)信號(hào)的識(shí)別率如圖8(b)所示,可以看出分類器在高信噪比條件下除對(duì)64QAM、8PAM的識(shí)別有一定錯(cuò)誤率外,其余信號(hào)均可以做到準(zhǔn)確識(shí)別,這在小樣本條件下已是較好性能。

圖8 本文算法在20 dB時(shí)識(shí)別性能

當(dāng)不使用特征選擇算法,分別直接利用10維手工特征、30維自編碼器特征、40維融合特征對(duì)BP網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練,得到圖(9)所示在信噪比為20 dB時(shí)的混淆矩陣。其中,圖9(a)表示10維手工特征訓(xùn)練所得的混淆矩陣,圖9(b)表示30維自編碼器特征訓(xùn)練所得的混淆矩陣,圖9(c)表示聯(lián)合10維手工特征與30維自編碼器不進(jìn)行特征選擇,直接送入BP網(wǎng)絡(luò)訓(xùn)練所得的混淆矩陣。

圖9 對(duì)比效果

通過圖9可以看出,不論是分別采用某種單獨(dú)方法或是聯(lián)合特征后不進(jìn)行特征優(yōu)選,信號(hào)的識(shí)別性能相較本文算法較差。當(dāng)利用10維手工特征時(shí),信號(hào)最高識(shí)別率在20 dB為93.1%,利用30維自編碼器特征時(shí),信號(hào)最高識(shí)別率在20 dB為89.8%。當(dāng)使用10維手工特征與30維自編碼器不進(jìn)行特征優(yōu)選時(shí),信號(hào)最高識(shí)別率在20 dB僅有83.7%。本文算法的識(shí)別率在信噪比大于14 dB時(shí)可達(dá)90%以上,最高識(shí)別率在20 dB時(shí)可達(dá)96%,可以看出通過特征融合優(yōu)選后信號(hào)識(shí)別率得到了一定程度的提升。此外,可以看出當(dāng)特征維度較高時(shí)信號(hào)識(shí)別性能有所下降,比如直接對(duì)40維特征直接進(jìn)行訓(xùn)練,信號(hào)的最高識(shí)別率只有83.7%,這是因?yàn)樵谛颖緱l件下分類器無法對(duì)高維特征較好擬合所導(dǎo)致的性能下降。上述4類方法在各個(gè)信噪比點(diǎn)的識(shí)別率對(duì)比曲線如圖10所示。此外,本節(jié)選擇3類特征選擇算法作為比較對(duì)象以驗(yàn)證本文特征選擇算法的效果,分別為mRMR[26]、FCBF、SRFS。其中,mRMR、FCBF都是利用數(shù)據(jù)標(biāo)簽信息的有監(jiān)督特征選擇算法,SRFS是基于圖論的半監(jiān)督特征選擇算法?？紤]到上述3種算法中均需設(shè)置相關(guān)度閾值以剔除不相關(guān)特征,因此本節(jié)設(shè)定相關(guān)度閾值α=4與本文算法相同,在SRFS算法中設(shè)置控制變量β=0.38也與本文相同。由于對(duì)比的3種特征選擇方法都與具體分類器算法是無關(guān)的,但需通過分類算法來評(píng)估特征選擇方法所選特征子集的優(yōu)劣,因此本節(jié)將各算法選擇出的特征集送入BP網(wǎng)絡(luò),利用800個(gè)帶標(biāo)簽樣本進(jìn)行監(jiān)督訓(xùn)練,對(duì)比其分類識(shí)別準(zhǔn)確率。各特征選擇算法所選特征數(shù)目、特征子集與選擇時(shí)間如表1所示?？梢钥闯?不利用無標(biāo)簽樣本的特征選擇算法mRMR與FCBF的選擇時(shí)間非常短,但其所選特征子集不夠精簡,而SRFS算法由于其需要構(gòu)建有向無環(huán)圖且僅從各子圖中選取一個(gè)代表特征,因此其子集精簡但比較耗時(shí)。

表1 各選擇算法所選特征子集

圖10 不同方法識(shí)別率對(duì)比曲線

各個(gè)算法所得特征比率如圖11所示,其中mRMR所選特征比率為65%,FCBF所選特征比率為47.5%,SRFS所選特征比率為17.5%,本文算法所得特征比率為37.5%。

圖11 特征比率直方圖

將各特征選擇算法選出的特征子集送入BP網(wǎng)絡(luò),利用少量帶標(biāo)簽樣本進(jìn)行有監(jiān)督訓(xùn)練,所得不同信噪比下的識(shí)別率曲線如圖12所示。可以看出,本文算法所選出的特征子集相較于其他3種算法在淺層BP網(wǎng)絡(luò)中的識(shí)別性能有一定優(yōu)勢。當(dāng)信噪比為20 dB時(shí),利用mRMR算法所提特征訓(xùn)練出的分類器最高識(shí)別率為90.5%,利用FCBF算法所提特征訓(xùn)練出的分類器最高識(shí)別率為92.1%,利用SRFS算法所提特征訓(xùn)練出的分類器最高識(shí)別率為93.9%,但均低于本文算法的96%。

圖12 不同特征選擇算法識(shí)別性能

為驗(yàn)證本文設(shè)計(jì)的淺層BP網(wǎng)絡(luò)參數(shù)的最優(yōu)性以及相較其他分類算法是否具有優(yōu)勢,本文首先對(duì)比不同激活函數(shù)、優(yōu)化器、隱藏層層數(shù)條件下神經(jīng)網(wǎng)絡(luò)的識(shí)別性能,得到了圖13所示的仿真結(jié)果。

圖13 BP網(wǎng)絡(luò)參數(shù)性能分析

通過實(shí)驗(yàn)結(jié)果可以看出,選用Relu激活函數(shù)的網(wǎng)絡(luò)識(shí)別率相較于Sigmoid與Tanh激活函數(shù)有一定優(yōu)勢。基于Adam優(yōu)化器的網(wǎng)絡(luò)識(shí)別性能相較于SGD與Adagrad優(yōu)化器有一定提升。在基于不同隱藏層數(shù)的對(duì)比實(shí)驗(yàn)中,本文堆疊經(jīng)元個(gè)數(shù)為32的中間隱藏層,分別對(duì)比中間隱藏層數(shù)為1層、3層、5層時(shí)不同信噪比下的識(shí)別準(zhǔn)確率,可以看出隨著中間隱藏層數(shù)目的增加,網(wǎng)絡(luò)識(shí)別準(zhǔn)確率下降幅度很大。這是由于隨著隱藏層數(shù)目的增加網(wǎng)絡(luò)參數(shù)規(guī)模呈指數(shù)式上漲,僅有少量的有標(biāo)簽訓(xùn)練樣本根本無法優(yōu)化如此量級(jí)的網(wǎng)絡(luò),從而造成了嚴(yán)重的過擬合問題,最終導(dǎo)致識(shí)別性能的急劇下降。

最后,本文對(duì)比BP網(wǎng)絡(luò),XGBOOST分類器,KNN分類器[27]的識(shí)別性能,分別利用800個(gè)有標(biāo)簽信號(hào)的13維優(yōu)選特征對(duì)上述3個(gè)分類器進(jìn)行訓(xùn)練,得到各個(gè)分類器的收斂速度和最高識(shí)別率,如表2所示。對(duì)比實(shí)驗(yàn)中,所選的XGBOOST分類器為KERAS庫中所屬?？梢钥闯鰷\層BP網(wǎng)絡(luò)在訓(xùn)練時(shí)間基本相當(dāng)?shù)那闆r下,識(shí)別準(zhǔn)確率較XGBOOST和KNN算法也有一些優(yōu)勢。

表2 不同分類器性能對(duì)比

5 結(jié) 論

本文針對(duì)實(shí)際戰(zhàn)場中信號(hào)調(diào)制識(shí)別領(lǐng)域可能出現(xiàn)的小樣本情況進(jìn)行探究,提出了一個(gè)全新的結(jié)構(gòu),該結(jié)構(gòu)將傳統(tǒng)方法與機(jī)器學(xué)習(xí)方法巧妙結(jié)合,融合了分類能力強(qiáng)的人工特征與自編碼器自動(dòng)提取出的特征。然后，再利用特征選擇算法對(duì)融合后特征進(jìn)行自動(dòng)選擇,從而利用盡可能低維的特征表征原始信號(hào)。最后，使用分類器訓(xùn)練低維度特征,形成了小樣本條件下通信信號(hào)分類新的解決方案,通過實(shí)驗(yàn)也驗(yàn)證了本文設(shè)計(jì)方案的可行性。但本文仍存在許多不足,比如本文算法對(duì)低信噪比條件下信號(hào)的識(shí)別率并無明顯提升,這將作為下一步研究的重點(diǎn)。