改進(jìn)的一致性正則半監(jiān)督輻射源個(gè)體識(shí)別方法

呂昊遠(yuǎn)，俞 璐

(陸軍工程大學(xué) 通信工程學(xué)院，江蘇 南京 210007)

0 引 言

由于輻射源設(shè)備內(nèi)部硬件制造工藝差異而產(chǎn)生的輻射源細(xì)微特征，對(duì)于檢測并識(shí)別具有個(gè)體特性的輻射源有著重要作用。輻射源個(gè)體識(shí)別通過檢測手段獲得輻射源細(xì)微特征，提取出反映目標(biāo)身份的信息，確定特定輻射源個(gè)體，針對(duì)性地對(duì)目標(biāo)個(gè)體進(jìn)行有效監(jiān)控[1]。近年來通信輻射源個(gè)體識(shí)別已成為情報(bào)偵查、通信干擾、電子對(duì)抗等領(lǐng)域的研究熱點(diǎn)，是現(xiàn)代電磁空間環(huán)境中控制信息權(quán)的關(guān)鍵環(huán)節(jié)，在通信網(wǎng)絡(luò)結(jié)構(gòu)分析和電子設(shè)備管制等方面發(fā)揮著巨大作用[2]。

與傳統(tǒng)的識(shí)別方法相比，快速發(fā)展的深度學(xué)習(xí)為輻射源個(gè)體識(shí)別提供了新的思路，如圖1所示，無需專家先驗(yàn)知識(shí)的深度網(wǎng)絡(luò)通過強(qiáng)大的表征能力，直接從獲取的信號(hào)樣本中提取個(gè)體細(xì)微特征并進(jìn)行分類識(shí)別[3]，可以節(jié)省大量的科研成本，具有很高的學(xué)術(shù)研究價(jià)值和廣闊的實(shí)際應(yīng)用前景。

圖1 深度學(xué)習(xí)的個(gè)體識(shí)別過程

但有監(jiān)督學(xué)習(xí)的深度模型需要充足的有標(biāo)簽樣本，在非合作通信條件下，獲取到的具有標(biāo)簽信息的輻射源信號(hào)樣本數(shù)目非常有限，但實(shí)際環(huán)境中又存在大量的無標(biāo)簽信號(hào)樣本，針對(duì)這種狀況，近期的研究已經(jīng)取得了一定的成就，文獻(xiàn)[4]提出的基于偽標(biāo)簽的輻射源個(gè)體識(shí)別方法，有效地提升了深度網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率。文獻(xiàn)[5]設(shè)計(jì)出適合于輻射源信號(hào)樣本的自編碼器，通過自編碼器的降維提取信號(hào)樣本特征，再經(jīng)過有監(jiān)督的網(wǎng)絡(luò)微調(diào)訓(xùn)練，實(shí)驗(yàn)驗(yàn)證了方法的可行性。文獻(xiàn)[6]將自編碼器改進(jìn)成為矩形網(wǎng)絡(luò)，提取到更加精準(zhǔn)的個(gè)體特征。文獻(xiàn)[7]在樣本集的構(gòu)建上提出創(chuàng)新，將信號(hào)數(shù)據(jù)轉(zhuǎn)化為圖片，以簡單的特征轉(zhuǎn)換方法增強(qiáng)了實(shí)用性。但這些方法仍然存在一定的波動(dòng)偶然性，如何根據(jù)少量的有標(biāo)簽信號(hào)樣本和大量的無標(biāo)簽信號(hào)樣本精準(zhǔn)迅速地提取輻射源個(gè)體特征，研究出更加高效的端到端半監(jiān)督個(gè)體識(shí)別方法還有待研究。

本文提出改進(jìn)的一致性正則半監(jiān)督輻射源個(gè)體識(shí)別方法，在3種一致性正則方法的基礎(chǔ)上，加入偽標(biāo)簽正則項(xiàng)改進(jìn)算法過程。并根據(jù)實(shí)際輻射源設(shè)備采集的信號(hào)數(shù)據(jù)設(shè)計(jì)Inception深度網(wǎng)絡(luò)驗(yàn)證算法性能，并與全監(jiān)督方法、偽標(biāo)簽半監(jiān)督方法、自編碼器特征提取方法、改進(jìn)前的一致性正則方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明，相同的數(shù)據(jù)集設(shè)置條件下，本文方法能夠達(dá)到優(yōu)于其它方法的識(shí)別性能。

1 一致性正則半監(jiān)督

半監(jiān)督學(xué)習(xí)策略中，對(duì)于無標(biāo)簽樣本來講，一致性正則方法在實(shí)際的深度模型訓(xùn)練中有著巨大的優(yōu)勢，可以有效避免面對(duì)“小樣本”問題時(shí)深度模型容易陷入過擬合的困境。分別介紹一致性正則的概念和3種基于一致性正則的半監(jiān)督深度學(xué)習(xí)模型。

1.1 一致性正則

很多損失函數(shù)都有一致性(consistency)的含義，KL散度和交叉熵都是在訓(xùn)練中最小化深度網(wǎng)絡(luò)預(yù)測和樣本標(biāo)簽間的差值[8]，從而希望兩者能夠一致，所以一致性就是一種非常內(nèi)在而本質(zhì)的目標(biāo)，在達(dá)到這個(gè)目標(biāo)的過程中，可以讓深度網(wǎng)絡(luò)得到有效的訓(xùn)練，學(xué)習(xí)到樣本內(nèi)在的不變性[9]。

但在半監(jiān)督學(xué)習(xí)中，大量的無標(biāo)簽樣本沒有類別標(biāo)簽，為了利用好這些無標(biāo)簽樣本使其發(fā)揮出最大作用，提出了不需要標(biāo)簽信息的一致性正則方法，其基本概念就是，對(duì)于一個(gè)固定的樣本輸入，即使受到了多次的加噪干擾，深度網(wǎng)絡(luò)對(duì)其每次的預(yù)測結(jié)果都應(yīng)該一致。

一致性正則具體應(yīng)用在半監(jiān)督深度學(xué)習(xí)方法中的思路是，對(duì)于有標(biāo)簽樣本，使用標(biāo)準(zhǔn)的交叉熵?fù)p失函數(shù)計(jì)算網(wǎng)絡(luò)預(yù)測和真實(shí)標(biāo)簽間的誤差，保證少量有標(biāo)簽樣本訓(xùn)練擬合；而對(duì)于無標(biāo)簽樣本，就需要使用一致性正則方法，即最小化無標(biāo)簽樣本的多次預(yù)測結(jié)果之間的差值[10]，最后加入權(quán)重系數(shù)將有監(jiān)督損失與無監(jiān)督損失兩部分結(jié)合，構(gòu)建出總的半監(jiān)督損失函數(shù)。

1.2 π模型

圖2 π模型算法流程

π模型中大量的無標(biāo)簽樣本也參與到算法的訓(xùn)練之中，大幅降低了模型對(duì)于有標(biāo)簽樣本的依賴。

1.3 時(shí)序組合模型

圖3 時(shí)序組合模型算法流程

在具體的算法中，上一迭代周期的預(yù)測值，并不只是一個(gè)周期的預(yù)測結(jié)果，而是引入指數(shù)移動(dòng)平均(exponential moving average，EMA)思想，將之前所有周期預(yù)測結(jié)果加權(quán)平均累加，再通過偏差校正提高較近迭代周期預(yù)測值的比重，最終得到預(yù)測標(biāo)簽值，其中t為訓(xùn)練中的迭代次數(shù)

(1)

加權(quán)平均操作既可以穩(wěn)定當(dāng)前的預(yù)測結(jié)果，減弱早期迭代周期中產(chǎn)生的不穩(wěn)定結(jié)果，對(duì)于某一次錯(cuò)誤的預(yù)測值可以起到平滑的作用，對(duì)錯(cuò)誤預(yù)測有一定的容忍，也能很好地保留歷史信息，使得模型具有更強(qiáng)的魯棒性。

1.4 師生模型

圖4 師生模型算法流程

教師網(wǎng)絡(luò)不直接參與訓(xùn)練，也無需梯度反向傳播更新網(wǎng)絡(luò)參數(shù)，其參數(shù)值由原有的學(xué)生網(wǎng)絡(luò)之前迭代周期中的參數(shù)經(jīng)過加權(quán)平均得到。

師生模型的核心思想中，深度網(wǎng)絡(luò)既充當(dāng)學(xué)生，又充當(dāng)教師。師生關(guān)系就是：作為學(xué)生，利用教師模型產(chǎn)生的目標(biāo)進(jìn)行學(xué)習(xí)提高識(shí)別準(zhǔn)確度，作為教師，對(duì)于無標(biāo)簽樣本產(chǎn)生的預(yù)測結(jié)果作為學(xué)生學(xué)習(xí)時(shí)的目標(biāo)，從而形成一個(gè)良性循環(huán)。θt為學(xué)生網(wǎng)絡(luò)在第t個(gè)迭代周期中的參數(shù)，教師網(wǎng)絡(luò)參數(shù)θ′t的移動(dòng)計(jì)算形式為

θ′t=αθ′t-1+(1-α)θt

(2)

在時(shí)序組合模型中，無標(biāo)簽樣本的目標(biāo)標(biāo)簽來自模型前幾個(gè)迭代周期預(yù)測結(jié)果的加權(quán)平均。而在師生模型中，無標(biāo)簽樣本的目標(biāo)標(biāo)簽來自教師模型的預(yù)測結(jié)果。由于是通過模型參數(shù)的加權(quán)平均來實(shí)現(xiàn)標(biāo)簽預(yù)測，因此在每個(gè)訓(xùn)練批次中都可以把無標(biāo)簽中的信息更新到模型中，而不必像時(shí)序組合模型需要等到一個(gè)訓(xùn)練周期結(jié)束再更新，在穩(wěn)定預(yù)測值的基礎(chǔ)上，有效緩解了網(wǎng)絡(luò)更新緩慢帶來的滯后性的問題。

2 深度學(xué)習(xí)方法設(shè)計(jì)

通過分析偽標(biāo)簽半監(jiān)督個(gè)體識(shí)別方法的優(yōu)劣，提出在一致性正則半監(jiān)督方法的基礎(chǔ)上加入偽標(biāo)簽正則項(xiàng)的改進(jìn)思想，并設(shè)計(jì)出適合本文實(shí)采信號(hào)數(shù)據(jù)的Inception深度網(wǎng)絡(luò)結(jié)構(gòu)。

2.1 方法改進(jìn)

偽標(biāo)簽半監(jiān)督輻射源個(gè)體識(shí)別方法中，使用少量有標(biāo)簽信號(hào)樣本預(yù)先訓(xùn)練深度網(wǎng)絡(luò)，利用熵最小化獲得置信度高的預(yù)測分布作為無標(biāo)簽信號(hào)樣本的偽標(biāo)簽，無標(biāo)簽信號(hào)樣本的交叉熵?fù)p失中將偽標(biāo)簽作為訓(xùn)練目標(biāo)，這一部分就是整體損失函數(shù)中的偽標(biāo)簽正則項(xiàng)。

偽標(biāo)簽輻射源個(gè)體識(shí)別方法存在著一些問題，當(dāng)無標(biāo)簽信號(hào)樣本數(shù)目所占總數(shù)目比重大時(shí)，模型在測試集上的識(shí)別準(zhǔn)確率不太理想，訓(xùn)練初期的深度網(wǎng)絡(luò)對(duì)于大量的無標(biāo)簽信號(hào)樣本中的特征信息無法正確表征，會(huì)產(chǎn)生錯(cuò)誤的預(yù)測干擾偽標(biāo)簽的正確賦值，網(wǎng)絡(luò)進(jìn)一步會(huì)受到錯(cuò)誤偽標(biāo)簽的訓(xùn)練指導(dǎo)，在訓(xùn)練過程中產(chǎn)生較大的波動(dòng)影響最終結(jié)果。但偽標(biāo)簽的思想中降低模型識(shí)別概率的熵，可以將網(wǎng)絡(luò)對(duì)于無標(biāo)簽信號(hào)樣本的識(shí)別概率集中到某一類，對(duì)于將決策面靠近低密度數(shù)據(jù)分布區(qū)域還是有很大的作用[13]。本文在一致性正則半監(jiān)督方法基礎(chǔ)上，加入偽標(biāo)簽正則項(xiàng)，改進(jìn)算法訓(xùn)練過程，重新構(gòu)建總的損失函數(shù)。

DL是有標(biāo)簽信號(hào)樣本集，f(x,η;θ) 表示網(wǎng)絡(luò)參數(shù)為θ，η是跟噪聲有關(guān)的參數(shù)，深度網(wǎng)絡(luò)對(duì)于樣本x的標(biāo)簽預(yù)測值，定義有標(biāo)簽信號(hào)樣本預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的交叉熵?fù)p失函數(shù)

(3)

DU是無標(biāo)簽信號(hào)樣本集，y′是深度網(wǎng)絡(luò)對(duì)無標(biāo)簽信號(hào)樣本賦予的偽標(biāo)簽，定義無標(biāo)簽信號(hào)樣本預(yù)測標(biāo)簽和偽標(biāo)簽之間的交叉熵?fù)p失函數(shù)

(4)

定義所有信號(hào)樣本的均方誤差，計(jì)算一致性損失

(5)

ω1(t)和ω2(t)是權(quán)重系數(shù)，控制偽標(biāo)簽正則項(xiàng)和一致性正則項(xiàng)在總體損失函數(shù)中的相對(duì)占比重要性，最后結(jié)合3部分損失，定義深度模型總的損失函數(shù)

(6)

太小的權(quán)重系數(shù)對(duì)于提升模型性能有限，太大又會(huì)使性能退化，由于訓(xùn)練前期網(wǎng)絡(luò)的預(yù)測準(zhǔn)確度不高，所以ω1(t)初始值為0，隨著訓(xùn)練迭代次數(shù)的增加而緩慢增長(增長過快會(huì)使模型陷入局部最優(yōu))并最終固定。t是迭代次數(shù)，T1和T2是兩個(gè)固定閾值(T1

(7)

ω2(t)表現(xiàn)為高斯增長函數(shù)，其初始值較小，也隨著訓(xùn)練迭代次數(shù)的增加而緩慢增長并最終固定

(8)

改進(jìn)的一致性正則半監(jiān)督算法流程如圖5所示。

圖5 改進(jìn)的一致性正則算法流程

具體的算法訓(xùn)練過程如下：

(1)將少量有標(biāo)簽信號(hào)樣本輸入加入Dropout的深度網(wǎng)絡(luò)，計(jì)算得到的預(yù)測標(biāo)簽和真實(shí)標(biāo)簽之間的交叉熵?fù)p失(師生模型中只需由學(xué)生模型的預(yù)測結(jié)果和真實(shí)標(biāo)簽比較)。

(2)將無標(biāo)簽信號(hào)樣本輸入深度網(wǎng)絡(luò)，將預(yù)測值作為樣本的偽標(biāo)簽，再次經(jīng)過網(wǎng)絡(luò)預(yù)測得到預(yù)測標(biāo)簽值，計(jì)算和偽標(biāo)簽之間的交叉熵?fù)p失。

(3)將全部信號(hào)數(shù)據(jù)輸入深度網(wǎng)絡(luò)，計(jì)算得到的兩個(gè)預(yù)測標(biāo)簽值之間的一致性損失(3個(gè)模型的兩個(gè)預(yù)測值實(shí)現(xiàn)方式見表1)。

(4)把3部分損失進(jìn)行加權(quán)平均計(jì)算構(gòu)建總的損失函數(shù)，梯度反向傳播更新網(wǎng)絡(luò)參數(shù)(師生模型中只需更新學(xué)生模型參數(shù)，通過學(xué)生模型的參數(shù)移動(dòng)平均得到教師模型)。

(5)重復(fù)步驟(1)～步驟(4)，直至網(wǎng)絡(luò)訓(xùn)練結(jié)束。

表1 不同模型預(yù)測值的實(shí)現(xiàn)方式

2.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

深度學(xué)習(xí)中加深神經(jīng)網(wǎng)絡(luò)層數(shù)是提升深度模型性能的有效方法，但也會(huì)使得網(wǎng)絡(luò)參數(shù)量增大，在“小樣本”條件下很容易訓(xùn)練過擬合[14]。Inception網(wǎng)絡(luò)用到密集成分近似或代替局部稀疏結(jié)構(gòu)的思想，以網(wǎng)絡(luò)寬度換取識(shí)別準(zhǔn)確度，其中不同大小的卷積核意味著不同尺度特征的融合，使得提取個(gè)體特征更為精準(zhǔn)[15]。

本文在Inception v1基礎(chǔ)上，根據(jù)輸入信號(hào)樣本的形式以及對(duì)網(wǎng)絡(luò)的需求關(guān)系，設(shè)計(jì)出如圖6所示的Inception模型，除輸入輸出層外，中間的特征提取過程包括3條卷積路線和兩個(gè)全連接層。

圖6 Inception結(jié)構(gòu)

網(wǎng)絡(luò)的輸入信號(hào)樣本維數(shù)為2×128，3條卷積路線中，第一條路線的卷積核大小分別為(1，1)和(1，3)，第二條路線的卷積核大小分別為(1，1)和(1，8)，第三條路線的卷積核為(1，1)。3條路線輸出連接后通過展平轉(zhuǎn)換為一維序列再進(jìn)入全連接層，第一個(gè)全連接層的神經(jīng)元個(gè)數(shù)為256，第二個(gè)全連接層神經(jīng)元個(gè)數(shù)為5，對(duì)應(yīng)5個(gè)輻射源個(gè)體識(shí)別的五分類問題，最后通過Softmax層進(jìn)行分類，訓(xùn)練過程中通過梯度反向傳播持續(xù)優(yōu)化網(wǎng)絡(luò)參數(shù)。除最后一層使用Softmax激活函數(shù)，其余層使用Relu激活函數(shù)，并且在每層后連接至Dropout層進(jìn)行正則化，參數(shù)設(shè)置為0.3，實(shí)驗(yàn)選用Adam優(yōu)化器。

3 實(shí)驗(yàn)與分析

本節(jié)中介紹實(shí)驗(yàn)條件，包括所用信號(hào)數(shù)據(jù)的采集方式和深度模型訓(xùn)練過程中參數(shù)的設(shè)置，分析實(shí)驗(yàn)結(jié)果，比較不同訓(xùn)練集和參數(shù)設(shè)置條件下不同方法的性能。本文實(shí)驗(yàn)運(yùn)行在一臺(tái)惠普OMEN Lapto-p 15筆記本電腦上，硬件配置CPU為Intel(R) Core(TM) i7-10870H 2.2 GHz，GPU為Nvidia RTX 2070 Max-Q，內(nèi)存為DDR4 8G×2，使用Anaconda(2020.02)+PyTorch(1.7.1)+PyCharm的軟件開發(fā)環(huán)境構(gòu)建深度學(xué)習(xí)模型并實(shí)現(xiàn)算法的訓(xùn)練與測試。

3.1 數(shù)據(jù)集準(zhǔn)備

IQ信號(hào)數(shù)據(jù)已經(jīng)被證實(shí)了非常適用于深度學(xué)習(xí)輻射源個(gè)體識(shí)別方法[16]，本文實(shí)驗(yàn)直接將IQ信號(hào)數(shù)據(jù)輸入至深度網(wǎng)絡(luò)中進(jìn)行特征提取。使用基于LabVIEW的輻射源數(shù)據(jù)采集方法實(shí)際采集到5臺(tái)USRP N210設(shè)備的信號(hào)數(shù)據(jù)，圖7展示了發(fā)射端的實(shí)物圖。

圖7 發(fā)射端實(shí)物

其中數(shù)據(jù)采集過程中的采樣參數(shù)設(shè)置見表2。

表2 采樣參數(shù)設(shè)置

圖8展示了具體的信號(hào)數(shù)據(jù)采集過程，虛線框中表示在實(shí)驗(yàn)室環(huán)境下，輻射源設(shè)備的通信間隔為1 m，中間無障礙物時(shí)信號(hào)的發(fā)射與接收，再將獲取的原始信號(hào)數(shù)據(jù)經(jīng)過數(shù)模轉(zhuǎn)換和IQ正交雙路解調(diào)輸入至計(jì)算機(jī)。

圖8 樣本采集過程

采集到5臺(tái)輻射源設(shè)備的IQ兩路載波信號(hào)數(shù)據(jù)，對(duì)采集到的信號(hào)數(shù)據(jù)進(jìn)行預(yù)處理，用數(shù)據(jù)清洗的方式去除采樣幀初始階段中幀間切換時(shí)產(chǎn)生的不規(guī)則樣本點(diǎn)，并且進(jìn)行功率歸一化的比例變換，圖9所繪制的是一臺(tái)輻射源設(shè)備經(jīng)過預(yù)處理后的部分IQ數(shù)據(jù)圖，選取了100個(gè)數(shù)據(jù)點(diǎn)。

圖9 IQ信號(hào)數(shù)值

根據(jù)輻射源設(shè)備個(gè)數(shù)將輻射源個(gè)體進(jìn)行類別標(biāo)號(hào)，設(shè)置5類標(biāo)簽值，接著將信號(hào)數(shù)據(jù)按照一定比例分為訓(xùn)練集和測試集，訓(xùn)練集中的信號(hào)樣本在輸入模型前加入數(shù)據(jù)增強(qiáng)操作，包括樣本數(shù)組的隨機(jī)數(shù)值遮擋和樣本數(shù)組的翻轉(zhuǎn)，最終完成樣本數(shù)據(jù)集的構(gòu)建。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

實(shí)驗(yàn)選取訓(xùn)練集中的少量信號(hào)樣本作為有標(biāo)簽訓(xùn)練集和大量信號(hào)樣本作為無標(biāo)簽訓(xùn)練集。將劃分好的有標(biāo)簽和無標(biāo)簽信號(hào)樣本輸入一致性正則半監(jiān)督深度模型中，其中無標(biāo)簽信號(hào)樣本在輸入深度模型之前去除了標(biāo)簽信息，標(biāo)簽值只用在每次訓(xùn)練迭代后計(jì)算無標(biāo)簽信號(hào)樣本的識(shí)別準(zhǔn)確率，不投入深度網(wǎng)絡(luò)指導(dǎo)訓(xùn)練。

3個(gè)一致性正則模型在半監(jiān)督算法中的參數(shù)設(shè)置見表3，其中包括訓(xùn)練過程中的迭代次數(shù)、控制權(quán)重系數(shù)的閾值數(shù)T1和T2、偽標(biāo)簽正則項(xiàng)的固定權(quán)重ωf、參數(shù)移動(dòng)平均值α、有標(biāo)簽信號(hào)樣本輸入網(wǎng)絡(luò)的batch size、Adam優(yōu)化器學(xué)習(xí)率大小。需要注意π模型中沒有移動(dòng)平均參數(shù)，無標(biāo)簽信號(hào)樣本的batch size根據(jù)與有標(biāo)簽信號(hào)樣本的比例大小做相應(yīng)的設(shè)置。

表3 模型訓(xùn)練參數(shù)設(shè)置

3.3 不同模型性能對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)中將改進(jìn)的3種一致性正則半監(jiān)督方法與全監(jiān)督方法、偽標(biāo)簽半監(jiān)督方法、自編碼器特征提取方法、改進(jìn)前的一致性正則半監(jiān)督方法進(jìn)行對(duì)比。表4和表5分別展示了當(dāng)有標(biāo)簽樣本數(shù)為1000和2000時(shí)，在不同的有標(biāo)簽訓(xùn)練集與無標(biāo)簽訓(xùn)練集的比例大小的設(shè)置條件下，9種方法在包含900個(gè)信號(hào)樣本的測試集上的識(shí)別準(zhǔn)確率(通過100次蒙特卡洛實(shí)驗(yàn)得出)，其中帶*的為改進(jìn)后添加偽標(biāo)簽正則項(xiàng)的一致性正則半監(jiān)督方法。

表4 識(shí)別準(zhǔn)確率(1000個(gè)有標(biāo)簽樣本)

表5 識(shí)別準(zhǔn)確率(2000個(gè)有標(biāo)簽樣本)

固定有標(biāo)簽信號(hào)樣本數(shù)目，隨著無標(biāo)簽信號(hào)樣本數(shù)目增多，模型的識(shí)別準(zhǔn)確率也會(huì)增大，但超過一定范圍，過多的無標(biāo)簽樣本數(shù)據(jù)會(huì)加大模型對(duì)于標(biāo)簽錯(cuò)誤預(yù)測的概率，使得訓(xùn)練過程中受到影響并出現(xiàn)較大的波動(dòng)，導(dǎo)致最終的識(shí)別性能下降。當(dāng)有標(biāo)簽信號(hào)樣本數(shù)目為1000時(shí)，一致性正則半監(jiān)督方法的性能提升更為明顯。這說明在標(biāo)簽信號(hào)樣本數(shù)目較少的情況下，一致性正則半監(jiān)督學(xué)習(xí)在訓(xùn)練過程中才更能體現(xiàn)出避免過擬合增強(qiáng)魯棒的特性。

表6展示了不同模型從訓(xùn)練開始到訓(xùn)練結(jié)束的時(shí)長。全監(jiān)督算法由于訓(xùn)練集規(guī)模小，訓(xùn)練過程簡單，所以訓(xùn)練時(shí)間最短。π模型由于在訓(xùn)練過程中每次迭代網(wǎng)絡(luò)都要預(yù)測兩次，而師生模型中學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)各預(yù)測一次，所以兩種模型訓(xùn)練時(shí)間較長，師生模型在每個(gè)訓(xùn)練批次中都有參數(shù)移動(dòng)平均更新教師模型的參數(shù)，所以相比于π模型，師生模型訓(xùn)練時(shí)間更長。偽標(biāo)簽算法訓(xùn)練時(shí)間較短，這是因?yàn)闀r(shí)序組合模型中所有數(shù)據(jù)都參與了無監(jiān)督訓(xùn)練部分，而偽標(biāo)簽算法中只有無標(biāo)簽數(shù)據(jù)參與無監(jiān)督訓(xùn)練。

圖10 測試集混淆矩陣

表6 模型訓(xùn)練時(shí)間/s

3.4 不同深度網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)

選擇與前文同樣的訓(xùn)練集設(shè)置條件，表7展示基于不同深度網(wǎng)絡(luò)結(jié)構(gòu)下3種一致性正則模型的識(shí)別準(zhǔn)確率。對(duì)比Inception網(wǎng)絡(luò)和簡單的全連接網(wǎng)絡(luò)以及CNN網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率，Inception提取到不同尺度特征有利于識(shí)別任務(wù)，達(dá)到了最好的識(shí)別效果。

表7 不同深度網(wǎng)絡(luò)下的識(shí)別準(zhǔn)確率/%

3.5 參數(shù)變化對(duì)比實(shí)驗(yàn)

圖11繪制了隨著Adam優(yōu)化器學(xué)習(xí)率數(shù)值的減小，3種一致性正則模型識(shí)別準(zhǔn)確率變化的折線圖?？梢园l(fā)現(xiàn)，當(dāng)學(xué)習(xí)率為0.001時(shí)有著最好的識(shí)別性能，學(xué)習(xí)率設(shè)置過大會(huì)增加模型難以收斂的風(fēng)險(xiǎn)，設(shè)置過小會(huì)使模型訓(xùn)練緩慢，易陷入局部最優(yōu)。

圖11 不同學(xué)習(xí)率下的識(shí)別準(zhǔn)確率

改變投入模型樣本的長度，測試3種模型在測試集上的識(shí)別準(zhǔn)確率，實(shí)驗(yàn)結(jié)果如圖12所示，較短的樣本長度不利于特征提取，識(shí)別準(zhǔn)確率較低，樣本長度在128時(shí)達(dá)到穩(wěn)定，長度繼續(xù)增長識(shí)別率也不會(huì)有明顯變化，而且會(huì)大大增加訓(xùn)練時(shí)間，甚至?xí)霈F(xiàn)過擬合降低泛化性能的現(xiàn)象。

圖12 不同樣本長度下模型識(shí)別準(zhǔn)確率

4 結(jié)束語

針對(duì)輻射源個(gè)體識(shí)別技術(shù)在真實(shí)環(huán)境中面臨著“小樣本”問題，本文提出改進(jìn)的一致性正則半監(jiān)督個(gè)體識(shí)別方法，介紹了半監(jiān)督學(xué)習(xí)中一致性正則方法的基本思想以及3種一致性正則半監(jiān)督深度模型的算法過程，加入了偽標(biāo)簽正則項(xiàng)進(jìn)行方法改進(jìn)，重新定義算法的訓(xùn)練過程，構(gòu)建總的損失函數(shù)，并且根據(jù)實(shí)際樣本數(shù)據(jù)集的采集情況設(shè)計(jì)Inception深度網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行算法性能的驗(yàn)證。

通過分析不同方法在實(shí)際采集的5臺(tái)USRP輻射源數(shù)據(jù)集上的分類結(jié)果，可以看到改進(jìn)后添加偽標(biāo)簽正則項(xiàng)的一致性正則半監(jiān)督方法的識(shí)別性能明顯提升，當(dāng)有標(biāo)簽信號(hào)樣本數(shù)為1000和2000，所占樣本總數(shù)的四分之一時(shí)，師生模型分別得到92.19%和97.96%的最高識(shí)別準(zhǔn)確率，通過實(shí)驗(yàn)也驗(yàn)證了設(shè)計(jì)的Inception深度網(wǎng)絡(luò)和選擇的學(xué)習(xí)率、樣本長度參數(shù)的有效性。下一步的工作中，會(huì)在深度網(wǎng)絡(luò)對(duì)于輻射源個(gè)體特征的具體提取形式以及訓(xùn)練過程中超參數(shù)設(shè)置等方面繼續(xù)深入研究探索。