基于分簇協(xié)同Q-學(xué)習(xí)的頻譜感知算法

朱翠濤，謝碧鋒

(中南民族大學(xué) 電子信息工程學(xué)院，武漢 430074)

在認(rèn)知無線電網(wǎng)絡(luò)中，由于地形環(huán)境、信道變化和物體遮擋等因素，信號在傳輸過程中會受到不同程度的衰落、陰影效應(yīng)等影響[1].為了提高頻譜感知的準(zhǔn)確性，充分利用空間分集特性，需要認(rèn)知用戶間進(jìn)行協(xié)同感知.然而，對于大規(guī)模的認(rèn)知無線電網(wǎng)絡(luò)，大量認(rèn)知用戶間的協(xié)作會帶來感知時間和能量的過多消耗，以及缺乏自適應(yīng)能力等弊端.針對此問題，文獻(xiàn)[2]提出了分簇方法，將接收信號相關(guān)性高的認(rèn)知用戶分在同一簇內(nèi)，把大規(guī)模變成簇內(nèi)的小規(guī)模.在認(rèn)知無線電網(wǎng)絡(luò)中，分簇應(yīng)考慮周圍環(huán)境對檢測的影響和主用戶的出現(xiàn)、消失、變化等因素.同時，在分簇的基礎(chǔ)上，還應(yīng)考慮簇內(nèi)采用某種協(xié)作機(jī)制來提高協(xié)同檢測的性能，不同簇有不同的噪聲環(huán)境，因此,針對不同環(huán)境，如何自適應(yīng)背景噪聲來設(shè)置感知門限是一個有待研究的問題.文獻(xiàn)[3]中,經(jīng)過多次測量噪聲功率,通過經(jīng)驗(yàn)方法來設(shè)置能量檢測中的門限值.然而在實(shí)際應(yīng)用中，噪聲功率是經(jīng)常發(fā)生變化.文獻(xiàn)[4]分析并仿真了噪聲不確定性對頻譜感知性能的影響,前提是假設(shè)噪聲功率的動態(tài)范圍是已知的,但是并沒有說明如何得到噪聲的動態(tài)范圍.

基于此，本文提出了基于分簇協(xié)同的Q-學(xué)習(xí)頻譜感知算法.由認(rèn)知用戶感知頻譜信息的相關(guān)性進(jìn)行分簇，相比于傳統(tǒng)基于地理位置的分簇算法，更多地考慮頻譜環(huán)境的特點(diǎn).分簇后簇內(nèi)采用協(xié)同Q-學(xué)習(xí)，通過代理在與環(huán)境的交互過程中不斷試錯來確定頻譜檢測的最佳門限值.協(xié)同Q-學(xué)習(xí)解決了分簇算法不能自主學(xué)習(xí)的缺點(diǎn).同時，分簇機(jī)制也解決了大規(guī)模認(rèn)知無線電網(wǎng)絡(luò)協(xié)同Q-學(xué)習(xí)網(wǎng)絡(luò)負(fù)載增加及復(fù)雜性提高的難題.

1 系統(tǒng)模型

圖1 系統(tǒng)模型

輸入信號為xn(i)，認(rèn)知用戶接收的信號有下面兩種模型，由下式來判斷信道的占用狀態(tài)：

H0:sn(i)=en(t),

(1)

H1:sn(i)=h(x)xn(i)+en(t).

(2)

式中，sn(i)為認(rèn)知用戶接收到的信號，H0表示接收到的信號只有噪聲，主用戶未被占用；H1表示主用戶被占用.判斷信道狀態(tài)的公式為：

(3)

式中，E為信號采樣得到的能量值，Vt為判斷門限值，d表示信道的占用狀態(tài).

2 系統(tǒng)總體框圖

系統(tǒng)模塊框圖如圖2所示.

圖2 系統(tǒng)框圖

該系統(tǒng)分為5模塊，各個模塊的功能如下.

1)預(yù)分簇：根據(jù)認(rèn)知節(jié)點(diǎn)的地理位置，所有節(jié)點(diǎn)做初步分簇，選出各簇內(nèi)的簇頭.

2)相關(guān)度分簇：計算簇頭與各認(rèn)知節(jié)點(diǎn)的相關(guān)度，在第一步的基礎(chǔ)上做更準(zhǔn)確的分簇，保證每個簇內(nèi)都有相同數(shù)目的認(rèn)知節(jié)點(diǎn).

3)簇協(xié)同Q-學(xué)習(xí)：先預(yù)設(shè)一個門限值得到主用戶的狀態(tài)并發(fā)送到簇頭，得到Q-學(xué)習(xí)的狀態(tài).用M-out-of-N規(guī)則得到簇的檢測狀態(tài).

4)簇頭間決策融合：簇頭間通信后采用一致性的決策融合算法得到主用戶的占用狀態(tài).并把該狀態(tài)返回給CR，把該狀態(tài)做為簇內(nèi)協(xié)同Q-學(xué)習(xí)的實(shí)際狀態(tài).重復(fù)3)、4)，直到簇內(nèi)主用戶在的占用比率與簇間得到的主用戶占用比率相差小于某個最小值時，循環(huán)結(jié)束.得到各個簇檢測的門限值Vt，該門限值作為下一時段頻譜感知的起始門限.

5)每一時刻由門限值得到各個主用戶狀態(tài)，檢測結(jié)束得到所有時刻主用戶的感知狀態(tài).

3 相關(guān)性分簇

系統(tǒng)根據(jù)地理位置進(jìn)行一個預(yù)分簇處理，選定其中一個節(jié)點(diǎn)為簇頭.計算認(rèn)知節(jié)點(diǎn)與簇頭的相關(guān)性，相關(guān)性計算根據(jù)文獻(xiàn)[2]中的公式：

(4)

則相關(guān)系數(shù)的分布函數(shù)[2]可以寫為：

(5)

由(5)式的分布函數(shù)，積分即可得到兩個信號的相關(guān)系數(shù).系統(tǒng)一共有N個簇，每個簇內(nèi)有n個節(jié)點(diǎn)，除簇頭外一共有N×(n-1)個認(rèn)知節(jié)點(diǎn)，積分得到相關(guān)系數(shù)矩陣.分簇過程為：1)計算簇頭與其它認(rèn)知節(jié)點(diǎn)感知信號的相關(guān)系數(shù)，把相關(guān)系數(shù)按降序保存在N×(N×(n-1))矩陣中；2)其中矩陣每一行前(n-1)個是跟該簇頭相關(guān)系數(shù)最高的；3)假如不同簇前面(n-1)個元素均不相同，則分簇結(jié)束.假如某個節(jié)點(diǎn)在某些簇中均屬于前面(n-1)個元素，則該節(jié)點(diǎn)跟相關(guān)系數(shù)最大的節(jié)點(diǎn)屬于同一簇，其它不足(n-1)個元素的簇由后面的元素補(bǔ)上，保證每個簇都有n個元素，分簇結(jié)束.

4 分簇協(xié)同Q-學(xué)習(xí)算法

假設(shè)一個簇內(nèi)有n個CR協(xié)同檢測某個信道的狀態(tài)，每個CR在t時刻輸出一位檢測數(shù)據(jù)di,t,f,i=0,1,di,t,f∈{0,1},0表示信道空閑，1表示信道被占用，(n-1)個一位二進(jìn)制可以構(gòu)成個(n-1)位的二進(jìn)制整數(shù)，用該整數(shù)來表示為Q-學(xué)習(xí)的狀態(tài)[7]，狀態(tài)范圍為st,f∈[0,2n-1]，r為Q-學(xué)習(xí)的立即回報值，狀態(tài)由下式得到：

(6)

在該系統(tǒng)中，立即回報值r通過下面的方法獲得：

(7)

Vt=V0+0.05×Q,

(8)

Q值的更新公式為：

Q(s,a)=Q(s,a)+α·(r+γ·E(s′)-Q(s,a)),

(9)

Q(s,a)的初始值為，其中Q(s,a)∈[-10,10].

簇協(xié)同Q-學(xué)習(xí)算法流程為：

1)初始化Q表為全零，α=γ=0.1，初始門限值V0；

2)讀取第一個采樣值即t=1，認(rèn)知用戶采樣能量值與門限值Vt比較，得到每個認(rèn)知用戶檢測狀態(tài)di,t,f；

3)把各個認(rèn)知節(jié)點(diǎn)的di,t,f發(fā)送到簇頭用(6)式計算出簇內(nèi)Q-學(xué)習(xí)的狀態(tài)s=st,f，簇頭間通信得到系統(tǒng)的檢測主用戶的狀態(tài)ssys.把該狀態(tài)作為Q-學(xué)習(xí)的實(shí)際狀態(tài)；

4)通過公式(7)選擇動作執(zhí)行，得到立即回報值；

5)由式(9)計算Q值.把Q值代入公式(8)更新門限值；

6)當(dāng)|k1-k2|<0.001時循環(huán)結(jié)束，記錄下此時每個簇內(nèi)的門限值Vt，它作為下一個時刻簇內(nèi)頻譜感知的起始值，記錄下該次采樣系統(tǒng)得到的檢測狀態(tài)；

7)跳到下一個采樣時刻t←t+1,更新初始門限值跳到2)繼續(xù)執(zhí)行，直到到采樣結(jié)束為止.頻譜檢測結(jié)束，得到每個采樣時刻的狀態(tài).

5 簇頭間決策融合

簇頭通過少數(shù)服從多數(shù)來判斷系統(tǒng)的檢測狀態(tài)，每個簇頭輸出一位二進(jìn)制數(shù)sc,k,k=1,2L,N,表示簇內(nèi)頻譜檢測的狀態(tài)，其中sc,k={0,1}，0表示信道未被占用，1表示信道被主用戶占用.簇頭間融合規(guī)則為m-out-of-n，融合后的決策稱為ssys，則系統(tǒng)決策判斷公式為：

(10)

判斷系統(tǒng)性能的標(biāo)準(zhǔn)為檢測概率和虛警概率：1)檢測概率PD(當(dāng)實(shí)際狀態(tài)為“忙”時系統(tǒng)正確檢測出信道的狀態(tài)為“忙”的概率)；2)虛警概率(當(dāng)實(shí)際狀態(tài)為“空閑”檢測為“忙”的概率).計算公式如下：

(11)

D為狀態(tài)為“忙”的信道總數(shù)，F(xiàn)A為狀態(tài)為“空閑”時的信道總數(shù)；d為檢測到的狀態(tài)為“忙”的信道數(shù)量，fa為狀態(tài)為“空閑”時沒有檢測到的信道數(shù)量.

6 仿真與分析

該系統(tǒng)檢測在固定區(qū)域內(nèi)3個信道的占用狀態(tài)，不同的認(rèn)知用戶的SNR不同，變化范圍為-25～20 dB，認(rèn)知用戶接收的信號長度為N=512.本文直接調(diào)用系統(tǒng)的信道函數(shù).下面的仿真均為檢測3個主用戶的信道狀態(tài).其中:簇內(nèi)節(jié)點(diǎn)數(shù)=總節(jié)點(diǎn)數(shù)÷簇數(shù),余數(shù)節(jié)點(diǎn)拋棄.

實(shí)驗(yàn)1：簇數(shù)為5和10，在不同認(rèn)知節(jié)點(diǎn)數(shù)目下的檢測概率和虛警概率.

認(rèn)知節(jié)點(diǎn)數(shù)目

認(rèn)知節(jié)點(diǎn)數(shù)目

由圖3,4可以看出，當(dāng)簇內(nèi)只有一個CR時檢測概率較低.當(dāng)簇內(nèi)CR增加，簇內(nèi)Q-學(xué)習(xí)開始，檢測概率逐漸增加.當(dāng)節(jié)點(diǎn)數(shù)達(dá)到某個數(shù)時，檢測概率穩(wěn)定到最大值和虛假概率穩(wěn)定到最小值.節(jié)點(diǎn)數(shù)目再增加檢測效果不變.

實(shí)驗(yàn)2：在認(rèn)知節(jié)點(diǎn)數(shù)目都為70，分簇數(shù)不同情況下的檢測概率和虛警概率.

圖5和圖6說明，在70個認(rèn)知節(jié)點(diǎn)的條件下，隨著分簇數(shù)目的增加，檢測概率增大，當(dāng)分為8簇時檢測概率最大和虛警概率最小，此時簇內(nèi)認(rèn)知節(jié)點(diǎn)數(shù)目也為8.當(dāng)分簇數(shù)目再增加時檢測概率開始減小和虛警概率開始增大.所以當(dāng)分簇數(shù)和簇內(nèi)節(jié)點(diǎn)數(shù)相等時，系統(tǒng)有最佳的檢測效果.

分簇數(shù)目

分簇數(shù)目

7 結(jié)語

本文針對大規(guī)模認(rèn)知無線電網(wǎng)絡(luò)中協(xié)同頻譜感知系統(tǒng)中存在問題，提出了一種基于分簇協(xié)同的Q-學(xué)習(xí)頻譜感知算法，該算法在分簇數(shù)目確定的情況下隨著節(jié)點(diǎn)數(shù)目的增加能提高系統(tǒng)的檢測概率；系統(tǒng)在節(jié)點(diǎn)數(shù)確定的情況下，當(dāng)分簇數(shù)和簇內(nèi)節(jié)點(diǎn)數(shù)相等時檢測概率最大和虛警概率最小.實(shí)驗(yàn)結(jié)果表明:大規(guī)模環(huán)境下分簇Q-學(xué)習(xí)算法能顯著提高系統(tǒng)的檢測性能.

[1]Jia Juncheng,Zhang Jin,Zhang Qian.Cooperative relay for cognitive radio networks[C]//IEEE.IEEE International Conference on Computer Communications 2009.Riode Janeiro:IEEE,2009: 2304-2312.

[2]孫劍鋒,高錦春,劉元安,等.基于頻譜感知結(jié)果的認(rèn)知無線電用戶分簇方法[J].電子與信息學(xué)報,2012,34(4): 782-786.

[3]Bai Zhiquan,Wang Li,Zhang Haixia,et al.Cluster- based cooperative spectrum sensing for cognitive radio under bandwidth constraints [C]//IEEE.12th IEEE Internati onal Conference on Communication Systems 2010.Cape Town:IEEE,2010:569-573.

[4]Goli Sepideh Afkhami,Yousefi Hamed,Movaghar AliAn.Efficient distributed cluster-head election technique for load balancing in wireless sensor networks [C]//IEEE.2010 6th International Conference on Intelligent Sensors,Sensor Networks and InformationProcessing.Brisbane:IEEE,2010: 227-232.

[5]Guo Lejiang,Chen Fangxin,Dai Zhicheng,et al.WSN cluster head selection algorithm based on neural network [C]//IEEE.2010 International Conference on Machine Vision and Human Machine Interface.Kaifeng:IEEE,2010: 258-260.

[6]Mitola J,Maquire G J.Cognitive radios: making software radios more personal [J].IEEE Personal Communications,1999,6(4): 13-18.

[7]Zhe Chen,Rober C.Qiu.Cooperative spectrum sensing using Q-learning with experimental validation[J].IEEE Personal Communications,2011,6(4): 405-408.