非完全信息環(huán)境中一種基于隱馬爾科夫的博弈式功率控制機制

朱 江,張玉平

(重慶郵電大學重慶市移動通信重點實驗室,重慶400065)

非完全信息環(huán)境中一種基于隱馬爾科夫的博弈式功率控制機制

朱 江,張玉平

(重慶郵電大學重慶市移動通信重點實驗室,重慶400065)

針對非完全信息環(huán)境下認知無線網(wǎng)絡中的分布式功率控制問題,根據(jù)不同非授權用戶對信道檢測結果的差異,以及信道檢測結果的非獨立性,提出了一種基于隱馬爾科夫模型的功率博弈機制.非授權用戶可利用該模型推測其它非授權用戶是否參與博弈,從而提升了博弈的信息準確度,使得非授權用戶能夠選擇更優(yōu)的發(fā)射功率.仿真表明,該功率控制機制在保證通信質量的前提下能夠獲得更大的容量功率比,具有更好的功率效率.

非完全信息;隱馬爾科夫;博弈式功率控制

1 引言

認知無線電被認為是一種能有效解決頻譜資源缺乏問題的關鍵技術.在認知無線網(wǎng)絡中,當節(jié)點以競爭的方式使用頻譜資源時,需要有效的機制來協(xié)調它們的行為(如發(fā)射功率、信道選擇等),使資源得到有效利用,并滿足用戶的業(yè)務需求[1].其中功率控制機制由于能夠有效避免干擾,提高能量效率,是認知無線網(wǎng)絡研究的重點和熱點[1～7].

博弈中的信息對博弈結果有決定性的影響[8,9].現(xiàn)有大多數(shù)文獻[4～7]在設計博弈式功率控制機制時,都是理想化地假設參與博弈的網(wǎng)絡實體所獲取環(huán)境信息同質,沒有考慮用戶信息的非完全性.而所謂信息的非完全性是指由于用戶所處環(huán)境差異和認知能力差異,即使對同一環(huán)境對象,不同用戶在同一時間段的認知結果也可能不同,因此用戶能準確知道自己的結果,但對其它用戶的結果只能通過推測獲得.為更貼近網(wǎng)絡的實際情況,本文考慮了環(huán)境信息的非完全性,根據(jù)不同用戶對信道檢測結果的差異,以及信道檢測結果的非獨立性,提出了一種基于隱馬爾科夫模型(Hidden Markov Model,簡稱HMM)[10]的博弈式功率控制機制.借助該模型,非授權用戶可獲得更準確的關于競爭對手的信道檢測結果,更真實地確定競爭對手集合,從而提升用戶和系統(tǒng)的能效.

2 系統(tǒng)模型

考慮一個CDMA制式的中心輻射式網(wǎng)絡[11],該網(wǎng)絡的某一小區(qū)內有若干授權用戶和N個非授權用戶.小區(qū)內存在兩個基站分別為授權用戶和非授權用戶收發(fā)數(shù)據(jù).將授權用戶的網(wǎng)絡建模為分時隙系統(tǒng)(Slotted System),頻域信道是否被授權用戶占用滿足兩狀態(tài)馬爾科夫鏈,信道狀態(tài)在相鄰兩個時隙內以概率pij進行轉移[12].非授權用戶在檢測到授權用戶未占用信道時利用信道傳輸數(shù)據(jù).將信道狀態(tài)記為0、1兩種狀態(tài),且在一個時隙內信道的狀態(tài)不會改變.信道狀態(tài)為1表示授權用戶未占用信道,此時非授權用戶可以利用信道傳輸數(shù)據(jù),而狀態(tài)為0則表示信道已被授權用戶占用,非授權用戶不能利用信道傳輸數(shù)據(jù).由于各個非授權用戶獨自檢測信道狀態(tài),導致非授權用戶對信道狀態(tài)的判決結果存在差異.

系統(tǒng)幀結構如圖1所示,每幀分為若干時隙.考慮到分時隙系統(tǒng)中信道在0、1兩種狀態(tài)頻繁轉變,且反饋開銷過大,本文采用基于信道增益估計的每時隙內無反饋博弈式功率控制機制[13],在時隙內的某特定時間段內通過迭代運算求出博弈的均衡值.如圖1所示,各幀中第一個時隙0用于估計每個非授權用戶到基站的信道增益和背景噪聲,并將這些信息由基站廣播給非授權用戶.通過帶外控制信道的信標收發(fā)來估計信道增益[14],為了確保帶外控制信道的可靠性,使用一個授權信道作為帶外控制信道[15].假設非授權用戶的移動速度較慢,則一幀時間內信道增益不變.從第1時隙開始,各幀的第一部分用于感知信道是否被授權系統(tǒng)占用.若沒有被占用,則進行基于HMM的博弈式功率控制實現(xiàn)分布式功率調整.接下來完成數(shù)據(jù)傳輸.

設非授權用戶x的擴頻帶寬為W;發(fā)射功率為px;非授權用戶的信道增益為hx;R為信息傳輸速率;基站處的背景噪聲功率為N0.則非授權用戶x在基站處的信干比定義為[16]:

(1)

其中,G=W/R為擴頻處理增益,且Ix為非授權用戶x在基站處受到的干擾,可由下式求得:

(2)

3 非合作博弈式功率控制

Ux(px,p-x)=e-θ(γx-γ0)+λpxhx

(3)

(3)式中,θ為滿意度系數(shù);γ0為非授權用戶的目標信干比,非授權用戶保證通信質量的目標為γx≥γ0;價格系數(shù)λ是非授權用戶發(fā)射單位功率所付出的代價.e-θ(γx-γ0)表示非授權用戶在信干比達到γx后繼續(xù)增加信干比的需求程度.λpxhx表示非授權用戶與基站通信所付出的發(fā)射功率代價.可見,用戶不是追求最大化信干比,而是尋求信干比和發(fā)射功率之間的平衡,在獲得接近γ0的信干比條件下,降低發(fā)射功率.由于非授權用戶都是自私的,因此在選擇策略時要最小化代價.因此將優(yōu)化模型表示為:

(4)

(5)

0<λIx≤Gθ

(6)

將式(1)代入式(5)可得到解方程組的表達式為:

(7)

本文借用定點(Fixed Point)迭代法求解N個用戶博弈的納什均衡π*的近似解,該算法已被證明能夠收斂.非授權用戶x進行本地迭代運算,每一步迭代公式為:?x∈{1,2,…,N},

(8)

定理1 本文中的非合作博弈模型存在納什均衡解,且納什均衡解具有唯一性.

證明:非合作博弈存在納什均衡解時需滿足以下兩個條件:

(1)非授權用戶x的策略空間Px是歐幾里德空間中非空的、閉的、有界的凸集;

(2)非授權用戶x的代價函數(shù)Ux(px,p-x)在px上連續(xù),且在px上是擬凹函數(shù).

(9)

因此Ux(px,p-x)在px上是凹函數(shù),也即Ux(px,p-x)是擬凹的.條件(1)、(2)都得以滿足,所以非合作博弈式功率控制存在納什均衡.

記由Ux(px,p-x)求得的最優(yōu)功率p=R(p)為對應反應函數(shù).由一個標準函數(shù)收斂到唯一點可知,要證明納什均衡的唯一性,只需證明p=R(p)滿足標準函數(shù)的3個性質[20]:正性,即R(p)>0;單調性,即若p′≥p,則R(p′)≥R(p);可量測性,即若?β>1,則βR(p)>R(βp).

下面根據(jù)上述3個性質依次對p=R(p)進行證明:

(1)當不等式(6)成立時,0<λIx≤Gθ,那么R(px)>0成立;

(10)

(3)設?β>1,則有:

(11)

由于βIx-(β-1)N0>Ix,所以βR(px)>R(βpx)成立.

綜上所述,R(p)滿足標準函數(shù)的三個條件,因此非合作博弈式功率控制的納什均衡解唯一.證畢

4 隱馬爾科夫模型

由式(1)可知,非授權用戶受到的干擾與同一小區(qū)內其它非授權用戶的發(fā)射功率相關.因此,非授權用戶檢測到某信道可用后,要知道其它非授權用戶中有哪些也有同樣的判決結果,從而確定和自己形成真正競爭關系的非授權用戶集合.然而在非完全信息環(huán)境下,非授權用戶不能直接得到其它非授權用戶的判決結果,只能依靠自己的判決結果對這些信息進行推測.

(12)

定義1 非授權用戶x依據(jù)式(12)并由最大后驗概率準則推測競爭對手判決結果的方法記為MAP方法.

定理2 實際系統(tǒng)中,非授權用戶x和y同時檢測信道,因其檢測過程獨立,它們之間的檢測概率獨立,則

(13)

證明:根據(jù)全概率公式有

(14)

若在同一時隙,非授權用戶x和y檢測信道,它們之間的檢測概率獨立,則上式可寫成

(15)

另一方面,則根據(jù)全概率公式有

(16)

(17)

如果式(17)成立,從物理意義上講意味著檢測概率等于虛警概率,這種結果在實際系統(tǒng)中不存在,或者除非ck始終不發(fā)生變化.

《歐盟排放交易指令》第11條明確規(guī)定，即使在2012年年底前未達成全球減排協(xié)議，歐盟各成員國的主管機構在2015年5月31日前應當繼續(xù)受理關于項目級減排量（CERs/ERU）的申請。從指令措辭看，這個規(guī)定是針對歐盟各成員國的義務，具有強制性。根據(jù)歐盟交易指令，第一承諾期內產(chǎn)生的減排量可以在2015年5月31日前進行交易，這是沒有疑義的。

證明:某一非授權用戶在t個時隙內判決的信道狀態(tài)序列O=o1o2…ot滿足下式關系:

p(ot|ot-1,ot-2,…,o1)

=p(ct-1|ot-1,ot-2,…,o1)p(ct|ct-1,ct-2,…,c1)p(ot|ct)

(18)

式(18)根據(jù)貝葉斯公式可得:

(19)

因為信道狀態(tài)序列ct,ct-1,…,c1為馬爾科夫鏈,所以

p(ot|ot-1,ot-2,…,o1)=p(ct-1|ot-1)p(ct|ct-1)p(ot|ct) =p(ot|ot-1)

(20)

由式(20)可知非授權用戶的判決狀態(tài)序列滿足馬爾科夫性質.因此,非授權用戶在t個時隙內對信道狀態(tài)的判決序列是馬爾科夫鏈.非授權用戶在相鄰兩個時隙判決的信道狀態(tài)的轉移概率aij可由下式求得:

(21)

其中

(22)

HMM可記為λ=(π,A,B),其中π={π0,π1}為非授權用戶判決的信道狀態(tài)的初始狀態(tài)分布概率,A={aij}為每個非授權用戶判決的信道狀態(tài)的轉移概率矩陣,其中aij=p(St=sj|St-1=si)(si,sj∈S)表示非授權用戶在第t-1時隙判決的信道狀態(tài)為si且在第t時隙判決的信道狀態(tài)為sj的概率.B={bi(k)},(i,k=0,1)為條件概率,且bi(k)=P(O=dk|S=si)表示非授權用戶推測某一競爭對手判決狀態(tài)為si時其自身判決狀態(tài)為dk的概率.如何用上述HMM中的觀測狀態(tài)序列推測出最優(yōu)可能的隱藏狀態(tài)序列是HMM的一個典型問題,可以用Viterbi算法等實現(xiàn),此處不再贅述.

定義2 將非授權用戶應用上述HMM推測競爭對手判決結果的方法記為HMM方法.

在HMM方法和MAP方法中,每個時隙的開始,若非授權用戶x要參與博弈,且推測出某競爭對手的判決結果為1,則將其加入集合Ωx中,Ωx的初始值為{x},顯然Ωx∈{1,2,…,N}.值得注意的是,由于用戶的判決結果不一定相同,每時隙參與博弈的非授權用戶數(shù)會變化.因此,式(8)中的?x∈{1,2,…,N},將變?yōu)?x∈Ωx.

5 博弈機制流程圖

6 仿真結果與性能分析

定義3 如果非授權用戶始終認為其它非授權用戶有和自己一樣的信道判決結果,這種方法記為NP方法.

當代價函數(shù)的滿意度系數(shù)為1.2,非授權用戶數(shù)為15時,圖3給出了價格系數(shù)變化時平均容量與平均功率的比值變化關系.當價格系數(shù)增大時,比值增大.這是因為隨著價格系數(shù)的增大,非授權用戶對發(fā)射功率所付出的代價增大,因此非授權用戶更加注重單位功率的利用率.

如圖4所示,價格系數(shù)為1.5,非授權用戶數(shù)為15,隨著滿意度系數(shù)的增加,比值逐漸增加.但在保證通信質量的前提下上升趨勢在達到一定程度后趨于平緩.可見,當滿意度系數(shù)較小時,非授權用戶的信干比要較高

大,且隨著滿意度系數(shù)的變化發(fā)射功率變化較快,使得容量功率比變化較快.當滿意度系數(shù)較大時,情況正好相反.

從圖3和圖4中還可看到,NP方法的性能最差,HMM方法的性能最好.這是因為HMM方法和MAP方法都進行了推測,使得非授權用戶能更準確地獲得競爭對集合.MAP方法只利用當前時刻的信息進行推測,推測結果無法得到修正,而HMM方法應用觀測狀態(tài)序列進行推測,能夠更準確推測參與博弈的用戶,因此性能最好.

為了進一步比較方法的性能,引入KG[18]方法和NPCAGT[19]方法.值得注意的是HMM、MAP、NP方法的代價函數(shù)一致,而和KG方法、NPCAGT方法不同.設HMM、MAP、NP方法的滿意度系數(shù)為10,價格系數(shù)為10.如圖5所示,隨著非授權用戶數(shù)的增加,系統(tǒng)中各方法的平均容量與平均功率的比值逐漸降低.用戶數(shù)的增加導致在基站處非授權用戶相互間的干擾加大,降低了傳輸容量,因此使得比值逐漸降低.對比可以發(fā)現(xiàn),HMM方法的性能最好,MAP方法次之,這是因為它們能夠對干擾用戶(即博弈對手)進行推測,從而能夠選擇相對合理的發(fā)射功率,提高功率效率,而且HMM方法的推測準確率更高.其余三種方法由于不能推測干擾用戶,所以功率效率相對較低.進一步比較可以看出,對于KG方法、NP方法、NPCAGT方法,由于本文設計的代價函數(shù)在滿足通信質量后,繼續(xù)增大功率時付出的代價相對于KG方法和NPCAGT方法的代價要高,減少了能量的浪費,因此NP方法的功率效率相對較高.

圖6顯示了五種算法在不同非授權用戶數(shù)條件下的平均信干比對比.仿真中設定的目標信干比為6dB,顯然HMM方法的信干比最接近于目標信干比.這也是因為一方面HMM方法的代價函數(shù)在滿足通信質量后,繼續(xù)增大功率時付出的代價相對于KG方法和NPCAGT

面,相對于其它方法,HMM方法能夠更準確推測干擾用戶(即博弈對手)數(shù),在滿足用戶目標信干比需求的情況下限制其發(fā)射功率,提高功率效率的同時能夠保證用戶的通信質量.

表1 實現(xiàn)代價

表1是5種方法在信息交換、先驗信息和復雜度三個方面的比較.由表1可見在每幀的開始,5種方法的實現(xiàn)都需要交換信道增益h和噪聲N0信息,如果信道的變化比較慢,那么信息交換的頻率比較小,而且MAP方法和HMM方法的實現(xiàn)需要知道先驗信息,即非授權用戶對信道狀態(tài)的判決能力.在NP方法、KG方法、NPCAGT方法中N個非授權用戶只需各自判斷當前時隙的信道狀態(tài)即可,而MAP方法還要分別推測其他人的判決狀態(tài),則MAP方法的復雜度為O(N2).HMM方法在推測時僅需應用t-1時隙的先驗概率計算t時隙的后驗概率,因此其復雜度也為O(N2).由此可見,雖然參與博弈的非授權用戶獲取對手的信息越多、越準確,系統(tǒng)的性能越好,但這是以增加復雜度為代價的.

7 結束語

在分布式的認知無線網(wǎng)絡中,為平衡非授權用戶容量和功率的關系,以無線頻域信道作為認知對象,針對不同用戶對信道檢測結果的差異,以及信道檢測結果的非獨立性,提出了一種隱馬爾科夫模型.在基于該模型的功率博弈機制下,非授權用戶可以通過自身判決的信道狀態(tài)推測出競爭對手判決的信道狀態(tài),從而更準確地確定出當前時隙內的競爭對手集合,使得非授權用戶在博弈競爭過程中能選取更優(yōu)的發(fā)射功率.仿真結果和性能分析證明了所提機制有更大的容量功率比,具有更好的功率效率,但這是以較高的實現(xiàn)代價換取的.

[1]Wang B B,Liu K J R.Advances in cognitive radio networks:a survey [J].IEEE Journal of Selected Topics in Signal Processing,2011,5(1)：5-23.

[2]Liang Hui,Zhao Xiaohui.Dynamic programming based power control algorithm with primary user QoS guarantee for cognitive radio networks [J].Chinese Journal of Electronics,2013,22(2)：353-358.

[3]Zhao Junhui,Guan Xin,Li Xiuping.Power allocation based on genetic simulated annealing algorithm in cognitive radio networks [J].Chinese Journal of Electronics,2013,22(1)：177-180.

[4]Lu K W,Zhang L J,Yang J.An efficient SIR-first adaptive power control method in cognitive radio network [A].Global High Tech Congress on Electronics (GHTCE)[C].Shenzhen：IEEE，2012.91-94.

[5]Chen Y,Yu G D,Zhang Z Y,et al.On cognitive radio networks with opportunistic power control strategies in fading channels [J].IEEE Transactions on Wireless Communications,2008,7(7)：2752-2761.

[6]Sanchez S M,Souza R D,Fernandez E M G,et al.Rate and energy efficient power control in a cognitive radio Ad hoc network [J].IEEE Signal Processing Letters,2013,20(5)：451-454.

[7]Rawat D B,Bista B B,Yan G J.Precoder adaptation and power control in wireless Ad hoc networks for rate maximization [A].International Conference on Network-Based Information Systems (NBiS)[C].Tirana：ACM,2011.30-34.

[8]Osborne M J,Rubinstein A.A Course in Game Theory [M].Cambridge,Mass：MIT press,1994.24-29.

[9]Srivastava V,Neel J,Mackenzie A B,et al.Using game theory to analyze wireless Ad hoc networks [J].IEEE Communications Surveys and Tutorials,2005,7(4)：46-56.

[10]Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition [J].Proceedings of the IEEE,1989,77(2)：257-286.

[11]Dashti M,Azmi P,Navaie K.Resource allocation for Underlay CDMA cognitive radio networks [A].2012 IEEE Wireless Communications and Networking Conference (WCNC)[C].Shanghai：IEEE,2012.2792-2796.

[12]Kim K J,Kwak K S,Choi B D.Performance analysis of opportunistic spectrum access protocol for multi-channel cognitive radio networks [J].Journal of Communications and Networks,2013,15(1)：77-86.

[13]Xing Y P,Chandramouli R.Stochastic learning solution for distributed discrete power control game in wireless data networks [J].IEEE/ACM Transactions on Networking,2008,16(4)：932-944.

[14]Muqattash A,Krunz M.CDMA-based MAC protocol for wireless Ad hoc networks [A].2003 ACM International Symposium on Mobile Ad hoc Networking & Computing (MobiHoc)[C].New York：ACM,September 2003.153-164.

[15]張立,鄭國莘,賈東立,朱亞洲.知無線電網(wǎng)絡中控制信道預約的MAC協(xié)議 [J].北京郵電大學學報,2011,33(4)：79-82. Zhang L,Zheng G X,Jia D L,Zhu Y Z.A control channel reserving based MAC protocol for cognitive radio networks [J].Journal of Beijing University of Posts and Telecommunications,2011,33(4)：79-82.(in Chinese)

[16]Saraydar C U,Mandayam N B,Goodman D J.Efficient power control via pricing in wireless data networks [J].IEEE Transactions on Communications,2002,50(2)：291-303.

[17]Cai X,Giannakis G B.A two-dimensional channel simulation model for shadowing processes [J].IEEE Transactions on Vehicular Technology,2003,52(6)：1558-1567.

[18]Koskie S,Gajic Z.A Nash game algorithm for SIR-based power control in 3G wireless CDMA networks [J].IEEE/ACM Transactions on Networking,2005,13(5)：1017-1026.

[19]Zhao C L,Guo Y.A novel distributed power control algorithm based on game theory [A].IEEE 5th International Conference on Wireless Communications,Networking and Mobile Computing (WiCom'09)[C].Beijing：IET,2009.1-4.

[20]Yates R D.A framework for uplink power control in cellular radio systems [J].IEEE Journal on Selected Areas in Communications,1995,13(7)：1341-1347.

朱 江(通信作者) 男,1977年出生,湖北荊州人,副教授,博士,研究方向為智能無線網(wǎng)絡技術、無線網(wǎng)絡資源管理.

E-mail：zhujiang@cqupt.edu.cn

張玉平 男,1987年出生,內蒙古赤峰人,碩士研究生,研究方向為認知無線電技術、無線網(wǎng)絡資源管理.

E-mail：476705670@qq.com

A Game-Theoretic Power Control Mechanism Based on Hidden Markov in Imperfect Information Environment

ZHU Jiang,ZHANG Yu-ping

(ChongqingKeyLaboratoryofMobileCommunicationsTechnology,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

To solve the distributed power control issues in cognitive radio networks under imperfect information environment,according to the difference and independence of channel detecting results of different unlicensed users,a game-theoretic power control mechanism based on hidden Markov model (HMM) is proposed.By the HMM mode,unlicensed user can estimate whether competitors would take part in the game,which improves the information accuracy of game and allows the unlicensed users to choose an optimal transmission power.Simulation results indicate that the game-theoretic power control mechanism based on HMM can not only improve the power efficiency but also meet the target capacity compared with other cases.

imperfect information; hidden Markov; game-theoretic power control

2014-10-14;

2015-06-28；責任編輯：梅志強

國家自然科學基金(No.61102062，No.61271260)；重慶市科委自然科學基金(No.cstc2015jcyjA40050)

TN929.5

A

0372-2112 (2016)12-3004-07

??學報URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.027