基于LTE-DRX 的超時(shí)策略梯度估計(jì)算法

宋 捷，李方偉，朱 江

(重慶郵電大學(xué)，重慶400065)

0 引言

隨著個(gè)人通信不斷普及，在提供更高的頻譜利用率、更高的數(shù)據(jù)傳輸速率以及更加豐富的多媒體業(yè)務(wù)的同時(shí)，終端的電量消耗問題就變得尤為重要。如何盡可能地延長電池的續(xù)航時(shí)間成為各個(gè)通信系統(tǒng)都應(yīng)該考慮的問題。

長期演進(jìn)系統(tǒng)(long term evolution，LTE)也提供了一種非連續(xù)接收(discontinuous reception，DRX)終端省電機(jī)制［1-3］。非連續(xù)接收機(jī)制作為無線通信系統(tǒng)鏈路層優(yōu)化能量效率的一項(xiàng)重要方法被大多數(shù)無線通信系統(tǒng)所采納。其基本思想是允許終端在沒有數(shù)據(jù)傳輸?shù)臅r(shí)刻關(guān)閉無線收發(fā)單元進(jìn)入休眠模式，以降低額外能量開銷。目前，針對長期演進(jìn)系統(tǒng)的非連續(xù)接收機(jī)制(LTE-DRX)的研究已經(jīng)在時(shí)延和吞吐量方面有部分建模分析，主要是研究了不同業(yè)務(wù)條件下終端功率與時(shí)延和吞吐量的關(guān)系，既節(jié)約了電量又能獲得優(yōu)良的用戶體驗(yàn)。文獻(xiàn)［4］詳細(xì)分析了DRX省電機(jī)制的流程。文獻(xiàn)［5-7］探討了利用動態(tài)電源管理策略來達(dá)到終端節(jié)能的目的。文獻(xiàn)［8-9］提出了在線優(yōu)化和隨機(jī)學(xué)習(xí)理論可以做出最優(yōu)的決策來改進(jìn)和優(yōu)化系統(tǒng)性能。

本文通過分析LTE系統(tǒng)非連續(xù)接收機(jī)制節(jié)能方案，提出了基于動態(tài)電源管理超時(shí)策略梯度估計(jì)算法來減少狀態(tài)轉(zhuǎn)換過程中的電量消耗。該算法具有計(jì)算量小、自適應(yīng)性強(qiáng)、時(shí)效性高等特點(diǎn)。仿真表明，該算法能夠在保證系統(tǒng)性能的同時(shí)兼顧低時(shí)延和低能耗，具有較高的實(shí)用價(jià)值。

1 分析LTE-DRX省電機(jī)制

在LTE系統(tǒng)的不連續(xù)接收標(biāo)準(zhǔn)中，DRX的狀態(tài)可以劃分為激活狀態(tài)、重傳狀態(tài)、休眠狀態(tài)。然而，休眠狀態(tài)又是由DRX長周期和DRX短周期組成。

在DRX工作過程中，首先啟動On Duration Timer定時(shí)器，并開始監(jiān)聽物理下行控制信道(physical downlink control channel，PDCCH)，如果收到一個(gè)下行數(shù)據(jù)包，當(dāng)用戶終端(user equipment，UE)成功解碼PDCCH的信息后，開啟去激活計(jì)時(shí)器(inactivity timer)，進(jìn)入激活狀態(tài)。如果去激活定時(shí)器溢出之前又有新的數(shù)據(jù)到達(dá)則會再一次啟動去激活定時(shí)器以延長激活的時(shí)間，直到數(shù)據(jù)傳輸成功并且去激活定時(shí)器溢出時(shí)無數(shù)據(jù)到達(dá)，則UE進(jìn)入休眠狀態(tài)。

當(dāng)UE收到下行數(shù)據(jù)并且解碼失敗，它會啟動2個(gè)定時(shí)器:去激活定時(shí)器和重傳定時(shí)器(retransmission timer)。一個(gè)是用來延長監(jiān)聽的時(shí)間，另一個(gè)是估計(jì)重傳會在重傳定時(shí)器超時(shí)后進(jìn)行。因此，在重傳定時(shí)器溢出前UE可以不理會重傳。若重傳的數(shù)據(jù)解碼成功，Inactivity Timer超時(shí)后進(jìn)入休眠狀態(tài);若重傳數(shù)據(jù)仍解碼不成功，通過向演進(jìn)型節(jié)點(diǎn)(evolved node B，eNB)反饋否定應(yīng)答(negative acknowledge，NACK)并再次進(jìn)行重傳過程。休眠狀態(tài)是由交替出現(xiàn)的睡眠狀態(tài)和喚醒狀態(tài)組成，在睡眠狀態(tài)UE關(guān)閉無線收發(fā)機(jī)以節(jié)省電量，在喚醒狀態(tài)UE打開無線收發(fā)單元，監(jiān)聽PDCCH并判斷是否有下行數(shù)據(jù)傳輸。

不同的狀態(tài)轉(zhuǎn)換過程及相應(yīng)的能量消耗如圖1所示。

圖1 狀態(tài)轉(zhuǎn)換能量消耗圖Fig.1 State diagram for UE power consumption model

由以上分析發(fā)現(xiàn)，在DRX流程中涉及從睡眠狀態(tài)到激活狀態(tài)的轉(zhuǎn)換，而不適當(dāng)?shù)臓顟B(tài)切換造成多余的能量消耗。目前學(xué)術(shù)界對DRX的研究都是從定時(shí)器的參數(shù)來進(jìn)行改進(jìn)，固定的參數(shù)改進(jìn)難以針對不同數(shù)據(jù)到達(dá)率自適應(yīng)調(diào)整喚醒和休眠時(shí)間。同時(shí)由于數(shù)據(jù)的發(fā)送和接收具有隨機(jī)性且無法預(yù)測，因此，必然會帶來多余開銷。本文提出了一種基于超時(shí)策略的自適應(yīng)終端省電算法，并通過建立semi-Markov(半馬爾可夫)模型來進(jìn)行狀態(tài)描述，將省電問題轉(zhuǎn)化為帶約束條件的優(yōu)化問題。仿真結(jié)果表明，該機(jī)制在高度節(jié)能的同時(shí)能夠獲得良好的用戶體驗(yàn)。

2 建立系統(tǒng)分析模型

2.1 超時(shí)策略分析

超時(shí)(time out)策略，將系統(tǒng)組件在持續(xù)空閑設(shè)定的時(shí)間間隔(超時(shí)閾值)后切換到低功耗狀態(tài)，包括固定閾值和自適應(yīng)閾值超時(shí)策略。超時(shí)策略具有簡單易實(shí)現(xiàn)的特點(diǎn)，在多種應(yīng)用環(huán)境中能夠取得較好的應(yīng)用效果。

采用超時(shí)策略的動態(tài)電源管理系統(tǒng)，服務(wù)處理器有工作、空閑和休眠3種運(yùn)行狀態(tài)。服務(wù)處理器完成當(dāng)前系統(tǒng)中的服務(wù)請求后，將切換為空閑狀態(tài)?？臻e持續(xù)時(shí)間達(dá)到超時(shí)策略設(shè)定的時(shí)間閾值時(shí)，電源控制管理器發(fā)布控制指令將服務(wù)處理器轉(zhuǎn)換至休眠狀態(tài)，以減少功率消耗。當(dāng)服務(wù)處理器處于休眠狀態(tài)，有服務(wù)請求到達(dá)則喚醒服務(wù)處理器來提供服務(wù)。超時(shí)策略利用超時(shí)閾值均衡系統(tǒng)的性能與功耗。因此，我們可以采用超時(shí)策略的思想進(jìn)行DRX周期中的休眠與激活時(shí)間的調(diào)節(jié)，同時(shí)采用semi-Markov模型對UE的動態(tài)特性進(jìn)行精確的描述，使得狀態(tài)切換的時(shí)機(jī)更準(zhǔn)確減少了能量的多余消耗。公式(1)表示系統(tǒng)設(shè)置的閥值應(yīng)該不小于狀態(tài)轉(zhuǎn)換的延遲。

(1)式中:Er表示系統(tǒng)退出關(guān)斷狀態(tài)所消耗的能量;Tr是相應(yīng)的延遲;Pr是退出關(guān)斷狀態(tài)的功率;Tk是等待關(guān)斷的時(shí)間。

超時(shí)策略算法比較簡單，對負(fù)載的依賴程度小，而且改變閥值的大小即可提高系統(tǒng)的性能，特別是用于固定時(shí)限的問題時(shí)能夠獲得良好的省電效果。針對時(shí)限不固定的問題時(shí)，通過建立半馬爾可夫模型對空閑時(shí)間進(jìn)行預(yù)測來得到最優(yōu)解。

2.2 semi-Markov控制模型

若終端處于某一種單一類型的服務(wù)中，且滿足服務(wù)到達(dá)率為λ的獨(dú)立Poisson分布。動態(tài)電源管理技術(shù)(dynamic power management，DPM)作為一種廣泛應(yīng)用于便攜式移動通信終端的功耗控制技術(shù)，由電源管理控制器、等待服務(wù)隊(duì)列和服務(wù)處理器組成。在實(shí)際的系統(tǒng)運(yùn)行中，數(shù)據(jù)到達(dá)的時(shí)間間隔、所需的處理時(shí)間具有隨機(jī)性，因此，DRX長短周期的切換過程可以看作一個(gè)semi-Markov過程。

設(shè)系統(tǒng)的狀態(tài)空間S為

(2)式中:l表示空閑狀態(tài);s表示休眠狀態(tài);a表示工作狀態(tài);N代表服務(wù)請求個(gè)數(shù)。UE處于激活和休眠狀態(tài)的功率消耗分別為Pl和Ps;狀態(tài)轉(zhuǎn)換時(shí)間服從T+ΔT上的均勻分布，轉(zhuǎn)換過程的功率消耗用Ck表示。UE運(yùn)行時(shí)，采用動態(tài)電源管理中的超時(shí)策略梯度估計(jì)算法來進(jìn)行控制。用d來表示將UE從激活狀態(tài)切換至休眠狀態(tài)，則控制行動集D={dls}。當(dāng)選用梯度算法時(shí)，用超時(shí)閾值τ∈［0，∞)表示DPM策略ω。

在超時(shí)策略ω的控制下，DRX的激活狀態(tài)和休眠狀態(tài)的轉(zhuǎn)換問題可以用一個(gè)semi-Markov過程來描述:{Xt，t≥0，S，Q(ω，t)}，其中，Xt為 t時(shí)刻系統(tǒng)所處的狀態(tài)，狀態(tài)轉(zhuǎn)移的聯(lián)合概率分布可以表示為

(3)式中:i，j∈S;tn是第n次狀態(tài)轉(zhuǎn)移的時(shí)刻;Xn表示第n次狀態(tài)轉(zhuǎn)移后所處的狀態(tài)，系統(tǒng)狀態(tài)轉(zhuǎn)移情況如圖2所示。

圖2 系統(tǒng)狀態(tài)轉(zhuǎn)移示意圖Fig.2 State diagram for LTE-DRX performance analysis

UE從空閑到激活的狀態(tài)轉(zhuǎn)移概率為

設(shè)f(Xn，wn)為一個(gè)平均性能函數(shù)，其中，Xn表示所處的狀態(tài);wn表示對應(yīng)狀態(tài)下的電源管理策略。因此，系統(tǒng)的平均性能ηp可以表示為

設(shè)fcn為各個(gè)狀態(tài)對應(yīng)的功耗函數(shù)，Pn(τ)為對應(yīng)狀態(tài)的穩(wěn)態(tài)概率。因此，系統(tǒng)的平均功耗可以表示為

因此，整個(gè) semi-Markov過程可以表示為 S，Q(ω，t)，D，(ηp(τ)，ηc(τ))，并且要求在滿足一定性能Z的條件下，使得系統(tǒng)的平均功耗最小。也就是要找到這個(gè)控制條件下最合適的τ值。

3 在線學(xué)習(xí)與優(yōu)化

3.1 在線學(xué)習(xí)與優(yōu)化概述

學(xué)習(xí)和優(yōu)化的目的是觀察和分析系統(tǒng)行為所獲得的信息的基礎(chǔ)上，做出最好的決策來優(yōu)化和改進(jìn)系統(tǒng)的性能。在系統(tǒng)實(shí)際運(yùn)行的過程中，我們會得到實(shí)際的樣本軌道，在樣本軌道的前m個(gè)再生周期，通過在線學(xué)習(xí)可以得到性能勢的估計(jì)值，不斷去更新控制策略得到最優(yōu)解，即可以在下個(gè)周期開始時(shí)進(jìn)行改進(jìn)。算法的流程圖如圖3所示。

圖3 強(qiáng)化學(xué)習(xí)框圖Fig.3 Block diagram of reinforcement learning

3.2 優(yōu)化策略——DRX梯度估計(jì)算法

1)初始化DRX參數(shù)，選擇狀態(tài)切換的初始值τ0(即初始策略d0)，再生狀態(tài)為i*，使m=1，n=0，c=0;因此，在初始狀態(tài) itnm=i0，tnm=0 啟動并運(yùn)行系統(tǒng);

2)選擇一個(gè)整數(shù)k;記錄k次狀態(tài)發(fā)生轉(zhuǎn)移的時(shí)刻和轉(zhuǎn)移狀態(tài)，計(jì)算當(dāng)前逗留的時(shí)間;

3)系統(tǒng)在初始策略d0下運(yùn)行k個(gè)周期，并計(jì)算估計(jì)值g－d0;

4)將 g－d0作為性能勢的估計(jì)值，選擇dn+1∈ψ(g－dnk)進(jìn)行策略更新;

5)若dn+1=dn，則令c=c+1;否則c=0。若c=N，算法終止，否則下一步;

6)系統(tǒng)策略變?yōu)閐n+1，令n=n+1，在策略dn+1下觀察系統(tǒng)一個(gè)周期的運(yùn)行，并將第3步的估計(jì)值應(yīng)用到最近的k個(gè)周期來更新g－dn+1，返回3)。

4 仿真結(jié)果與分析

為了驗(yàn)證算法的性能，我們采用第二部分的semi-Markov模型進(jìn)行仿真。

當(dāng)不同數(shù)據(jù)到達(dá)率的平均時(shí)延對比分析如圖4所示，當(dāng)數(shù)據(jù)到達(dá)率小的時(shí)候，時(shí)延提升比較明顯，說明該算法能夠在低數(shù)據(jù)到達(dá)率的時(shí)候快速地進(jìn)行喚醒和休眠的狀態(tài)轉(zhuǎn)換。數(shù)據(jù)到達(dá)率高的時(shí)候也要比LTE標(biāo)準(zhǔn)響應(yīng)迅速。

圖5為不同數(shù)據(jù)到達(dá)率下能量消耗的對比，采用自適應(yīng)算法后具有更好的節(jié)能效果。隨著數(shù)據(jù)包的到達(dá)越來越多，系統(tǒng)的平均能量消耗均在增加。但是采用該算法后，因?yàn)橄到y(tǒng)可以根據(jù)梯度估計(jì)的最優(yōu)解動態(tài)調(diào)整喚醒和休眠的時(shí)間間隔，因此，從圖5中可以發(fā)現(xiàn)，當(dāng)數(shù)據(jù)到達(dá)率小于0.4時(shí)系統(tǒng)所消耗的能量要明顯低于LTE-DRX標(biāo)準(zhǔn)情況下的能量。但是當(dāng)數(shù)據(jù)到達(dá)率大于0.4時(shí)，隨著數(shù)據(jù)到達(dá)率逐漸增大2種算法的平均能量消耗的差值會逐漸減小。

圖6為在不同時(shí)延下能量消耗的對比分析，隨著時(shí)延的增大，所消耗的能量百分比也越大。但是由于該算法對時(shí)延的改善比較好，因此，明顯可看出，在相同的時(shí)延下，采用梯度估計(jì)算法所消耗的能量更少。在相同能量消耗時(shí)，該算法的時(shí)延更低一些，所以，該算法在滿足系統(tǒng)性能的同時(shí)兼具更好的自適應(yīng)性和更優(yōu)的節(jié)能性。

圖5 平均能量消耗對比Fig.5 Comparison of average power consumption

圖6 時(shí)延與能量消耗分析Fig.6 Performance analysis between delay and power consumption

5 結(jié)論

LTE-DRX終端省電機(jī)制是無線通信系統(tǒng)中能量優(yōu)化的一種重要方法，但是在狀態(tài)切換過程中依靠參數(shù)固定的定時(shí)器來控制會造成多余的能量開支。本文通過建立半馬爾可夫模型分析與優(yōu)化模型，將能量節(jié)省問題轉(zhuǎn)化為一個(gè)帶約束條件的優(yōu)化問題。在此基礎(chǔ)上提出了一種基于超時(shí)策略的梯度估計(jì)算法。本算法具有計(jì)算量小、估計(jì)準(zhǔn)確、適應(yīng)性強(qiáng)的特點(diǎn)，結(jié)合半馬爾可夫模型對系統(tǒng)的精確描述，在兼顧時(shí)延的同時(shí)能夠獲得較好的節(jié)能效果。但是由于在線學(xué)習(xí)和預(yù)測需要保存部分歷史數(shù)據(jù)才能進(jìn)行更精確地預(yù)測，因此，要求較大的內(nèi)存才能保證算法的省電性能，在今后研究中應(yīng)當(dāng)考慮如何在較少的歷史信息下獲得較準(zhǔn)確預(yù)測值來獲得性能提升。

［1］3GPP TS 36.321 Evolved Universal Terrestrial Radio Access(E-UTRA)Medium Access Control(MAC)protocol specification［EB/OL］.［2012-04-28］http://www.arib.or.jp/english/html/overview/doc/STD-T104v1_20/2_T104/ARIB-STD-T104/Rel10/36/A36321-a50.pdf

［2］沈嘉，索世強(qiáng).3GPP長期演進(jìn)(LTE)技術(shù)原理與系統(tǒng)設(shè)計(jì)［M］.北京:人民郵電出版社，2008.SHEN Jia，SUO Shiqiang.3GPP Long Term Evolution:Principle and System Design［M］.Beijing:Posts＆ Telecom press，2008.

［3］李方偉，彭喻偉.LTE-A中繼網(wǎng)絡(luò)中的終端省電機(jī)制研究［J］.重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2012，24(2):185-189.LI Fangwei，PENG Yuwei.Power saving mechanism of LTE-A terminal based on relay technology［J］.Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition，2012，24(2):185-189.

［4］ZHANG Yifan，GAO Songtao，TIAN Hui，et al.Delay analysis of DRX in LTE-advanced considering carrier aggregation［J］.The Journal of China Universities of Posts and Telecommunications，2011，18(6):1-7.

［5］BENINI L，BOGLIOLO A，DE M Icheli G.A survey of design techniques for system-level dynamic power management［J］.IEEE Transactions on Very Large Scale Integration Systems，2000，8(3):299-316.

［6］BENINI L，BOGLIOLO A，PALEOLOGO G A，et al.Policy optimization for dynamic power management［J］.IEEE Transactions on Computer Aided Design of Integrated Circuits and Systems，1999，18(6):813-833.

［7］吳琦，熊光澤.基于隨機(jī)決策模型的動態(tài)功耗管理策略研究［J］.計(jì)算機(jī)學(xué)報(bào)，2007，30(4):622-628.WU Qi，XIONG Guangze.Study on Policy of Dynamic Power Management Based on Stochastic Decision Models［J］.Chinese Journal of Computers，2007，30(4):622-628.

［8］曹希仁著，陳曦，譯.隨即學(xué)習(xí)與優(yōu)化—基于靈敏度的方法［M］.北京:清華大學(xué)出版社，2011.CAO Xiren，CHEN Xi.Stochastic Learning and Optimization A Sensitivity-Based Approach［M］.Beijing:Tsinghua university press，2011.

［9］YEH Juihung，LEE Chichen，CHEN Jyhcheng.Performance Analysis of Energy Consumption in 3GPP Networks［C］//IEEE.IEEE Transactions on Wireless Telecommunications Symposium.Taiwan:Conference Publications，2004:67-72.