智能代理模擬在電力市場中的運(yùn)用*

王野平 楊彥? 荊朝霞 陳皓勇 陳天恩

(1.華南理工大學(xué)電力學(xué)院,廣東廣州 510640;2.西北電網(wǎng)有限公司,陜西西安 710048)

當(dāng)前我國電力市場化改革已經(jīng)邁出了實(shí)質(zhì)性步伐,取得了一系列重要成果,但是電力市場機(jī)制設(shè)計(jì)與運(yùn)行是個相當(dāng)復(fù)雜的課題,建設(shè)完善健全的電力市場是個困難的過程,對經(jīng)濟(jì)界和電力工業(yè)界提出了理論與實(shí)踐的雙重挑戰(zhàn).

英國、北歐等電力市場的成功運(yùn)行為我國電力市場的建設(shè)提供了眾多可借鑒的經(jīng)驗(yàn),但也有一些電力市場經(jīng)歷了失敗.美國加州電力市場曾出現(xiàn)電價(jià)居高不下,導(dǎo)致部分電力公司巨額虧損瀕臨破產(chǎn);國內(nèi)試運(yùn)行的東北電力市場出現(xiàn)平衡賬戶虧空嚴(yán)重,導(dǎo)致市場被迫停滯.可見目前條件下,建立電力市場對電力系統(tǒng)的運(yùn)行存在風(fēng)險(xiǎn).因此,為了把風(fēng)險(xiǎn)化解在方案設(shè)計(jì)和規(guī)則制定階段,在電力市場正式啟動之前,有必要密切結(jié)合電網(wǎng)實(shí)際,建立相應(yīng)的電力市場模擬系統(tǒng),用于研究分析各種市場方案和規(guī)則的合理性.這既可以為市場參與實(shí)體的交易員進(jìn)行培訓(xùn)提供有效的技術(shù)支持,也可以進(jìn)行市場的模擬仿真,以便分析市場缺陷.

構(gòu)建電力市場模擬系統(tǒng)成為現(xiàn)今電力市場領(lǐng)域的研究熱點(diǎn),面臨眾多亟需解決的問題[1],其中如何模擬發(fā)電廠商的競價(jià)行為是最重要的課題之一.人工智能領(lǐng)域的智能代理技術(shù)于上世紀(jì) 70年代面世以來備受關(guān)注,特別適合處理具有復(fù)雜關(guān)聯(lián)且難以運(yùn)用傳統(tǒng)數(shù)學(xué)理論精確分析的問題.基于智能代理的模擬仿真已經(jīng)成為一種有效的實(shí)驗(yàn)工具[2],在復(fù)雜社會系統(tǒng)的研究中有廣泛運(yùn)用,同時(shí)也成為研究各種電力市場機(jī)制的重要途徑.

國際上較有代表性的相關(guān)研究有:Bower等[3]為研究英國電力市場交易規(guī)則建立了簡單的市場仿真器,以發(fā)電廠商利潤與機(jī)組利用率為綜合目標(biāo),構(gòu)造了根據(jù)上兩輪市場信息做簡單推理決策的代理模塊;美國衣阿華州州立大學(xué)Tesfatsion教授等[4]為研究聯(lián)邦能源管理委員會提出的批發(fā)電力市場規(guī)則,開發(fā)了電力市場代理仿真系統(tǒng)(AMES),運(yùn)用VRE learning算法作為決策核心;美國康奈爾大學(xué)Zimmerman等[5]構(gòu)建了基于網(wǎng)絡(luò)的實(shí)驗(yàn)平臺Power Web系統(tǒng),用隨機(jī)報(bào)價(jià)等方法構(gòu)建代理決策規(guī)則;美國Agone國家實(shí)驗(yàn)室開發(fā)了復(fù)雜電力市場自適應(yīng)系統(tǒng)(EMCAS)[6],主要利用電價(jià)預(yù)測與貪婪算法為代理提供決策功能.

國內(nèi)關(guān)于電力市場模擬系統(tǒng)的研究亦在開展之中:文獻(xiàn)[7]中介紹了電力市場仿真和培訓(xùn)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn),對電力市場仿真系統(tǒng)的建設(shè)具有重要的理論參考價(jià)值,但其還未具有發(fā)電廠商報(bào)價(jià)決策功能;文獻(xiàn)[8]中探討了電力市場與電力系統(tǒng)動態(tài)的交互仿真平臺的建設(shè);文獻(xiàn)[9]中采用人工網(wǎng)絡(luò)技術(shù)和博弈論方法建立了電力競價(jià)上網(wǎng)智能決策支持系統(tǒng);文獻(xiàn)[10]中為分析在節(jié)點(diǎn)電價(jià)運(yùn)行方式下的市場特征,運(yùn)用了VRE learning算法構(gòu)建了發(fā)電廠商的決策模型;文獻(xiàn)[11]中構(gòu)造了電力市場模擬仿真的多代理模型,并用猜測供給函數(shù)算法為代理提供決策支持;文獻(xiàn)[12]中指出Q-learning算法能夠較好地模擬發(fā)電廠商的經(jīng)濟(jì)特性.

文中主要工作是結(jié)合某一實(shí)際區(qū)域(文中稱為W區(qū)域)電力市場模擬系統(tǒng)的構(gòu)建,研究實(shí)現(xiàn)了適合模擬發(fā)電廠商決策報(bào)價(jià)的智能代理學(xué)習(xí)算法,其中包括屬于強(qiáng)化學(xué)習(xí)的Q-learning、VRE learning算法以及貪婪算法.多種智能代理學(xué)習(xí)算法的實(shí)現(xiàn)為仿真研究發(fā)電廠商的市場行為與分析市場性質(zhì)提供了多樣選擇,是實(shí)現(xiàn)電力市場仿真模擬系統(tǒng)智能化的關(guān)鍵.

1 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)通過感知環(huán)境并從環(huán)境中獲得不確定信息以尋找動態(tài)系統(tǒng)的最優(yōu)策略.在許多復(fù)雜領(lǐng)域,強(qiáng)化學(xué)習(xí)是對代理進(jìn)行決策目標(biāo)訓(xùn)練以獲得有效性能的可行途徑[13],VRE learning算法及Q-learning算法是強(qiáng)化學(xué)習(xí)中兩種重要的方法,均被運(yùn)用來構(gòu)建電力市場模擬系統(tǒng)中的報(bào)價(jià)決策模塊.

強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)是構(gòu)建能夠恰當(dāng)簡便地描述發(fā)電廠商競價(jià)行為的策略集,這里根據(jù) W區(qū)域電力市場的運(yùn)行規(guī)則,首先介紹模擬系統(tǒng)中發(fā)電廠商代理的策略集,然后分析探討了兩種算法的運(yùn)用.

1.1 代理(發(fā)電廠商)的策略集

當(dāng)前電力市場具有寡頭壟斷市場性質(zhì),發(fā)電廠商能夠以高于邊際成本的競價(jià)獲得高額利潤.策略集根據(jù)發(fā)電廠商的發(fā)電成本來構(gòu)建,以發(fā)電廠商 i為例,根據(jù)市場規(guī)則及系統(tǒng)設(shè)計(jì)方案,其成本函數(shù)ci(qGi)可以用分段函數(shù)表達(dá):

式中:qGi為代理i擁有的所有發(fā)電容量分別為第s競價(jià)段的容量與電價(jià);n為函數(shù)的總段數(shù).假定成本函數(shù)需要滿足以下條件:

代理的策略僅針對成本函數(shù)做仿射處理,并且僅將各段函數(shù)中的報(bào)價(jià)做決策變量,即假定代理采用策略系數(shù)Ai構(gòu)建報(bào)價(jià)函數(shù):

式(2)表示代理的報(bào)價(jià)不改變成本函數(shù)各段的電量,只改變各段的電價(jià).市場規(guī)則制定了報(bào)價(jià)上限,故策略系數(shù)需滿足:

式中:Ai,min、Ai,max分別為策略系數(shù)的上、下限;ˉp為市場規(guī)定的報(bào)價(jià)上限.一般而言發(fā)電廠商的報(bào)價(jià)不會低于自己的成本,所以可將Ai,min設(shè)置為1.0.將滿足式(3)的策略系數(shù)平均離散化M份來構(gòu)建i的策略集,其中的含義如下:

其相應(yīng)的競價(jià)函數(shù)為

1.2 VRE learning算法及應(yīng)用

VRE learning算法由Roth和Erev[14]在1995年提出,其主要準(zhǔn)則來源于生物學(xué)習(xí)中 3個基本經(jīng)驗(yàn): (a)遵守生物學(xué)中的條件反射原理,即往前成功的經(jīng)驗(yàn)在往后的選擇中容易被采用;(b)現(xiàn)近的經(jīng)驗(yàn)比前遠(yuǎn)的經(jīng)驗(yàn)更容易被采用;(c)學(xué)習(xí)速度通常在初始階段比較快速,隨后逐漸變緩.

VRE learning算法的運(yùn)用框架設(shè)計(jì)如下:對代理i的每個策略都標(biāo)志傾向系數(shù)φik和概率系數(shù)χik作為代理學(xué)習(xí)與決策的依據(jù).這兩個概率系數(shù)根據(jù)回報(bào)收益進(jìn)行更新,若i在第t輪的競價(jià)中選擇了策略,并在該輪得到回報(bào)收益rik(t),那對策略集中策略的傾向系數(shù)更新如下:

式中:Rim(t)為響應(yīng)函數(shù),計(jì)算如下.

式(6)中的 ω為遺忘因子,對策略的傾向系數(shù)起著隨時(shí)間增加的抑制作用,引入因子的目的就是減弱往前經(jīng)驗(yàn)的影響,增強(qiáng)現(xiàn)近的經(jīng)驗(yàn)作用;式(7)中的e為經(jīng)驗(yàn)因子,對往前成功的經(jīng)驗(yàn)起到鼓勵作用.

將策略Smi在整個策略集對應(yīng)輪盤賭中所占的概率定義為概率系數(shù),計(jì)算如下:

式(8)采用了模擬退火的思想,運(yùn)用指數(shù)函數(shù)來構(gòu)造概率,使得即使某一策略的收益出現(xiàn)負(fù)值導(dǎo)致其對應(yīng)的傾向系數(shù)出現(xiàn)負(fù)值,該策略被選擇的概率仍為正,這符合選擇概率的性質(zhì),式中c為冷卻系數(shù).

代理根據(jù)概率系數(shù),依照輪盤賭的方式選擇競價(jià)行為.該算法在決策模塊中的運(yùn)行流程設(shè)計(jì)如下:

(a)根據(jù)i的自身信息設(shè)置Ai,min、Ai,max與M,即構(gòu)建策略集Si;

(c)依據(jù)輪盤賭方式進(jìn)行第t輪決策.假設(shè)i在該輪選擇了策略向獨(dú)立調(diào)度提交報(bào)價(jià)

(d)獨(dú)立調(diào)度接受所有代理的報(bào)價(jià)后,根據(jù)所設(shè)定的市場出清規(guī)則安排發(fā)電計(jì)劃.代理 i根據(jù)相應(yīng)電價(jià)與中標(biāo)電量計(jì)算利潤πik(t),設(shè)定策略Ski獲取的回報(bào),即為利潤:rik(t)=πik(t);

(e)根據(jù)式(6)、(7),更新各策略Smi對應(yīng)的傾向系數(shù)至φim(t+1),即時(shí)根據(jù)式(8)更新相應(yīng)的概率系數(shù);

(f)重復(fù)步驟(c)～(e),直到滿足停止規(guī)則.

VRE learning算法在學(xué)習(xí)過程中根據(jù)自身利潤不斷更新策略決策參數(shù),但未考察外部因素的影響,屬于一維學(xué)習(xí)模式.為了應(yīng)對外部環(huán)境變化,模擬系統(tǒng)還構(gòu)建了基于Q-learning算法的決策模塊.

1.3 Q-learning算法及應(yīng)用

Q-learning算法是Watkins[15]針對環(huán)境的不完全信息而提出的一種強(qiáng)化學(xué)習(xí)算法.Q-learning算法通過維護(hù)一組S(動作)-X(環(huán)境)空間上的函數(shù)Q值來獲得預(yù)期整體回報(bào)最大化的策略.將環(huán)境看作離散狀態(tài)空間,使用馬爾可夫鏈轉(zhuǎn)移模型和累加回報(bào)的這種特定規(guī)格的延續(xù)式?jīng)Q策問題被稱為馬爾可夫決策過程(MDP).通常,馬爾可夫決策過程可以用一個四元組〈X,S,R,Z〉表示,其中 X為環(huán)境狀態(tài)集;S為代理的策略集;R為回報(bào)函數(shù);Z(x,s,x′)是代理在環(huán)境狀態(tài)x X下采用動作s S,使環(huán)境遷移到x′所對應(yīng)的概率.S-X空間的函數(shù)值用Q(s,x)來表示,通過學(xué)習(xí)環(huán)境狀態(tài)之間的聯(lián)系,函數(shù)Q值計(jì)算如下:

但運(yùn)用時(shí)序差分方法可不用關(guān)心轉(zhuǎn)移模型,而只關(guān)注動作 s采取前后的環(huán)境狀態(tài)間的變化情況,因而假設(shè)代理在第t輪處于狀態(tài) xt,選擇動作st得到狀態(tài)xt+1(即y)與回報(bào)rt,得到簡化的迭代修正公式:

式中:β為學(xué)習(xí)因子;η為折扣因子.

運(yùn)用Q-learning算法構(gòu)架決策模塊的關(guān)鍵是構(gòu)建合適的S-X空間及回報(bào),這里的處理方式如下.

環(huán)境X:選用系統(tǒng)總負(fù)荷、市場出清電價(jià)及代理中標(biāo)容量受約束情況 3個因素聯(lián)合作為區(qū)分環(huán)境狀態(tài)的準(zhǔn)則,具體區(qū)分有:(a)將系統(tǒng)總負(fù)荷L[Lmin, Lmax]分為遞增的 N份,其中 Lmin、Lmax分別為負(fù)荷可能的上、下限;(b)將市場電價(jià)加權(quán)平均值V[Vmin, Vmax]分為H份,其中Vmin、Vmax分別為市場最低與最高價(jià)格;(c)比較代理在有無約束條件下市場出清的中標(biāo)電量,可分為 3種狀態(tài):有約束中標(biāo)電量等于、大于與小于無約束收購電量.

將上述3種情形綜合考慮,將環(huán)境分為3NH種狀態(tài).

動作S:運(yùn)用1.1節(jié)所構(gòu)建的策略集作為Q-learning算法的動作集,根據(jù)代理的自身信息設(shè)置M值、Si,min與Si,max來構(gòu)建.

回報(bào)R:將代理的競價(jià)利潤作為回報(bào).

探索方案:Q-learning算法發(fā)展至今已有若干重要的探索方案,目前模擬系統(tǒng)運(yùn)用原始貪婪的探索方案,經(jīng)過一個預(yù)先設(shè)定的隨機(jī)學(xué)習(xí)階段后,代理在各種狀態(tài)下都選取對應(yīng)Q值最大的動作策略.

Q-learning算法的運(yùn)行流程與VRE learning算法的步驟基本相同,僅增加了對外部環(huán)境的識別及相關(guān)功能:在步驟(c)報(bào)價(jià)時(shí),根據(jù)市場發(fā)布的信息確定當(dāng)前的環(huán)境狀態(tài)xt,而后從 xt對應(yīng)輪盤賭圓盤選擇st;在步驟(e)更新學(xué)習(xí)參數(shù)時(shí),先應(yīng)識別環(huán)境狀態(tài)xt+1后,根據(jù)式(11)更新Q值.

從運(yùn)用框架可見,VRE learning算法屬于一維學(xué)習(xí)模式,認(rèn)為環(huán)境不變,每次報(bào)價(jià)均試圖從輪盤賭中選取概率大的行為;Q-learning算法考慮了不同的環(huán)境而擴(kuò)充為多維學(xué)習(xí)模式,需先判斷系統(tǒng)所處的狀態(tài),然后根據(jù)狀態(tài)選擇策略行為.

2 貪婪算法及應(yīng)用

貪婪算法根據(jù)代理報(bào)價(jià)函數(shù)各容量段被收購與否的狀況來調(diào)整其相應(yīng)容量段的報(bào)價(jià),以期達(dá)到發(fā)電量與利潤最大化.該算法的前提條件是報(bào)價(jià)函數(shù)為分段梯形上升曲線,即各容量段的報(bào)價(jià)遞增,W區(qū)域電力市場所設(shè)定的成本函數(shù)及報(bào)價(jià)函數(shù)恰好滿足這個要求.

如果報(bào)價(jià)函數(shù)中某容量段全部或部分被收購,而報(bào)價(jià)更高的容量段未被收購,則將該容量段定義為邊際容量段b:(qimb,pimb).為論述方便,將競價(jià)容量段按照報(bào)價(jià)由低到高標(biāo)記為1,…,b,…,n.運(yùn)用貪婪算法構(gòu)建決策模塊,首先需要評估上一輪(記為第t輪)的競價(jià)結(jié)果,核定第t輪的邊際容量段bt;然后第(t+1)輪的報(bào)價(jià)是基于第t輪的邊際容量段來調(diào)整報(bào)價(jià)的,分以下 3種情況分別處理:

(a)bt=n,即所有的容量段均被收購.那么代理下一輪的報(bào)價(jià)為

式中:pik(t+1)、pikt分別為代理i在第t+1及t輪時(shí)第k容量段的報(bào)價(jià);Lt+1、Lt分別為第t+1及t輪的系統(tǒng)總負(fù)荷;u(Lt+1,Lt)為代理基于總負(fù)荷變化的報(bào)價(jià)增量函數(shù).式(11)表明代理在第t+1輪的報(bào)價(jià)是在第 t輪報(bào)價(jià)基礎(chǔ)上根據(jù)總負(fù)荷的變化上調(diào)合適的系數(shù).

(b)bt=0,即所有容量段均未被收購.那么

式(12)表示代理在第t+1輪的各容量段報(bào)價(jià)是在第t輪的基礎(chǔ)上均下調(diào)某一百分比uFix.

(c)bt[0,n],即部分容量段被收購.那么:

式(13)表示不高于邊際容量段報(bào)價(jià)的容量段競價(jià)維持上輪的報(bào)價(jià),而其它容量段則下降百分比uFix.

貪婪算法體現(xiàn)了發(fā)電廠商報(bào)價(jià)過程中追求更多中標(biāo)容量與利潤的試探心理,算法原理簡單,在實(shí)驗(yàn)仿真中展現(xiàn)出很好的探索性能,是一種不可或缺的智能代理學(xué)習(xí)算法.

3 代理學(xué)習(xí)算法的收斂處理

強(qiáng)化學(xué)習(xí)算法屬于隨機(jī)決策方法,在一定的學(xué)習(xí)參數(shù)與仿真系統(tǒng)系數(shù)設(shè)置下,可能使代理的報(bào)價(jià)策略選擇保持不變達(dá)到收斂狀態(tài).為了便于分析比較實(shí)驗(yàn)結(jié)果,考察收斂狀態(tài)下的市場情形具有相當(dāng)?shù)囊饬x,因此電力市場模擬系統(tǒng)在代理決策收斂問題上對學(xué)習(xí)算法有如下分析與處理:

(a)VRE learning算法根據(jù)策略集對應(yīng)的輪盤賭概率分布來決定報(bào)價(jià),若某策略的選擇概率非常接近 1.0,這就意味著代理在往后的競價(jià)中可能總是采取該策略報(bào)價(jià),也就是說該代理達(dá)到收斂狀態(tài).模擬系統(tǒng)若設(shè)定某策略的選擇概率大于收斂閥值δ,則認(rèn)為代理達(dá)到收斂而停止學(xué)習(xí);

(b)貪婪算法根據(jù)上一輪報(bào)價(jià)與出清電價(jià)的比較,積極地試探性調(diào)整報(bào)價(jià).若系統(tǒng)中的其它代理基本上已達(dá)穩(wěn)定狀態(tài),市場電價(jià)可能會因?yàn)榛谪澙匪惴Q策的代理所采取的試探行為而波動,為此,記錄該類型代理連續(xù)抬高并隨后降低報(bào)價(jià)的波動次數(shù),若波動次數(shù)大于系統(tǒng)設(shè)定的震蕩閥值,則認(rèn)為代理已經(jīng)達(dá)到收斂狀態(tài),往后報(bào)價(jià)不再改變;

(c)若系統(tǒng)中其它代理基本已達(dá)穩(wěn)定狀態(tài),這可能使基于Q-learning算法決策的代理達(dá)到收斂:如果系統(tǒng)處于相對穩(wěn)定的情型,該類型代理面臨較為穩(wěn)定的環(huán)境狀態(tài),在采用原始貪婪的探索方案下,代理總是選取在該穩(wěn)定狀態(tài)下的對應(yīng)Q值最大的策略,那么代理采取的策略將不變,即該代理也將處于穩(wěn)定狀態(tài).

4 算例及其分析

本節(jié)運(yùn)用W區(qū)域電網(wǎng)的實(shí)際算例來說明智能代理模型及其學(xué)習(xí)算法在電力市場模擬系統(tǒng)中的運(yùn)用情況.根據(jù)該區(qū)域電力市場運(yùn)行規(guī)則,只允許發(fā)電容量大于100MW的火電機(jī)組參與市場競價(jià);其它較小容量火電機(jī)組與水電機(jī)組不參與市場競價(jià),僅作為輔助設(shè)備參與系統(tǒng)運(yùn)行.目前該區(qū)域電力系統(tǒng)有容量大于100MW的機(jī)組102臺,其中火電90臺,水電廠12家,總裝機(jī)發(fā)電容量為30088MW,其中火電裝機(jī)容量為21434MW,占總裝機(jī)容量的71.24%,水電總裝機(jī)容量為8654MW,占總裝機(jī)容量的28.76%.

這里以VRE learning算法構(gòu)建的智能代理決策模塊為例,考察市場在無約束排隊(duì)出清方式下的情況.其中實(shí)驗(yàn)參數(shù)設(shè)置情形為:實(shí)驗(yàn)最大迭代輪數(shù)為600;發(fā)電廠商報(bào)價(jià)函數(shù)最大容量段數(shù)為 4;代理的策略集合設(shè)置參數(shù)情況為Si,min=1與Si,max=5,策略集中元素個數(shù)M=20;策略初始傾向系數(shù)設(shè)置為10000,各學(xué)習(xí)因子為ω=0.03,e=0.97,c=2000;代理的收斂閥值為δ=0.99.

實(shí)驗(yàn)各輪市場出清價(jià)格的變化見圖 1,可以看出,代理經(jīng)過 310輪左右的學(xué)習(xí)后,使市場處于一個穩(wěn)定狀態(tài),市場出清電價(jià)也從開始的1.0元/(kW?h)左右收斂到0.245元/(kW?h).市場出清電價(jià)在前300輪競價(jià)中波動劇烈,說明市場各發(fā)電廠商不斷調(diào)整策略以期獲得最大利潤,使得市場競爭激烈;隨后開始趨于平穩(wěn)并逐漸收斂到市場實(shí)際邊際成本附近,這說明經(jīng)過反復(fù)競爭后,發(fā)電廠商最終基本按各自真實(shí)成本進(jìn)行報(bào)價(jià).算例表明代理學(xué)習(xí)算法可以模擬發(fā)電廠商在重復(fù)競價(jià)過程中為獲取自身最大收益而不斷調(diào)整競價(jià)策略的動態(tài)博弈過程,并且智能代理的學(xué)習(xí)過程最終使得市場出清電價(jià)收斂到邊際成本附近,此現(xiàn)象在一定程度上符合完全競爭市場中的價(jià)格變化規(guī)律.

圖1 市場出清電價(jià)變化Fig.1 Evolution ofmarket clearing price

通過該算例表明,智能代理模型及學(xué)習(xí)算法具有模擬仿真發(fā)電廠商追求利潤這種理性行為的能力;適合用來構(gòu)建模擬系統(tǒng)中的決策模塊,同時(shí)是實(shí)現(xiàn)電力市場模擬系統(tǒng)智能化的重要工具,這對考察分析實(shí)際電力市場的運(yùn)行具有重要的現(xiàn)實(shí)意義.

5 結(jié)語

電力市場模擬系統(tǒng)不僅是對電力市場進(jìn)行深入量化分析的平臺,而且也是分析制訂市場規(guī)則與培訓(xùn)相關(guān)人員的重要工具.推進(jìn)電力市場模擬系統(tǒng)的建設(shè)有助于我國電力市場的進(jìn)一步深化改革.

為發(fā)電廠商構(gòu)建基于智能代理及學(xué)習(xí)算法的決策模塊是實(shí)現(xiàn)智能電力市場模擬系統(tǒng)的核心與關(guān)鍵.文中介紹運(yùn)用的VRE learning算法、貪婪算法與Q-learning算法均從不同方面體現(xiàn)了發(fā)電廠商決策時(shí)的心理,在一定程度上體現(xiàn)了發(fā)電廠商競價(jià)的理性行為.這些代理學(xué)習(xí)算法在電力市場模擬系統(tǒng)中的實(shí)現(xiàn)運(yùn)用,為發(fā)電廠商的競價(jià)提供了多樣選擇,實(shí)現(xiàn)了電力市場的智能仿真.

同時(shí)需要特別指出的是,電力市場基于智能代理模型仿真方法的研究還處于初始階段,實(shí)驗(yàn)設(shè)計(jì)規(guī)則與仿真結(jié)果的分析方法等目前都還沒有得到一個廣泛認(rèn)可的規(guī)范,這需要進(jìn)一步的研究探索.

[1] 陳皓勇,王錫凡,王秀麗.基于Java的電力市場競價(jià)實(shí)驗(yàn)平臺設(shè)計(jì),實(shí)現(xiàn)及應(yīng)用 [J].電力系統(tǒng)自動化,2004, 28(17):22-26.

Chen Hao-yong,Wang Xi-fan,Wang Xiu-li.Design,imp lementation and app lication of a Java-based platform for electricitymarket auction experiments[J].Automation of Electric Power Systems,2004,28(17):22-26.

[2] 宋依群,高瞻.Agent技術(shù)在電力市場中的應(yīng)用綜述[J].電力系統(tǒng)及其自動化學(xué)報(bào),2008,20(3):115-121.

Song Yi-qun,Gao Zhan.Survey on the application of Agent technology in electricitymarket[J].Proceedings of the CSUEPSA,2008,20(3):115-121.

[3] Bower J,Bunn D.Experimental analysis of the efficiency of uniform-price versus discriminatory auctions in the England and Wales electricity market[J].Journal of Econom ic Dynamics and Control,2001,25(4):561-592.

[4] Sun J,Tesfatsion L.Dynam ic testing of wholesale power market designs:an open-source agent-based framework [J].Computational Economics,2007,30(3):291-327.

[5] Power Systems Engineering Research Center(PSERC). Power web user'smanual version 2.7[R].[S.l.]:Cornell University,2001.

[6] Center for Energy,Environmental,and Econom ic Systems Analysis(CEEESA)Decision and Information Sciences Division.Electricity market comp lex adap tive system (EMCAS)user'smanual-version 2.0[R].[S.l.]:Argonne National Laboratory,2006.

[7] 王玉榮,魏萍.電力市場仿真和培訓(xùn)系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[J].電力系統(tǒng)自動化,2007,31(12):96-99.

Wang Yu-rong,Wei Ping.Design and Implementation of powermarket simu lation and training system[J].Automation of Electric Power Systems,2007,31(12):96-99.

[8] 薛禹勝,彭慧敏.電力市場與電力系統(tǒng)交互動態(tài)仿真設(shè)計(jì)[J].電力系統(tǒng)自動化,2006,30(23):14-20.

Xue Yu-sheng,Peng Hui-m in.Analysis and simu lation and interaction between electricitymarket and power system dynamics[J].Automation of Electric Power Systems, 2006,30(23):14-20.

[9] 楊尚寶.電力競價(jià)上網(wǎng)智能決策支持系統(tǒng) [J].電力自動化設(shè)備,2006,26(11):101-103.

Yang Shang-bao.Intelligentdecision support system for electricity bidding[J].Electric Power Automation Equipment,2006,26(11):101-103.

[10] 鄒斌,李慶華,言茂松.電力拍賣市場的智能代理模擬模型[J].中國電機(jī)工程學(xué)報(bào),2005,25(15):7-11.

Zou Bin,Li Qing-hua,Yan Mao-song.An agent-based simu lationmodel on pool-based electricity market using locationalmarginal price[J].Proceedings of the CSEE, 2005,25(15):7-11.

[11] 宋依群.電力市場的多代理模型 [J].中國電機(jī)工程學(xué)報(bào),2005,25(8):80-83.

Song Yi-qun.Multi-agent model of electricity market [J].Proceedings of the CSEE,2005,25(8):80-83.

[12] 陳皓勇,楊彥,張堯.電力市場智能模擬中代理決策模塊的實(shí)現(xiàn)[J].電力系統(tǒng)自動化,2008,32(20):12-16.

Chen Hao-yong,Yang Yan,Zhang Yao.Realization of decision-makingmodule in agent-based simu lation of power markets[J].Automation of Electric Power Systems, 2008,32(20):12-16.

[13] Russell S,Norvig P.Artificial intelligence:a modern approach[M].Englewood Cliffs,NJ:Prentice Hall,2003.

[14] Roth A E,Erev I.Learning in extensive-form games:experimental data and simple dynam ic models in the inter mediate term[J].Games Econom Behav,1995,8(1): 164-212.

[15] Watkins C JC H.Learning from delayed rewards[D]. University of Cambridge,1998.