大規(guī)模電力系統(tǒng)電磁暫態(tài)并行仿真算法和實(shí)現(xiàn)

宋炎侃，陳穎，黃少偉，張節(jié)潭，楊立濱

(1．清華大學(xué)電機(jī)工程與應(yīng)用電子技術(shù)系，北京市100084;2．國網(wǎng)青海省電力公司電力科學(xué)研究院電網(wǎng)技術(shù)中心，西寧市810008)

0 引言

電力系統(tǒng)，作為集發(fā)電、輸電和用電多種設(shè)備于一體的綜合型能源供給系統(tǒng)，被認(rèn)為是當(dāng)今世界上最復(fù)雜的人造網(wǎng)絡(luò)之一［1］。電力系統(tǒng)的穩(wěn)定運(yùn)行也成為國民經(jīng)濟(jì)發(fā)展的命脈。為避免系統(tǒng)故障引起的大停電，電力系統(tǒng)的規(guī)劃、設(shè)計(jì)和控制離不開對其精確暫態(tài)性能的了解。因此，電力系統(tǒng)電磁暫態(tài)仿真計(jì)算(electromagnetic transient simulation，EMT)成為獲取電力系統(tǒng)精確動態(tài)特性最有效的工具。

傳統(tǒng)電力系統(tǒng)電磁暫態(tài)的基本算法(electromagnetic transientprogram，EMTP)［2］由Dommel等人于20世紀(jì)60年代提出，最初主要用于研究電力系統(tǒng)運(yùn)行過程中的過電壓問題。經(jīng)過長期發(fā)展，商用化的離線電磁暫態(tài)仿真軟件，如EMTP-等已成為研究電力系統(tǒng)各類復(fù)雜動態(tài)特性的主要工具。隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算速度的提升，各類實(shí)時電磁暫態(tài)仿真器，如RTDS［5］、HYPERSIM［6］、ADPSS［7］等，可以利用強(qiáng)大的計(jì)算能力，通過數(shù)字仿真實(shí)時模擬實(shí)際電力系統(tǒng)的動態(tài)過程，為電力系統(tǒng)控制和保護(hù)裝置的校驗(yàn)提供了在線測試平臺。

近年來，隨著微電網(wǎng)、智能電網(wǎng)、能源互聯(lián)網(wǎng)的發(fā)展，新能源發(fā)電裝置、復(fù)雜控制策略以及復(fù)雜電力電子變換器逐步接入傳統(tǒng)電網(wǎng)，使得傳統(tǒng)電網(wǎng)逐步發(fā)展為大規(guī)模的交直流混聯(lián)非線性系統(tǒng)。傳統(tǒng)離線或?qū)崟r仿真軟件的種種局限，使其在仿真精度、速度和規(guī)模上不能滿足未來電網(wǎng)的仿真需求。而未來大規(guī)模電力系統(tǒng)的電磁暫態(tài)仿真在電網(wǎng)控制、調(diào)度中面臨的新需求，總結(jié)起來，主要體現(xiàn)在3個方面。

(1)時間尺度。大規(guī)模電力系統(tǒng)中包含大量設(shè)備，而不同設(shè)備時間常數(shù)的不同，電磁暫態(tài)過程響應(yīng)時間從ns級到ms級不等。然而，針對大規(guī)模電力系統(tǒng)的電磁暫態(tài)仿真，所關(guān)注的暫態(tài)過程多為系統(tǒng)級暫態(tài)過程，其時間尺度相比傳統(tǒng)意義上的電磁暫態(tài)仿真有所擴(kuò)大，但小于機(jī)電暫態(tài)尺度。

(2)空間尺度。在仿真規(guī)模方面，對于大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真，往往更關(guān)注計(jì)算規(guī)模的擴(kuò)大與計(jì)算速度的提升。傳統(tǒng)仿真軟件在仿真大規(guī)模復(fù)雜系統(tǒng)時，計(jì)算速度慢，而實(shí)時仿真器造價昂貴，且具有規(guī)模限制，無法實(shí)現(xiàn)大規(guī)模系統(tǒng)的實(shí)時仿真。

(3)元件復(fù)雜度。相比傳統(tǒng)的電力系統(tǒng)，大規(guī)模電力系統(tǒng)中包含大量新型復(fù)雜設(shè)備(如DG，變流器等)。對復(fù)雜設(shè)備的建模方法決定了元件計(jì)算量的大小，從而決定了大規(guī)模系統(tǒng)仿真的計(jì)算量。

因此，為了快速、準(zhǔn)確地得到大規(guī)模復(fù)雜電力系統(tǒng)動態(tài)特性，需要發(fā)展大規(guī)模系統(tǒng)并行電磁暫態(tài)仿真方法和工具。相關(guān)研究的基本步驟包括:1)改進(jìn)傳統(tǒng)電磁暫態(tài)算法、模型，兼顧計(jì)算準(zhǔn)確性和高效性;2)引入新型計(jì)算設(shè)備，利用并行計(jì)算加速電磁暫態(tài)仿真。

本文首先討論傳統(tǒng)粗粒度并行化方法在加速大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真的局限，并分別從“平均化”建模和“向量化”計(jì)算角度，解決大規(guī)模電力系統(tǒng)電磁暫態(tài)并行仿真遇到的問題;最后討論并總結(jié)未來大規(guī)模復(fù)雜電力系統(tǒng)仿真的發(fā)展方向，提出面向大規(guī)模復(fù)雜電力系統(tǒng)電磁暫態(tài)實(shí)時仿真的異構(gòu)計(jì)算平臺架構(gòu)。

1 大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真

1.1 傳統(tǒng)并行仿真技術(shù)的局限

傳統(tǒng)電力系統(tǒng)的電磁暫態(tài)實(shí)時仿真，主要是在多

計(jì)算架構(gòu)(如多核計(jì)算機(jī)、并行計(jì)算服務(wù)器、PC集群等)上利用網(wǎng)絡(luò)分塊實(shí)現(xiàn)的區(qū)域級并行仿真。傳統(tǒng)互聯(lián)電網(wǎng)電磁暫態(tài)的并行仿真主要包含兩類方法。其一，是依賴長傳輸線的天然解耦特性實(shí)現(xiàn)分網(wǎng)并行計(jì)算［8］;其二是利用 Diakoptics網(wǎng)絡(luò)分塊技術(shù)［9-11］。其中:文獻(xiàn)［9］中徐政提出在系統(tǒng)分塊后構(gòu)建邊界交接變量方程;文獻(xiàn)［10］中J R Marti等人提出的多端口戴維南等值(multi-areathevenin equivalent，MATE)技術(shù);文獻(xiàn)［11］提出了類似的基于節(jié)點(diǎn)分裂法的分網(wǎng)并行技術(shù)。上述分塊技術(shù)均通過“分區(qū)側(cè)-協(xié)調(diào)側(cè)”兩層計(jì)算實(shí)現(xiàn)并行計(jì)算。然而，此類并行技術(shù)在實(shí)現(xiàn)大規(guī)模復(fù)雜電力系統(tǒng)的電磁暫態(tài)并行計(jì)算時，仍具有如下困難:

(1)系統(tǒng)實(shí)時仿真規(guī)模擴(kuò)展性受到限制。

首先，在分塊并行計(jì)算過程中，不同分區(qū)的計(jì)算結(jié)果在每一時步仿真中均需要相互通信，而傳統(tǒng)并行計(jì)算架構(gòu)的通信代價高，通信延時大。隨著分塊數(shù)目及層數(shù)的增多，通信延時將成為系統(tǒng)實(shí)時仿真規(guī)模增大的最大瓶頸。其次，多CPU的并行計(jì)算架構(gòu)硬件成本高，而不均勻的系統(tǒng)切分會導(dǎo)致系統(tǒng)不同計(jì)算節(jié)點(diǎn)的計(jì)算負(fù)載不均衡，從而浪費(fèi)了大量計(jì)算資源。

(2)系統(tǒng)仿真加速困難。

傳統(tǒng)電磁暫態(tài)并行仿真技術(shù)建立在EMTP算法上。對包含復(fù)雜電力電子元件的電力系統(tǒng)進(jìn)行仿真時，為得到正確的仿真結(jié)果，往往采用較小的仿真步長，這更提升了加速仿真和實(shí)時仿真的難度。此外，基于MATE技術(shù)的并行計(jì)算依賴協(xié)調(diào)方程的求解，仿真過程依賴同步，產(chǎn)生大量等待過程，降低了計(jì)算資源的利用效率，從而限制了仿真加速比。

1.2 大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真面臨的挑戰(zhàn)

大規(guī)模電力系統(tǒng)中，往往含有大量復(fù)雜元件，因此，實(shí)現(xiàn)大規(guī)模電力系統(tǒng)的電磁暫態(tài)仿真面臨著以下3個挑戰(zhàn)。

(1)如何準(zhǔn)確且高效地仿真PWM變流器。

PWM變流器是構(gòu)建微電網(wǎng)、交直流混合電力系統(tǒng)的關(guān)鍵設(shè)備。對PWM變流器進(jìn)行準(zhǔn)確高效的仿真是變流器設(shè)計(jì)、控制算法研究以及系統(tǒng)穩(wěn)定性分析的基礎(chǔ)。在EMTP中，PWM變流器主要有3種建模方式。其各自特點(diǎn)如表1所示。

由表1可見，不同的建模方式對電磁暫態(tài)仿真的準(zhǔn)確性和效率有很大影響。詳細(xì)模型仿真精度高，但需要較小的仿真步長，執(zhí)行串行化和碎片化的開關(guān)處理算法［12］，采用平均模型進(jìn)行仿真則具有較高的仿真效率，可在大步長下得到變流器的平均外特性，但有時可能無法取得正確的仿真結(jié)果［13］。

表1 變流器建模方式對比Table 1 Comparison of different PWM converter modeling methods

因此，如何準(zhǔn)確、高效地對PWM變流器進(jìn)行仿真，是大規(guī)模電力系統(tǒng)仿真的一大難點(diǎn)。

(2)如何解決EMTP求解流程的“碎片化”與并行計(jì)算所需的“代數(shù)化”之間的矛盾。

傳統(tǒng)EMTP中，變流器的開關(guān)處理流程包含開關(guān)次序判斷、數(shù)值振蕩抑制等多個串行的碎片化的求解環(huán)節(jié)。而并行計(jì)算所要求的計(jì)算流程往往是代數(shù)化的方程求解。對于包含大量變流器的大規(guī)模復(fù)雜電力系統(tǒng)，數(shù)以萬計(jì)的開關(guān)元件處理過程在并行計(jì)算機(jī)上將產(chǎn)生大量的等待延時，從而降低了計(jì)算效率。

(3)如何利用新型異構(gòu)計(jì)算設(shè)備加速仿真。

近年來，隨著計(jì)算機(jī)技術(shù)的發(fā)展，新型異構(gòu)計(jì)算設(shè)備，如FPGA、GPU等逐漸成為高性能計(jì)算的研究熱點(diǎn)。特別是具有眾核(many-core)架構(gòu)的圖像處理器GPU在高性能計(jì)算中展現(xiàn)出出色的細(xì)粒度并行計(jì)算能力，使其在通用計(jì)算領(lǐng)域嶄露頭角，也為實(shí)現(xiàn)大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真提供了新平臺。然而，傳統(tǒng)的基于網(wǎng)絡(luò)分塊的電磁暫態(tài)并行算法均為粗粒度并行算法，主要面向多核(multi-core)計(jì)算架構(gòu)，并不適合面向大量線程的GPU，不能友好兼容新型計(jì)算設(shè)備，因此，為滿足日益增長的仿真需求，有必要研究新的并行技術(shù)，利用異構(gòu)并行計(jì)算設(shè)備加速大規(guī)模復(fù)雜電力系統(tǒng)的電磁暫態(tài)計(jì)算。

2 大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真加速

2.1 策略1:平均化

大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真中，所關(guān)心的往往是遠(yuǎn)低于開關(guān)頻率的系統(tǒng)級響應(yīng)特性。因此，平均化方法是系統(tǒng)級電磁暫態(tài)仿真中PWM變流器模型的合理選擇。一方面，平均化模型可以在較大的仿真步長下得到系統(tǒng)級響應(yīng)的平均特性;另一方面，平均化模型處理過程中省去了串行化的開關(guān)處理流程，可進(jìn)一步提高計(jì)算效率，從而取得仿真準(zhǔn)確性和高效性的平衡。

2.1.1 傳統(tǒng)平均化模型

傳統(tǒng)PWM變流器平均化模型，是建立在參考波變化緩慢(無限大載波頻率)的假設(shè)基礎(chǔ)上，將參考波信號直接作為變流器平均模型的控制信號。而實(shí)際變流器中，參考波中的紋波，以及系統(tǒng)狀態(tài)擾動都可能加劇參考波的劇烈變化，從而破壞傳統(tǒng)平均化模型的假設(shè)。在擾動劇烈的情況下，傳統(tǒng)平均化模型可能無法得到正確的結(jié)果。因此，有必要改進(jìn)傳統(tǒng)平均化模型，以提高其仿真結(jié)果的準(zhǔn)確性。

2.1.2 分段平均化模型

文獻(xiàn)［14］提出一種分段平均化的建模方法，在脈沖相等原理的基礎(chǔ)上，利用分段定常系統(tǒng)來近似時變系統(tǒng)，對PWM進(jìn)行平均化建模，如圖1所示。

圖1 分段平均化建模Fig.1 Piecewise average modeling

一個m相PWM變流器可以利用一組狀態(tài)方程描述，如公式(1)所示:

式中:t為時間;x∈Rn為狀態(tài)變量;Ai，bi(i=0，1，…，m)為系數(shù);Si(t)為開關(guān)函數(shù)，表示第 i組開關(guān)的狀態(tài)。

式中Di(t)為開關(guān)函數(shù)的分段平均值，其在每個開關(guān)周期上的取值為常數(shù)，且等于Si(t)在開關(guān)周期上的平均值。

為準(zhǔn)確表達(dá)變流器的紋波，文獻(xiàn)［15］采用分段線性函數(shù)近似實(shí)際紋波，提出了分段平均模型的紋波近似表達(dá)式如公式(3)。

在分段平均化的建模思想下，公式(1)可等效由開關(guān)占空比表示的分段定常系統(tǒng)，如公式(2)所示。文獻(xiàn)［15］。

分段平均模型在實(shí)際載波周期上對變流器的狀態(tài)方程進(jìn)行平均，無須假設(shè)參考波變化緩慢，因此不存在傳統(tǒng)平均模型的局限，提高了平均模型仿真結(jié)果的準(zhǔn)確性。文獻(xiàn)［14］采用分段平均化建模方法對三相PWM變流器進(jìn)行了建模仿真。其結(jié)果表明，分段平均模型可在較大步長下，準(zhǔn)確且高效地模擬變流器的慢動態(tài)。文獻(xiàn)［15］的結(jié)果證明了紋波估計(jì)的準(zhǔn)確性。

2.1.3 兼容分段平均化模型的EMTP方法

根據(jù)公式(2)，Di(t)取決于開關(guān)動作時刻。因此，采用分段平均化模型對變流器進(jìn)行仿真，需要得到準(zhǔn)確的開關(guān)動作時刻。為此，文獻(xiàn)［16］提出了“預(yù)測－校正”策略，通過迭代求解的思路準(zhǔn)確逼近每周期中每個開關(guān)的動作時刻，將全部開關(guān)動作時刻轉(zhuǎn)化為非線性方程組的求解問題，可并行迭代求解全部開關(guān)動作時刻，從而消除了EMTP求解流程的“碎片化”與并行計(jì)算所需的“代數(shù)化”之間的矛盾。

進(jìn)一步地，將“預(yù)測－校正”策略引入傳統(tǒng)EMTP方法中，得到改進(jìn)的EMTP算法。其流程如圖2。

圖2 改進(jìn)EMTP算法Fig.2 Improved EMTP algorithm

改進(jìn)后的EMTP流程包含內(nèi)外兩層循環(huán)。其中，內(nèi)層循環(huán)迭代求解每個分段的開關(guān)動作時刻;外層循環(huán)控制仿真流程。通過對迭代初值、預(yù)測方法以及迭代方法進(jìn)行調(diào)整，可提高收斂速度。

文獻(xiàn)［17］基于分段平均化模型及改進(jìn)的EMTP方法建立了微電網(wǎng)電磁暫態(tài)快速仿真平臺，實(shí)現(xiàn)了對百節(jié)點(diǎn)“光－儲”微電網(wǎng)的快速控制和保護(hù)校驗(yàn)。在保證準(zhǔn)確性的基礎(chǔ)上，采用20 μs仿真步長相對于PSCAD可取得60倍的加速比，采用50 μs仿真步長可取得70倍加速比。

綜上，應(yīng)用分段平均模型對大規(guī)模電力系統(tǒng)仿真的優(yōu)勢，主要包含以下3點(diǎn):1)開關(guān)動作時刻求解與系統(tǒng)仿真同時進(jìn)行，很好地兼容了分段平均模型;2)無須頻繁修正節(jié)點(diǎn)導(dǎo)納矩陣，降低了仿真計(jì)算量;3)在開關(guān)周期中可連續(xù)仿真，避免了主流程隨時中斷，更容易實(shí)現(xiàn)并行求解。

2.2 策略2:向量化

2.2.1 GPU介紹

圖像處理器GPU是一種圖形處理單元，最初用來實(shí)時渲染大型3D游戲中的實(shí)時畫面。GPU采用中核架構(gòu)。圖3是傳統(tǒng)的多核CPU與眾核GPU的架構(gòu)對比。

圖3 CPU與GPU架構(gòu)對比Fig.3 Architecture comparison between CPU and GPU

由圖可見，傳統(tǒng)多核CPU的計(jì)算核心少，但控制單元強(qiáng)大，擅長處理分支預(yù)測等復(fù)雜邏輯，適合處理并行程度低、流程復(fù)雜的算法及應(yīng)用。而基于眾核架構(gòu)的GPU包含大量計(jì)算單元，但控制單元較弱，適合處理運(yùn)算密度高、并行度高、控制流程簡單的算法和應(yīng)用。

2006年，NVIDIA公司推出了一種新的計(jì)算設(shè)備架 構(gòu): CUDA (compute unified device architecture)［18］，在其GPU上提供完全并行化的單指令多線程并行(single-instruction-multi-threads，SIMT)以及共享內(nèi)存2種并行策略，以分別用來處理不同類型的并行計(jì)算任務(wù)。

其一，是單指令多線程并行，即并發(fā)大量線程，每條線程具有相同的指令但處理不同的數(shù)據(jù)，適用于相互獨(dú)立的線程，其本質(zhì)是向量化的并行計(jì)算。其二，是基于共享內(nèi)存的并行，即線程之間可通過共享內(nèi)存交換數(shù)據(jù)，從而在線程間存在耦合的并行計(jì)算中實(shí)現(xiàn)局部數(shù)據(jù)通信。

2.2.2 細(xì)粒度并行的EMTP算法

根據(jù)EMTP基本流程的并行特性，將EMTP算法與GPU的向量化并行計(jì)算相結(jié)合，文獻(xiàn)［19］討論了利用GPU實(shí)現(xiàn)大規(guī)模電力系統(tǒng)電磁暫態(tài)并行計(jì)算的可行性，并利用GPU上的高性能數(shù)學(xué)庫CUBLAS實(shí)現(xiàn)了對節(jié)點(diǎn)電壓方程求解的加速，取得了較高的加速比。進(jìn)一步地，為消除CPU與GPU之間頻繁的數(shù)據(jù)交換，文獻(xiàn)［20］提出了完全基于GPU的細(xì)粒度電磁暫態(tài)算法。其中，EMTP基本流程中的各個環(huán)節(jié)可采取如表2中的并行策略實(shí)現(xiàn)細(xì)粒度并行。

表2 EMTP中實(shí)現(xiàn)細(xì)粒度并行的主要計(jì)算環(huán)節(jié)Table 2 Fine-grained parallel implementation of main computing links in EMTP

為準(zhǔn)確評估電磁暫態(tài)細(xì)粒度并行計(jì)算的耗時，文獻(xiàn)［20］建立了面向EMTP的GPU耗時模型，設(shè)計(jì)了多層并行架構(gòu)，通過多線程隱藏延時的策略實(shí)現(xiàn)大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真的加速。文獻(xiàn)［21］建立在文獻(xiàn)［16］的基礎(chǔ)上，設(shè)計(jì)了基于GPU細(xì)粒度并行的改進(jìn)EMTP算法。文獻(xiàn)［22］結(jié)合分段平均化模型建立了雙饋風(fēng)機(jī)DFIG的電磁暫態(tài)仿真模型，建立了大規(guī)模風(fēng)電場的GPU細(xì)粒度并行電磁暫態(tài)仿真平臺。在保證正確性的基礎(chǔ)上，采用GPU對含100臺雙饋風(fēng)機(jī)的風(fēng)電場進(jìn)行電磁暫態(tài)仿真，相對CPU程序有49倍的加速比。且應(yīng)用GPU的向量化細(xì)粒度并行計(jì)算方法，可以有效地加速大規(guī)模風(fēng)電場的電磁暫態(tài)仿真，并有望實(shí)現(xiàn)實(shí)時仿真。

綜上，GPU在電力系統(tǒng)電磁暫態(tài)仿真領(lǐng)域具有巨大的發(fā)展?jié)摿??？偨Y(jié)起來，有以下3個優(yōu)點(diǎn):1)GPU并行計(jì)算機(jī)相比傳統(tǒng)并行計(jì)算機(jī)成本低，易于搭建和擴(kuò)展;2)電力系統(tǒng)電磁暫態(tài)元件級并行、矩陣運(yùn)算與GPU的細(xì)粒度并行特性可緊密結(jié)合，可最大化利用計(jì)算資源，提高求解效率;3)細(xì)粒度并行計(jì)算相比傳統(tǒng)粗粒度并行計(jì)算，無須求解協(xié)調(diào)側(cè)方程，消除同步，進(jìn)一步提高求解效率。

3 大規(guī)模電力系統(tǒng)電磁暫態(tài)并行仿真計(jì)算的發(fā)展方向

3.1 對于大規(guī)模電力系統(tǒng)，如何定義系統(tǒng)規(guī)模

傳統(tǒng)電力系統(tǒng)由于變流器數(shù)量少，電磁暫態(tài)仿真多采用詳細(xì)模型，即采用分立開關(guān)元件構(gòu)建變流器模型，系統(tǒng)規(guī)模通常用支路數(shù)和節(jié)點(diǎn)數(shù)衡量。

未來電網(wǎng)將是交直流混聯(lián)的復(fù)雜電力系統(tǒng)［23］。其中，變流器將成為構(gòu)建光伏、風(fēng)電等新能源發(fā)電系統(tǒng)，微電網(wǎng)以及交直流混聯(lián)電網(wǎng)的關(guān)鍵能量轉(zhuǎn)換設(shè)備，具有復(fù)雜的開關(guān)動作和動態(tài)響應(yīng)特性。同時，變流器控制系統(tǒng)復(fù)雜，在電磁暫態(tài)計(jì)算中需要包含其詳細(xì)的控制模型。因此，變流器數(shù)量的增多，使得網(wǎng)絡(luò)仿真的復(fù)雜度逐步提升。此時，若再以支路數(shù)和節(jié)點(diǎn)數(shù)來衡量電力系統(tǒng)規(guī)模，并不能衡量系統(tǒng)仿真的復(fù)雜度。

因此，對大規(guī)模電力系統(tǒng)的系統(tǒng)級電磁暫態(tài)仿真計(jì)算，系統(tǒng)規(guī)?？捎米兞髌鲾?shù)量衡量，通過采用平均化方法來構(gòu)建變流器，加速大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真。

3.2 仿真步長與仿真精度的配合

大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真中，不同設(shè)備、控制器的時間常數(shù)不同。為減少計(jì)算量，優(yōu)化計(jì)算資源，應(yīng)結(jié)合粗粒度并行、細(xì)粒度并行以及多速率多時間尺度技術(shù)，構(gòu)建異構(gòu)的混合仿真平臺。

傳統(tǒng)EMTP仿真中，控制系統(tǒng)與電氣系統(tǒng)仿真按照順序依次進(jìn)行，其結(jié)果存在一個仿真步長的延時，若增大仿真步長，必然會引入控制誤差。對于采用受控源接口的分網(wǎng)并行仿真和多速率仿真，仿真步長的選取對于仿真精度和數(shù)值穩(wěn)定性均有重要影響。因此，有必要研究不同仿真步長下，控制系統(tǒng)與電氣系統(tǒng)、電氣子系統(tǒng)之間的誤差補(bǔ)償機(jī)制。

3.3 構(gòu)建面向大規(guī)模電力系統(tǒng)的實(shí)時仿真平臺

實(shí)現(xiàn)大規(guī)模電力系統(tǒng)電磁暫態(tài)仿真計(jì)算的并行加速，從而實(shí)現(xiàn)大規(guī)模電力系統(tǒng)的電磁暫態(tài)實(shí)時仿真，對于構(gòu)建實(shí)時系統(tǒng)在環(huán)測試、系統(tǒng)級控制和保護(hù)校驗(yàn)具有重要意義。

一種面向大規(guī)模電力系統(tǒng)的實(shí)時仿真平臺架構(gòu)設(shè)計(jì)如圖4所示。

圖4 大規(guī)模電力系統(tǒng)電磁暫態(tài)異構(gòu)并行計(jì)算平臺架構(gòu)Fig.4 Architecture of EMT heterogeneous parallel computing platform for large-scale power system

實(shí)時仿真平臺由異構(gòu)的并行計(jì)算平臺結(jié)合粗粒度的網(wǎng)絡(luò)分割、細(xì)粒度的元件級并行構(gòu)成。合理分網(wǎng)后，分區(qū)電力系統(tǒng)中設(shè)備模型(或網(wǎng)絡(luò))的復(fù)雜度選擇最適合的計(jì)算設(shè)備和合適的仿真步長進(jìn)行仿真。接口緩沖區(qū)負(fù)責(zé)保存各個分區(qū)子系統(tǒng)的接口仿真數(shù)據(jù)，并保持其與仿真時間軸同步。各個仿真子系統(tǒng)在每個仿真步長內(nèi)通過訪問接口緩沖區(qū)獲取接口數(shù)據(jù)。分區(qū)子系統(tǒng)之間采用受控源接口或網(wǎng)絡(luò)等值接口，子系統(tǒng)間互為控制系統(tǒng)。通過引入“預(yù)測－校正”策略，補(bǔ)償由分區(qū)子系統(tǒng)間接口的延時帶來的接口誤差。此外，接口緩沖區(qū)可通過外接數(shù)/模轉(zhuǎn)換裝置與外部軟/硬件接口相連，從而構(gòu)造系統(tǒng)在環(huán)測試平臺。

一個典型的應(yīng)用場景是基于異構(gòu)并行計(jì)算平臺的微電網(wǎng)在環(huán)測試平臺，如圖5所示。

圖5 微電網(wǎng)再換測試平臺Fig.5 Microgrid-in-the-loop test bed

其中，實(shí)時仿真服務(wù)器采用如圖5所示的平臺架構(gòu)，其硬件接口如圖6所示。

圖6 異構(gòu)仿真服務(wù)器硬件平臺Fig.6 Hardware platform of heterogeneous simulation server

上述微電網(wǎng)在環(huán)測試平臺中，計(jì)算設(shè)備為單臺高性能計(jì)算服務(wù)器。其中GPU和FPGA為計(jì)算設(shè)備，通過高速PCIE插槽與CPU和內(nèi)存交換數(shù)據(jù)，其中

實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算和簡單的元件級并行計(jì)算，F(xiàn)PGA實(shí)現(xiàn)復(fù)雜設(shè)備的實(shí)時計(jì)算。通過構(gòu)建微網(wǎng)閉環(huán)測試平臺，可對微網(wǎng)EMS、微網(wǎng)保護(hù)裝置、電能質(zhì)量檢測儀等設(shè)備進(jìn)行實(shí)時在環(huán)測試。

4 結(jié)語

未來電網(wǎng)是以變流器為主要設(shè)備的大規(guī)模交直流混聯(lián)電力系統(tǒng)。對大規(guī)模電力系統(tǒng)電磁暫態(tài)計(jì)算的并行加速，實(shí)現(xiàn)大規(guī)模系統(tǒng)的實(shí)時仿真，對分析和研究大規(guī)模電力系統(tǒng)動態(tài)特性、控制和保護(hù)具有重要意義。本文介紹了大規(guī)模電力系統(tǒng)電磁暫態(tài)計(jì)算的特點(diǎn)，以及作者近期在大規(guī)模系統(tǒng)電磁暫態(tài)并行計(jì)算領(lǐng)域的相關(guān)研究，探討了未來大規(guī)模電力系統(tǒng)電磁暫態(tài)計(jì)算發(fā)展過程中面臨的主要問題，并提出了相應(yīng)解決方案，以期為大規(guī)模電力系統(tǒng)電磁暫態(tài)并行計(jì)算的發(fā)展提供有益參考。

［1］曹一家，王光增．電力系統(tǒng)復(fù)雜性及其相關(guān)問題研究［J］．電力自動化設(shè)備，2010，30(2):5-10．Cao Yijia，Wang Guangzeng．Research on power system complexity and related topics［J］．Electric Power Automation Equipment，2010，30(2):5-10．

［2］ Dommel H W．Digital computer solution of electromagnetic transients in single-and multiphase networks［J］．IEEE Transactions on Power Apparatus and Systems，1969，PAS-88(4):388-399．

［3］ Mahseredjian J，Dennetiére S，Dudé L，et al．On a new approach for the simulation of transients in power systems［J］．Electric Power System Research，2007，77(11):1514-1520

［4］ Gole A M，Nayak O B，Sidhu T S，et al．A graphical electromagnetic simulation laboratory for power systems engineering programs［J］．IEEE Transactions on Power Systems，1996，11(2):599-606．

［5］ Kuffel R，Giesbrecht J，Maguire T，et al．RTDS-a fully digital power system simulator operating in real time［C］ //Wescanex 95．Communications，Power，and Computing．Conference Proceedings，Winnipeg:IEEE，1995:300-305．

［6］ Van Que D，Soumange J C，Sybille G，et al．Hypersim-an integrated real-time simulator for power networks and control systems［C］//Proceedings of the Third International Conference on Digital Power System Simulators，Sweden，1999．

［7］田芳，李亞樓，周孝信，等．電力系統(tǒng)全數(shù)字實(shí)時仿真裝置［J］．電網(wǎng)技術(shù)，2008，32(22):17-22．Tian Fang，Li Yalou，Zhou Xiaoxin，et al．Advanced digital power system simulator［J］．Power System Technology，2008，32(22):17-22．

［8］穆清，李亞樓，周孝信，等．基于傳輸線分網(wǎng)的并行多速率電磁暫態(tài)仿真算法［J］．電力系統(tǒng)自動化，2014，38(7):47-52．Mu Qing，Li Yalou，Zhou Xiaoxin，et al．A parallel multi-rate electromagnetic transient simulation algorithm based on network division through transmission line［J］．Automation of Electric Power Systems，2014，38(7):47-52．

［9］徐政．直流輸電系統(tǒng)離散模型拓?fù)浞謮K法數(shù)字仿真［J］．電網(wǎng)技術(shù)，1994，18(2):1-5．Xu Zheng．The digital simulation of HVDC systems by discrete circuit model and diakoptics［J］．Power System Technology，1994，18(2):1-5．

［10］ Tomim M A，Marti J R，De Rybel T，et al．MATE network tearing techniques for multiprocessor solution oflarge powersystem networks［C］//Power and Energy Society General Meeting，Minneapolis:IEEE，2010:1-6．

［11］岳程燕，周孝信，李若梅．電力系統(tǒng)電磁暫態(tài)實(shí)時仿真中并行算法的研究［J］．中國電機(jī)工程學(xué)報，2004，24(12):1-7．Yue Chengyan，Zhou Xiaoxin，Li Ruomei．Study ofparallel approaches to power system electromagnetic transient real-time simulation［J］．Proceedings of the CSEE，2004，24(12):1-7．

［12］Watson N，Arrillaga J．Power systems electromagnetic transients simulation［M］．London:The Institution of Engineeringand Technology，2003．

［13］Lehman B，Bass R M．Extensions of averaging theory for power electronic systems［J］．IEEE Transactions on Power Electronics，1996，11(4):542-553．

［14］許寅，陳穎，陳來軍，等．基于平均化理論的PWM變流器電磁暫態(tài)快速仿真方法(一):PWM變流器分段平均模型的建立［J］．電力系統(tǒng)自動化，2013，37(11):58-64．Xu Yin，Chen Ying，Chen Laijun，et al．Fast electromagnetic transient simulation method for PWM converters based on averaging theory．Part one:establishment of piecewise averaged model for PWM converter［J］．Automation of Electric Power Systems，2013，37(11):58-64．

［15］許寅，陳穎，陳來軍，等．PWM變流器分段平均模型中的紋波估計(jì)方法［J］．電網(wǎng)技術(shù)，2013，37(8):2143-2150．Xu Yin，Chen Ying，Chen Laijun，et al．A ripple estimation method for piecewise averaged model of PWM converters［J］．Power System Technology，2013，37(8):2143-2150．

［16］許寅，陳穎，陳來軍，等．基于平均化理論的PWM變流器電磁暫態(tài)快速仿真方法(二):適用PWM變流器分段平均模型的改進(jìn)EMTP 算法［J］．電力系統(tǒng)自動化，2013，37(12):51-56．Xu Yin，Chen Ying，Chen Laijun，et al．Fast electromagnetic transient simulation method for PWM converters based on averaging theory．Part two:improved EMTP algorithm suitable for piecewise averaged model of PWM converter［J］．Automation of Electric Power Systems，2013，37(12):51-56．

［17］Xu Y，Gao H，Chen Y，et al．A fast EMT simulation method for control and protection studies of microgrids［C］//2014 PES General Meeting，Washington:IEEE，2014:1-5．

［18］Nvidia，Cuda C programming guide version 5．5［EB/OL］．NVIDIA Corporation，2013［2015-09-06］．http://docs．nvidia．com/cuda/cuda-c-programming-guide/．

［19］陳來軍，陳穎，許寅，等．基于GPU的電磁暫態(tài)仿真可行性研究［J］．電力系統(tǒng)保護(hù)與控制，2013，41(2):107-112．Chen Laijun，Chen Ying，Xu Yin，et al．Feasibility study of GPU based electromagnetic transient simulation ［J］．Power System Protection and Control，2013，41(2):107-112．

［20］Song Y，Chen Y，Yu Z，et al．A fine-grained parallel EMTP algorithm compatible to graphic processing units［C］//2014 PES General Meeting，Washington:IEEE，2014:1-6．

［21］高海翔，陳穎，于智同，等．基于平均化理論的PWM變流器電磁暫態(tài)快速仿真方法(三):適用于圖像處理器的改進(jìn)EMTP并行仿真算法［J］．電力系統(tǒng)自動化，2014，38(6):43-48．Gao Haixiang，Chen Ying，Yu Zhitong，et al．Fast electromagnetic transient simulation method for PWM converters based on averaging theory．Part three:improved EMTP parallel algorithm for graphic processing unit［J］．Automation of Electric Power Systems，2014，38(6):43-48．

［22］Gao H，Chen Y，Xu Y，et al．A GPU-based parallel simulation platform for large-scale wind farm integration［C］//T＆D Conference and Exposition，Chicago:IEEE，2014:1-5．

［23］孫玉嬌，周勤勇，申洪．未來中國輸電網(wǎng)發(fā)展模式的分析與展望［J］．電網(wǎng)技術(shù)，2013，37(7):1929-1935．Sun Yujiao，Zhou Qinyong，Shen Hong．Analysis and prospect on development patterns of China's power transmission network in future［J］．Power System Technology，2013，37(7):1929-1935．