• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    適用于電網(wǎng)調(diào)控系統(tǒng)的細粒度多機冗余機制的設(shè)計與實現(xiàn)

    2019-08-13 09:26高原張勇寧劍顧文杰陳鵬
    計算技術(shù)與自動化 2019年4期
    關(guān)鍵詞:冗余故障檢測

    高原 張勇 寧劍 顧文杰 陳鵬

    摘? ?要:針對傳統(tǒng)的主備切換方法只能支持雙機,僅支持心跳一種判斷標(biāo)準(zhǔn),需要人工介入進行切換,且存在單點故障等問題,提出了一種基于細粒度應(yīng)用管理的多機主備冗余機制。該機制通過使用細粒度應(yīng)用管理、多種條件的故障檢測、分布式狀態(tài)轉(zhuǎn)換等技術(shù),實現(xiàn)了多機主備冗余和資源充分利用,并且切換過程無需人工干預(yù)。最后通過多場景下的多次測試,驗證了本機制在功能、性能方面的良好表現(xiàn)。多機冗余機制已在國調(diào)、華北、江蘇等多個調(diào)控機構(gòu)得到了應(yīng)用。

    關(guān)鍵詞:主備;冗余;故障檢測;心跳;切換

    中圖分類號:TP3-05? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標(biāo)識碼:A

    Design and Implementation of the Fine-grained Multi-machine

    Redundancy Mechanism for Power Grid Dispatching and Control Systems

    GAO Yuan1,2,3 ZHANG Yong4,NING Jian4,GU Wen-jie1,2,3,CHEN Peng1,2,3

    (1.NARI Group Corporation(State Grid Electric Power Research Institute),Nanjing,Jiangsu 211106,China;

    2.NARI Technology Development Co. Ltd. ,Nanjing,Jiangsu 211106,China;

    3.State Key Laboratory of Smart Grid Protection and Control,Nanjing,Jiangsu 211106,China;

    4. North China Branch of State Grid Corporation of China,Beijing 100053,China)

    Abstract:The traditional active/standby switching methods can only support two machines,only support heartbeat for judging standard,manual intervention is required to perform the switch,have problems such as single point of failure and so on. A fine-grained multi-machine redundancy mechanism for power grid dispatching and control system is proposed. Through the use of fine grained application management technology,fault detection in a variety of conditions,distributed state transformation,this mechanism realizes the redundancy and resource utilization of multi-machine cluster. And there is no manual intervention during switch process. Finally,several experiments in different scenarios were conducted to verify the function and performance of the mechanism in this paper. The redundancy mechanism of this paper is adopted in the power grid dispatching and control system such as State Grid,North China,Jiangsu and so on.

    Key words:active/standby;redundancy;fault detection;heartbeat;switch

    隨著特高壓、互聯(lián)大電網(wǎng)的發(fā)展[1-3],全網(wǎng)數(shù)據(jù)規(guī)模的急劇增長,電網(wǎng)數(shù)據(jù)處理相關(guān)的應(yīng)用也越來越豐富。智能電網(wǎng)調(diào)控系統(tǒng)向著集群化和服務(wù)化方向發(fā)展[4-5]。傳統(tǒng)的單機運行所有應(yīng)用的方式不再滿足要求。同時電網(wǎng)調(diào)控系統(tǒng)的實時特性也決定了對安全機制的高要求[6]。因此迫切需要一種適應(yīng)多機環(huán)境,切換快速的高可用冗余管理機制。

    目前高可用管理機制的研究一般限于兩個節(jié)點的一主一備方式,并且有諸多局限性。如文獻[7中主備機配置相同的IP,采用心跳互相監(jiān)測,此方案下備機平時不工作,造成了一半的資源浪費,且只支持雙機互備。

    文獻[8]中僅有主機對外提供服務(wù),備機盡管不服務(wù)但CPU也在全速運轉(zhuǎn),因為需從網(wǎng)絡(luò)收取同樣數(shù)量的報文。切換時需要人工操作控制臺。文獻[9]中由一個虛擬IP對外提供服務(wù)。但是同一時刻依然只能一臺主機提供服務(wù)。

    文獻[10]描述了一種協(xié)商協(xié)議用于主備決策問題,但是僅設(shè)置了一個bit用于主備標(biāo)識,所以僅能用于雙機互備。文獻[11]采用類似的狀態(tài)字,但只適用于雙機,如果擴展為多機,所有設(shè)備的軟件都需更換。

    文獻[12]描述了可用于兩個以上節(jié)點的數(shù)據(jù)服務(wù)系統(tǒng)的主備機切換方法。但是切換時需要獲取一個全局鎖,這樣就引入了一個中心節(jié)點,給系統(tǒng)帶來了單點故障問題。

    文獻[13]用雙網(wǎng)的拓撲結(jié)構(gòu)對心跳進行了保護,但是軟件協(xié)議只支持雙機互備。文獻[14]提出了三重心跳,判斷條件更加豐富。但是主備切換仍然只支持雙機。

    綜上所述,在解決主備切換問題時,現(xiàn)有文獻中的方法和策略存在以下不足:1)僅能支持兩個節(jié)點,并且僅有主機對外提供服務(wù);2)判斷條件單一,僅依據(jù)心跳是否存在;3)切換過程需要人工干預(yù);4)存在單點故障。

    考慮到上述方案的不足,提出了一種適用于電網(wǎng)調(diào)控系統(tǒng)這類實時系統(tǒng)的多機主備冗余機制,使用細粒度的應(yīng)用管理方法提高了資源利用率,使用狀態(tài)同步技術(shù)支持多節(jié)點互備,基于多種切換條件,使用分布式的應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)完成自動的主備切換。

    1? ?調(diào)控系統(tǒng)主備冗余功能和性能需求

    智能電網(wǎng)調(diào)度控制系統(tǒng)是一種實時類系統(tǒng),處理的數(shù)據(jù)量大,實時性和可靠性要求高,因此對其主備冗余提出了以下功能和性能需求:

    1.1? ?多機主備冗余

    系統(tǒng)僅兩臺服務(wù)器運行無論在性能和功能上都不滿足實時系統(tǒng)需求。如果兩臺服務(wù)器同時崩潰則系統(tǒng)功能將完全失去。因此迫切需要能支持多臺服務(wù)器的主備冗余機制。

    1.2? ?資源充分利用

    主機工作備機閑置的方案不能滿足大數(shù)據(jù)量處理的需求。且全部功能都在一個節(jié)點部署的方案,一旦主機崩潰,對系統(tǒng)瞬間造成的影響太大。因此需要兩臺以上服務(wù)器每臺都能提供部分服務(wù)的主備冗余機制。

    1.3? ?多種切換條件

    僅依賴心跳是否存在進行判斷不能滿足復(fù)雜系統(tǒng)的實際需求。因為可能存在心跳正常,但是應(yīng)用進程不正常的情況。因此系統(tǒng)需提供多種判斷條件進行主備切換。

    1.4? ?無需人工干預(yù)

    當(dāng)發(fā)現(xiàn)故障時由人工選擇一個節(jié)點切換為主機可以避免沖突,但時效性太差。電網(wǎng)調(diào)控系統(tǒng)需要實時自動切換主機的方案。

    1.5? ?無需中心節(jié)點

    設(shè)置全局鎖、仲裁節(jié)點或者協(xié)調(diào)節(jié)點的類似方案會給整個系統(tǒng)帶來單點故障,一旦中心節(jié)點故障,整個系統(tǒng)的冗余功能將失去。因此冗余管理方案不能設(shè)置中心節(jié)點。

    2? ?調(diào)控系統(tǒng)主備冗余方案及關(guān)鍵技術(shù)

    2.1? ?總體方案

    調(diào)控系統(tǒng)多機主備冗余方案主要采用細粒度的應(yīng)用部署方法,并在各個節(jié)點間進行應(yīng)用狀態(tài)的同步和數(shù)據(jù)的同步,基于多種條件發(fā)現(xiàn)故障后,進行應(yīng)用狀態(tài)的轉(zhuǎn)換??傮w架構(gòu)圖如圖1所示。

    圖1中各個節(jié)點可以細粒度的部署多個應(yīng)用,同一個應(yīng)用在各個節(jié)點的實例中,僅有一個為主實例,其他為備實例。每個應(yīng)用的狀態(tài)通過心跳兼狀態(tài)報文發(fā)送到其他節(jié)點,應(yīng)用的數(shù)據(jù)通過消息報文進行同步。同時每個節(jié)點運行進程管理和網(wǎng)絡(luò)管理進行進程和網(wǎng)絡(luò)故障判斷,故障發(fā)生后通過狀態(tài)轉(zhuǎn)換技術(shù)選舉出新的主機進行應(yīng)用切換。本文描述的關(guān)鍵技術(shù)有效滿足了多機主備冗余、資源充分利用、多種切換條件、無需人工干預(yù)、無中心節(jié)點等需求。下面進行各項技術(shù)的詳細介紹。

    2.2? ?細粒度應(yīng)用管理技術(shù)

    調(diào)控系統(tǒng)中業(yè)務(wù)功能都以應(yīng)用的形式存在,應(yīng)用下屬一定數(shù)量的進程和數(shù)據(jù)庫表。啟動應(yīng)用即啟動了相應(yīng)的進程,系統(tǒng)中即具備了對應(yīng)的業(yè)務(wù)功能。本文的主備冗余機制不是以節(jié)點(即服務(wù)器)為單位,而是以應(yīng)用為單位。

    基于應(yīng)用級別的主備冗余機制下每個節(jié)點都可運行某幾個應(yīng)用的主機,僅要求同一個應(yīng)用的主備不在同一個節(jié)點上。多個應(yīng)用的主備機可均衡部署在多個節(jié)點上,不僅限于兩個節(jié)點,如圖2所示。不會出現(xiàn)雙機互備時備機資源完全閑置的情況。

    2.3? ?多條件故障檢測技術(shù)

    本文的機制不僅僅使用心跳作為切換判斷依據(jù)。心跳存在并不能保證軟件功能正常。軟件故障檢測主要是檢測進程的狀態(tài),可通過周期性檢測或主動匯報機制檢測到關(guān)鍵進程故障,進一步觸發(fā)進程所屬應(yīng)用的故障,最后根據(jù)2.5節(jié)中的算法觸發(fā)應(yīng)用主備切換。

    同時本文還檢測網(wǎng)絡(luò)狀態(tài),因為服務(wù)器和工作站可能連接在不同的接入層交換機,再連接一個核心交換機。這樣某個服務(wù)器的接入層交換機與核心交換機斷開,則其功能不能被工作站使用,因此需要特殊的網(wǎng)絡(luò)檢測模塊,如果檢測出它與核心交換機斷開則判斷為服務(wù)器斷網(wǎng)。

    另外為了提高切換速度,本文故障冗余機制提供一種加速判斷網(wǎng)絡(luò)故障的方法。具體步驟是在第一次超時未收到心跳報文時,立刻主動向疑似斷網(wǎng)節(jié)點發(fā)出ping報文,不再等待后續(xù)心跳。例如連續(xù)進行3次ping操作,如果均未得到回復(fù),則判斷疑似節(jié)點斷網(wǎng)。ping操作的時間間隔可配置。使用ping報文檢測比心跳更加準(zhǔn)確快速,因為是由對方節(jié)點的操作系統(tǒng)給出回復(fù),而不是依賴用戶層程序發(fā)出的心跳。

    2.4? ?應(yīng)用狀態(tài)同步技術(shù)

    本文的主備冗余機制中,心跳不是判斷故障的唯一手段,但仍然是主要方法之一。但是對心跳技術(shù)做出了改進。不僅僅用于判斷節(jié)點是否在線,同時具備傳輸應(yīng)用狀態(tài)信息的功能。心跳報文中包括本節(jié)點的主機名、應(yīng)用名稱、應(yīng)用優(yōu)先級、應(yīng)用狀態(tài)、網(wǎng)絡(luò)狀態(tài)等信息。每個節(jié)點使用組播將心跳報文發(fā)出,避免產(chǎn)生過多的網(wǎng)絡(luò)連接。每個節(jié)點收到其他節(jié)點的心跳報文后將其他節(jié)點應(yīng)用狀態(tài)信息存儲在本節(jié)點共享內(nèi)存中,為2.5中介紹的狀態(tài)轉(zhuǎn)換提供信息來源。系統(tǒng)應(yīng)用狀態(tài)轉(zhuǎn)換時,每個節(jié)點自動根據(jù)自身的信息,通過一致的算法向同一個目標(biāo)狀態(tài)轉(zhuǎn)換,不需要中心節(jié)點參與,系統(tǒng)不存在單點故障。

    2.5? ?分布式應(yīng)用狀態(tài)轉(zhuǎn)換技術(shù)

    主備冗余機制為每個應(yīng)用設(shè)立了初始化、備機、主機、斷網(wǎng)、故障等狀態(tài)。處于主機狀態(tài)的應(yīng)用為調(diào)控系統(tǒng)其他模塊提供服務(wù)或持續(xù)的運行計算業(yè)務(wù)。備機狀態(tài)的應(yīng)用下的進程一般處于空轉(zhuǎn)狀態(tài),但是可以實時接管業(yè)務(wù),隨時升級為主機狀態(tài)。

    如圖5所示,初始化是應(yīng)用所屬進程正在啟動的狀態(tài)。當(dāng)備機發(fā)現(xiàn)沒有其他主機且本機優(yōu)先級最高,則升為主機。當(dāng)主機發(fā)現(xiàn)有另一個主機且本機優(yōu)先級不是最高,則降為本機。斷網(wǎng)和故障為2.3中故障檢測后到達的狀態(tài)。主機斷網(wǎng)或故障后會有另一個備機實時升級為主機。故障或斷網(wǎng)恢復(fù)后首先變?yōu)閭錂C狀態(tài)。

    優(yōu)先級根據(jù)數(shù)據(jù)庫中配置的節(jié)點順序產(chǎn)生,由于配置錯誤導(dǎo)致節(jié)點優(yōu)先級沖突時,本文主備冗余機制采用比較節(jié)點IP地址的方法決定是否升為主機,優(yōu)先級數(shù)值相同時IP數(shù)值越小則優(yōu)先級越高。

    下面將結(jié)合示意圖具體描述一個主機切換的過程。

    圖6中包括一個系統(tǒng)中的部分節(jié)點,即運行SCADA應(yīng)用的4臺服務(wù)器,每個服務(wù)器上運行了PUBLIC和SCADA應(yīng)用。它們的優(yōu)先級為1、2、3、4。表示sca1節(jié)點在應(yīng)用配置表中的SCADA條目中排名最靠前,sca2次之,其他節(jié)點同理。如果某一個時刻sca1的SCADA應(yīng)用下關(guān)鍵進程故障,則其上的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài),此時其他3個節(jié)點會立刻發(fā)現(xiàn)系統(tǒng)中沒有SCADA主機,然后根據(jù)自身節(jié)點的優(yōu)先級,sca2會自動升級為SCADA主機,sca3和4發(fā)現(xiàn)自身優(yōu)先級在剩余健康節(jié)點中不是最高,則繼續(xù)保持備機狀態(tài)運行。切換完成后的狀態(tài)如圖7所示。SCADA應(yīng)用的切換不影響PUBLIC應(yīng)用的狀態(tài),體現(xiàn)了細粒度管理。本機制下系統(tǒng)只剩下一個節(jié)點也能正常運行,體現(xiàn)了多機冗余。

    3? ?測試驗證和現(xiàn)場實施效果

    功能測試通過模擬故障然后檢查系統(tǒng)最終的狀態(tài)驗證切換的正確性。性能測試通過編寫應(yīng)用狀態(tài)查詢工具,查詢共享內(nèi)存中某個應(yīng)用的實時狀態(tài),并顯示狀態(tài)變化的時間點。最后展示了本文的多機冗余機制在現(xiàn)場實施的效果。

    3.1? ?故障切換功能測試

    故障切換功能測試分為關(guān)鍵進程故障和網(wǎng)絡(luò)故障兩種情況分別進行測試。如圖8(a)所示,系統(tǒng)中的4個節(jié)點上配置了PUBLIC、SCADA、DATA_SRV三種應(yīng)用。SCADA應(yīng)用在4個節(jié)點的優(yōu)先級分別是1、2、3、4。某一時刻人為將sysadm1節(jié)點的SCADA應(yīng)用下的關(guān)鍵進程停止,可觀察到如圖8(b)所示,sysadm1的SCADA應(yīng)用變?yōu)楣收蠣顟B(tài),優(yōu)先級為2的sysadm2的SCADA應(yīng)用切換為主機,進程故障切換功能正確。

    網(wǎng)絡(luò)故障切換測試前首先恢復(fù)各個節(jié)點的應(yīng)用狀態(tài)到圖8(a)的狀態(tài)。然后直接拔出sysadm1節(jié)點的兩根網(wǎng)線。如果圖9所示,sysadm1的應(yīng)用均變?yōu)閿嗑W(wǎng)狀態(tài),sysadm2的PUBLIC、SCADA應(yīng)用自動切換為主機。網(wǎng)絡(luò)故障切換功能正確。

    從圖8和圖9中可以看出DATA_SRV的主機始終在優(yōu)先級為2的節(jié)點上。這是因為本文的機制保證了第一個啟動的節(jié)點為主機,后續(xù)啟動的節(jié)點不會爭搶正常的主機。

    3.2? ?故障切換性能測試

    測試時選擇某個應(yīng)用下的某個關(guān)鍵進程,將程序文件改名,使用kill命令停止進程,對各個狀態(tài)變化的時間點進行相減得出性能數(shù)據(jù),重復(fù)測試10次取得平均值如下表。

    整個切換的過程是先由進程管理程序發(fā)現(xiàn)關(guān)鍵進程故障,然后把共享內(nèi)存中的進程故障標(biāo)志位置為1,然后主備冗余程序發(fā)現(xiàn)后置本機應(yīng)用故障標(biāo)志位為1并用組播發(fā)送出去,其他節(jié)點收到后由優(yōu)先級最高的備機自動升為主機,整個過程大約需要237ms。

    3.3? ?網(wǎng)絡(luò)中斷引發(fā)的應(yīng)用切換測試

    測試時直接拔除某個應(yīng)用主機所在服務(wù)器端所有網(wǎng)線,在將會升為主機的節(jié)點使用工具程序查詢時間點。對各個狀態(tài)變化的時間點進行相減得出性能數(shù)據(jù),重復(fù)測試10次取得平均值如下表。

    整個切換的過程是主備冗余程序發(fā)現(xiàn)某個節(jié)點心跳超時,心跳周期是可配置的,本文測試時設(shè)置為500 ms一個周期,3個周期收不到心跳則認(rèn)為超時。超時后立刻判斷相應(yīng)節(jié)點的應(yīng)用全部為故障,優(yōu)先級高的節(jié)點相應(yīng)的自動升為主機,整個過程大約需要1675 ms。

    4? ?網(wǎng)絡(luò)配置方案和經(jīng)濟性分析

    主備冗余算法既可以運行在單網(wǎng)環(huán)境也可運行在雙網(wǎng)環(huán)境。但是在單網(wǎng)環(huán)境下,服務(wù)器的一塊網(wǎng)卡損壞就會導(dǎo)致該節(jié)點離線。

    如果運行在雙網(wǎng)冗余環(huán)境則系統(tǒng)的安全性將大大提升,任意服務(wù)器僅一塊網(wǎng)卡故障時仍然能夠正常運行,全系統(tǒng)狀態(tài)也不受影響。雙網(wǎng)冗余的網(wǎng)絡(luò)拓撲圖如下所示。

    雙網(wǎng)卡冗余環(huán)境中每個節(jié)點安裝兩塊網(wǎng)卡,將每個節(jié)點的兩塊網(wǎng)卡分別接在兩臺交換機上,在網(wǎng)絡(luò)拓撲中將兩臺交換機相互級聯(lián)。此方案中兩臺交換機均配置IP地址,如果主機某塊網(wǎng)卡不能ping通交換機地址,則切換此網(wǎng)卡的工作IP地址到另一塊正常網(wǎng)卡,此時服務(wù)器仍然能正常工作。

    從經(jīng)濟性角度分析,每個服務(wù)器需使用兩塊網(wǎng)卡,因為服務(wù)器一般自帶兩塊網(wǎng)卡或兩個網(wǎng)口,不需要額外增加成本。只需要增加一臺三層交換機。以背板帶寬較高的華為千兆三層交換機為例,價格約1萬元。除去級聯(lián)口和上行口外可連接22臺服務(wù)器,按照普通X86服務(wù)器5萬元左右計算,成本大約增加0.9%,但系統(tǒng)可靠性大大增加。并且本文算法不強制要求使用雙網(wǎng)結(jié)構(gòu),單網(wǎng)環(huán)境也可運行,此時不增加系統(tǒng)成本。

    5? ?結(jié)? ?論

    論述并實現(xiàn)了電網(wǎng)調(diào)控系統(tǒng)中的一種多機主備冗余機制。該方法通過使用細粒度部署和分布式狀態(tài)轉(zhuǎn)換等技術(shù),實現(xiàn)了對多機主備冗余、多種切換條件的支持,并且切換過程無需人工干預(yù)。最后的功能測試表明本機制能很好的管理多機之間的故障切換。性能測試表明,在確認(rèn)故障源后,切換過程非常迅速。該機制已經(jīng)在國調(diào)、華北、江蘇等多個調(diào)控實時系統(tǒng)中得到了應(yīng)用,其可靠性、穩(wěn)定性和性能能夠滿足現(xiàn)場的運行需求。

    參考文獻

    [1]? ? 艾琳,王超,陳為化. 三華特高壓同步聯(lián)網(wǎng)及其對調(diào)度方式的影響[J]. 能源技術(shù)經(jīng)濟,2011,23(5):38—41.

    [2]? ?汪際峰,沈國榮.大電網(wǎng)調(diào)度智能化的若干關(guān)鍵技術(shù)問題[J].電力系統(tǒng)自動化,2012,36(1):10—16.

    [3]? ? 姚建國,楊勝春,單茂華.面向未來互聯(lián)電網(wǎng)的調(diào)度技術(shù)支持系統(tǒng)架構(gòu)思考[J]. 電力系統(tǒng)自動化,2013,37(21):52—59.

    [4]? ? 辛耀中,石俊杰,周京陽,等.智能電網(wǎng)調(diào)度控制系統(tǒng)現(xiàn)狀與技術(shù)展望[J]. 電力系統(tǒng)自動化,2015,39(1):2—8.

    [5]? ? 孫名揚,高原,嚴(yán)亞勤,等.智能電網(wǎng)調(diào)度控制系統(tǒng)集群化技術(shù)[J]. 電力系統(tǒng)自動化,2015,39(1):31—35.

    [6]? ? 國家電網(wǎng)公司.Q / GDW 1680.41-2015.智能電網(wǎng)調(diào)度控制系統(tǒng)第4-1 部分:實時監(jiān)控與預(yù)警類應(yīng)用 電網(wǎng)實時監(jiān)控與智能告警[S],北京,2015.

    [7]? ? 張鑫,黃鑫.電網(wǎng)統(tǒng)一視頻監(jiān)控平臺部署方案及檢測技術(shù)研究[J]. 電力信息與通信技術(shù),2015 ,13 (1):15—20.

    [8]? ? 吳娟,馬永強,劉影.一種基于主備機快速切換的雙機容錯系統(tǒng)[J]. 計算機應(yīng)用,2005 ,25 (8):1948—1951.

    [9]? ? 程艷芬. 實時系統(tǒng)雙機熱備份技術(shù)研究[J].計算機光盤軟件與應(yīng)用,2011 (2):44—46.

    [10]? 王江江,李志強,趙亮.雙機熱備系統(tǒng)的主備切換研究[J]. 鐵道通信信號,2015,51 (2):11—12.

    [11]? 楊玉成,繆萬勝,樂斌.系統(tǒng)主備份切換關(guān)鍵技術(shù)研究[J]. 航空電子技術(shù),2013 (1):20—23.

    [12]? 朱建紅,陳柯.數(shù)據(jù)服務(wù)多節(jié)點主備切換設(shè)計方法[J]. 指揮信息系統(tǒng)與技術(shù),2012 ,3(6):55—57.

    [13]? 王飛,曹桂均.雙機熱備系統(tǒng)心跳失效的防護方案[J]. 鐵路計算機應(yīng)用,2013 ,22 (3):35—37.

    [14]? 李江昀,童朝南,彭開香.基于Linux平臺的過程控制雙機熱備綜合解決方案[J].計算機工程與應(yīng)用,2005 ,41 (30):218—220.

    猜你喜歡
    冗余故障檢測
    基于定子逆序的電機同步速變換故障檢測算法
    優(yōu)化網(wǎng)絡(luò)設(shè)備維護提高數(shù)據(jù)通信傳輸質(zhì)量
    核電站核島電氣隔離準(zhǔn)則研究
    新型探測線圈淺析
    暖通空調(diào)系統(tǒng)故障檢測與診斷技術(shù)探討
    計算機系統(tǒng)容錯技術(shù)研究
    久久久久精品性色| 亚洲av免费高清在线观看| 欧美3d第一页| 国产av一区二区精品久久 | 免费av中文字幕在线| 一本久久精品| 久久精品国产鲁丝片午夜精品| 国产成人午夜福利电影在线观看| 交换朋友夫妻互换小说| 18禁裸乳无遮挡动漫免费视频| 日日摸夜夜添夜夜爱| 狂野欧美激情性bbbbbb| av在线app专区| 国产白丝娇喘喷水9色精品| 久久久亚洲精品成人影院| 久久国内精品自在自线图片| 乱码一卡2卡4卡精品| 一个人看的www免费观看视频| 哪个播放器可以免费观看大片| 色哟哟·www| 99久国产av精品国产电影| 乱码一卡2卡4卡精品| 久久久久久久久久人人人人人人| 亚洲伊人久久精品综合| 男男h啪啪无遮挡| 晚上一个人看的免费电影| 国产在线男女| av天堂中文字幕网| 国产精品国产三级专区第一集| 亚洲精品自拍成人| kizo精华| 亚洲,欧美,日韩| 日韩av不卡免费在线播放| 亚洲国产高清在线一区二区三| 亚洲精品自拍成人| 一级毛片 在线播放| 亚洲精品国产色婷婷电影| 女人十人毛片免费观看3o分钟| 插阴视频在线观看视频| 水蜜桃什么品种好| 国产91av在线免费观看| 最近最新中文字幕大全电影3| a级一级毛片免费在线观看| 久久鲁丝午夜福利片| 亚洲一区二区三区欧美精品| 国产精品人妻久久久影院| 91久久精品国产一区二区成人| 插阴视频在线观看视频| 免费在线观看成人毛片| 日日啪夜夜爽| 午夜免费鲁丝| 高清av免费在线| 18禁在线播放成人免费| 成人无遮挡网站| 国产美女午夜福利| 亚洲图色成人| 国产在线男女| 国产女主播在线喷水免费视频网站| 日韩一本色道免费dvd| 我的女老师完整版在线观看| 青春草亚洲视频在线观看| 男人和女人高潮做爰伦理| 丝瓜视频免费看黄片| av黄色大香蕉| 亚洲三级黄色毛片| 内射极品少妇av片p| 久久国产精品大桥未久av | 亚洲欧美一区二区三区黑人 | 欧美日韩综合久久久久久| 男人舔奶头视频| 国产午夜精品久久久久久一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 国产高清国产精品国产三级 | 日本-黄色视频高清免费观看| 美女主播在线视频| 日本猛色少妇xxxxx猛交久久| 性色avwww在线观看| 免费看av在线观看网站| 精品视频人人做人人爽| 老司机影院毛片| 国产一区二区三区av在线| 一级片'在线观看视频| 最近手机中文字幕大全| 少妇熟女欧美另类| 尤物成人国产欧美一区二区三区| 蜜桃在线观看..| 九九在线视频观看精品| 亚洲精品,欧美精品| 97超视频在线观看视频| 久久99热这里只频精品6学生| 老司机影院成人| 亚洲人成网站在线播| 日韩在线高清观看一区二区三区| 亚洲成人av在线免费| 免费人妻精品一区二区三区视频| 中国三级夫妇交换| 国产精品一区二区在线不卡| 久久国内精品自在自线图片| 欧美极品一区二区三区四区| 国产精品人妻久久久久久| 日本免费在线观看一区| 成人国产麻豆网| 我要看日韩黄色一级片| 最近手机中文字幕大全| 高清毛片免费看| 青春草视频在线免费观看| 岛国毛片在线播放| 国产亚洲5aaaaa淫片| 爱豆传媒免费全集在线观看| 日日摸夜夜添夜夜爱| 三级国产精品片| 又黄又爽又刺激的免费视频.| 免费看光身美女| 男女边摸边吃奶| 国产精品国产三级国产av玫瑰| 色视频在线一区二区三区| 麻豆成人午夜福利视频| av黄色大香蕉| 成人高潮视频无遮挡免费网站| 永久免费av网站大全| 在线观看一区二区三区| av女优亚洲男人天堂| 99久久精品一区二区三区| 永久网站在线| 久久精品国产自在天天线| 少妇的逼好多水| 日本一二三区视频观看| 国产淫片久久久久久久久| 伊人久久国产一区二区| 女人久久www免费人成看片| 国产乱人视频| 国产男人的电影天堂91| 丰满少妇做爰视频| 91精品国产九色| 老女人水多毛片| 免费观看无遮挡的男女| 最近2019中文字幕mv第一页| 熟妇人妻不卡中文字幕| 色综合色国产| 日韩人妻高清精品专区| 久久久久视频综合| 国产高清国产精品国产三级 | a级一级毛片免费在线观看| 日本黄大片高清| 国产国拍精品亚洲av在线观看| 大香蕉97超碰在线| 亚洲三级黄色毛片| 男女免费视频国产| 日韩中文字幕视频在线看片 | 国产欧美亚洲国产| 国产黄频视频在线观看| 在线观看三级黄色| 国产免费一区二区三区四区乱码| 成人二区视频| 中文资源天堂在线| 国产免费一级a男人的天堂| 日韩中文字幕视频在线看片 | 欧美日韩综合久久久久久| 黄片wwwwww| 18禁在线播放成人免费| 99热6这里只有精品| 人妻 亚洲 视频| 免费观看av网站的网址| 久久久成人免费电影| 久久韩国三级中文字幕| 一级av片app| 亚洲无线观看免费| 国产精品福利在线免费观看| 欧美日韩视频高清一区二区三区二| 久久99热6这里只有精品| 精品一品国产午夜福利视频| 最新中文字幕久久久久| 99热6这里只有精品| 成人免费观看视频高清| 丰满乱子伦码专区| 国产久久久一区二区三区| 日韩欧美 国产精品| 免费不卡的大黄色大毛片视频在线观看| 少妇猛男粗大的猛烈进出视频| 国产日韩欧美亚洲二区| 日本av免费视频播放| 一级毛片我不卡| 纯流量卡能插随身wifi吗| 国产欧美亚洲国产| 久久久国产一区二区| 欧美日韩国产mv在线观看视频 | 欧美性感艳星| 黄色欧美视频在线观看| 亚洲av成人精品一二三区| 国产精品久久久久久精品电影小说 | 人体艺术视频欧美日本| 天堂8中文在线网| 精品人妻一区二区三区麻豆| 久久久午夜欧美精品| 卡戴珊不雅视频在线播放| 日韩电影二区| 一个人免费看片子| 国产永久视频网站| 最后的刺客免费高清国语| 18+在线观看网站| 日本wwww免费看| 最近2019中文字幕mv第一页| 亚洲电影在线观看av| 97在线视频观看| 国产精品久久久久久精品电影小说 | 国产精品国产av在线观看| 午夜福利高清视频| 亚洲精品国产av成人精品| 欧美老熟妇乱子伦牲交| 亚洲国产欧美在线一区| 丝瓜视频免费看黄片| 久久精品人妻少妇| 一区二区三区乱码不卡18| 久久久欧美国产精品| 免费播放大片免费观看视频在线观看| 国产精品一二三区在线看| 你懂的网址亚洲精品在线观看| 久久久久人妻精品一区果冻| 男女无遮挡免费网站观看| 免费观看a级毛片全部| 老司机影院成人| 成人高潮视频无遮挡免费网站| 久久人人爽人人爽人人片va| 女的被弄到高潮叫床怎么办| av网站免费在线观看视频| 91精品国产国语对白视频| 男人添女人高潮全过程视频| 亚洲av男天堂| 特大巨黑吊av在线直播| 蜜臀久久99精品久久宅男| 夜夜骑夜夜射夜夜干| 伦精品一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 婷婷色av中文字幕| 午夜日本视频在线| 在现免费观看毛片| 国产高清不卡午夜福利| 91在线精品国自产拍蜜月| 一级毛片aaaaaa免费看小| 久久久久精品久久久久真实原创| 建设人人有责人人尽责人人享有的 | 日韩不卡一区二区三区视频在线| 国产亚洲一区二区精品| av网站免费在线观看视频| 99久久综合免费| 国产精品不卡视频一区二区| 夫妻午夜视频| 日韩视频在线欧美| 最黄视频免费看| 国产精品一区www在线观看| 亚洲av二区三区四区| 噜噜噜噜噜久久久久久91| 在线观看人妻少妇| 成人国产麻豆网| 日韩一区二区三区影片| 亚洲av欧美aⅴ国产| 精品久久久久久久末码| 日韩,欧美,国产一区二区三区| 2018国产大陆天天弄谢| 国产一区有黄有色的免费视频| 欧美日韩视频精品一区| 建设人人有责人人尽责人人享有的 | 各种免费的搞黄视频| 亚洲av不卡在线观看| 国产精品99久久99久久久不卡 | 久久精品国产亚洲av涩爱| 黑人高潮一二区| 亚洲av不卡在线观看| 亚洲精品亚洲一区二区| a 毛片基地| 国产精品一区二区在线观看99| 偷拍熟女少妇极品色| 联通29元200g的流量卡| 一本—道久久a久久精品蜜桃钙片| 男人爽女人下面视频在线观看| 日韩视频在线欧美| 美女国产视频在线观看| 国产精品一区www在线观看| 成人亚洲欧美一区二区av| 欧美性感艳星| 日韩在线高清观看一区二区三区| 国产精品欧美亚洲77777| 国产 一区 欧美 日韩| 久久精品国产自在天天线| 久久人人爽人人片av| 国产精品一区二区性色av| 王馨瑶露胸无遮挡在线观看| 亚洲在久久综合| 各种免费的搞黄视频| 午夜精品国产一区二区电影| 深夜a级毛片| 久久精品夜色国产| 日韩一本色道免费dvd| 亚洲精品国产av成人精品| 亚洲中文av在线| 深爱激情五月婷婷| 97超碰精品成人国产| xxx大片免费视频| 国产乱人偷精品视频| 一区在线观看完整版| 欧美精品亚洲一区二区| 国产爱豆传媒在线观看| av女优亚洲男人天堂| 高清午夜精品一区二区三区| 国产精品久久久久久av不卡| 岛国毛片在线播放| 日日摸夜夜添夜夜爱| 高清视频免费观看一区二区| 一级毛片久久久久久久久女| 国产伦理片在线播放av一区| 丰满迷人的少妇在线观看| 久久精品熟女亚洲av麻豆精品| 搡女人真爽免费视频火全软件| 久久精品国产亚洲网站| .国产精品久久| av免费在线看不卡| 99久久综合免费| 久久久精品免费免费高清| 国产精品人妻久久久影院| 高清在线视频一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 18禁动态无遮挡网站| av播播在线观看一区| 一级黄片播放器| 午夜福利高清视频| 男人爽女人下面视频在线观看| 肉色欧美久久久久久久蜜桃| 午夜福利影视在线免费观看| 日本午夜av视频| 中文乱码字字幕精品一区二区三区| 99精国产麻豆久久婷婷| 国产免费视频播放在线视频| 久久久久久久久久久免费av| 一区二区三区免费毛片| 精品国产露脸久久av麻豆| 大片免费播放器 马上看| 黄色配什么色好看| 国产免费视频播放在线视频| 久久女婷五月综合色啪小说| 欧美xxxx黑人xx丫x性爽| 国产白丝娇喘喷水9色精品| av国产精品久久久久影院| 精品少妇黑人巨大在线播放| 久久久久久久精品精品| 日韩国内少妇激情av| 成人漫画全彩无遮挡| 少妇的逼水好多| 精品久久久久久久久av| 另类亚洲欧美激情| 噜噜噜噜噜久久久久久91| 久久久欧美国产精品| 激情五月婷婷亚洲| 亚洲精品一二三| 噜噜噜噜噜久久久久久91| 国产成人午夜福利电影在线观看| 国产精品精品国产色婷婷| 国产精品国产av在线观看| 丰满乱子伦码专区| 久久av网站| 国产精品女同一区二区软件| 日韩,欧美,国产一区二区三区| 亚洲精品久久午夜乱码| 成人免费观看视频高清| 18禁在线无遮挡免费观看视频| 亚洲中文av在线| 久久韩国三级中文字幕| 美女脱内裤让男人舔精品视频| 最后的刺客免费高清国语| 大陆偷拍与自拍| 18禁裸乳无遮挡免费网站照片| 国产男女超爽视频在线观看| 高清欧美精品videossex| av.在线天堂| 亚洲四区av| 寂寞人妻少妇视频99o| 国产精品嫩草影院av在线观看| 免费观看在线日韩| 国内精品宾馆在线| 国产爱豆传媒在线观看| 麻豆乱淫一区二区| 深夜a级毛片| 欧美成人精品欧美一级黄| 久久精品国产自在天天线| 国产爽快片一区二区三区| 亚洲美女视频黄频| 在线观看人妻少妇| 少妇的逼好多水| 国产伦精品一区二区三区四那| 男女国产视频网站| 亚洲性久久影院| 嫩草影院新地址| 亚洲最大成人中文| 欧美xxxx黑人xx丫x性爽| 人体艺术视频欧美日本| 中文乱码字字幕精品一区二区三区| 交换朋友夫妻互换小说| 国产乱来视频区| 久久99精品国语久久久| 亚洲国产成人一精品久久久| 久久久久久伊人网av| 国产大屁股一区二区在线视频| 日韩三级伦理在线观看| 日韩一区二区视频免费看| a级毛片免费高清观看在线播放| 少妇的逼水好多| 亚洲av电影在线观看一区二区三区| 人人妻人人爽人人添夜夜欢视频 | 亚洲综合精品二区| 两个人的视频大全免费| 日韩一区二区三区影片| 久久精品国产自在天天线| 国产91av在线免费观看| 亚洲一级一片aⅴ在线观看| 国产一区有黄有色的免费视频| 午夜激情久久久久久久| 欧美老熟妇乱子伦牲交| 女人十人毛片免费观看3o分钟| 亚洲av二区三区四区| 亚洲欧美清纯卡通| 午夜福利高清视频| 国产精品久久久久久精品古装| 日韩伦理黄色片| 国产乱人偷精品视频| 日韩中文字幕视频在线看片 | 亚洲色图综合在线观看| 成人亚洲欧美一区二区av| 亚洲av免费高清在线观看| 中文天堂在线官网| 干丝袜人妻中文字幕| 亚洲美女黄色视频免费看| 精品99又大又爽又粗少妇毛片| 日韩伦理黄色片| 精品人妻一区二区三区麻豆| 日本猛色少妇xxxxx猛交久久| 在线播放无遮挡| 国产高清有码在线观看视频| 欧美区成人在线视频| 色婷婷久久久亚洲欧美| 免费人妻精品一区二区三区视频| 熟妇人妻不卡中文字幕| xxx大片免费视频| 久久毛片免费看一区二区三区| 在线观看美女被高潮喷水网站| 大片免费播放器 马上看| 国产又色又爽无遮挡免| 一二三四中文在线观看免费高清| 在线天堂最新版资源| 国产人妻一区二区三区在| 婷婷色麻豆天堂久久| 成人二区视频| 七月丁香在线播放| 国产欧美日韩精品一区二区| 青青草视频在线视频观看| 五月开心婷婷网| 国产精品久久久久成人av| 久久精品人妻少妇| 亚洲国产成人一精品久久久| 日韩中文字幕视频在线看片 | 建设人人有责人人尽责人人享有的 | 久久99热这里只频精品6学生| 亚洲经典国产精华液单| 亚洲国产精品成人久久小说| 国产一区二区三区av在线| 久久久久久久久久久丰满| 亚洲自偷自拍三级| 色5月婷婷丁香| 亚洲成人手机| 人妻夜夜爽99麻豆av| 99热全是精品| 亚洲国产av新网站| 久久婷婷青草| 久久99热这里只频精品6学生| 人妻制服诱惑在线中文字幕| 国产亚洲精品久久久com| 午夜日本视频在线| 九九爱精品视频在线观看| 亚洲av男天堂| 免费看不卡的av| 亚洲,一卡二卡三卡| 在线天堂最新版资源| 最近的中文字幕免费完整| 日本色播在线视频| 丝袜喷水一区| 99九九线精品视频在线观看视频| 久久国产精品大桥未久av | 少妇的逼水好多| 国产av国产精品国产| 夜夜看夜夜爽夜夜摸| 亚洲精品成人av观看孕妇| 国内揄拍国产精品人妻在线| 日韩视频在线欧美| 精品少妇久久久久久888优播| 亚洲成人av在线免费| 国产美女午夜福利| 又大又黄又爽视频免费| 男女无遮挡免费网站观看| 深爱激情五月婷婷| 九九在线视频观看精品| 日韩一区二区三区影片| 亚洲综合色惰| 亚洲欧美成人精品一区二区| 王馨瑶露胸无遮挡在线观看| 亚洲激情五月婷婷啪啪| 亚洲精品乱码久久久v下载方式| 亚洲自偷自拍三级| 欧美激情国产日韩精品一区| 国产在视频线精品| 日本与韩国留学比较| 精品人妻一区二区三区麻豆| 激情 狠狠 欧美| 夫妻性生交免费视频一级片| 少妇人妻精品综合一区二区| 国产伦精品一区二区三区视频9| 亚洲三级黄色毛片| 国产av国产精品国产| 身体一侧抽搐| 国产一级毛片在线| 下体分泌物呈黄色| 国产亚洲5aaaaa淫片| 伊人久久国产一区二区| 激情 狠狠 欧美| 黑丝袜美女国产一区| 乱系列少妇在线播放| 日韩伦理黄色片| 免费人成在线观看视频色| 国产高清有码在线观看视频| 国产高潮美女av| 嘟嘟电影网在线观看| 成人国产av品久久久| a级毛色黄片| 日日撸夜夜添| 日韩成人伦理影院| 午夜老司机福利剧场| 欧美精品一区二区大全| 国产爽快片一区二区三区| 色哟哟·www| 网址你懂的国产日韩在线| 狂野欧美激情性bbbbbb| 精品久久久久久电影网| 免费看不卡的av| 亚洲国产最新在线播放| 午夜福利在线在线| 精品亚洲成国产av| 18禁在线播放成人免费| av.在线天堂| 免费看日本二区| 国产亚洲91精品色在线| 精品酒店卫生间| 久久久久精品性色| 男女下面进入的视频免费午夜| 国产伦精品一区二区三区四那| 国产精品久久久久久av不卡| 亚洲av国产av综合av卡| 最近最新中文字幕大全电影3| 一级毛片久久久久久久久女| 日本黄大片高清| 久久久久久久大尺度免费视频| 日本猛色少妇xxxxx猛交久久| 成人免费观看视频高清| 亚洲精品第二区| 我的女老师完整版在线观看| 亚洲无线观看免费| 一本一本综合久久| av国产免费在线观看| av专区在线播放| 亚洲高清免费不卡视频| 亚洲精品,欧美精品| 亚洲av成人精品一区久久| 久久99热这里只频精品6学生| 国产高潮美女av| 国产深夜福利视频在线观看| 亚洲av电影在线观看一区二区三区| 精品熟女少妇av免费看| 美女视频免费永久观看网站| 一级a做视频免费观看| h日本视频在线播放| 午夜激情福利司机影院| 成人国产av品久久久| 夜夜爽夜夜爽视频| 亚洲欧美日韩卡通动漫| 亚洲精品日韩在线中文字幕| 免费黄频网站在线观看国产| av国产精品久久久久影院| 中文字幕av成人在线电影| 国产乱人偷精品视频| 综合色丁香网| 国产永久视频网站| 新久久久久国产一级毛片| 国产综合精华液| 国产女主播在线喷水免费视频网站| 久久精品国产亚洲av天美| 国产精品一区二区在线不卡| 亚洲欧美精品自产自拍| 中文字幕制服av| 久久ye,这里只有精品| 久久人妻熟女aⅴ| 久久久久久久大尺度免费视频| a级毛片免费高清观看在线播放| 你懂的网址亚洲精品在线观看| 欧美成人精品欧美一级黄| 欧美另类一区| 欧美区成人在线视频| 欧美 日韩 精品 国产| 一级毛片电影观看| 免费观看在线日韩| 久久久久久人妻| 久久人人爽av亚洲精品天堂 | 如何舔出高潮| 国产视频首页在线观看| 欧美xxⅹ黑人| 99久久人妻综合| 久久综合国产亚洲精品| av网站免费在线观看视频| 乱码一卡2卡4卡精品| 日日摸夜夜添夜夜爱|