并行實時測控數(shù)據(jù)存儲系統(tǒng)設計與實現(xiàn)

何 鋒，曾 文，王秉鈞

酒泉衛(wèi)星發(fā)射中心，甘肅 酒泉 732750

1 引言

近年來隨著國際信息安全形勢問題的日益突出，各國都紛紛立足于開源軟件平臺，設計開發(fā)自主、可控的軟件系統(tǒng)。致力于開發(fā)跨平臺面向?qū)ο蟮腝t平臺自誕生以來，經(jīng)過開源社區(qū)的共同努力，已集成了各式各樣的圖形組件和豐富的基礎(chǔ)庫，實現(xiàn)了對Windows、IOS、Android、Unix Like 等操作系統(tǒng)的支持，已成為跨平臺自主軟件首選的開發(fā)工具。OpenMP 即Open Multiprocessing[1]，是基于共享內(nèi)存的一種便攜式和可擴展的并行編程模型，包含編譯制導語句、運行時函數(shù)庫和環(huán)境變量三部分，由一組支持C++/Fortran 的應用程序接口（API）構(gòu)成，不僅支持細粒度的for 循環(huán)展開并行，也支持SPMD[2]模式的線程級別并行。在目前的共享內(nèi)存并行編程標準中，OpenMP是使用最為廣泛和便捷的開發(fā)標準之一，Qt平臺也提供了對OpenMP線程庫的支持。

實時測控數(shù)據(jù)存儲系統(tǒng)就是要把各類測控設備如光學、雷達、遙測、計算機等產(chǎn)生的實時測控數(shù)據(jù)存儲起來，供事后數(shù)據(jù)分析使用。由于實時測控數(shù)據(jù)處理的復雜性，實時測控數(shù)據(jù)存儲系統(tǒng)不但要應對多設備、高并發(fā)性、大數(shù)據(jù)量的數(shù)據(jù)特點，還要對異常數(shù)據(jù)有相應的處理策略，做到不缺不漏，實現(xiàn)高可靠性和強容錯性。隨著計算機硬件的不斷發(fā)展，目前存儲服務器大多都是單機多核環(huán)境[3]，但是傳統(tǒng)的串行程序邏輯不能充分利用多核的優(yōu)勢，計算負載大多集中在一個處理核心上，導致計算資源利用率低，同時也難以發(fā)揮存儲系統(tǒng)后臺RAID（Redundant Array of Independent Disks）陣列并行讀寫的優(yōu)勢[4]，存儲效率低，難以滿足日益增長的強實時、大流量和可擴展的實時測控數(shù)據(jù)存儲需求。需要設計實現(xiàn)一個規(guī)?？蓴U展、實時性高、并行能力強的并行實時測控數(shù)據(jù)存儲系統(tǒng)。

2 總體框架設計

實時測控數(shù)據(jù)處理系統(tǒng)為了保證系統(tǒng)的強實時性，應對一對多的傳輸要求，大多采用UDP組播協(xié)議，來減輕網(wǎng)絡壓力[5]。本文設計的系統(tǒng)基于Qt 圖形界面使用OpenMP 實現(xiàn)SPMD 線程級并行。不同于事后數(shù)據(jù)處理每一個并行線程的數(shù)據(jù)是已知的持久化數(shù)據(jù)，實時測控系統(tǒng)并行線程的負載將對應每一個UDP Socket接收到的網(wǎng)絡實時測控數(shù)據(jù)。

如圖1所示，并行實時測控數(shù)據(jù)存儲系統(tǒng)框架包含四個模塊：進程初始化模塊、線程初始化模塊、數(shù)據(jù)解析模塊、數(shù)據(jù)持久化模塊。

進程初始化模塊負責整個系統(tǒng)的任務初始化。創(chuàng)建的任務進程P，申請并初始化用于各并行線程間進行通信的共享緩沖區(qū)。該共享緩沖區(qū)可以被各個并行子線程訪問，實現(xiàn)線程間數(shù)據(jù)通信。同時讀取任務配置，根據(jù)配置度量系統(tǒng)的靜態(tài)負載，并根據(jù)靜態(tài)負載平衡算法進行并行任務劃分。

線程初始化模塊負責初始化使用OpenMP 制導語句Fork 出的各并行子線程?？紤]到存儲系統(tǒng)人機交互需要，本框架使用Qt 圖形界面專門設置一個GUI（Graphical User Interface）線程T0來負責處理圖形界面，完成內(nèi)存占用率、多核CPU 的使用率，硬盤使用率等系統(tǒng)資源的監(jiān)視、異常數(shù)據(jù)的顯示、刷新和人機交互任務。T1至Tn是數(shù)據(jù)存儲線程，具體個數(shù)由進程初始化模塊中任務負載的劃分情況來決定。每個數(shù)據(jù)存儲線程在Fork 之后第一步會根據(jù)網(wǎng)絡配置創(chuàng)建接收數(shù)據(jù)的socket套接字，并創(chuàng)建一個循環(huán)隊列緩沖區(qū)用于緩存實時數(shù)據(jù)，借助于隊列先進先出的特性保證網(wǎng)絡接收數(shù)據(jù)的時序性。

圖1 并行實時測控數(shù)據(jù)存儲系統(tǒng)框架

數(shù)據(jù)解析模塊負責UDP數(shù)據(jù)包的解析工作。為了及時發(fā)現(xiàn)測控數(shù)據(jù)的有效性，存儲系統(tǒng)還需要對數(shù)據(jù)包做基本的異常性校驗工作。各個數(shù)據(jù)存儲線程響應并接收網(wǎng)絡數(shù)據(jù)后，解析應用層協(xié)議包頭并進行校驗，如果為異常數(shù)據(jù)則首先寫入共享通信緩沖區(qū)，再根據(jù)持久化的要求進行持久化。若為正常數(shù)據(jù)則直接根據(jù)持久化需求進行持久化操作。GUI線程T0會根據(jù)線程的同步策略去訪問共享緩沖區(qū)的異常數(shù)據(jù)并在GUI 界面更新，為用戶決策提供依據(jù)。

數(shù)據(jù)持久化模塊負責數(shù)據(jù)的持久存儲工作，目前存儲系統(tǒng)大多使用RAID 陣列作為后臺存儲器。用戶端會在虛擬磁盤控制器的指導下，根據(jù)控制指令完成數(shù)據(jù)庫文件的讀寫工作。多個并行線程可以同時在不同的磁盤上進行讀寫，發(fā)揮RAID 陣列并行I/O 的優(yōu)勢。并行I/O 工作主要由RAID 的虛擬磁盤控制器完成，本文不再深入討論。

基于Qt 和OpenMP 的并行實時測控數(shù)據(jù)存儲系統(tǒng)要具備高可擴展性和強實時性，首先要解決任務劃分問題。將網(wǎng)絡數(shù)據(jù)按照流量大小均衡分割為一個個并行子域，然后交給各個存儲線程并行地解析處理，防止單個線程負載過重引起的延遲甚至是數(shù)據(jù)丟失。其次是線程間通信的同步問題，本系統(tǒng)的線程間同步任務主要是T0和某個存儲線程之間的共享緩存通信同步。某一時刻點至多關(guān)系到兩個線程，而OpenMP本身提供的線程同步機制粒度過大[6]，在處理本系統(tǒng)通信同步時容易導致全局線程阻塞產(chǎn)生較大延遲，需要設計一個細粒度的線程間同步算法。最后要利用Qt基于消息和槽機制的良好人機交互型特性，還需要將Qt 的特有的事件循環(huán)機制和OpenMP 線程有效結(jié)合，在OpenMP 線程中實現(xiàn)事件處理循環(huán)。

3 關(guān)鍵技術(shù)實現(xiàn)

3.1 靜態(tài)負載均衡模型

并行程序的性能本身受各線程之間的同步影響較大。如果單個線程的負載過重就會使其運行速度下降，導致和其同步線程在同步點長時間阻塞等待，進而使整個并行程序的運行速度大打折扣，降低并行效率。如果單個線程相比其他線程負載過輕，該線程就會過快地完成計算任務而在同步點等待，CPU 核長時間空閑，浪費計算資源?？紤]到動態(tài)遷移帶來的額外時間開銷，本系統(tǒng)采用靜態(tài)負載均衡思想來解決系統(tǒng)的任務劃分問題。

根據(jù)系統(tǒng)框架圖所示，抽象的數(shù)據(jù)存儲過程模型如圖2所示。測控設備將自身處理產(chǎn)生的測控數(shù)據(jù)以UDP數(shù)據(jù)報的方式發(fā)送進入網(wǎng)絡，存儲系統(tǒng)根據(jù)預先約定的網(wǎng)絡地址和端口創(chuàng)建socket并響應數(shù)據(jù)接收，將數(shù)據(jù)放入緩沖隊列，然后繼續(xù)響應下一個網(wǎng)絡數(shù)據(jù)包。處理模塊從循環(huán)緩沖隊列取出一包數(shù)據(jù)進行校驗、存盤等解析工作。如果將測控設備作為顧客源，存儲系統(tǒng)作為服務機構(gòu)，該過程可以用排隊系統(tǒng)[7-8]來表示。

圖2 數(shù)據(jù)存儲過程的抽象模型

排隊系統(tǒng)包含三個要素：輸入過程、排隊規(guī)則、服務機構(gòu)。根據(jù)網(wǎng)絡設備基本特點本系統(tǒng)的輸入過程和服務過程均可以使用負指數(shù)分布模型來刻畫，由于使用循環(huán)隊列緩沖區(qū)，有先進先出的特性，因此服務規(guī)則可以對應先來先服務（First Come First Served，F(xiàn)CFS）原則。這是一個典型M/M/1模型的排隊系統(tǒng)[9-10]。

假設某一個測控設備的發(fā)送速率為λ，網(wǎng)絡的傳送過程沒有數(shù)據(jù)丟包（網(wǎng)絡可靠性不在本系統(tǒng)考慮范圍），系統(tǒng)的服務時間即處理時間為Ts。本文主要關(guān)心的幾個參數(shù)包括：

緩沖區(qū)長度Nq，排隊系統(tǒng)進入穩(wěn)態(tài)后，系統(tǒng)內(nèi)長期駐留的數(shù)據(jù)包的個數(shù)，它確定在保證丟失率為可接收的數(shù)值范圍內(nèi)，應為每個線程分配的緩沖隊列大??；輸入速率λ，它是線程負載的直接度量，跟緩沖區(qū)大小有直接關(guān)系，必須確保系統(tǒng)能處理完數(shù)據(jù)，不產(chǎn)生丟失；處理時間Ts，在保證基本功能的前提下，服務時間越短越好。

M/M/1系統(tǒng)在穩(wěn)態(tài)時平均隊列的長度滿足式（1）[11]：

其中，ρ為服務臺的使用率，是平均到達率與平均服務率之比，即在相同時區(qū)內(nèi)顧客到達的平均數(shù)與被服務的平均數(shù)之比，通過網(wǎng)絡速率λ和服務速率μ定義，如式（2）：

將式（2）帶回式（1），就得到了本文關(guān)心的三個要素之間的制約關(guān)系，如式（3）所示：

其中，系統(tǒng)的處理時間Ts是可以預知的變量，每個線程要接收的網(wǎng)絡數(shù)據(jù)速率λ和緩沖區(qū)隊列的長度是可變變量。

考慮到計算核和內(nèi)存的代價，本系統(tǒng)的靜態(tài)負載均衡方法的主要步驟如下所示：

（1）預置一個緩沖隊列的大小Nq0由式（3）確定每一個線程能承受的負載流量大小λ0。

（2）根據(jù)λ0和總流量M計算出需要的計算核個數(shù)，向上取整。

（3）比較C和服務器本來可用的CPU 總核數(shù)CN。若C≤CN，則劃分方案可行，開始執(zhí)行任務；若C＞CN，則計算核數(shù)不足轉(zhuǎn)到步驟（4）。

（4）在Nq0基礎(chǔ)上增加整數(shù)增量D，即以Nq0+D的大小再次回到步驟（1），繼續(xù)試探直至找到可行的劃分方案為止。

基于排隊論的靜態(tài)負載均衡算法可以兼顧計算核心數(shù)、緩沖隊列長度和網(wǎng)絡流量三個要素的影響，在滿足系統(tǒng)實時性、可靠性的前提下尋找到最適合目前服務器能力的任務靜態(tài)劃分方案，既能保證并行效率，又能提高資源利用率。

3.2 基于互斥鎖的線程同步算法

在本系統(tǒng)中，存儲線程需要顯示數(shù)據(jù)時必須先將數(shù)據(jù)寫入對應共享通信緩沖區(qū)，然后由T0即GUI 線程讀取共享數(shù)據(jù)，并在界面更新。在使用單緩沖區(qū)時，必須要實現(xiàn)共享緩沖區(qū)的“寫后讀”和“讀后寫”的同步才能保證讀取數(shù)據(jù)的正確性[12]，因此同步算法本身的實時性也是系統(tǒng)實時性能的瓶頸。OpenMP 本身提供的多線程同步方法為顯示柵欄同步[13]，這將會強制所有線程在共享緩沖區(qū)讀寫時同步等待，但本系統(tǒng)中存儲線程之間并不需要協(xié)作，每次同步只有GUI線程和某一個存儲線程，使用粗粒度的柵欄同步將會大大地降低系統(tǒng)的實時性。本文基于互斥鎖設計了細粒度同步算法來實現(xiàn)本系統(tǒng)的共享緩沖區(qū)同步任務。如算法1 所示，以T0和存儲線程Tm的同步為例，其主要步驟包括：

（1）主進程P初始化共享緩沖區(qū)和互斥鎖隊列。根據(jù)存儲線程總數(shù)threads，主進程為每一個存儲線程申請一塊用于共享通信的緩沖區(qū)buffer[i]，其中i為線程編號，0 ＜i＜threads。同時為其定義兩把互斥鎖，W[i]用于“寫后讀”同步（下文簡稱寫鎖），保證每個共享緩沖區(qū)在寫入數(shù)據(jù)后才能被讀?。籖[i]用于“讀后寫”同步（下文簡稱讀鎖），保證每個共享緩沖區(qū)的數(shù)據(jù)被讀取結(jié)束后才能再次擦寫。在任務開始時緩沖區(qū)可以用于寫但是不能讀，因此將所有線程的寫鎖初始為開鎖狀態(tài)，而所有讀鎖調(diào)用加鎖操作Lock(W[i])初始化為加鎖狀態(tài)。

（2）存儲線程Tm向共享緩沖區(qū)寫數(shù)據(jù)。線程Tm需要顯示接收的異常數(shù)據(jù)時，先申請自身對應的共享緩沖區(qū)buffer[m]的“讀后寫”即讀鎖R[m]，若加鎖成功表明該緩沖區(qū)內(nèi)上一次的顯示數(shù)據(jù)已經(jīng)讀取結(jié)束并允許重復擦寫，那么就將本次的顯示數(shù)據(jù)寫入，并將本共享緩沖區(qū)的“寫后讀”即寫鎖W[m]解鎖，允許GUI線程T0讀取共享緩沖區(qū)的顯示數(shù)據(jù)。否則就進入阻塞狀態(tài)，等待T0完成讀取操作釋放緩沖區(qū)的讀鎖。

（3）GUI 線程T0從共享緩沖區(qū)讀取數(shù)據(jù)并更新顯示。由于各個存儲線程的共享通信緩沖區(qū)相互獨立，數(shù)據(jù)到達時間也相互獨立。因此本文使用非阻塞加鎖方法[14]Try_Lock（）和循環(huán)輪詢的方式逐個試探加鎖。若加鎖成功則讀取顯示數(shù)據(jù)，否則就跳過該線程的共享通信過程，對下一個線程的共享通信緩沖區(qū)進行試探加鎖，如此反復，直至完成所有存儲線程的共享數(shù)據(jù)顯示任務。如此，GUI線程就不會因為某一個線程的共享緩沖區(qū)加鎖不成功而發(fā)生阻塞，影響后續(xù)其他線程的界面更新顯示任務。其他存儲線程和Tm的同步過程類似，并行運行。

算法1OpenMP細粒度互斥鎖同步算法

Input：線程Tm的顯示數(shù)據(jù)和線程編號m，總的存儲線程數(shù)threads

//主進程P設置共享緩沖區(qū)，初始化線程鎖

BUFFERbuffer[threads]；

LOCKW[threads]，R[threads]；

Fo（ri=0；i

Lock（W[i]）；

End

//線程Tm

Begin

//向共享緩沖區(qū)m寫入顯示數(shù)據(jù)

Lock（R[m]）

WriteData（buffer[m]）；

Unlock（W[m]）

…

End

西班牙“Maria Canals國際音樂比賽”將于2019年3月23日至4月4日西班牙巴塞羅那舉行。該比賽每年舉行一次，年齡限制：17至28歲。比賽一等獎獎金為25，000歐元。比賽共分為四輪，預選輪：YOUTUBE；第一輪：獨奏20分鐘；第二輪：獨奏40分鐘；第三輪：獨奏50分鐘；決賽輪：協(xié)奏曲。比賽曲目與詳情請關(guān)注網(wǎng)站。

//GUI線程T0

Begin

//從共享緩沖區(qū)讀取存儲線程要顯示數(shù)據(jù)

While（threads）

I（fTry_Lock（W[threads]））

ReadData（buffer[threads]）；

threads??；

Unlock（R[threads]）

End if

End while

End

Output：在圖形界面顯示Tm收到的異常數(shù)據(jù)

該算法能保證每次共享緩存通信過程中最多鎖住T0和另一個存儲線程，即使這兩個線程間運行速度差異較大造成加鎖阻塞，也不會引起其他線程的同步空等，保證了其他存儲線程能正常地處理實時網(wǎng)絡數(shù)據(jù)而不丟包，提高并行存儲系統(tǒng)的可靠性和實時性。

3.3 在OpenMP線程內(nèi)嵌入事件循環(huán)

本系統(tǒng)使用單獨的GUI 線程來處理界面顯示和刷新任務本身可以有效地緩解圖形界面處理帶來的資源消耗壓力，但圖形界面的主要目的是實現(xiàn)良好的人機交互，響應用戶操作來控制其他存儲線程記錄的開始、停止等工作?；赒t組件的圖形界面使用特有的信號與槽通信機制來完成事件處理工作[15]，而OpenMP線程本身并不支持事件處理工作。

OpenMP各個并行線程復制運行同一份程序代碼，變量名稱完全一致，但都是thread loacal局部變量，互相隔離不能訪問。那么GUI 線程就不能直接和其他存儲線程實現(xiàn)信號和槽的跨線程連接。本文通過在主進程中設置橋接對象的方式實現(xiàn)OpenMP 各線程隔離對象之間信號和槽的跨線程連接。

如圖3所示，T0線程的私有對象Object_1發(fā)送的控制信號Signal_1 首先和主進程P中可訪問的共享對象Bridge 的槽函數(shù)Slot 相連接。信號觸發(fā)時，Slot 槽函數(shù)會使用Qt的emit函數(shù)發(fā)送自身定義的傳導信號Signal，而Signal信號事先和存儲線程Tm的私有對象Object_2的槽函數(shù)Slot_2 相連接。傳導信號Signal 被時間觸發(fā)后就會加入線程Tm的消息隊列，激活線程Tm的槽函數(shù)Slot_2 進行響應，并完成圖形界面要求的相關(guān)操作。如圖中虛線所示，間接地實現(xiàn)了OpenMP線程間私有對象之間信號和槽的鏈接。

圖3 信號和槽跨OpenMP線程橋接

當消息進入并行子線程的消息隊列之后，仍需要事件循環(huán)機制來保證消息的正常處理過程。OpenMP 線程本身并不具備處理Qt消息隊列的功能。借助于Qt本身的事件循環(huán)機制，整個OpenMP線程的事件處理流程如算法2所示。

算法2OpenMP線程事件處理機制

Input：QEvent事件隊列

//section1

#pragma omp parallel num_threads（thread_count）

{

QEventLoopeventLoop；

//處理本線程網(wǎng)絡數(shù)據(jù)

//Do something

//委任eventLoop處理事件循環(huán)->見section 2

eventLoop.exec（）；

}

//section2

int QEventLoop::exec（ProcessEventsFlagsflags）

{

//獲取私有數(shù)據(jù)指針d

Q_D（QEventLoop）；

…

//事件循環(huán)，消息隊列空則退出循環(huán)

while（!d->exit.loadAcquire（））

{

//處理事件

processEvents（flags|WaitForMoreEvents|EventLoopExec）；

}

//阻塞等待

wait_for_more_events();

Output：QEvent的操作結(jié)果

如section1 部分偽代碼所示，每個OpenMP 線程在Fork 之后創(chuàng)建一個 QEventLoop 事件循環(huán)對象[16]，然后才開始創(chuàng)建Socket并處理網(wǎng)絡數(shù)據(jù)，在每個線程的末尾調(diào)用QEventLoop 的成員函數(shù)exec（），委托QEventLoop處理事件循環(huán)。事件循環(huán)的輪廓如section2 所示，事件首先進入線程的私有事件隊列d中。事件處理過程會循環(huán)遍歷事件隊列，并且將入棧的事件發(fā)送到它們的目標對象當中，如果隊列為空就會阻塞等待新的事件到來，如此循環(huán)實現(xiàn)整個線程的事件循環(huán)。

通過橋接和事件循環(huán)機制，本文將Qt 的事件循環(huán)機制嵌入OpenMP 線程，在保持OpenMP 線程級并行優(yōu)勢的同時還兼顧了Qt以消息驅(qū)動的圖形界面良好的人機交互性能。

4 實驗與分析

為了測試系統(tǒng)的性能，本文在4*28核Intel Core i7處理器，64 GB DDR3內(nèi)存，配備10 Gb/s萬兆網(wǎng)，RAID5磁盤陣列的服務器硬件環(huán)境下進行了測試。

首先是系統(tǒng)的可擴展性測試。并行實時測控數(shù)據(jù)存儲系統(tǒng)關(guān)注的可擴展性主要指系統(tǒng)在網(wǎng)絡流量不斷變化的情況下，能否充分利用計算資源來確保系統(tǒng)的實時性，即響應時間維持在較低水平而不是隨流量的變化發(fā)生較大變化。當系統(tǒng)測試環(huán)境確定后，數(shù)據(jù)包從解析到寫入數(shù)據(jù)庫的時間即系統(tǒng)服務時間就已經(jīng)被確定。系統(tǒng)的響應時間主要取決于數(shù)據(jù)在緩沖隊列中的等待時間，等待時間越短實時性就越高。本文在保證全部輸入數(shù)據(jù)都是正常數(shù)據(jù)的前提下，測試了單線程存儲系統(tǒng)和并行多線程存儲系統(tǒng)的響應時間隨系統(tǒng)輸入總流量的變化情況。測試結(jié)果如圖4所示，其中多線程的系統(tǒng)響應時間采用每個存儲線程響應時間的統(tǒng)計平均值。

從實驗結(jié)果可以看出，在系統(tǒng)流量為0 時，單線程和多線程系統(tǒng)與縱軸的交點即為系統(tǒng)的服務時間，本文的測試環(huán)境下系統(tǒng)的服務時間為20 ms，二者一致。隨著總流量的不斷增加，由于單線程系統(tǒng)只有一個讀寫線程，因此數(shù)據(jù)將會在緩沖區(qū)中累積，流量越大累積越多，排隊時間越長，平均響應時間也越來越長，甚至出現(xiàn)丟包影響系統(tǒng)的實時性。并行系統(tǒng)在靜態(tài)負載均衡算法的幫助下會進行任務劃分，確定使用的計算核心數(shù)，基本保證了每個線程的流量負載都維持較低水平，而且大致相同，因此平均響應時間并不會隨著系統(tǒng)總流量的增加而增加，而是基本保持在單核低負載時的水平。

圖4 響應時間隨系統(tǒng)總流量的變化情況

實時系統(tǒng)另一個重要指標就是系統(tǒng)的容錯性。并行實時測控存儲系統(tǒng)關(guān)注的容錯性主要指在異常數(shù)據(jù)的干擾下系統(tǒng)能否做出正確的處理而不影響系統(tǒng)的響應時間，導致系統(tǒng)丟包。在保證總流量保持在80 MB/s較高負載的情況下，通過不斷增加異常數(shù)據(jù)的比例，來統(tǒng)計系統(tǒng)的響應時間，測試系統(tǒng)的容錯性，測試結(jié)果如圖5所示。

圖5 系統(tǒng)響應時間隨異常數(shù)據(jù)比例的變化情況

從測試結(jié)果可以看出，在異常數(shù)據(jù)的比例較低時，對系統(tǒng)的響應時間影響較小。當增大到40%以上時，系統(tǒng)的響應時間明顯出現(xiàn)延遲。這主要是因為異常數(shù)據(jù)在寫入數(shù)據(jù)庫之前，需要在圖形界面顯示給用戶，而顯示過程要和GUI 線程進行同步通信。盡管本文設計了細粒度同步方法，但GUI線程要負責所有其他存儲線程的異常數(shù)據(jù)顯示任務，負載過重，就會引起個別存儲線程的等待阻塞，導致平均響應時間發(fā)生突變。

綜上實驗表明，并行實時測控存儲系統(tǒng)在系統(tǒng)流量較大，負載較高的情況下，相比現(xiàn)行的串行存儲系統(tǒng)具有更好的可擴展性、更強的實時性，能更好地發(fā)揮系統(tǒng)的硬件資源優(yōu)勢，進一步提高系統(tǒng)的綜合性能。

5 總結(jié)

本文通過引入M/M/1模型的排隊系統(tǒng)，設計了一種適合并行實時測控數(shù)據(jù)存儲系統(tǒng)的靜態(tài)任務劃分算法?；诨コ怄i完成了線程間的細粒度通信同步機制。借助于事件循環(huán)機制將Qt的信號與槽特性成功地嵌入OpenMP線程，保留了二者的優(yōu)點。在此基礎(chǔ)上設計并實現(xiàn)了一套并行實時測控數(shù)據(jù)存儲系統(tǒng)框架，并進行了測試。實驗表明，該系統(tǒng)對現(xiàn)行的測控數(shù)據(jù)存儲任務而言具有更好的擴展性、實時性和一定容錯能力。后續(xù)，本文將針對系統(tǒng)容錯能力閾值不高的問題，采用異常數(shù)據(jù)挑點顯示、設置顯示緩沖區(qū)等多種方法來減輕GUI線程的負載，進一步提高系統(tǒng)的可靠性。