基于單向設備的分布式多任務調(diào)度在大型復雜網(wǎng)絡環(huán)境下的應用實踐

張?zhí)鞚? 馬叢林

摘要：大數(shù)據(jù)的匯集對網(wǎng)絡和安全設備提出了新的挑戰(zhàn)，數(shù)據(jù)源種類的豐富及非結(jié)構(gòu)化數(shù)據(jù)價值挖掘日益增長，已對跨域傳輸提出了新的要求。為實現(xiàn)不同網(wǎng)絡之間數(shù)據(jù)的安全傳輸需求，同時解決以往整體單向傳輸設備使用不平衡，硬件資源的利用率偏低的問題，單向設備的分布式多任務調(diào)度及其關鍵技術的探索顯得尤為重要。

關鍵詞：大數(shù)據(jù);數(shù)據(jù)傳輸;單向傳輸設備;調(diào)度服務器;關鍵技術

中圖分類號：TP18 ?文獻標識碼：A??文章編號：1671-2064（2019）16-0000-00

1研究背景介紹

“大數(shù)據(jù)”是近幾年來的熱門話題，大數(shù)據(jù)的匯集對網(wǎng)絡和安全設備提出了新的挑戰(zhàn)，數(shù)據(jù)源種類的豐富及非結(jié)構(gòu)化數(shù)據(jù)價值挖掘日益增長，已對跨域傳輸提出了新的要求。

在保證網(wǎng)絡不打通的前提下，為了進行不同網(wǎng)絡之間的數(shù)據(jù)傳輸，使用的解決方案是是用安全單向傳輸設備來進行不同網(wǎng)絡之間的數(shù)據(jù)傳輸。包括從網(wǎng)絡A與B，網(wǎng)絡A與C，網(wǎng)絡A與D。設置了多個單向安全設備，每個應用使用一個單向設備，每個單向設備容納至少一個應用通路。

基于物理隔離的單向傳輸系統(tǒng)部署在內(nèi)外網(wǎng)絡邊界，將內(nèi)部網(wǎng)絡與外部網(wǎng)絡進行單向連接，只允許數(shù)據(jù)從外部網(wǎng)絡單向傳輸至內(nèi)部安全網(wǎng)絡，不允許反向數(shù)據(jù)流動。同時，導入前置機、單向傳輸設備和導入服務器串接部署，單向傳輸設備只提供導入前置機與導入服務器兩個專用設備之間的數(shù)據(jù)單向?qū)?，不與各種應用服務器交互，避免引入額外的安全風險。

單向安全傳輸系統(tǒng)的文件同步功能是核心功能，該功能支持兩種方式的文件傳輸，一種是推文件方式，另一種是拉文件方式。推方式是指在導入前置機上建立FTP|SMB文件服務器，使用者將需要同步的文件從外網(wǎng)上傳到文件服務器，然后上傳的文件通過導入前置機的代理程序進行數(shù)據(jù)封裝、壓縮等處理，再由導入前置機通過光閘口傳輸?shù)絾蜗騻鬏斣O備，單向同步到導入服務器上，導入服務器代理程序接收并還原文件后，通過文件傳輸協(xié)議上傳到導入服務器網(wǎng)絡的特定文件服務器上。如果外網(wǎng)有專門的文件服務器，就可以采用拉方式進行文件傳輸。這里拉方式是指在導入前置機上將駐留文件客戶端代理程序，該程序定期去文件服務器上獲取需要傳輸?shù)奈募?，然后上傳的文件通過導入前置機的代理程序進行與推方式同樣的處理。

在當前的解決方案框架下，會存在一個比較大的問題，某些應用的數(shù)據(jù)流量大，造成其所對應的單向傳輸設備負載大，而一些應用的數(shù)據(jù)流量較小，但也占據(jù)了相同的資源。這樣就造成了整體單向傳輸設備的使用不平衡，硬件資源的利用率偏低。

2 解決方案思路

在單向設備本身不做改造的情況下，是否能夠通過純軟件的方式來實現(xiàn)對通路的均衡分配，從而實現(xiàn)通路全面的高利用率以及高可用性（失敗恢復）。是本解決方案研究的重點。

解決問題的具體思路是通過一個總控文件接收和任務調(diào)度服務器（具備高可用），作為應用數(shù)據(jù)（文件）安全傳輸?shù)慕y(tǒng)一入口。在接收到文件之后，根據(jù)當前單向設備任務分配的狀態(tài)安排任務通路。解決方案的邏輯架構(gòu)圖如圖1。

在數(shù)據(jù)傳輸?shù)膱?zhí)行過程中，對單個應用λ而言，在網(wǎng)絡B中的數(shù)據(jù)的應用獲取數(shù)據(jù)并將其放置在隔離區(qū)的文件服務的對應路徑之下，任務調(diào)度服務器輪詢對應位置獲取文件，并根據(jù)任務分配原則將對應文件放置在分配到的單向設備所對應的文件處理服務器上，再由單向設備獲取文件并導出到網(wǎng)絡A中文件處理服務器，經(jīng)過任務調(diào)度服務器的處理再導出到文件服務中，平臺I上的β應用獲取數(shù)據(jù)，整個數(shù)據(jù)安全傳輸過程完成。如果網(wǎng)絡A中的數(shù)據(jù)需要傳輸?shù)骄W(wǎng)絡B中，流程實際上是類似的反向流程。

在這個數(shù)據(jù)跨網(wǎng)傳輸?shù)倪^程中，每個網(wǎng)絡中都需要有任務調(diào)度服務器來完成文件的接收、處理、文件打包以及任務分配的工作。該服務器是解決方案的重要節(jié)點，承擔著系統(tǒng)中最為核心的作用。

3關鍵技術實踐

為了保證整體的數(shù)據(jù)鏈路的安全、可控，可靠，本解決方案涉及到了不少關鍵技術。分別簡要介紹如下：

3.1無需綁定硬件設備

通常的使用方法都是基于特定的硬件設備，沒有兼容多品種、多型號的硬件的冷切換功能。而本解決方案的設計思路不依賴單向設備的本身的硬件特性，只需要單向設備支持SFTP、Samba等協(xié)議，即可實現(xiàn)通路資源的統(tǒng)一調(diào)度，能夠?qū)τ脩舻募扔性O備實現(xiàn)利舊，充分保護用戶的固定資產(chǎn)。

3.2跨機房分布式部署

每個方向的兩個單向設備通路分布在主備兩個機房部署，調(diào)度服務可以調(diào)度主備機房的所有通路，當其中一個通路出現(xiàn)故障時，調(diào)度服務會將任務轉(zhuǎn)移到可用的通路，從而確保任務不中斷。

3.3通道暢通保證

為了保證單向通道不全部被大文件任務占用而阻塞整體通路，將任務處理器標記為小任務通道和大任務通道，大任務只能在大任務通道傳輸，小任務當大任務通道空閑時（大任務通道無大任務在處理），可以在大任務通道傳輸。任務的大小區(qū)分可配。

3.4統(tǒng)一調(diào)度策略

在任務統(tǒng)一調(diào)度的前提下，為了保證重要應用的業(yè)務的數(shù)據(jù)傳輸不受通路整體交通狀況的影響，能夠設置任務優(yōu)先級，根據(jù)業(yè)務優(yōu)先級選擇高優(yōu)先級的任務。同時，根據(jù)文件服務器中的文件容量：優(yōu)先調(diào)度文件容量少的處理器。同時需要計算每個處理器中排隊文件的平均大小，選擇大小最接近待處理文件的那個處理器，這樣可以在兼具等待耗時公平的前提下同時盡量使得大中小文件分類傳輸，以提升大中小文件的傳輸效率。

3.5秒傳與秒回傳

從高密級網(wǎng)絡B到低密級網(wǎng)絡A傳輸文件（或反向傳），之前擺渡過的文件，后續(xù)任務中不用擺渡，通過比對文件摘要來從本地獲取文件，通過驗簽確保文件不被篡改。而B擺渡到A的文件，不用再從A擺渡回來，只擺渡在A生成的文件摘要，通過摘要在B獲取本地文件。

3.6設備狀態(tài)監(jiān)控

在不獲取單向傳輸設備的運行信息的前提，能夠?qū)顟B(tài)進行監(jiān)控，通過雙單向網(wǎng)閘的傳遞心跳文件，來判斷單向傳輸設備是否工作正常。

3.7任務失敗恢復

在任務未成功執(zhí)行并被調(diào)度服務器獲知時，會重新嘗試傳送文件，且在重試時會優(yōu)先選擇和任務處理失敗時不同的任務處理器。

3.8安全保證

文件提交到任務調(diào)度服務之前需要進行安全掃描，確認有問題后繼續(xù)處理任務。安全掃描應當能夠集成多個第三方掃描工具，實現(xiàn)全方位的文件掃描，包括常規(guī)文件格式以及APT等。

4應用效果

在某項目的實地應用測試過程中，本方案的可行性得到初步驗證，無論在執(zhí)行效率以及軟件可靠性方面都得到了一定程度的證明。

在效率層面，通過搭建8套千兆網(wǎng)閘（單向4通路）的測試環(huán)境，進行壓測，每通道并發(fā)任務數(shù)為50，從低密級B網(wǎng)絡向高密級A網(wǎng)絡擺渡，審核后自動擺渡回到A網(wǎng)絡，總共擺渡178G文件，用時21分32秒，178G/21分32秒/4通路，得到單通路常規(guī)文件擺渡速度為37MB/S。遠遠超過之前的單向設備獨立的傳輸方式。

實驗過程中，嘗試直接關閉一條通路（進出均可）后，傳輸任務不會中斷，會被均分到其余通路上，通行速率下降約1/4;在關閉任意一個調(diào)度服務器的情況下，任務也不會受影響。整個傳輸系統(tǒng)的可靠性也得以被驗證，可以用于實際的工程化部署。

參考文獻

[1] 吳紹欣.分布式指揮系統(tǒng)分層多任務調(diào)度研究[D].哈爾濱工程大學，2011.

[2] 佚名.一種分布式多任務調(diào)度管理系統(tǒng)：陜西，CN103677973A[P].2014-03-26.

[3] 趙睿斌，楊紹亮，王毛路，等.基于商密體系的政務鏈解決數(shù)據(jù)安全共享交換的研究[J]. 信息安全與通信保密，2018，No.293（5）：85-90.

[4] 佚名.基于單向隔離硬件通道的數(shù)據(jù)單向傳輸系統(tǒng)：北京，CN1601955[P].2005-3-30.

收稿日期：2019-06-29

作者簡介：張?zhí)鞚桑?985—），男，河南洛陽人，本科，正科，研究方向：網(wǎng)絡安全，資源運營。