基于文檔服務(wù)器系統(tǒng)分布式存儲(chǔ)功能的實(shí)現(xiàn)

張建通 李玉頂 張?jiān)?/p>

華電國(guó)際文檔服務(wù)器系統(tǒng)文檔多年來一直采用集中存儲(chǔ)方式，各單位在訪問時(shí)從遠(yuǎn)程（專線方式，一般為4Mb）上傳、下載文檔。隨著用戶數(shù)的增加、數(shù)據(jù)量的膨脹，異地用戶在操作較大的文檔時(shí)，速度較慢，系統(tǒng)性能成了瓶頸，操作時(shí)長(zhǎng)時(shí)間的等待，造成用戶的體驗(yàn)不好。通過分布式存儲(chǔ)功能的實(shí)現(xiàn)，大大提高了文檔上傳下載的速率，提升了用戶體驗(yàn)； 且文檔存儲(chǔ)在中央服務(wù)器的同時(shí)，各單位的文檔還在本單位有一份備份，也大大提高了數(shù)據(jù)的安全性。

一、背景

（一）文檔服務(wù)器系統(tǒng)現(xiàn)狀

文檔服務(wù)器系統(tǒng)是華電國(guó)際為其他業(yè)務(wù)系統(tǒng)提供文檔的上傳、下載等服務(wù)，存儲(chǔ)文檔，管理文檔的應(yīng)用系統(tǒng)。使用該系統(tǒng)的業(yè)務(wù)系統(tǒng)主要包括華電國(guó)際主數(shù)據(jù)管理系統(tǒng)（MDM）、PM項(xiàng)目管理系統(tǒng)、項(xiàng)目管控系統(tǒng)、華電國(guó)際財(cái)務(wù)及資產(chǎn)管理系統(tǒng)（FAM）的財(cái)務(wù)管理、生產(chǎn)管理、物資管理、合同管理、燃料管理等功能模塊，在華電國(guó)際生產(chǎn)經(jīng)營(yíng)管理所需的應(yīng)用系統(tǒng)中得到了廣泛應(yīng)用。

（二）存在的問題

隨著華電國(guó)際的不斷發(fā)展，越來越多的單位上線了相應(yīng)的應(yīng)用管理平臺(tái)，用戶及線上業(yè)務(wù)量增長(zhǎng)迅速，用戶滿意度是衡量各平臺(tái)效果的標(biāo)準(zhǔn)之一，而系統(tǒng)性能與用戶體驗(yàn)息息相關(guān)。在各平臺(tái)與文檔附件相關(guān)的業(yè)務(wù)中，提高文檔服務(wù)器系統(tǒng)性能對(duì)于提升用戶體驗(yàn)起到了重要的作用。但是，傳統(tǒng)方式下存儲(chǔ)服務(wù)器單機(jī)部署或集中部署在一地，異地上傳和下載速度低，效率低下，用戶體驗(yàn)差，頻繁下載影響更甚，一直是困擾信息公司的一大難題，也是用戶應(yīng)用系統(tǒng)中的痛點(diǎn)。

二、分布式存儲(chǔ)助力企業(yè)IT服務(wù)科技創(chuàng)新

（一）什么是分布式存儲(chǔ)

分布式存儲(chǔ)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。傳統(tǒng)的存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。分布式存儲(chǔ)系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。

基于通用的分布式文件系統(tǒng)，結(jié)合華電文檔服務(wù)器系統(tǒng)現(xiàn)狀，設(shè)計(jì)的分布式存儲(chǔ)功能，能有效提高文檔服務(wù)器系統(tǒng)可靠性、數(shù)據(jù)安全性，提升用戶體驗(yàn)。結(jié)合優(yōu)化后的文檔服務(wù)器系統(tǒng)，分布式存儲(chǔ)功能適用于華電國(guó)際各應(yīng)用管理平臺(tái)，如FAM、PM、主數(shù)據(jù)系統(tǒng)等。

（二）為什么要開發(fā)分布式存儲(chǔ)功能

長(zhǎng)期以來華電國(guó)際飛速發(fā)展，信息化進(jìn)程不斷推進(jìn)。新場(chǎng)景新模式不斷出現(xiàn)，各應(yīng)用管理平臺(tái)也在面臨新的挑戰(zhàn)。探討研發(fā)新技術(shù)，比以往任何時(shí)候都更加重要，任何的創(chuàng)新研究，都是為了給實(shí)施它的企業(yè)、企業(yè)員工及其他利益相關(guān)者提供多方面的價(jià)值，亦是為了更高效且低成本的解決用戶當(dāng)前所面臨的痛點(diǎn)與難點(diǎn)問題，基于文檔服務(wù)器系統(tǒng)的分布式存儲(chǔ)功能亦是如此，迫切需要解決以下問題：

一是新系統(tǒng)、新用戶以及業(yè)務(wù)量的迅速增長(zhǎng)，給文檔服務(wù)器的效率及可靠性帶來的巨大壓力。隨著企業(yè)各種新建系統(tǒng)的不斷實(shí)施上線運(yùn)行，公司業(yè)務(wù)規(guī)模的擴(kuò)張，使用系統(tǒng)的下級(jí)單位數(shù)量及用戶量也在暴增，文件作為在線業(yè)務(wù)不可缺少的附加屬性，數(shù)量和容量都在快速增長(zhǎng)，現(xiàn)有的存儲(chǔ)方式無法滿足文件急速增長(zhǎng)對(duì)系統(tǒng)的要求。

二是現(xiàn)有文件存儲(chǔ)方式導(dǎo)致的訪問速度無法滿足用戶需求，用戶滿意度下降。在信息化發(fā)展初期，文檔服務(wù)器部署在一地，信息系統(tǒng)少，用戶少，線上辦理業(yè)務(wù)不頻繁，跨區(qū)域訪問造成的速度慢、效率低問題不明顯。隨著新用戶的增加及業(yè)務(wù)量的增長(zhǎng)，這種方式的弊端逐漸顯露。超遠(yuǎn)距離文件傳輸造成的速度慢等問題嚴(yán)重影響用戶體驗(yàn)。原有的文件存儲(chǔ)及訪問方式調(diào)整勢(shì)在必行。

三是分布式存儲(chǔ)是文件安全方面的另一道保障。隨著數(shù)據(jù)量的飛速增長(zhǎng)，且核心業(yè)務(wù)逐漸切換至線上辦理，存儲(chǔ)的規(guī)模越來越龐大，文件的重要性也越來越高，存儲(chǔ)系統(tǒng)本身也越來越復(fù)雜，這給系統(tǒng)的管理、運(yùn)行帶來了很大的壓力，如果沒有另外的備份方案，所有文件存儲(chǔ)在一臺(tái)服務(wù)器上，服務(wù)器可能的突發(fā)情況將給用戶帶來不可估量的損失，分布式存儲(chǔ)在提高系統(tǒng)性能和效率的同時(shí)，也通過多地分布存儲(chǔ)的方式，提高了文件的安全性。

因此，我們已清醒地認(rèn)識(shí)到實(shí)現(xiàn)文檔的分布式存儲(chǔ)功能的必要性與重要性，開始探索符合華電國(guó)際特色的文檔的分布式存儲(chǔ)功能的實(shí)現(xiàn)方式。并思考如何進(jìn)一步通過技術(shù)創(chuàng)新來不斷滿足用戶的需求，提升用戶體驗(yàn)?；谌A電國(guó)際文檔服務(wù)器系統(tǒng)的分布式存儲(chǔ)功能也就應(yīng)運(yùn)而生。

三、建設(shè)內(nèi)容與實(shí)施步驟

（一）方案規(guī)劃

結(jié)合華電國(guó)際文檔服務(wù)器系統(tǒng)的現(xiàn)狀：提供文件接口服務(wù)及文件存儲(chǔ)功能，一次上傳多次下載的使用模式，因下載次數(shù)多而被放大的下載速度慢問題，且用戶分布在多地，而服務(wù)器集中部署在一地，數(shù)據(jù)訪問均需要使用廣域網(wǎng)遠(yuǎn)距離傳輸?shù)?，我們總結(jié)出了專門針對(duì)文檔存儲(chǔ)及下載服務(wù)的分布式存儲(chǔ)方案。

我們通過分布式思想設(shè)計(jì)的系統(tǒng)結(jié)構(gòu)，在下屬單位搭建小型的用于分布式存儲(chǔ)的服務(wù)器，將原有的存儲(chǔ)在總部服務(wù)器上的文件，根據(jù)文件屬性，在閑時(shí)定期備份至相應(yīng)的分布式存儲(chǔ)服務(wù)器，并在本地用戶調(diào)用下載服務(wù)時(shí)通過局域網(wǎng)訪問分布式存儲(chǔ)服務(wù)器，實(shí)現(xiàn)快速下載的目的。同時(shí)分布式存儲(chǔ)服務(wù)器也起到了一定的備份作用。

在提供高效率的同時(shí)，還需兼顧低成本的原則，我們目前僅在信息化程度較高的下屬單位進(jìn)行實(shí)施，在本單位已有服務(wù)器上劃分出合理的空間搭建虛擬存儲(chǔ)服務(wù)器，用于分布式存儲(chǔ)和下載服務(wù)。只需較低的人員和物料成本即可完成搭建服務(wù)器和安裝服務(wù)的操作。我們?cè)O(shè)計(jì)的基于華電國(guó)際文檔服務(wù)器系統(tǒng)的分布式存儲(chǔ)功能也就達(dá)到了結(jié)合用戶自身特點(diǎn)，實(shí)現(xiàn)高效率、低成本的分布式文件系統(tǒng)的目的。

（二）落地實(shí)施

1、明確系統(tǒng)架構(gòu)

在科技創(chuàng)新的思想指導(dǎo)下，我們明確了目標(biāo)。根據(jù)分布式文件系統(tǒng)思路，并結(jié)合我們的具體實(shí)際，規(guī)劃設(shè)計(jì)了新的文檔服務(wù)器系統(tǒng)技術(shù)架構(gòu)，制定了分布式存儲(chǔ)方案。

在滿足條件的下級(jí)單位搭建分布式存儲(chǔ)服務(wù)器，并安裝應(yīng)用，提供下載服務(wù)，通過額外模塊實(shí)現(xiàn)數(shù)據(jù)的跨服務(wù)器存儲(chǔ)，實(shí)現(xiàn)異地用戶快速訪問數(shù)據(jù)的目的。

2、多方參與開發(fā)

經(jīng)過充分的技術(shù)討論，明確系統(tǒng)架構(gòu)之后。華電國(guó)際山東信息公司借助外部技術(shù)開發(fā)團(tuán)隊(duì)，以項(xiàng)目合作方式啟動(dòng)了文檔服務(wù)器系統(tǒng)優(yōu)化項(xiàng)目，在分布式存儲(chǔ)功能開發(fā)過程中，除了項(xiàng)目團(tuán)隊(duì)參與，還有試點(diǎn)單位同事的大力支持與配合。

各方分工明確，對(duì)項(xiàng)目過程中遇到的問題積極討論，深入分析，確保每項(xiàng)工作都按標(biāo)準(zhǔn)完成。此次探索過程中，雙方總結(jié)出了一套完善的開發(fā)及實(shí)施流程，為以后其他單位實(shí)施上線規(guī)避風(fēng)險(xiǎn)，提高效率留下了寶貴的經(jīng)驗(yàn)。

3、實(shí)現(xiàn)分布式存儲(chǔ)功能

經(jīng)過項(xiàng)目團(tuán)隊(duì)的努力工作及試點(diǎn)單位的支持配合，于2019年3月份上線了該系統(tǒng)，并在多家單位實(shí)施了分布式存儲(chǔ)功能，在使用文檔服務(wù)器系統(tǒng)提供的文檔接口服務(wù)的業(yè)務(wù)系統(tǒng)中，以FAM系統(tǒng)合同管理模塊為例，試點(diǎn)單位初步反饋的數(shù)據(jù)顯示效果顯著。另一方面，通過將各實(shí)施單位的文檔數(shù)據(jù)分布式存儲(chǔ)至各單位服務(wù)器，也起到了數(shù)據(jù)備份的作用，提高了系統(tǒng)安全性。

通過計(jì)算，我們可以獲得兩家單位下載速度的對(duì)比情況（見表1，表2），其中章丘公司因?yàn)楸旧砭W(wǎng)絡(luò)帶寬較高，小于30兆的文件下載速度小于1秒，對(duì)下載速度的計(jì)算影響較大，數(shù)據(jù)僅供參考。

文件越大，下載速度趨于穩(wěn)定，越接近實(shí)際下載速度，所以僅以大于20兆的文件下載速度進(jìn)行計(jì)算，可以獲得在分布式存儲(chǔ)功能實(shí)施前后兩家試點(diǎn)單位的平均下載速度分別為鄒縣電廠：0.67M/S、5.65M/S，章丘公司：1.17M/S、25.89M/S，分別提高了8倍與22倍之多，完全達(dá)到了項(xiàng)目預(yù)期的效果，能直觀的了解到系統(tǒng)性能的顯著提高。

（三）系統(tǒng)推廣

文檔服務(wù)器系統(tǒng)分布式存儲(chǔ)功能的上線大大提高了與文件相關(guān)業(yè)務(wù)的處理速度，對(duì)于提升業(yè)務(wù)系統(tǒng)的用戶滿意度，提高員工工作積極性具有很大的促進(jìn)作用。在兩家試點(diǎn)單位成功實(shí)施，并且獲得良好反響后，我們又緊鑼密鼓的開展了山東區(qū)域其他八家單位的實(shí)施工作，目前山東區(qū)域十個(gè)單位均已上線。

四、創(chuàng)新特點(diǎn)

與同類型的分布式文件系統(tǒng)相比，華電國(guó)際文檔服務(wù)器系統(tǒng)保留基本系統(tǒng)結(jié)構(gòu)，最大程度的減少對(duì)現(xiàn)行業(yè)務(wù)的影響，有針對(duì)性地吸收分布式存儲(chǔ)的核心功能，更加符合華電國(guó)際自身業(yè)務(wù)及系統(tǒng)特點(diǎn)，屬于為企業(yè)量身定制，且占用系統(tǒng)資源小，可擴(kuò)展性強(qiáng)，易于推廣實(shí)施。

該系統(tǒng)有如下特點(diǎn)：

高性能，主要以系統(tǒng)的響應(yīng)延遲來衡量；

高可靠性，重點(diǎn)指數(shù)據(jù)安全方面，數(shù)據(jù)可靠不丟失；

高安全性，保證服務(wù)器不受惡意訪問和攻擊，保護(hù)存儲(chǔ)數(shù)據(jù)不被竊?。?/p>

高擴(kuò)展性，通過擴(kuò)展集群服務(wù)器規(guī)模從而提高系統(tǒng)存儲(chǔ)容量、計(jì)算和性能。

五、收益與推廣應(yīng)用前景

目前使用文檔服務(wù)器系統(tǒng)的應(yīng)用管理平臺(tái)超過四個(gè)，細(xì)分業(yè)務(wù)模塊超過二十個(gè)。以FAM系統(tǒng)合同管理模塊為例，華電國(guó)際共有超過150個(gè)下屬單位上線，其中以合同申請(qǐng)及付款申請(qǐng)業(yè)務(wù)為例，平均每天上傳的附件超過100個(gè)，在業(yè)務(wù)流轉(zhuǎn)過程中附件的下載次數(shù)超過500次，僅在下載服務(wù)這一點(diǎn)來說，即使對(duì)系統(tǒng)性能1%的提升，所達(dá)到的效果也將會(huì)被放大數(shù)倍甚至數(shù)十倍。

實(shí)施文檔的分布式存儲(chǔ)則可以有效的提升當(dāng)前文檔服務(wù)器的系統(tǒng)性能，并給企業(yè)帶來如下改變和價(jià)值：

節(jié)約時(shí)間成本，提高人員效率：在業(yè)務(wù)系統(tǒng)中，每上傳一個(gè)附件，都會(huì)被下載10-15次，實(shí)施分布式存儲(chǔ)功能后，調(diào)用文檔下載服務(wù)的時(shí)間將縮短50%-70%，對(duì)于處理線上業(yè)務(wù)較多的人員來說，節(jié)約時(shí)間成本的效果更加顯著，能有效提升工作效率。

提高文檔存儲(chǔ)安全性：相比原來所有文檔集中存儲(chǔ)在同一臺(tái)服務(wù)器上，實(shí)施分布式存儲(chǔ)功能后，所有的分布式存儲(chǔ)服務(wù)器都相當(dāng)于一臺(tái)備份服務(wù)器，存儲(chǔ)本單位的文檔，為文檔存儲(chǔ)的安全性增加一道保障。

提升用戶體驗(yàn)，提高人員積極性： 實(shí)施分布式存儲(chǔ)后，調(diào)用下載服務(wù)將通過局域網(wǎng)在本單位服務(wù)器上進(jìn)行下載，常規(guī)帶寬下也有可能實(shí)現(xiàn)百兆文件一秒下載完成，能有效提升人員士氣和滿意度，減少長(zhǎng)時(shí)間等待所產(chǎn)生的負(fù)面情緒，從而提高了員工的工作積極性。

通過文檔服務(wù)器系統(tǒng)的上線以及分布式存儲(chǔ)功能在多家單位的實(shí)施，業(yè)務(wù)系統(tǒng)各相關(guān)模塊的性能顯著提升，從用戶的反饋來看，該功能有效的節(jié)約了員工的時(shí)間成本，提高了員工的工作效率，用戶滿意度也得到極大的改善與提升。

另外，通過前期的實(shí)施工作，我們總結(jié)出了一套完善的實(shí)施方案，便捷的實(shí)施方式、較低的成本，以及功能實(shí)施過程中對(duì)現(xiàn)行業(yè)務(wù)系統(tǒng)基本無影響的特點(diǎn)，有利于該功能的推廣與實(shí)施，尤其適用于華電國(guó)際這種擁有眾多下級(jí)單位的大型企業(yè)。

以我們對(duì)產(chǎn)品能力的了解，隨著實(shí)施單位的增加，用戶口碑的廣泛傳播，有形與無形的收益都在增加，推廣與應(yīng)用前景將會(huì)越來越好。

作者單位：華電國(guó)際山東信息管理有限公司