基于FastDFS的協(xié)同辦公系統(tǒng)應(yīng)用

何文民

（中國直升機設(shè)計研究所 江西省景德鎮(zhèn)市 333001）

協(xié)同辦公系統(tǒng)是包括公文管理、協(xié)同辦公、數(shù)據(jù)交換、信息安全的企業(yè)辦公系統(tǒng)。隨著協(xié)同辦公系統(tǒng)的深入使用，尤其是附件數(shù)據(jù)量的急劇膨脹，通過數(shù)據(jù)庫存儲附件方式給協(xié)同辦公系統(tǒng)帶了很多負面的影響，不但降低系統(tǒng)響應(yīng)速度，而且數(shù)據(jù)備份與恢復(fù)也變得更加困難，一旦系統(tǒng)發(fā)生故障，很難在短時間內(nèi)完成系統(tǒng)恢復(fù)工作。協(xié)同辦公系統(tǒng)是一套包括公文管理、協(xié)同辦公、數(shù)據(jù)交換、安全管理的企業(yè)協(xié)同辦公系統(tǒng)，其業(yè)務(wù)范圍涵蓋了收文、發(fā)文、呈批件、事務(wù)督辦、會議管理、電子數(shù)據(jù)輸入輸出、VPN 數(shù)據(jù)輸入輸出等，可大大提高我所辦公效率，降低企業(yè)運行成本。然而，隨著系統(tǒng)的深入使用與兩地協(xié)同辦公，我所也對現(xiàn)有系統(tǒng)提出了更高的要求，不但肩負著日常辦公的重要任務(wù)，還成為大文件傳輸、存儲、共享的工具。在大數(shù)據(jù)時代的背景下，用戶數(shù)據(jù)與存儲文件呈爆炸式的增長，原有數(shù)據(jù)存儲方式給系統(tǒng)帶了很多負面的影響，不但降低系統(tǒng)響應(yīng)速度，而且數(shù)據(jù)備份與恢復(fù)也變得更加困難，一旦系統(tǒng)發(fā)生故障，很難在短時間內(nèi)完成系統(tǒng)恢復(fù)工作。

為了使協(xié)同辦公系統(tǒng)高效穩(wěn)定運行、異地辦公、系統(tǒng)容災(zāi)備份的可操作性和可行性，必須實現(xiàn)系統(tǒng)數(shù)據(jù)分離和異地存儲。為了解決系統(tǒng)數(shù)據(jù)分離和異地存儲問題，本文結(jié)合系統(tǒng)工程和IT 架構(gòu)等方面的思想方法，對系統(tǒng)進行重新構(gòu)建，提出通過FastDFS 對系統(tǒng)中附件進行存儲管理，更好的解決系統(tǒng)數(shù)據(jù)分離和異地存儲，加快系統(tǒng)訪問。

1 相關(guān)工作

1.1 業(yè)務(wù)分析

協(xié)同辦公系統(tǒng)是基于BS 框架，并與BPM 流程關(guān)聯(lián)，數(shù)據(jù)存儲是通過Oracle 數(shù)據(jù)庫進行存儲與訪問。系統(tǒng)架構(gòu)是AD 認證層、業(yè)務(wù)功能層和系統(tǒng)支持層由三層組成。通過AD 域用戶統(tǒng)一身份登入，業(yè)務(wù)功能主要有公文管理、協(xié)調(diào)辦公、數(shù)據(jù)交換與安全管理等功能模塊，其中業(yè)務(wù)都與BPM 流程關(guān)聯(lián)，系統(tǒng)在J2EE 平臺進行實現(xiàn)。但是隨業(yè)務(wù)表單與附件數(shù)據(jù)日益增加，新增業(yè)務(wù)流程不斷增加，特別是業(yè)務(wù)表單附件，通過數(shù)據(jù)庫BLOB 類型數(shù)據(jù)進行存儲，導(dǎo)致系統(tǒng)數(shù)據(jù)庫中數(shù)據(jù)急劇增大，每周都要不定時對系統(tǒng)數(shù)據(jù)庫進行擴容，同時還造成用戶訪問效率變慢，對系統(tǒng)數(shù)據(jù)庫備份十分困難。

隨著我所異地辦公，對系統(tǒng)進行訪問，訪問效率十分慢。常用發(fā)文管理與收文管理進行流程審批很慢，數(shù)據(jù)輸出表單在上傳附件時，時常無法上傳。通過對現(xiàn)有系統(tǒng)架構(gòu)與使用場景的分析，發(fā)現(xiàn)系統(tǒng)附件是通過oracle 數(shù)據(jù)庫Bolg 進行存儲，導(dǎo)致oracle 數(shù)據(jù)庫存儲空間不足和Bolg 空間的浪費，隨著附件數(shù)量增加，文件的檢索速度會減慢。因此，必須對系統(tǒng)架構(gòu)和服務(wù)部署進行改造。將表單附件必須從系統(tǒng)數(shù)據(jù)庫分離，減輕系統(tǒng)對數(shù)據(jù)庫的訪問；兩地對服務(wù)訪問進行分布式部署，減少并發(fā)量，提高訪問效率。

1.2 FastDFS文件存儲

圖1：系統(tǒng)架構(gòu)

圖2：附件上傳時序圖

Hadoop 計算平臺被廣泛的用來處理海量的大數(shù)據(jù)，Hadoop 分布式文件系統(tǒng)是為處理流式訪問大文件提出[1]的，在處理大量小文件上，效率很低，會導(dǎo)致內(nèi)存空間不足和Block內(nèi)存空間的大量浪費，并隨著小文件數(shù)量的增加，文件的檢索速度會受影響；FastDFS 是一個開源的輕量級分布式文件系統(tǒng)[2]，與其它應(yīng)用級的分布式文件系統(tǒng)相比，它是一款量級輕的軟件，能滿足大量用戶的并發(fā)訪問與存儲，在客戶端發(fā)送存取文件請求，跟蹤服務(wù)器（tracker）進行調(diào)度，存儲服務(wù)器(storage)進行文件存儲。它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。文件服務(wù)器中存儲的文件都經(jīng)過了AES 加密處理，保證文件的安全性，一旦發(fā)生文件被竊取的情況，也能防止文件中的信息泄露。

表1：附件數(shù)據(jù)表的結(jié)構(gòu)

圖3：服務(wù)兩地部署

2 總體設(shè)計

2.1 系統(tǒng)架構(gòu)

鑒于對現(xiàn)有系統(tǒng)分析與FastDFS 存儲特點，結(jié)合分布式系統(tǒng)的架構(gòu)模型，可以將系統(tǒng)架構(gòu)改造為基于FastDFS 分布式存儲系統(tǒng)架構(gòu)，如圖1 所示。

主要由四部分組成，從上至下分別是：AD 認證層、業(yè)務(wù)功能層、系統(tǒng)支持層和數(shù)據(jù)存儲層。AD 認證層是基于B/S 模式，通過域帳號進行AD 域認證登入系統(tǒng)，系統(tǒng)通過Web 瀏覽器展現(xiàn)系統(tǒng)各個功能。業(yè)務(wù)功能層主要是由各個功能模塊所組成，來實現(xiàn)系統(tǒng)主要功能，其中主要有公文管理、協(xié)調(diào)辦公、數(shù)據(jù)交換與安全管理等功能模塊，收發(fā)文管理、呈批件、事務(wù)督辦、會議管理和數(shù)據(jù)輸入輸出子模塊業(yè)務(wù)都與BPM 流程關(guān)聯(lián)，進行相應(yīng)流程審批；安全管理主要進行日志與用戶安全監(jiān)控管理，實現(xiàn)系統(tǒng)進行三員管理。系統(tǒng)支撐層主要支撐系統(tǒng)正常運行，系統(tǒng)是在J2EE 平臺下實現(xiàn)，由jdk 基礎(chǔ)開發(fā)包和新增FastDfsUtil 插件組成，其中FastDfsUtil 對FastDFS 進行文件上傳、下載與刪除。數(shù)據(jù)存儲層主要是對系統(tǒng)數(shù)據(jù)和附件進行存儲，主要由Oracle 數(shù)據(jù)庫和FastDFS 分布式文件服務(wù)器組成，其中Oracle 數(shù)據(jù)庫存儲系統(tǒng)表單、流程和系統(tǒng)數(shù)據(jù)，而FastDFS 分布式文件服務(wù)器主要存儲系統(tǒng)附件。

2.2 附件訪問運行機制

結(jié)合改進系統(tǒng)架構(gòu)，對系統(tǒng)的異地附件上傳與下載運行機制進行分析與設(shè)計，storage 服務(wù)器將定時向tracker 上傳狀態(tài)信息，如圖2 中第1 步與第2 步。

當用戶要上傳附件時，根據(jù)用戶所在地址，如A 地用戶上傳附件，過程如下所述：首先，用戶通過Web 瀏覽器向應(yīng)用服務(wù)器發(fā)送上傳附件，應(yīng)用服務(wù)器向tracker 服務(wù)器發(fā)送上傳請求；其次，tracker 服務(wù)器根據(jù)訪問地址進行判斷是A 地，獲取部署在A 地可用的storage 服務(wù)器，并向應(yīng)用服務(wù)器返回storage 服務(wù)器的ip 和port；然后，應(yīng)用服務(wù)器根據(jù)storage 服務(wù)器的ip 和port 向相應(yīng)的storage 服務(wù)器上傳附件，storage 服務(wù)器會生成fid 和存儲附件，并向應(yīng)用服務(wù)器返回fid；最后，應(yīng)用服務(wù)器把fid 存儲到Oracle 數(shù)據(jù)庫中，如圖2中第3步到第11步所示。當在B地用戶進行上傳附件時，同理，如圖2 中第12 步到第20 步所示。

生成的文件標識符fid 信息主要由四部分組成，即：分組的組名，磁盤路徑，兩級目錄和HASH 算法生成新的文件名稱。具體形式如下所示，

3 系統(tǒng)設(shè)計與實現(xiàn)

3.1 服務(wù)器部署設(shè)計

根據(jù)系統(tǒng)架構(gòu)與附件訪問分析，由于A 地與B 地局域網(wǎng)連接是通過專用網(wǎng)互聯(lián)，公司總部是在A 地，對系統(tǒng)訪問量也比較大，因此，將應(yīng)用服務(wù)器和數(shù)據(jù)庫部署在A 地。分別在兩地都部署一套文件服務(wù)器，便于存儲空間擴容，兩地都部署相應(yīng)的磁盤陣列，系統(tǒng)相關(guān)服務(wù)器部署如圖3 所示。在文件服務(wù)器A 上安裝tracker服務(wù)和storage 服務(wù)，文件服務(wù)器B 上安裝storage 服務(wù)。在應(yīng)用服務(wù)器設(shè)置兩個secretkey，分別為secretkeyA 與secretkeyB，便于應(yīng)用服務(wù)器根據(jù)上傳地址，判斷使用A 地的存儲服務(wù)器，還是使用B地的存儲服務(wù)器上傳附件。

3.2 附件上傳下載實現(xiàn)

根據(jù)系統(tǒng)架構(gòu)和服務(wù)器兩地部署情況，要實現(xiàn)附件上傳下載功能，如下所述：首先，在文件服務(wù)器A安裝tracker服務(wù)和storage服務(wù)，文件服務(wù)器B 安裝storage 服務(wù)；其次，在應(yīng)用服務(wù)器上實現(xiàn)附件上傳、下載功能與數(shù)據(jù)庫附件存儲結(jié)構(gòu)。

附件在系統(tǒng)數(shù)據(jù)存儲結(jié)構(gòu)如，表1 所示，其中根據(jù)附件上傳地址，來確定是在A 地還是B 地，來確定存儲到文件服務(wù)器A，還是文件服務(wù)器B；FID 是FastDFS 文件服務(wù)器上傳成功后，返回附件在文件服務(wù)物理地址與加密后文件名。

4 結(jié)論

本文通過將原有的系統(tǒng)架構(gòu)改造為基于FastDFS 分布式存儲系統(tǒng)架構(gòu)，在兩點地部署FastDFS 文件服務(wù)器與實現(xiàn)附件上傳下載等功能，解決系統(tǒng)數(shù)據(jù)分離和異地存儲，不僅加快系統(tǒng)響應(yīng)速度，保證系統(tǒng)穩(wěn)定運行，而且數(shù)據(jù)備份與恢復(fù)也變得更加便捷。即使在系統(tǒng)訪問高峰期，兩地人員在系統(tǒng)中上傳下載也十分方便。系統(tǒng)出現(xiàn)故障次數(shù)也減少很多，運維管理人員也不需要時不時對系統(tǒng)數(shù)據(jù)庫進行存儲空間擴容。