搭建網(wǎng)絡(luò)數(shù)據(jù)備份系統(tǒng)

引言：在信息化推進(jìn)的過程中，各種業(yè)務(wù)系統(tǒng)和應(yīng)用遍地開花，產(chǎn)生大量業(yè)務(wù)的數(shù)據(jù)。與此同時(shí)，虛擬化技術(shù)的應(yīng)用推廣，把各個(gè)業(yè)務(wù)系統(tǒng)的應(yīng)用和數(shù)據(jù)分離到獨(dú)立的服務(wù)器上，以方便管理升級(jí)維護(hù)，充分利用硬件資源。這必然導(dǎo)致網(wǎng)絡(luò)中心的數(shù)據(jù)備份工作增加許多。那么，要如何應(yīng)對(duì)越來越多的數(shù)據(jù)備份工作呢？本文將就這一問題深入探討一番。

數(shù)據(jù)備份現(xiàn)狀

在信息系統(tǒng)安全等級(jí)保護(hù)工作中，圍繞計(jì)算機(jī)系統(tǒng)所采取的許多安全保護(hù)措施，都是為了保證系統(tǒng)數(shù)據(jù)在應(yīng)用、存儲(chǔ)、傳輸和處理等過程中的安全性，以實(shí)現(xiàn)數(shù)據(jù)的機(jī)密性、完整性、可控性和不可否認(rèn)性，同時(shí)可以進(jìn)行數(shù)據(jù)備份和恢復(fù)。本文主要關(guān)注其中的數(shù)據(jù)備份工作。

數(shù)據(jù)安全威脅

數(shù)據(jù)安全威脅主要來自以下幾種形式：

1.數(shù)據(jù)存儲(chǔ)設(shè)備故障。這是最普通的情況，隨著數(shù)據(jù)存儲(chǔ)設(shè)備性能的提高與改進(jìn)，這種故障會(huì)進(jìn)一步減少。

2.數(shù)據(jù)存儲(chǔ)介質(zhì)毀壞。這里包括機(jī)械性毀損和電磁性毀損，包括人為因素造成的損壞、意外事件造成的損壞和介質(zhì)壽命因素造成的損壞等。通過使用冗余設(shè)備，這種故障能得到有效抑制。3.各種天災(zāi)造成的損壞。包括地震、海嘯和山崩等地質(zhì)災(zāi)害，以及風(fēng)災(zāi)、水災(zāi)、雪災(zāi)、火災(zāi)、低溫和高溫等災(zāi)害造成的數(shù)據(jù)系統(tǒng)損壞。

4.衍生災(zāi)害。天災(zāi)人禍都可能引發(fā)衍生性災(zāi)害，可能造成電力系統(tǒng)，天、地通信系統(tǒng)等損壞，進(jìn)而導(dǎo)致數(shù)據(jù)系統(tǒng)損壞。

5.人為無意因素造成對(duì)數(shù)據(jù)誤操作引發(fā)的數(shù)據(jù)損失，甚至是數(shù)據(jù)災(zāi)難。

6.人為有意因素造成的數(shù)據(jù)損壞。例如黑客、病毒和惡意程序攻擊等有意因素，都會(huì)對(duì)數(shù)據(jù)造成破壞。

為此，為了保障數(shù)據(jù)安全，我們必須根據(jù)數(shù)據(jù)的重要性和本單位的實(shí)際情況，采取相應(yīng)的數(shù)據(jù)備份策略和備份技術(shù)來保障數(shù)據(jù)的安全可用。

數(shù)據(jù)備份策略

差異備份策略在避免了完全備份和增量備份兩種策略缺陷的同時(shí)，又具有它們的所有優(yōu)點(diǎn)。

數(shù)據(jù)備份技術(shù)

數(shù)據(jù)備份技術(shù)主要有雙機(jī)熱備、數(shù)據(jù)冷備份、數(shù)據(jù)異地備份等。

我們單位目前主要采取的數(shù)據(jù)備份策略是異地磁盤每周全份、每天增備，而數(shù)據(jù)備份方式主要有：

1.采購(gòu)有授權(quán)備份節(jié)點(diǎn)數(shù)限制的備份軟件對(duì)重要的幾臺(tái)服務(wù)器數(shù)據(jù)進(jìn)行備份。

2.通過創(chuàng)建快照或者克隆對(duì)虛擬機(jī)進(jìn)行備份。

3.通過FTP方式進(jìn)行網(wǎng)絡(luò)備份。

4.通過移動(dòng)硬盤的方式進(jìn)行離線備份。

現(xiàn)有的手工備份工作繁瑣，查漏麻煩，購(gòu)買商業(yè)軟件的授權(quán)節(jié)點(diǎn)數(shù)又面臨資金問題。隨著需要備份的數(shù)據(jù)越來越多，是繼續(xù)購(gòu)買授權(quán)節(jié)點(diǎn)數(shù)還是繼續(xù)手工備份呢？

我們?cè)诖诉^程中，一直在考慮其他性價(jià)比高的解決方案。比如，是否可以通過開源軟件進(jìn)行備份，并把它集成進(jìn)我們最近構(gòu)建的開源網(wǎng)絡(luò)運(yùn)維統(tǒng)一平臺(tái)，實(shí)現(xiàn)與其他網(wǎng)絡(luò)管理工作在同一個(gè)平臺(tái)管理，避免在多個(gè)平臺(tái)進(jìn)行管理或是手工操作而導(dǎo)致的管理不便。

Rsync遠(yuǎn)程同步工具簡(jiǎn)介

Rsync是類UNIX系統(tǒng)下的數(shù)據(jù)鏡像備份工具——Remote sync（遠(yuǎn)程同步）。它是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可通過LAN 或互聯(lián)網(wǎng)快速同步多臺(tái)主機(jī)間的文件。

Rsync本來是用以取代 rcp的一個(gè)工具，它當(dāng)前由 rsync.samba.org 維護(hù)。Rsync 使用所謂的”Rsync演算法”來使本地和遠(yuǎn)程兩個(gè)主機(jī)之間的文件達(dá)到同步，這個(gè)算法只傳送兩個(gè)文件的不同部分，而不是每次都整份傳送，因此速度相當(dāng)快。

1.Rsync特性

（1）鏡像：可以鏡像保存整個(gè)目錄樹和文件系統(tǒng)，可以很容易做到保持原來文件的權(quán)限、時(shí)間、軟硬鏈接等等。

（2）快速：第一次同步時(shí)，Rsync 會(huì)復(fù)制全部?jī)?nèi)容，但在下一次只傳輸修改過的文件。

（3）省帶寬：Rsync在傳輸數(shù)據(jù)的過程中可以實(shí)行壓縮及解壓縮操作，因此可以使用更少的帶寬。

（4）安全：可以使用scp、ssh等方式來傳輸文件，當(dāng)然也可以通過直接的socket連接，支持匿名傳輸，以方便進(jìn)行網(wǎng)站鏡象。

（5）特權(quán)：安裝和執(zhí)行Rsync 無需特別的權(quán)限。

2.Rsync同步算法

Rsync之所以同步文件的速度相當(dāng)快，是因?yàn)椤癛sync同步算法”能在很短的時(shí)間內(nèi)計(jì)算出需要備份的數(shù)據(jù)，關(guān)于Rsync的同步算法描述如下：

假定A與B是在1號(hào)和2號(hào)兩臺(tái)計(jì)算機(jī)之間同步相似的文件，其中1號(hào)對(duì)文件A擁有訪問權(quán)，2號(hào)對(duì)文件B擁有訪問權(quán)。并且假定主機(jī)1號(hào)與2號(hào)之間的網(wǎng)絡(luò)帶寬很小。那么Rsync算法將通過下面的五個(gè)步驟來完成：

（1) 2號(hào)將文件B分割成一組不重疊的固定大小為S字節(jié)的數(shù)據(jù)塊，最后一塊可能會(huì)比S?。?/p>

（2) 2號(hào)對(duì)每一個(gè)分割好的數(shù)據(jù)塊執(zhí)行兩種校驗(yàn)：一種是32位的滾動(dòng)弱校驗(yàn)，另一種是128位的MD4強(qiáng)校驗(yàn)；

（3) 2號(hào)將這些校驗(yàn)結(jié)果發(fā)給1號(hào)；

（4) 1號(hào)通過搜索文件A的所有大小為S的數(shù)據(jù)塊(偏移量可以任選，不一定非要是S的倍數(shù))，來尋找與文件B的某一塊有著相同的弱校驗(yàn)碼和強(qiáng)校驗(yàn)碼的數(shù)據(jù)塊。這項(xiàng)工作可以借助滾動(dòng)校驗(yàn)的特性很快完成；

（5) 1號(hào)發(fā)給2號(hào)一串指令來生成文件A在2號(hào)上的備份。這里的每一條指令要么是對(duì)文件B經(jīng)擁有某一個(gè)數(shù)據(jù)塊而不需重傳的證明，要么是一個(gè)數(shù)據(jù)塊，這個(gè)數(shù)據(jù)塊肯定是沒有與文件B的任何一個(gè)數(shù)據(jù)塊匹配上的。

必須同時(shí)在備份源服務(wù)器A和備份目標(biāo)服務(wù)器B上都安裝Rsync，其中服務(wù)器A上是以服務(wù)器模式運(yùn)行Rsync，而服務(wù)器B上則以客戶端方式運(yùn)行Rsync。這樣在服務(wù)器A上運(yùn)行Rsync守護(hù)進(jìn)程，在備份服務(wù)器B上定時(shí)運(yùn)行客戶程序來備份源服務(wù)器A上需要備份的內(nèi)容。

統(tǒng)一網(wǎng)絡(luò)數(shù)據(jù)備份系統(tǒng)建設(shè)方案

根據(jù)學(xué)校的數(shù)據(jù)備份的實(shí)際需求和開源工具的比較，我們選擇比較成熟的Rsync軟件，在實(shí)現(xiàn)數(shù)據(jù)同步的同時(shí)，把同步日志發(fā)送到以Cacti為基礎(chǔ)搭建的統(tǒng)一網(wǎng)管平臺(tái)的Syslog模塊里進(jìn)行統(tǒng)一管理，并結(jié)合統(tǒng)一網(wǎng)管平臺(tái)的Threshold模塊實(shí)現(xiàn)異常報(bào)警，構(gòu)建統(tǒng)一網(wǎng)絡(luò)數(shù)據(jù)備份系統(tǒng)，具體建設(shè)方案如下：在Linux下 用 Rsync+Syslog，再 用cwRsync+NTsyslog。

1.基本備份功能

基本備份功能通過免費(fèi)軟件Rsync實(shí)現(xiàn)，Linux和Windows操作系統(tǒng)均有相應(yīng)的Rsync軟件。

（1）安裝Rsync軟件

Centos下安裝Rsync的命令為yum install rsync。

Window s下 安裝 cw Rsync則 是下載經(jīng)典免費(fèi)版本cwRsyncServer-v4.1.0，按默認(rèn)方式安裝即可。

（2）配置服務(wù)器端

Centos下配置Rsync的命令為vim /etc/rsyncd.conf，Windows下的配置文件路徑則為“C:Program Files (x86)ICW sync.conf”。

下面以Windows下的配置文件為例，Centos下類之：

##全局參數(shù)開始##

use chroot = false #如果“use chroot”指定為true，那么Rsync在傳輸文件前，首先chroot到path參數(shù)所指定的目錄下。這樣做的原因是實(shí)現(xiàn)額外的安全防護(hù)，但是缺點(diǎn)是需要root權(quán)限，并且不能備份指向外部的符號(hào)連接所指向的目錄文件，默認(rèn)情況下chroot的值為true。

strict modes = false #該選項(xiàng)指定是否監(jiān)測(cè)密碼文件的權(quán)限，如果該選項(xiàng)值為true，那么密碼文件只能被rsync服務(wù)器運(yùn)行身份的用戶訪問，其他任何用戶不能訪問該文件，默認(rèn)值為true。

hostsallow =192.168.1.100 #指該選項(xiàng)指定哪些IP的客戶允許連接該模塊?？蛻裟Ｊ蕉x可以是以下形式：?jiǎn)蝹€(gè)IP地址，例如：192.167.0.1；整個(gè)網(wǎng)段，例如 ：192.168.0.0/24，也可以是192.168.0.0 /255.255.255.0。

多個(gè)IP或網(wǎng)段需要用空格隔開，“*”則表示所有，默認(rèn)是允許所有主機(jī)連接。

hosts deny = * #指定不允許連接Rsync服務(wù)器的機(jī)器，可以使用hosts allow的定義方式來進(jìn)行定義。默認(rèn)是沒有hosts deny定義。

log file = rsyncd.log#指定Rsync的日志文件，而不把日志發(fā)送給syslog

#為了集中管理日志，上行需注釋掉，以便log不存在本地而是發(fā)到syslog

pid file = rsyncd.pid#指定Rsync的pid文件

port = 873 # 指定服務(wù)運(yùn)行端口，默認(rèn)是873

uid = 0 #不指定用戶id，不加這一行將無法使用任何賬戶

gid = 0 #不指定用戶組id

max connections = 10#指定該模塊的最大并發(fā)連接數(shù)量以保護(hù)服務(wù)器，超過限制的連接請(qǐng)求被告知隨后再試。默認(rèn)值是0，也就是沒有限制。

##全局參數(shù)結(jié)束##

#以下為模塊參數(shù)，我們可以通過根據(jù)自己的需要，來指定多個(gè)模塊

read only = false #該選項(xiàng)設(shè)定是否允許客戶上載文件，如果為true那么所有的上載請(qǐng)求都會(huì)失敗，如果為false并且服務(wù)器目錄讀寫權(quán)限允許那么上載是允許的，默認(rèn)值為true。

transfer logging = yes#使Rsync服務(wù)器使用ftp格式的文件來記錄下載和上載操作在自己?jiǎn)为?dú)的日志中

lock file = rsyncd.lock #指定支持max connections參數(shù)的鎖文件

#auth users = servicescada #認(rèn)證用戶名

#secrets file = rsync.password #認(rèn)證用戶的用戶名和密碼存儲(chǔ)位置

##模塊test參數(shù)結(jié)束

2.定期執(zhí)行功能

定期執(zhí)行功能，通過操作系統(tǒng)的計(jì)劃任務(wù)實(shí)現(xiàn)。

（1）Centos下 通 過crontab命令加入操作系統(tǒng)的計(jì)劃任務(wù)

此計(jì)劃任務(wù)為每天凌晨1:00以root用戶和指定的/etc/rsyncd.password文件內(nèi)保存的密碼登錄192.168.1.1，把 192.168.1.1的test模塊里的文件夾同步到本地的/home/backup/192.168.1.1/目錄，同步參數(shù)為azu（其中-a, --archive歸 檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬 性，等 于 -rlptgoD；-z,--compress對(duì)備份的文件在傳輸時(shí)進(jìn)行壓縮處理；-u, --update僅僅進(jìn)行更新，也就是跳過所有已經(jīng)存在于DST，并且文件時(shí)間晚于要備份的文件，不覆蓋更新的文件）。

我們亦可以通過寫shell腳本來實(shí)現(xiàn)豐富功能，比如實(shí)現(xiàn)每7天全備、每天差備，調(diào)用系統(tǒng)的mailx軟件在同步異?；蚧謴?fù)時(shí)發(fā)送郵件通知。

（2）Windows下通過系統(tǒng)控制面板里的計(jì)劃任務(wù)來實(shí)現(xiàn)。

建立bat文件內(nèi)容如下：

然后在控制面板的計(jì)劃任務(wù)里面添加相應(yīng)的任務(wù)即可。Windows下亦可以通過bat腳本調(diào)用vb script來實(shí)現(xiàn)以上Centos里用shell來實(shí)現(xiàn)的豐富功能。

3.服務(wù)監(jiān)控功能

服務(wù)器在安裝好Rsync軟件后，可能在后續(xù)的系統(tǒng)更新或是安裝其他軟件時(shí)破壞了Rsync服務(wù)而導(dǎo)致無法同步。那么我們能不能像監(jiān)控網(wǎng)頁、數(shù)據(jù)庫(kù)服務(wù)一樣來對(duì)此服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控呢？

我們可以選擇Windows下的hostmonitor、whats up等服務(wù)監(jiān)控軟件進(jìn)行監(jiān)控，而筆者此處是選擇了已經(jīng)集成在網(wǎng)絡(luò)運(yùn)維統(tǒng)一平臺(tái)里的Nagios模塊對(duì)此服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控，并在服務(wù)異常時(shí)調(diào)用Threshold發(fā)送郵件報(bào)警。

4.收集日志功能

我們?cè)谇懊娴腞sync配置文件rsync.conf中提到需要注釋log file = rsyncd.log，以便Rsync軟件把日志作為系統(tǒng)日志syslog處理。

在UNIX類操作系統(tǒng)上，syslog廣泛應(yīng)用于系統(tǒng)日志。syslog日志消息既可以記錄在本地文件中，也可以通過網(wǎng)絡(luò)發(fā)送到接收syslog的服務(wù)器。接收syslog的服務(wù)器可以對(duì)多個(gè)設(shè)備的syslog消息進(jìn)行統(tǒng)一的存儲(chǔ)，或者解析其中的內(nèi)容做相應(yīng)的處理。常見的應(yīng)用場(chǎng)景是網(wǎng)絡(luò)管理工具、安全管理系統(tǒng)、日志審計(jì)系統(tǒng)。

修改備份源服務(wù)器的/etc/syslog.conf文 件，在有關(guān)配置行的操作動(dòng)作部分用一個(gè)“@”字符+日志服務(wù)器IP。如*.*@192.168.1.200

在Windows操作系統(tǒng)下沒有自帶syslog客戶端軟件，但可以通過安裝NTSyslog軟件來實(shí)現(xiàn)把系統(tǒng)日志轉(zhuǎn)發(fā)到指定的日志服務(wù)器。

筆者的日志服務(wù)器為用Cacti搭建的網(wǎng)絡(luò)運(yùn)維統(tǒng)一平臺(tái)里的服務(wù)器，通過其中的Syslog模塊來查看相應(yīng)的服務(wù)器、防火墻、交換機(jī)、IPS等日志，此處特別針對(duì)Rsync的日志做了二次開發(fā)，以方便在Syslog模塊下查看。

5.實(shí)時(shí)同步功能

與傳統(tǒng)的cp、tar備份方式相比，Rsync具有安全性高、備份迅速、支持增量備份等優(yōu)點(diǎn)，通過Rsync可以解決對(duì)實(shí)時(shí)性要求不高的數(shù)據(jù)備份需求，例如定期的備份文件服務(wù)器數(shù)據(jù)到遠(yuǎn)端服務(wù)器，對(duì)本地磁盤定期做數(shù)據(jù)鏡像等。

隨著應(yīng)用系統(tǒng)規(guī)模的不斷擴(kuò)大，對(duì)數(shù)據(jù)的安全性和可靠性也提出了更高的要求，Rsync在高端業(yè)務(wù)系統(tǒng)中也逐漸暴露出了很多不足。

首先，Rsync同步數(shù)據(jù)時(shí)，需要掃描所有文件后進(jìn)行比對(duì)，進(jìn)行差量傳輸。如果文件數(shù)量達(dá)到了百萬甚至千萬量級(jí)，掃描所有文件將是非常耗時(shí)的，而且正在發(fā)生變化的往往是其中很少的一部分，這是非常低效的方式。

其次，Rsync不能實(shí)時(shí)的去監(jiān)測(cè)、同步數(shù)據(jù)，雖然它可以通過Linux守護(hù)進(jìn)程的方式進(jìn)行觸發(fā)同步，但是兩次觸發(fā)動(dòng)作一定會(huì)有時(shí)間差，這樣就會(huì)導(dǎo)致服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，而無法在應(yīng)用故障時(shí)完全的恢復(fù)數(shù)據(jù)?；谝陨显颍琑sync+Inotify組合出現(xiàn)了！

Inotify是一種強(qiáng)大的、細(xì)粒度的、異步的文件系統(tǒng)事件監(jiān)控機(jī)制，Linux內(nèi)核從2.6.13起，加入了Inotify支持，通過Inotify可以監(jiān)控文件系統(tǒng)中添加、刪除，修改、移動(dòng)等各種細(xì)微事件，利用這個(gè)內(nèi)核接口，第三方軟件就可以監(jiān)控文件系統(tǒng)下文件的各種變化情況，而Inotify-tools就是這樣的一個(gè)第三方軟件。

Rsync可以實(shí)現(xiàn)觸發(fā)式的文件同步，但是通過crontab守護(hù)進(jìn)程方式進(jìn)行觸發(fā)，同步數(shù)據(jù)和實(shí)際數(shù)據(jù)會(huì)有差異，而Inotify可以監(jiān)控文件系統(tǒng)的各種變化，當(dāng)文件有任何變動(dòng)時(shí)，就觸發(fā)Rsync同步，這樣剛好解決了同步數(shù)據(jù)的實(shí)時(shí)性問題。

所以，如果業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)同步的實(shí)時(shí)性要求很高，要求實(shí)現(xiàn)正式服務(wù)器一旦出現(xiàn)故障，則備份服務(wù)器可以馬上上線這樣的類似容災(zāi)系統(tǒng)的功能的話，我們可以通過先克隆虛擬機(jī)到異地，再在正式服務(wù)器上安裝Inotify（Windows下也支持管道符，可以通過Inotifywait再結(jié)合自己寫腳本來實(shí)現(xiàn)）。

結(jié)束語

通過采用多個(gè)免費(fèi)工具的整合，實(shí)現(xiàn)統(tǒng)一網(wǎng)絡(luò)數(shù)據(jù)備份系統(tǒng)，把日志和服務(wù)監(jiān)控集成進(jìn)網(wǎng)絡(luò)運(yùn)維統(tǒng)一平臺(tái)進(jìn)行管理。下一步工作是把數(shù)據(jù)備份作業(yè)的配置和最近一次運(yùn)行的狀態(tài)通過圖形化來查看管理，以提高日常工作效率。