應(yīng)急上演生死時(shí)速

陳翔

“8·12”天津港爆炸事故已經(jīng)過去了4個(gè)多月，距離中心爆炸點(diǎn)僅1.5公里的騰訊亞洲最大數(shù)據(jù)中心到底受損情況如何，又是如何度過這一劫的？經(jīng)歷了迄今為止唯一一例實(shí)際發(fā)生的國內(nèi)超大型數(shù)據(jù)中心遇險(xiǎn)事件，騰訊天津數(shù)據(jù)中心的應(yīng)急經(jīng)驗(yàn)和獲得的啟示是否值得數(shù)據(jù)中心行業(yè)的同仁們借鑒呢？

“8·12”天津港爆炸事故已經(jīng)過去了4個(gè)多月，距離中心爆炸點(diǎn)僅1.5公里的騰訊亞洲最大數(shù)據(jù)中心到底受損情況如何，又是如何度過這一劫的？

當(dāng)時(shí)，騰訊的官方說法只有寥寥幾句，比如“部分爆炸氣浪沖擊到了數(shù)據(jù)中心建筑主體”，“發(fā)現(xiàn)個(gè)別故障點(diǎn)，影響范圍較小”。

不過，在不久前舉行的第二屆騰訊云+數(shù)據(jù)中心開放日上，來自騰訊云的專家首度曝光了天津數(shù)據(jù)中心在爆炸發(fā)生時(shí)現(xiàn)場(chǎng)攝像頭拍攝的視頻，僅僅22秒?yún)s極其震撼。此外，專家也詳細(xì)介紹了數(shù)據(jù)中心的受損情況，以及現(xiàn)場(chǎng)應(yīng)急處理措施。

在數(shù)據(jù)越來越重要的今天，各個(gè)數(shù)據(jù)中心為確保萬無一失，紛紛制定應(yīng)急預(yù)案、災(zāi)備方案，并進(jìn)行演練。不過，恐怕國內(nèi)真正實(shí)操的也只有天津港爆炸事故周邊的數(shù)據(jù)中心。目前，騰訊天津數(shù)據(jù)中心是國內(nèi)唯一一家分享這一災(zāi)難應(yīng)急實(shí)例的數(shù)據(jù)中心。

受損情況大曝光

記者去年曾經(jīng)參觀過騰訊天津數(shù)據(jù)中心，這是騰訊在亞洲最大的數(shù)據(jù)中心，占地8萬平方米，服務(wù)器超過20萬臺(tái)。這一超大型數(shù)據(jù)中心在“8·12”當(dāng)天扛過了這場(chǎng)災(zāi)難，所有業(yè)務(wù)運(yùn)行穩(wěn)定，難道是僥幸逃過一劫？要知道它距離中心爆炸點(diǎn)僅僅1.5公里。

騰訊IDC平臺(tái)部天津數(shù)據(jù)中心經(jīng)理韓建軍完整分享了天津港爆炸事故的經(jīng)歷。他首次曝光了一組照片，從中可以看到數(shù)據(jù)中心當(dāng)時(shí)的受損情況，包括嚴(yán)重變形的大門、整體墻體的垮塌、二層IT機(jī)房和三層IT機(jī)房的損毀情況。另外，他首次曝光了當(dāng)時(shí)的攝像頭視頻記錄，主要涉及冷機(jī)房、值班室和IT機(jī)房。

那么，8·12天津港爆炸事故帶給騰訊天津數(shù)據(jù)中心具體什么損傷呢？第一，整個(gè)冷機(jī)系統(tǒng)宕機(jī);第二，冷凍水管發(fā)生爆管;第三，地下水發(fā)生嚴(yán)重水浸。

現(xiàn)場(chǎng)工程師經(jīng)過20分鐘的緊急排查，40分鐘之內(nèi)做出歸納總結(jié)，發(fā)現(xiàn)八大主要故障，包括50%單套冷機(jī)宕機(jī)、三號(hào)樓大量的冷凍水管漏水、BA系統(tǒng)失效、智能系統(tǒng)基本癱瘓、柴發(fā)系統(tǒng)受損、IT機(jī)房受損等。

應(yīng)急上演生死時(shí)速

面對(duì)這種緊急情況，專業(yè)工程師需要做什么？

據(jù)韓建軍介紹，騰訊平時(shí)有多套應(yīng)急預(yù)案，對(duì)應(yīng)不同的故障采用對(duì)應(yīng)的應(yīng)急演習(xí)預(yù)案：比如，空調(diào)漏水緊急采用手動(dòng)止動(dòng)閥門，BA系統(tǒng)失效采用手動(dòng)方式恢復(fù)系統(tǒng)正常運(yùn)行……80分鐘之內(nèi)，系統(tǒng)恢復(fù)正常。

他還分享了一組數(shù)據(jù)，重新回顧了從事件發(fā)生到處理的整個(gè)過程，在經(jīng)歷了爆炸事故發(fā)生后的126分鐘內(nèi)，對(duì)于數(shù)據(jù)中心的業(yè)務(wù)可謂“生死時(shí)速”。通常騰

訊天津數(shù)據(jù)中心正常巡檢都要90分鐘，這次只用126分鐘就進(jìn)行了所有的故障處理，使得系統(tǒng)正常運(yùn)行。

90分鐘后，騰訊才得到爆炸事故的確切回應(yīng)，了解到是距離較近的危險(xiǎn)品倉庫發(fā)生爆炸，同時(shí)啟動(dòng)了對(duì)應(yīng)的地震應(yīng)急預(yù)案。126分鐘以后，他們對(duì)整個(gè)園區(qū)內(nèi)所有受損的危險(xiǎn)區(qū)域做了完整的標(biāo)識(shí)，現(xiàn)場(chǎng)秩序基本恢復(fù)。

天津港爆炸事故既是對(duì)騰訊天津數(shù)據(jù)中心團(tuán)隊(duì)的考驗(yàn)，也帶來了許多啟示。首先，作為一個(gè)運(yùn)營團(tuán)隊(duì)，必須有一套完整的應(yīng)急預(yù)案。

據(jù)悉，這套完整的應(yīng)急預(yù)案是騰訊按照風(fēng)險(xiǎn)五步法，從風(fēng)險(xiǎn)的識(shí)別，風(fēng)險(xiǎn)分析，應(yīng)急方案制訂、應(yīng)急方案執(zhí)行，風(fēng)險(xiǎn)評(píng)估和改進(jìn)。在2014年到2015年，騰訊天津數(shù)據(jù)中心發(fā)現(xiàn)風(fēng)險(xiǎn)點(diǎn)136個(gè)，針對(duì)這些風(fēng)險(xiǎn)點(diǎn)制訂了66項(xiàng)方案，平時(shí)通過演練最終完成71項(xiàng)方案的執(zhí)行。據(jù)韓建軍透露，騰訊天津數(shù)據(jù)中心基本每周都有一次不同級(jí)別的演習(xí)，從工程師到一線人員全部參與。

當(dāng)然，也有人疑惑數(shù)據(jù)中心選址：騰訊為什么把數(shù)據(jù)中心建在危險(xiǎn)品倉庫附近？韓建軍對(duì)此表示，騰訊嚴(yán)格按照數(shù)據(jù)中心選址規(guī)范，危險(xiǎn)品倉庫是騰訊天津數(shù)據(jù)中心落成一年后才建立起來的。這同時(shí)給騰訊很大啟示，即“對(duì)于選址的評(píng)估工作不是做一次就夠，一定要定期做，年年做，騰訊已在全國范圍內(nèi)的數(shù)據(jù)中心實(shí)行?！?/p>

遠(yuǎn)程控制與動(dòng)態(tài)遷移

其實(shí)，“8·12”大爆炸事故第二天，騰訊數(shù)據(jù)中心面臨的環(huán)境更加危險(xiǎn)。為了預(yù)防再次爆炸的可能，所有

數(shù)據(jù)中心人員都被緊急撤離到20公里之外，整個(gè)數(shù)據(jù)中心處于無人值守狀態(tài)。騰訊天津團(tuán)隊(duì)通過遠(yuǎn)程控制系統(tǒng)對(duì)整個(gè)數(shù)據(jù)中心進(jìn)行控制，并遠(yuǎn)程處理相關(guān)信息669條，異常報(bào)警26起。自然，后臺(tái)的自動(dòng)化系統(tǒng)功不可沒，這就是騰訊自動(dòng)化控制平臺(tái)——阿凡達(dá)。

據(jù)悉，騰訊天津數(shù)據(jù)中心有15300多個(gè)設(shè)備，143000個(gè)測(cè)點(diǎn)，如果對(duì)所有設(shè)計(jì)測(cè)點(diǎn)進(jìn)行測(cè)試，會(huì)出現(xiàn)很多的報(bào)警信息。阿凡達(dá)平臺(tái)的“不凡”之處在于管控信息立體化，不孤立看待設(shè)備和測(cè)點(diǎn)，建立設(shè)備之間的關(guān)系，在邏輯基礎(chǔ)之上綜合看待報(bào)警發(fā)生。

尤其值得一提的是，騰訊天津數(shù)據(jù)中心運(yùn)維專家的經(jīng)驗(yàn)豐富，管理流程規(guī)范，通過管理工具沉淀到自動(dòng)化系統(tǒng)中，推廣到全新的數(shù)據(jù)中心。騰訊在全國目前擁有56個(gè)IDC，分布在13個(gè)城市，獨(dú)立機(jī)房180個(gè)。

此外，“8·12”天津港爆炸事故當(dāng)天和爆炸之后的一周，騰訊一方面搶修受損的天津數(shù)據(jù)中心，另一方面把天津數(shù)據(jù)中心承載的大部分業(yè)務(wù)遷移動(dòng)到深圳和上海的數(shù)據(jù)中心。這表明，騰訊已經(jīng)實(shí)現(xiàn)了全國范圍內(nèi)IDC資源的動(dòng)態(tài)調(diào)配。

據(jù)悉，谷歌三年前已經(jīng)實(shí)現(xiàn)全球業(yè)務(wù)的調(diào)配，比如夏季把主要業(yè)務(wù)遷到北歐的數(shù)據(jù)中心以節(jié)省能源、降低成本。騰訊此舉也說明，通過足夠的計(jì)算能力和網(wǎng)絡(luò)出口能力，可以讓數(shù)據(jù)和業(yè)務(wù)在全國范圍的云數(shù)據(jù)中心中轉(zhuǎn)換遷移。

作為“8·12”天津港爆炸事故中遇險(xiǎn)的國內(nèi)超大型數(shù)據(jù)中心，騰訊的經(jīng)驗(yàn)值得數(shù)據(jù)中心行業(yè)同仁關(guān)注。