淺議提供高密度數(shù)據(jù)中心的制冷效率

沈嘉琪，黃 赟

（中國移動通信集團(tuán)上海有限公司）

1 制冷系統(tǒng)的系統(tǒng)性檢查

數(shù)據(jù)中心設(shè)計必須保證高效的操作維護(hù)業(yè)務(wù)流程以及杜絕可能的問題隱患。在建設(shè)初期的高昂的通信設(shè)備投資階段，就應(yīng)進(jìn)行制冷系統(tǒng)的基礎(chǔ)設(shè)施系統(tǒng)性檢查以確定潛在的設(shè)計缺陷。這些系統(tǒng)性檢查將明確數(shù)據(jù)中心的健康程度，以避免發(fā)生與溫度有關(guān)的通信設(shè)備故障，同時也可以用來評估未來數(shù)據(jù)中心擴(kuò)容的制冷能力。

1.1 最大制冷量

全面檢查系統(tǒng)制冷量，1瓦的設(shè)備功率消耗1瓦的制冷量，確保數(shù)據(jù)中心的設(shè)備功耗不超過了制冷量最大范圍。一旦供過于求，將需要重新設(shè)計選型或采用獨立的高密度散熱解決方案。

1.2 數(shù)據(jù)中心的專用空調(diào)CRAC

檢查送、回風(fēng)的溫度和濕度讀數(shù)必須與設(shè)計值相一致。檢查單臺專用空調(diào)CRAC送風(fēng)溫度設(shè)置點。當(dāng)回風(fēng)溫度低于室內(nèi)環(huán)境溫度，可能存在氣流短路，即送風(fēng)繞過IT設(shè)備，并直接返回到空調(diào)機(jī)組。

檢查風(fēng)機(jī)正常運作，檢查中效過濾器的壓差。

1.3 冷凍水和冷卻水循環(huán)系統(tǒng)

檢查冷凝器，泵輸送系統(tǒng)，及冷卻回路的狀況。確保所有閥門是否運行正常。

1.4 室內(nèi)溫度

檢查在數(shù)據(jù)中心的過道關(guān)鍵位置的溫度（測量位置一般位于通信設(shè)備行內(nèi)每四個機(jī)架位置的中心）。

1.5 通信機(jī)架的溫度

檢查溫度點應(yīng)位于每個通信機(jī)架底部、中部、頂部的進(jìn)氣口的中心。記錄這些溫度和IT設(shè)備制造商推薦的進(jìn)風(fēng)溫度并且對比。

1.6 地板下氣流速度

如果活動地板作為送風(fēng)層，空氣流速應(yīng)均勻穿過所有地板格柵。

1.7 活動地板的設(shè)置

檢查活動地板下的障礙物（網(wǎng)絡(luò)和電力電纜）是否阻礙送風(fēng)氣流，是否對機(jī)架的冷卻效果產(chǎn)生不利影響。

1.8 機(jī)架內(nèi)的氣流組織

檢查機(jī)架內(nèi)間隙（未使用的機(jī)架有無安裝盲板，空的插槽有無覆蓋，電纜開口封閉）或多余的布線是否影響冷卻性能。

1.9 機(jī)房過道和活動地板布置

活動地板作為有效的冷卻送風(fēng)層取決于地板通風(fēng)網(wǎng)孔數(shù)量和機(jī)房專用空調(diào)的位置。

2 檢查與維修制冷設(shè)備

定期檢查和預(yù)防性制冷設(shè)備維護(hù)對數(shù)據(jù)中心高效運行是必不可少的。定期保養(yǎng)制度應(yīng)達(dá)到制冷設(shè)備廠家建議指導(dǎo)要求。數(shù)據(jù)中心主要冷源來自于機(jī)房專用空調(diào)，維護(hù)工作應(yīng)針對機(jī)房專用空調(diào)的各組冷卻元件，通過以下維護(hù)實施提高空調(diào)制冷效率。

（1）空氣過濾網(wǎng)是否堵塞：必須定期更換過濾網(wǎng)，保持額定壓差，保證空調(diào)所需的循環(huán)風(fēng)量。

（2）干燥過濾器是否堵塞：為保證制冷劑的正常循環(huán)，制冷系統(tǒng)必須保持清潔、干燥，如果系統(tǒng)有雜質(zhì)，就會造成干燥過濾器堵塞，系統(tǒng)供液困難，影響制冷效果。

（3）定期測量膨脹閥過熱度，調(diào)整膨脹閥開啟度。

（4）機(jī)房空調(diào)一般采用風(fēng)冷式冷凝器，結(jié)合空調(diào)使用環(huán)境，根據(jù)結(jié)灰情況，定期對空調(diào)室外機(jī)進(jìn)行沖洗。

3 實施機(jī)架和電纜管理制度

由于機(jī)架垂直空間未封閉，設(shè)備的熱量通過旁路回到設(shè)備通風(fēng)口，這種無限制的熱循環(huán)導(dǎo)致設(shè)備溫度持續(xù)上升。在一些廠方服務(wù)器安裝說明上有一條建議，將盲板擋住機(jī)架空余的前面板。機(jī)架如果沒有使用盲板可以導(dǎo)致不適當(dāng)?shù)睦鋮s，可以導(dǎo)致熱損傷。這個建議是往往被忽視，是過熱的主要原因。安裝盲板防止冷卻空氣通過繞過服務(wù)器的通風(fēng)口和防止熱空氣循環(huán)。圖1為盲板使用前后效果圖。

氣流還受機(jī)架內(nèi)雜亂布線的影響。當(dāng)一個單一機(jī)架增加的設(shè)備越來越多時，線纜布置的問題將變多。雜亂的布線會影響設(shè)備的熱量釋放。除去不必要的或不應(yīng)有電纜。數(shù)據(jù)電纜應(yīng)該削減到正確的長度和適當(dāng)放入線槽內(nèi)。同樣設(shè)備電源的電纜也要減少到適當(dāng)?shù)拈L度。

圖1 盲板使用前后效果圖

4 清除地板下的堵塞和密封地板

數(shù)據(jù)中心地板底層為冷風(fēng)從機(jī)房空調(diào)達(dá)到機(jī)架提供了一條路徑。地板底層往往還有其他設(shè)備如電力電纜、冷卻管、網(wǎng)絡(luò)布線，以及水和／或火災(zāi)探測和滅火系統(tǒng)。

在數(shù)據(jù)中心的設(shè)計階段，設(shè)計工程師會指定樓層深度來滿足地板下空氣流量的要求隨著機(jī)架和服務(wù)器的增加導(dǎo)致更多的電力和網(wǎng)絡(luò)布線。通常，當(dāng)服務(wù)器和機(jī)架移動或更換，舊電纜被遺棄在地板下方。架空電纜可以保證這個問題不會發(fā)生。如果電纜在地板下方，需要合適的冷量，則需有足夠的空間來滿足空氣的流動。理想情況下，架空地板電纜橋架應(yīng)該是架空地板的“上層”，讓架空地板的更下面的空間形成送風(fēng)層。同時，缺失的地板應(yīng)該補(bǔ)上，活動地板應(yīng)重新調(diào)整消除空隙，特別是機(jī)架移走后應(yīng)用全板補(bǔ)上防止漏風(fēng)。

5 建立冷熱通道

除了少數(shù)例外，大多數(shù)的機(jī)架式服務(wù)器的設(shè)計都是前面吸氣和后面排氣。圖2顯示的一個房間所有行面對同一個方向。使用此設(shè)置，熱空氣混合了送風(fēng)空氣從排1排到相鄰的過道，然后進(jìn)入排2機(jī)架。當(dāng)空氣通過每個連續(xù)行，服務(wù)器通風(fēng)口將吸入較熱空氣。如果所有的行服務(wù)器的通風(fēng)口以此排列，通信設(shè)備故障是不可避免的。通常這種情況發(fā)生在架空地板和硬地板的環(huán)境。

圖2 冷熱氣體混合

最好的做法是設(shè)備配置為交替的“熱”與“冷”的過道，如圖3所示。冷通道包含通風(fēng)地板，機(jī)架服務(wù)器通風(fēng)口被安排朝向冷通道。熱空氣向沒有通風(fēng)地板的熱通道排出。

圖3 冷熱通道

6 專用機(jī)組與熱通道之間的布置關(guān)系

機(jī)房專用空調(diào)機(jī)組必須對準(zhǔn)熱通道提高冷卻效率。圖4（a）顯示了典型機(jī)房的布局，機(jī)房空調(diào)機(jī)組已均勻地放置在房間的熱通道冷通道周邊。在這個例子中，沿兩側(cè)壁的機(jī)房空調(diào)太靠近冷通道，使氣流繞過近端通道通風(fēng)口。專用空調(diào)機(jī)組應(yīng)沿墻頂部和底部更好的放置從而使通道獲得更好的氣流。

圖4 專用機(jī)組與熱通道之間的布置關(guān)系

圖4 （b）機(jī)房空調(diào)單位已移到頂部和底部的墻壁對準(zhǔn)熱通道。傳統(tǒng)經(jīng)驗表明，專用機(jī)組應(yīng)對準(zhǔn)冷通道產(chǎn)生的氣流達(dá)到地板通風(fēng)口。然而，CFD流體動力學(xué)分析表明，專用機(jī)組對準(zhǔn)熱通道，當(dāng)空氣回到機(jī)組時，熱空氣從熱通道穿過機(jī)架進(jìn)入冷通道，會造成部分冷熱空氣混合，即機(jī)架前端的送風(fēng)溫度升高。

總之，在架空地板制冷系統(tǒng)實踐中，專用空調(diào)對準(zhǔn)熱通道比冷通道更有效。

7 管理地板通風(fēng)口

機(jī)架氣流和機(jī)架布局是最大限度地提高制冷性能的關(guān)鍵因素。然而，不合適的地板通風(fēng)口位置可導(dǎo)致送風(fēng)冷空氣與熱空氣混合，再達(dá)到負(fù)載設(shè)備，將引起前面描述一連串的設(shè)備性能下降和運行成本升高的問題。不良?xì)饬鱾鬟f或回風(fēng)口錯誤布置是很常見的，幾乎可以讓熱通道和冷通道設(shè)計無效。

空氣送風(fēng)口的關(guān)鍵是盡可能靠近設(shè)備通風(fēng)口，把冷風(fēng)最大限度的送到冷通道。由于是下送風(fēng)，這意味著在冷通道有通風(fēng)地板。上送風(fēng)同樣有效，但是，關(guān)鍵是送風(fēng)口只位于冷通道，而且風(fēng)口目標(biāo)氣流直接向下到冷通道（沒有橫向使用擴(kuò)散通風(fēng)）。在上送風(fēng)和下送風(fēng)系統(tǒng)，任何位于設(shè)備不運行的風(fēng)口應(yīng)該被關(guān)閉，因為這些回風(fēng)以較低的溫度最終回歸到機(jī)房空調(diào)機(jī)組，造成機(jī)房濕度減少和降低機(jī)房空調(diào)性能。

圖6 地板下負(fù)壓的形成

地板風(fēng)口太接近機(jī)房空調(diào)機(jī)組會使地板下產(chǎn)生負(fù)壓，如圖6所示。一個簡單的空氣流速測量裝置可以安裝在送風(fēng)口，保證正確的靜態(tài)壓力。

小結(jié)：近年來，隨著數(shù)據(jù)業(yè)務(wù)高速發(fā)展，數(shù)據(jù)中心內(nèi)高密度設(shè)備密集安裝，對于制冷系統(tǒng)的要求日益提高。為了保證數(shù)據(jù)中心的安全性、可靠性、節(jié)能性，本文針對數(shù)據(jù)中心機(jī)房制冷系統(tǒng)常見問題進(jìn)行分析研究，提出相關(guān)各項建議措施，下一步需要設(shè)計和運維人員因地制宜結(jié)合不同場景的具體情況，提出合理的最佳解決方案。

［1］ APC－ten－cooling－solutions white paper 42［Z］.

［2］ 新一代綠色數(shù)據(jù)中心方案建議書［Z］.