外觀(guān)光鮮的布線(xiàn)系統(tǒng)背后隱藏的質(zhì)量問(wèn)題

1 外表光鮮的萬(wàn)兆銅纜布線(xiàn)背后隱藏的質(zhì)量問(wèn)題

橋架走線(xiàn)如圖1所示，機(jī)架配線(xiàn)的布線(xiàn)施工如圖2所示。兩張圖中的布線(xiàn)系統(tǒng)理線(xiàn)非?！耙?guī)范”，甚至可以當(dāng)作工藝品看待。如果作為優(yōu)秀布線(xiàn)施工的樣板圖，相信多數(shù)讀者都會(huì)贊同。但從數(shù)據(jù)傳輸可靠性上看，這兩張樣板圖卻有可能在傳輸萬(wàn)兆甚至更高數(shù)據(jù)流時(shí)出現(xiàn)誤碼率超標(biāo)的問(wèn)題。主要的原因有三：一是線(xiàn)捆太大、線(xiàn)纜平行過(guò)長(zhǎng)、線(xiàn)間隔離不足(如圖1所示)；二是捆扎密度太高(如圖2所示)；三是捆扎太緊(圖1、2中不存在此問(wèn)題)。下面逐一分析這三種情況導(dǎo)致誤碼率上升的成因及預(yù)防措施。

1.1 為什么線(xiàn)捆太大會(huì)引起誤碼率上升

我們知道，電磁波信號(hào)在電纜中向前傳輸時(shí)也會(huì)同時(shí)向電纜周?chē)目臻g直接輻射一部分電磁波能量，這些能量同樣也會(huì)被周?chē)碾娎|通過(guò)電磁感應(yīng)的方式接收，從而進(jìn)入鄰近的電纜中，這種感應(yīng)信號(hào)將作為干擾信號(hào)擾亂電纜中正常傳輸?shù)臄?shù)據(jù)信號(hào)。TIA 568C和ISO 11801等標(biāo)準(zhǔn)化組織將其定義為外部串?dāng)_（AXT）。單根電纜對(duì)鄰近電纜造成的外部串?dāng)_數(shù)量有限，一般不會(huì)引起誤碼率上升。但如果一根被干擾的電纜周?chē)卸喔娎|存在并且也在傳輸數(shù)據(jù)信號(hào)，則此時(shí)累積起來(lái)的干擾能量就可能改變?cè)瓉?lái)的信號(hào)能量結(jié)構(gòu)和信號(hào)波形，從而造成波形失真和抖動(dòng)，導(dǎo)致對(duì)端信號(hào)接收電路誤識(shí)別，形成“誤碼”。如果數(shù)據(jù)電纜用于運(yùn)行10G以上應(yīng)用，數(shù)據(jù)碼傳送的密度會(huì)越來(lái)越高，數(shù)碼信號(hào)占用的基帶帶寬就越高。標(biāo)準(zhǔn)中要求電纜的基帶帶寬上限頻率要達(dá)到500MHz。由于頻率越高，信號(hào)傳輸時(shí)對(duì)外輻射越強(qiáng)，所以速度越高的應(yīng)用對(duì)周?chē)娎|的干擾就越大，換一個(gè)角度看，則是信號(hào)傳輸電纜受到來(lái)自周?chē)渌咚匐娎|的影響越大。因此，在實(shí)際敷設(shè)支持高速應(yīng)用的電纜（比如10G）時(shí)，一般每個(gè)電纜捆的數(shù)量不宜過(guò)大。TIA 568C等標(biāo)準(zhǔn)則要求對(duì)實(shí)際的干擾程度進(jìn)行實(shí)地測(cè)量，并納入驗(yàn)收文件。圖1中左側(cè)布放的電纜只有平行的一層，不必?fù)?dān)心外部串?dāng)_的問(wèn)題。而右側(cè)電纜被大量堆積在了一起，雖然布放非常整齊，但卻很可能出現(xiàn)外部串?dāng)_測(cè)試不合格的問(wèn)題。如果手里有福祿克公司的DTX-1800電纜分析儀，則可以選配外部串?dāng)_測(cè)試模塊進(jìn)行外部串?dāng)_測(cè)試。外部串?dāng)_測(cè)試是抽樣測(cè)試，通常挑選一捆電纜中干擾情況預(yù)估最嚴(yán)重的幾根做代表來(lái)進(jìn)行測(cè)試。對(duì)于外部串?dāng)_測(cè)試不通過(guò)的鏈路，如果判斷是線(xiàn)束太大，則需要改小。比如，48根一捆測(cè)試不通過(guò)，則需要改成24根一捆，還不通過(guò)，則改成12根一捆，甚至6根一捆。

1.2 為什么線(xiàn)束中的電纜平行布放的距離過(guò)長(zhǎng)也會(huì)引起誤碼率上升

每根電纜的結(jié)構(gòu)是大致相同的，所以?xún)筛徑娎|中的對(duì)應(yīng)的雙絞線(xiàn)對(duì)（比如A電纜中的線(xiàn)對(duì)A1/2和B電纜中的線(xiàn)對(duì)B1/2）也是平行關(guān)系，兩者之間的絞接率是一樣的，這導(dǎo)致彼此輻射的信號(hào)因?yàn)槌掷m(xù)的平行關(guān)系而很容易被對(duì)方吸收，從而引起誤碼率上升。所以，布放電纜的走向并不是越平行、整齊越好，反而是適當(dāng)?shù)腻e(cuò)亂有助于消除外部串?dāng)_信號(hào)的累積。不過(guò)，習(xí)慣于布線(xiàn)時(shí)使用穿孔板的“高水準(zhǔn)”的施工人員會(huì)自然地傾向于將平行距離盡量延長(zhǎng)，在一片贊揚(yáng)聲中，設(shè)下高速應(yīng)用的誤碼率陷阱。如果改小線(xiàn)束直徑仍然不能解決問(wèn)題，則可以嘗試打亂理線(xiàn)的平行距離，此時(shí)很可能使問(wèn)題得到解決。

1.3 為什么線(xiàn)間距不足也會(huì)造成誤碼率上升

雖然改小線(xiàn)束可以很好地解決多數(shù)外部串?dāng)_不合格的問(wèn)題，但大量改小的線(xiàn)束仍然可能堆疊在橋架和地板下，彼此之間的干擾雖然有所減弱，但畢竟還存在。此時(shí)需要適當(dāng)增加線(xiàn)束之間的間距，并允許線(xiàn)束排放不那么“整齊”。增加間距可以使用一些類(lèi)似支架一類(lèi)的布放設(shè)施，或者采用混疊排放的方法。后一種方法需要承擔(dān)一定風(fēng)險(xiǎn)，那就是如果測(cè)試仍然不合格，則事后進(jìn)行追加隔離支架的施工難度就會(huì)明顯增加。

1.4 為什么捆扎過(guò)緊、密度過(guò)高會(huì)令誤碼率上升

為了良好地固定布放的電纜，捆扎是必要的。通常捆扎密度高，有利于整齊理線(xiàn)，不過(guò)你也許需要謹(jǐn)慎對(duì)待這種看似增加外觀(guān)漂亮的高水準(zhǔn)施工行為。因?yàn)槔υ^(guò)緊會(huì)令電纜的線(xiàn)對(duì)與線(xiàn)對(duì)之間、電纜與電纜之間的間距空間被壓縮，為內(nèi)部串?dāng)_和外部串?dāng)_提高了輻射效率，使得干擾量增加，并且，捆扎處的特性阻抗值通常也會(huì)改變。所以，捆扎過(guò)緊和過(guò)高的捆扎密度都會(huì)導(dǎo)致串?dāng)_增加，在贏(yíng)得美觀(guān)的同時(shí)犧牲的是速度。一般建議如下：如果一定要提高捆扎密度，則選擇松散捆扎，盡量避免因?yàn)槔υ鷳?yīng)力過(guò)大改變線(xiàn)纜的特性阻抗和串?dāng)_系數(shù)。這兩個(gè)參數(shù)可以通過(guò)測(cè)試NEXT和RL等參數(shù)直接、間接地反映出來(lái)。其他的建議來(lái)自經(jīng)驗(yàn)豐富的工程商和集成商，比如，采用間密捆扎——多數(shù)捆扎較松，僅少量關(guān)鍵位置(比如上下橋架和進(jìn)出機(jī)柜)的捆扎稍緊一些。對(duì)于由于捆扎過(guò)緊、過(guò)密造成的串?dāng)_和回波損耗參數(shù)超標(biāo)，可以在不影響捆扎效果的情況下適當(dāng)剪開(kāi)一些扎帶，這通常會(huì)使測(cè)試結(jié)果得到改善。測(cè)試的時(shí)機(jī)：剪開(kāi)扎帶后立刻進(jìn)行測(cè)試并不是最好時(shí)機(jī)，而應(yīng)于次日再進(jìn)行測(cè)試，以免因電纜擠壓變形后恢復(fù)慢、應(yīng)力消除不徹底令改善效果不明顯。

2 規(guī)范美觀(guān)的10G/40G/100G光纖布線(xiàn)背后隱藏的質(zhì)量

萬(wàn)兆及以上速度的光纖布線(xiàn)目前主要局限于在數(shù)據(jù)中心布線(xiàn)系統(tǒng)中采用。數(shù)據(jù)中心中使用的高速光纖在新的國(guó)際標(biāo)準(zhǔn)中已經(jīng)不再采用OM1、OM2選項(xiàng)，直接建議采用OM3和OM4光纖。這給光纖質(zhì)量的檢測(cè)帶來(lái)了一些挑戰(zhàn)和新要求。由于設(shè)備的高速度、高密度和多次跳接結(jié)構(gòu)使其布線(xiàn)系統(tǒng)與普通布線(xiàn)系統(tǒng)相比有比較明顯的特點(diǎn)，比如預(yù)端接布線(xiàn)、高密度布線(xiàn)、短距離布線(xiàn)、超短距布線(xiàn)（跳線(xiàn)直接連接）、多跳接/轉(zhuǎn)接鏈路布放等。這些特點(diǎn)大大提高了設(shè)備的空間效率，但也給布線(xiàn)系統(tǒng)的質(zhì)量保證增加了難度。需要工程商、集成商和設(shè)備供應(yīng)商更關(guān)注以下四個(gè)“質(zhì)量控制因素”：

第一，要盡量避免預(yù)端接光纖的“一廢俱廢”問(wèn)題。預(yù)端接布線(xiàn)使得安裝光纜的工作大大簡(jiǎn)化，安裝質(zhì)量和安裝速度明顯提高，受CIO們的歡迎程度較高。但在運(yùn)輸、拆裝、布放、開(kāi)通等環(huán)節(jié)對(duì)規(guī)范施工的要求明顯提高，這是因?yàn)橐坏┻@些環(huán)節(jié)（特別是拆裝、布放環(huán)節(jié)）出問(wèn)題造成光纖鏈路質(zhì)量測(cè)試驗(yàn)收不通過(guò)，則可能需要批量廢棄光纜（比如MPO光纜布線(xiàn)）——此即常說(shuō)的“一廢俱廢”，如圖3所示。造成預(yù)端接光纜現(xiàn)場(chǎng)廢棄的原因主要是布放時(shí)牽拉過(guò)度、沒(méi)有做好現(xiàn)場(chǎng)保護(hù)、路由過(guò)度彎曲、捆扎過(guò)緊、受力不均勻、端面損傷等。預(yù)端接光纜由于訂貨時(shí)間普遍較長(zhǎng)，由此造成的返工延誤會(huì)成為工程商驗(yàn)收時(shí)的一大麻煩。

第二，檢測(cè)驗(yàn)收或設(shè)備開(kāi)通前要遵循較嚴(yán)格的安裝操作規(guī)范。高密度布線(xiàn)普遍采用MPO端接，如果按照以前習(xí)慣常規(guī)方法而不是規(guī)范的方法進(jìn)行安裝，則因端面污漬導(dǎo)致10G/40G設(shè)備很容易出現(xiàn)誤碼率過(guò)高、端口頻繁重啟等現(xiàn)象。規(guī)范的安裝必須進(jìn)行現(xiàn)場(chǎng)端面清潔、檢查和測(cè)試后再安裝設(shè)備，空余的布線(xiàn)端口要嚴(yán)格做好防塵、防潮和固定。

第三，短距離、多跳接光纖鏈路只考察鏈路損耗值是不夠的，還需要將反射值（ORL光回波損耗）納入考察范圍，以確保鏈路誤碼率達(dá)到要求。由于數(shù)據(jù)中心的設(shè)備密度和速度的快速增加，與空間局促的矛盾日益明顯，采用設(shè)備分區(qū)、頂置機(jī)架、MPO布線(xiàn)等改善方案導(dǎo)致短距離、多跳接光纖布線(xiàn)的大量出現(xiàn)。短光纖鏈路由于本身?yè)p耗值較小，常給人一種錯(cuò)覺(jué)，那就是損耗測(cè)試很容易通過(guò)——即便因?yàn)槭┕げ灰?guī)范造成損耗偏大也不會(huì)引起設(shè)備工作出問(wèn)題。但事實(shí)是，一方面，10G/40G/100G應(yīng)用為光纖鏈路預(yù)留的“損耗預(yù)算”本身就比較緊張，如果“粗糙施工”再加上檢測(cè)的時(shí)候使用耦合誤差比較大的光源誤差可達(dá)40%，經(jīng)常會(huì)被誤判為不合格。為提高測(cè)試精度，新的標(biāo)準(zhǔn)（TSB 4979）建議損耗測(cè)試宜采用光環(huán)通量（Encircled Flux）控制的光源和專(zhuān)用測(cè)試參考跳線(xiàn)（TRC）來(lái)進(jìn)行測(cè)試。圖4所示的垂直光纖路由轉(zhuǎn)彎點(diǎn)內(nèi)側(cè)與機(jī)架接觸點(diǎn)的部分光纖由于缺少緩沖支撐，長(zhǎng)時(shí)間受力后可能出現(xiàn)裂紋，且損耗也可能增大，將影響到高速鏈路的誤碼率。

第四，較大的回波損耗會(huì)導(dǎo)致光傳輸碼出錯(cuò)及誤碼率不合格。這是因?yàn)閬?lái)自光纖連接器的多次反射回波會(huì)增加色散且破壞正常傳輸?shù)墓饷}沖波形，造成誤碼率上升。如圖5所示，LC接口的設(shè)備使用MPO預(yù)端接光纜，須先在設(shè)備端口前使用MPO-LC轉(zhuǎn)接盒，再用現(xiàn)在最常用的LC設(shè)備跳線(xiàn)接入鏈路，這樣會(huì)人為增加連接器/跳接點(diǎn)的數(shù)量，如果再加上忽視LC-LC跳線(xiàn)的進(jìn)貨質(zhì)量，那么習(xí)慣于“粗放施工”的工程商/集成商在數(shù)據(jù)中心項(xiàng)目中必然會(huì)遭遇“不合格”的高風(fēng)險(xiǎn)事件。引入高解析度的OTDR測(cè)試來(lái)幫助確定跳接點(diǎn)/連接點(diǎn)質(zhì)量水平是一個(gè)很有效的現(xiàn)場(chǎng)測(cè)試解決方案，可以識(shí)別反射較強(qiáng)的連接點(diǎn)/跳接點(diǎn)，并給出通過(guò)/失敗判斷。目前ISO 11801給出的光回波損耗ORL的判別門(mén)限是-20dB，雖然有些偏低，但也算是一個(gè)較大的進(jìn)步。

3 為布線(xiàn)系統(tǒng)全壽命期把控質(zhì)量：從設(shè)計(jì)選型、安裝驗(yàn)收到使用維護(hù)

數(shù)據(jù)中心高速鏈路承擔(dān)的計(jì)算數(shù)據(jù)流很大，涉及的用戶(hù)數(shù)量眾多，為避免總是在設(shè)備開(kāi)通或檢測(cè)驗(yàn)收階段才發(fā)現(xiàn)大量因產(chǎn)品選型不過(guò)關(guān)和粗放施工等引發(fā)的質(zhì)量問(wèn)題，以及在系統(tǒng)使用維護(hù)階段出現(xiàn)高頻率的升級(jí)困難和故障率，提高系統(tǒng)可靠性，減少總體擁有成本，從設(shè)計(jì)選型階段就要將質(zhì)量控制觀(guān)念和措施納入整個(gè)工程流程。但因?yàn)槲覈?guó)設(shè)計(jì)標(biāo)準(zhǔn)和施工規(guī)范普遍落后于設(shè)備創(chuàng)新和突破的速度，按部就班、循規(guī)蹈矩的質(zhì)量控制方式在機(jī)房建設(shè)中一直都存在風(fēng)險(xiǎn)，給用戶(hù)帶來(lái)的損失也是無(wú)以計(jì)數(shù)的。

3.1 設(shè)計(jì)選型階段的質(zhì)量控制措施

這個(gè)階段比較簡(jiǎn)單，除了設(shè)計(jì)規(guī)范、產(chǎn)品手冊(cè)和供應(yīng)商推薦的方案外，應(yīng)搭建仿真鏈路進(jìn)行測(cè)試，這樣可以把產(chǎn)品存在的缺陷、一致性問(wèn)題、匹配性問(wèn)題在安裝施工事前就排除掉。比如電纜是否能通過(guò)6包1測(cè)試，光纖、跳線(xiàn)、耦合器等是否匹配。

3.2 施工安裝階段的質(zhì)量控制措施

施工安裝階段的前期是進(jìn)場(chǎng)檢測(cè)，這個(gè)環(huán)節(jié)是對(duì)采購(gòu)的“入網(wǎng)”合格產(chǎn)品進(jìn)行抽測(cè)，確保采購(gòu)的產(chǎn)品和選用的產(chǎn)品質(zhì)量一致，并排除運(yùn)輸、轉(zhuǎn)存過(guò)程中的質(zhì)量風(fēng)險(xiǎn)（比如過(guò)度擠壓損傷、彎折損傷、雨淋等）。然后是施工環(huán)節(jié)的自檢自糾和監(jiān)理測(cè)試，這個(gè)環(huán)節(jié)主要是考察施工工藝是否合格。建議的方案是小批量“預(yù)驗(yàn)收檢測(cè)”，這樣可以及時(shí)發(fā)現(xiàn)施工過(guò)程中存在的問(wèn)題，避免后期檢測(cè)驗(yàn)收“批量問(wèn)題”的出現(xiàn)，導(dǎo)致項(xiàng)目停工延期，造成巨大損失。

3.3 使用維護(hù)階段的質(zhì)量控制措施

電纜鏈路存在各廠(chǎng)商之間不兼容的問(wèn)題，雖然居中性的永久鏈路測(cè)試可以保證電纜鏈路支持后續(xù)的跳線(xiàn)互換，但如果跳線(xiàn)本身不支持互換，則仍可能引起鏈路誤碼率超標(biāo)甚至不能聯(lián)通的問(wèn)題。所以對(duì)采購(gòu)待用的銅纜跳線(xiàn)也要進(jìn)行“進(jìn)場(chǎng)檢測(cè)”，只有居中性檢測(cè)也符合要求的跳線(xiàn)才能支持跳線(xiàn)的任意互換。對(duì)于光纖跳線(xiàn)，則需要在“進(jìn)場(chǎng)檢測(cè)”時(shí)，測(cè)試損耗值和回波損耗值，有條件時(shí)還要進(jìn)行兼容性測(cè)試，只有這樣才能確保待用光纖跳線(xiàn)上架后的100%可用。ORL兼容測(cè)試需要使用OTDR和補(bǔ)償跳線(xiàn)，如果被測(cè)跳線(xiàn)和約定的補(bǔ)償跳線(xiàn)之間有較大差異，則存在異質(zhì)光纖的可能性較大。比如使用OM2光纖跳線(xiàn)仿冒OM4光纖跳線(xiàn)，僅看外觀(guān)和測(cè)試損耗值是不能發(fā)現(xiàn)問(wèn)題的。

由于數(shù)據(jù)中心設(shè)備變更比較頻繁，所以TIA 942A要求備用物理鏈路也要100%檢測(cè)合格，并需定期進(jìn)行檢測(cè)，以確保100%的可用性。目前標(biāo)準(zhǔn)中均沒(méi)有規(guī)定定期檢測(cè)的周期，業(yè)界給出的建議是根據(jù)布線(xiàn)系統(tǒng)的開(kāi)通、增刪、變更、擴(kuò)容頻繁程度，可以選擇1.5～3年為定期測(cè)試周期。對(duì)更新、擴(kuò)容、拓?fù)浣Y(jié)構(gòu)調(diào)整、故障診斷恢復(fù)運(yùn)行前，均要求進(jìn)行開(kāi)通測(cè)試，確保布線(xiàn)系統(tǒng)100%可用。