某棟樓一些用戶斷網(wǎng)的故障

湖南工業(yè)大學(xué)現(xiàn)代教育技術(shù)中心 郭兆宏

有一段時(shí)間，單位某棟K 樓有幾個(gè)用戶打電話說斷網(wǎng)了，網(wǎng)絡(luò)故障處理的老師去現(xiàn)場發(fā)現(xiàn)802.1X 認(rèn)證有時(shí)成功有時(shí)不成功，ping 網(wǎng)關(guān)有時(shí)通有時(shí)不通，但過一段時(shí)間就好了，讓用戶查殺病毒。

某一天這棟K 樓有很多個(gè)電話打來說斷網(wǎng)了，馬上檢查此樓的16 臺交換機(jī)都運(yùn)行正常，最近一個(gè)月都沒有掉線的，于是開始網(wǎng)絡(luò)排查起來。

交換機(jī)NFPP 保護(hù)造成斷網(wǎng)

當(dāng)某一天單位的某棟K樓有很多電話打來說斷網(wǎng)時(shí)，筆者以為是交換機(jī)斷網(wǎng)，但檢查此樓的所有交換機(jī)都運(yùn)行正常，最近一個(gè)月沒有掉線的。此樓有1 臺匯聚交換機(jī)16 臺接入交換機(jī)，對反映較多的2 和4 樓各4 臺接入交換機(jī)進(jìn)行查看，流量帶寬都不大，也沒斷網(wǎng)的記錄。登錄其中2 臺接入交換機(jī)看了下在線時(shí)間都有30多天了。先將4 樓的4 臺交換機(jī)重啟，過一段時(shí)間此樓4 層還是有電話打來，登錄匯聚交換機(jī)查看，CPU 正常，端口流量正常，用命令“sh nfpp arpguard hosts”、“sh nfpp ip-guard hosts”發(fā)現(xiàn)都有多個(gè)隔離的IP，平時(shí)也有隔離的IP，不過今天隔離的數(shù)量有點(diǎn)多，一看IP 地址基本是打電話說斷網(wǎng)的，回復(fù)斷網(wǎng)的電腦有安全問題，要?dú)㈦娔X病毒。在4 樓2 臺接入交換機(jī)上也發(fā)現(xiàn)一些NFPP隔離的IP 地址，其中有2 臺里都有172.X.X.200，且在是上聯(lián)端口，而這個(gè)地址段172.X.X.200 段用戶實(shí)際不在這棟樓，是離這棟K 樓100米左右的另外一棟Y 樓的Y部門用的，只是網(wǎng)絡(luò)從這棟K樓的匯聚上接的，馬上登錄這棟Y 樓的接入交換機(jī)，但發(fā)現(xiàn)NFPP 里沒有隔離任何的IP 地址。

說明下單位使用的是銳捷交換機(jī)，銳捷交換機(jī)有網(wǎng)絡(luò)基礎(chǔ)保護(hù)策略（Network Foundation Protection Policy，NFPP）。在網(wǎng)絡(luò)環(huán)境中經(jīng)常發(fā)現(xiàn)一些惡意的攻擊，這些攻擊會(huì)給交換機(jī)帶來過重的負(fù)擔(dān)，引起交換機(jī)CPU 利用率過高，導(dǎo)致交換機(jī)無法正常運(yùn)行。

NFPP 可以有效地防止系統(tǒng)受這些攻擊的影響。在受攻擊情況下，保護(hù)系統(tǒng)各種服務(wù)的正常運(yùn)行，以及保持較低的CPU 負(fù)載，從而保障了整個(gè)網(wǎng)絡(luò)的穩(wěn)定運(yùn)行。ARP-Guard 功能主要目標(biāo)為保護(hù)設(shè)備CPU，防止大量攻擊ARP 報(bào)文送CPU 導(dǎo)致CPU利用率升高，所以ARP-Guard實(shí)現(xiàn)了對送CPU ARP 報(bào)文的限速和攻擊檢測。IP-Guard可以識別當(dāng)主機(jī)發(fā)出的報(bào)文目的地址為交換機(jī)直連網(wǎng)段不存在或未上線用戶的IP地址時(shí)，交換機(jī)會(huì)發(fā)出ARP進(jìn)行請求，如果存在這樣的連續(xù)不斷的攻擊，會(huì)導(dǎo)致設(shè)備CPU 很高。當(dāng)ARP 報(bào)文速率超過限速水線時(shí)，超限報(bào)文將被丟棄。當(dāng)ARP 報(bào)文速率超過告警水線時(shí)，將打印警告信息，并發(fā)送TRAP，基于主機(jī)的攻擊識別還可以對攻擊源頭采取硬件隔離措施。

調(diào)整交換機(jī)的NFPP 參數(shù)

又回到K 棟樓的4 樓2 臺NFPP 隔離最多的接入交換機(jī)上，在端口上增加“arp-check”及“anti-arpspoofing ip 172.X.X.1”命令，剛剛做完4 臺交換機(jī)配置就有從K 棟樓有信息反饋回來，說是表項(xiàng)不足，無法認(rèn)證了！

筆者只好立即刪除這2行新增加的命令，再檢查發(fā)現(xiàn)此樓交換機(jī)NFPP 基本沒配置，使用的都是默認(rèn)值。因?yàn)榇藰鞘切姓k公樓，平時(shí)最多只有200 左右個(gè)用戶，也就沒配置。

先是在此樓的匯聚交換機(jī)上對NFPP 馬上增加配置：

把這些配置也增加到16臺接入交換機(jī)上，做完后再在匯聚及此樓接入交換機(jī)上查看，NFPP 隔離的IP 的數(shù)量明顯減少了，同時(shí)回復(fù)讓此棟K 樓內(nèi)各個(gè)部門的用戶都要多重軟件查殺病毒，盡量少用或最好不用小路由器，下載時(shí)少開任務(wù)，下載后關(guān)閉下載的進(jìn)程，平時(shí)少開窗口少開程序。

通過調(diào)整增加NFPP 參數(shù)、讓此樓各個(gè)部門用戶查殺病毒后，此棟K 樓反映斷網(wǎng)的用戶明顯少了，登錄交換機(jī)在NFPP 里隔離的IP 地址數(shù)量也少很多了。

發(fā)現(xiàn)172.x.x.200 可能是根源，查殺后基本無NFPP 隔離

通過調(diào)整增加NFPP 參數(shù)后，此棟K 樓反映斷網(wǎng)的用戶明顯少了，但在匯聚及至4 樓1 臺接入交換機(jī)上還是不斷隔離172.X.X.200，還有其他幾個(gè)不固定的IP 地址。登錄Y 樓的接入交換機(jī)發(fā)現(xiàn)172.X.X.200 在8 號端口是不認(rèn)證端口，此端口還有另外三個(gè)MAC 地址，這個(gè)IP:172.X.X.200 是這個(gè)Y 樓Y 部門一臺業(yè)務(wù)服務(wù)器，先把此8 號端口加上認(rèn)證，在行政樓的匯聚上的ACL 上增加禁止172.X.X.200，觀察30多分鐘還是一樣不斷隔離此IP，同時(shí)在Y 樓的交換機(jī)上也NFPP 也發(fā)現(xiàn)有幾個(gè)IP 地址隔離了，有的也在8 號端口。

筆者直覺認(rèn)為這個(gè)172.X.X.200 肯定有問題，直接關(guān)閉Y 樓接入交換機(jī)的8 號端口。在上網(wǎng)行為日志中查詢發(fā)現(xiàn)172.X.X.200 最近一周的記錄基本都是協(xié)之通XT800 的記錄，差不多是20分鐘一次，在安全設(shè)備的日志中發(fā)現(xiàn)172.X.X.200 有挖礦蠕蟲被阻斷幾十個(gè)記錄，于是將上面2 個(gè)日志的截圖發(fā)給此Y 樓Y 部門的人，讓他們必須查殺這臺服務(wù)器，其他用戶電腦也要查殺病毒，處理好后才能開通端口。再回來K 樓的匯聚及接入交換機(jī)用命令“sh nfpp arpguard hosts”、“sh nfpp ip-guard hosts”查看基本都是空白的?？梢钥隙?72.x.x.200 就是這次K 樓一些用戶斷網(wǎng)的根源。

過兩天后，Y 樓Y 部門說是查殺病毒了，并且172.X.X.200 是他們業(yè)務(wù)服務(wù)器，關(guān)閉網(wǎng)絡(luò)影響了他們正常業(yè)務(wù)，只得打開8 號端口。而在關(guān)閉Y 交換機(jī)8 號端口的這兩天，筆者也一直關(guān)注了K 樓匯聚交換機(jī)NFPP 基本沒有隔離的IP 地址。再打開Y交換機(jī)8 號端口不一會(huì)，在K 樓的匯聚上NFPP 就隔離了172.X.X.200，在Y 樓的接入交換機(jī)NFPP 也隔離其他IP。

172.x.x.200 問題還在！必須要人工隔離172.X.X.200，在ACL 里增加禁止，先是在Y 樓的接入交換機(jī)和K 樓的匯聚交換機(jī)在ACL里是IP、TCP、UDP 協(xié)議禁止172.X.X.200，但觀察一會(huì)兒后還是有NFPP 隔離172.x.x.200，就把能配置的協(xié)議ICMP、IGMP、EIGRP 全加上禁止，在K 樓的匯聚交換機(jī)的各接入交換機(jī)端口加上禁止172.X.X.200 的ACL，再 把K樓其他15 臺接入交換機(jī)同時(shí)增加禁止172.X.X.200。

可是在K 樓匯聚及4 樓一臺接入交換機(jī)上還是發(fā)現(xiàn)NFPP 不斷隔離172.X.X.200，同時(shí)還隔離有其他IP，再次要求Y 樓的Y 部門馬上查殺172.X.X.200 的病毒，這個(gè)問題嚴(yán)重行政辦公樓的網(wǎng)絡(luò)運(yùn)行了，否則整個(gè)Y 部門斷網(wǎng)。

在K 樓的匯聚交換機(jī)的Y 部門接入端口發(fā)現(xiàn)廣播包有些大，在Y 部門接入交換機(jī)8 號端廣播包也有點(diǎn)多，于是在Y 部門的接入交換機(jī)8 號端口增加storm-control broadcast pps 200，在匯聚交換機(jī)Y 部門上聯(lián)口增加storm-control broadcast pps 1000，同時(shí)增加VLAN 的修剪。

后來Y 部門找來業(yè)務(wù)公司來處理了172.x.x.200 服務(wù)器安全問題，說是把遠(yuǎn)程控制的和挖礦的病毒殺掉了，這之后在K 樓的交換機(jī)里沒再發(fā)現(xiàn)NFPP 里有隔離172.X.X.200 的了。但在K樓的匯聚及2 樓的一臺接入交換機(jī)多次發(fā)現(xiàn)NFPP 隔離172.X.Y.18。找到此用戶，通知其處理電腦的安全問題，他說此IP 是一臺小路由器，是經(jīng)常斷網(wǎng)的，讓他關(guān)掉此小路由器。再次調(diào)整K 樓的交換機(jī)的NFPP 參數(shù)，將每IP 的限速提到50，警告提到60，即：

又觀察了幾天K 樓交換機(jī)里NFPP 基本沒有隔離，只是偶爾能看到1-2 個(gè)隔離的IP，且不固定，被NFPP 隔離的IP 地址的用戶也沒有報(bào)網(wǎng)絡(luò)故障。這K 棟樓雖然還是有報(bào)網(wǎng)絡(luò)故障，但通過查看交換機(jī)都不是當(dāng)時(shí)NFPP隔離的IP，網(wǎng)絡(luò)故障的是其他問題。至此K 樓一些用戶報(bào)告斷網(wǎng)的問題基本解決。

總結(jié)

單位某棟K 樓一些用戶斷網(wǎng)，通過排查交換機(jī)發(fā)現(xiàn)是NFPP 保護(hù)機(jī)制起做用，交換機(jī)自動(dòng)對一些大量發(fā)包的IP 地址進(jìn)行隔離，通過調(diào)整NFPP 的arp-guard、ip-guard 的參數(shù)，找到還在大量發(fā)包的一個(gè)IP：172.x.x.200，通過查此IP 地址的上網(wǎng)行為和安全設(shè)備日志記錄，發(fā)現(xiàn)此IP 有大量非正常行為。

通知此IP 用戶查殺病毒，并讓K 樓所有用戶查殺病毒。通過關(guān)閉、放開此IP地址所在接入交換機(jī)端口確認(rèn)此樓一些用戶斷網(wǎng)跟此IP 有關(guān)，在此IP 用戶徹底查殺病毒后，通過放大NFPP 的參數(shù)，此樓交換機(jī)NFPP 隔離的IP 地址基本沒有了，K 樓報(bào)網(wǎng)絡(luò)故障的數(shù)量明顯減少了，雖然K 樓也還報(bào)有網(wǎng)絡(luò)故障的但通過排查與NFPP隔離無關(guān)，是其他問題。