西南某地語音記錄儀頻繁宕機(jī)原因分析

祁振杰

民航貴州空管分局 貴州 貴陽 550005

引言

語音記錄儀在空管行業(yè)內(nèi)十分重要，旨在記錄空中交通管制員對空通話、電話等錄音，記錄的數(shù)據(jù)主要用于事件調(diào)查、回溯還原指揮現(xiàn)場的情況等。通常，語音記錄儀系統(tǒng)中配備的記錄單元所保存數(shù)據(jù)的硬盤通常使用raid技術(shù)[1]，防止記錄儀主機(jī)的記錄單元故障的情況下，造成語音記錄的缺失。

1 西南某地記錄儀宕機(jī)事件

自2021年12月10日，西南某地的現(xiàn)場過渡搬遷正式運(yùn)行后，記錄儀系統(tǒng)發(fā)生多次的宕機(jī)現(xiàn)象，宕機(jī)后的主機(jī)具體表現(xiàn)為：USB口無法使用、網(wǎng)絡(luò)無法啟用、屏幕顯示故障前的最后畫面，需斷電重啟宕機(jī)記錄單元才能恢復(fù)。

現(xiàn)場2022年8月26日于進(jìn)行了軟件升級后，8月27日至9月27日期間，宕機(jī)次數(shù)明顯增加，為36次，表現(xiàn)為不同單元、不同時(shí)間，宕機(jī)無規(guī)律可循，給現(xiàn)場的生產(chǎn)運(yùn)行造成了一定的風(fēng)險(xiǎn)隱患。

2 記錄儀的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)-千兆雙交換機(jī)級聯(lián)

如圖1所示，A、B兩臺千兆交換機(jī)使用網(wǎng)線（橙色）直接連接，實(shí)現(xiàn)普通端口級聯(lián)。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

每臺記錄單元的主機(jī)上有兩個(gè)物理網(wǎng)口，通過Linux雙網(wǎng)卡綁定技術(shù)（被稱為bonding），實(shí)現(xiàn)使用兩塊網(wǎng)卡虛擬成為一塊網(wǎng)卡，即兩塊網(wǎng)卡具有相同的IP地址而并行鏈接聚合成一個(gè)邏輯鏈路工作。兩個(gè)物理網(wǎng)口分別使用網(wǎng)線（紅色、藍(lán)色）接入A、B交換機(jī)。

2.2 軟件結(jié)構(gòu)[2-3]

如圖2所示，西南某地語音記錄儀的軟件結(jié)構(gòu)主要分為3部分，公共模塊（網(wǎng)絡(luò)代理程序、守護(hù)進(jìn)程）、語音記錄部分、控制部分。

圖2 語音記錄儀軟件結(jié)構(gòu)

3 記錄儀廠家進(jìn)行的實(shí)驗(yàn)

2022年2月至8月，現(xiàn)場與廠家聯(lián)合開展了11記錄單元工控機(jī)部件更換，先后完成了內(nèi)存條更換、記錄儀工控機(jī)更換、主板插槽更換、擋片更換、話音卡更換、磁盤陣列和話音卡壓條更換、底板更換、壓條緊固操作、擦拭板卡金手指等操作，但宕機(jī)問題仍然存在，未能定位宕機(jī)原因。

3.1 對比8月27日升級前后的網(wǎng)絡(luò)流量

現(xiàn)象：升級前后，主要體現(xiàn)在記錄儀內(nèi)網(wǎng)數(shù)據(jù)流量對比升級前增大近10倍，廠家在各個(gè)測試主機(jī)部署網(wǎng)絡(luò)沖擊程序模擬放大網(wǎng)絡(luò)流量，分析網(wǎng)絡(luò)流量沖擊下死機(jī)頻率變化。

初步判斷：主機(jī)宕機(jī)，因升級后比升級前網(wǎng)絡(luò)流量增大，死機(jī)的概率有所增加。

采用排除法：

3.1.1 硬件排除。9月20日-10月26日，測試電源模塊，死機(jī)依舊。結(jié)論：與電源模塊無關(guān)。

10月24日開始，更換主機(jī)品牌后，未出現(xiàn)死機(jī)。

3.1.2 軟件排除。10月25日，不運(yùn)行記錄儀程序，只運(yùn)行網(wǎng)絡(luò)代理進(jìn)行和單元控制進(jìn)程，含網(wǎng)絡(luò)沖擊進(jìn)程，判斷死機(jī)與記錄進(jìn)程、界面進(jìn)程無關(guān)。

11月11日后，不運(yùn)行記錄儀相關(guān)的所有程序，包含網(wǎng)絡(luò)代理進(jìn)行和單元控制進(jìn)程，只運(yùn)行網(wǎng)絡(luò)發(fā)送程序。

表1 分組對比的設(shè)備情況

3.1.3 分組進(jìn)行對比測試。如上表所示，10月29日-11月6日，測試環(huán)境33臺，分為4組，第1、2組為與西南某現(xiàn)場相同的記錄單元5U定制主機(jī)，第3組為與現(xiàn)場相同的4U原裝主機(jī)，第4組為普通臺式主機(jī)。

第1、2、3組中，將7臺主機(jī)的配置為：1臺模擬話音記錄單元、2臺E1記錄單元、2臺VOIP記錄單元、2臺雷達(dá)記錄單元，全部加載不低于現(xiàn)場數(shù)據(jù)流量的測試數(shù)據(jù)（如模擬話音信號、E1話音數(shù)據(jù)、VOIP話音數(shù)據(jù)、雷達(dá)數(shù)據(jù)）。第4組共12臺記錄單元，采用普通品牌臺式機(jī)，配置為VOIP記錄單元。

結(jié)論：在10月25日部署網(wǎng)絡(luò)沖擊程序，10月25日至11月6日，共宕機(jī)15臺次，比部署前明顯增加，可證明死機(jī)頻率與網(wǎng)絡(luò)流量具有相關(guān)性。因此，后續(xù)測試重點(diǎn)放在網(wǎng)絡(luò)相關(guān)部分。

11月3日至12月17日，第1組、第2組為對比測試組，通過單接入集成網(wǎng)卡，加裝獨(dú)立網(wǎng)卡，停止所有記錄儀相關(guān)程序，解除網(wǎng)卡綁定等5種排除的方法。

結(jié)論：加裝獨(dú)立網(wǎng)卡，解除網(wǎng)卡綁定，可以解決宕機(jī)問題。

11月3日至12月17日，第3組測試，通過單接入集成網(wǎng)卡，加裝獨(dú)立網(wǎng)卡，停止所有記錄儀相關(guān)程序，解除網(wǎng)卡綁定等5種排除的方法。

結(jié)論：更換主機(jī)，加裝獨(dú)立USB網(wǎng)卡，可以解決宕機(jī)問題。

11月3日至12月15日，第4組測試中主機(jī)為普通臺式PC主機(jī)，與第1組至第3組已測試的各網(wǎng)卡芯片不同，為intel i218，intel i219芯片，且試驗(yàn)采用單網(wǎng)卡接入，從10月25日開始，在網(wǎng)絡(luò)沖擊情況下一直未出現(xiàn)死機(jī)現(xiàn)象。

結(jié)論：更換主機(jī)，解除綁定可以解決宕機(jī)問題。

4 原因分析

經(jīng)過以上測試，造成此次宕機(jī)的原因可能有如下幾點(diǎn)。

4.1 硬件原因

網(wǎng)卡故障：語音記錄儀的主機(jī)是整個(gè)系統(tǒng)的核心，如果主機(jī)出現(xiàn)故障，將導(dǎo)致整個(gè)語音記錄儀無法正常工作。

兼容性問題：語音記錄儀網(wǎng)卡硬件與的驅(qū)動(dòng)可能與其他系統(tǒng)或設(shè)備存在兼容性問題，導(dǎo)致宕機(jī)。

4.2 軟件原因

此次宕機(jī)事件主要在8月底升級語音記錄儀軟件后，宕機(jī)次數(shù)顯著上升，語音記錄儀的軟件可能存在錯(cuò)誤或漏洞，導(dǎo)致系統(tǒng)宕機(jī)。

5 結(jié)論與建議

根據(jù)本文實(shí)驗(yàn)測試結(jié)果與分析，網(wǎng)卡驅(qū)動(dòng)與硬件的兼容性問題，有可能是引起此次宕機(jī)的直接原因。

建議：更換物理網(wǎng)卡，適當(dāng)?shù)臅r(shí)機(jī)升級語音記錄儀軟件網(wǎng)絡(luò)代理程序。

同時(shí)，為了降低語音記錄儀宕機(jī)的風(fēng)險(xiǎn)，可以采取以下措施：①定期維護(hù)和檢修：定期對語音記錄儀進(jìn)行維護(hù)和檢修，包括清潔、檢查硬件的工作狀態(tài)等，以確保其正常運(yùn)行。②備份和冗余：設(shè)置語音記錄儀的備份系統(tǒng)，將數(shù)據(jù)存儲(chǔ)在多個(gè)設(shè)備上，以便在一個(gè)設(shè)備發(fā)生故障時(shí)，可以切換到備份設(shè)備繼續(xù)記錄。③監(jiān)控和報(bào)警系統(tǒng)：設(shè)置監(jiān)控系統(tǒng)，對語音記錄儀的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測，并設(shè)置報(bào)警機(jī)制，一旦發(fā)現(xiàn)異常情況，及時(shí)通知相關(guān)人員進(jìn)行處理。

6 結(jié)束語

經(jīng)過分析與測試，西南某地空管語音記錄儀頻繁宕機(jī)的原因可能是硬件故障、軟件故障、驅(qū)動(dòng)程序與硬件兼容性問題。為了降低宕機(jī)風(fēng)險(xiǎn)，需要定期維護(hù)和檢修設(shè)備，備份數(shù)據(jù)，加強(qiáng)系統(tǒng)的監(jiān)控，及時(shí)發(fā)現(xiàn)并處理異常情況。