基于LightGBM 的在線磁盤故障預(yù)測(cè)模型

田烜瑜 汪旭杰 史恩澤 陳思奇

（1.中國(guó)民航大學(xué)計(jì)算機(jī)學(xué)院 天津市 300300 2.中國(guó)民航大學(xué)安全科學(xué)與工程學(xué)院 天津市 300300）

為了在互聯(lián)網(wǎng)上傳遞、加速、展示、計(jì)算、存儲(chǔ)數(shù)據(jù)信息，數(shù)據(jù)中心應(yīng)運(yùn)而生，并在全球蓬勃發(fā)展，而磁盤故障的出現(xiàn)對(duì)數(shù)據(jù)中心的可靠性和可用性造成了很大的影響，嚴(yán)重降低了存儲(chǔ)系統(tǒng)的可靠性。對(duì)于這一問題，本文計(jì)劃基于LightGBM 算法設(shè)計(jì)在線磁盤故障預(yù)測(cè)模型，預(yù)測(cè)未來一周至兩周內(nèi)將出現(xiàn)故障的磁盤，從而提醒用戶提前備份危險(xiǎn)磁盤上的數(shù)據(jù)，避免數(shù)據(jù)丟失。本文所提的故障預(yù)測(cè)模型具有較高的預(yù)測(cè)準(zhǔn)確率，并適用于大規(guī)模數(shù)據(jù)中心。

本文重點(diǎn)解決了下述三個(gè)問題：

（1）在線樣本標(biāo)記問題。在離線學(xué)習(xí)過程中，由于已經(jīng)充分了解到磁盤的狀態(tài)（是否發(fā)生故障），可以很容易的對(duì)樣本進(jìn)行標(biāo)記；而在線學(xué)習(xí)過程中，磁盤狀態(tài)（是否會(huì)故障）很難確定，無法對(duì)新生成的樣本進(jìn)行實(shí)時(shí)標(biāo)記。為此，我們提出一種自動(dòng)的樣本標(biāo)記方法：首先將到來的磁盤樣本數(shù)據(jù)暫存，并設(shè)定暫存時(shí)間窗口為t。在t 時(shí)間內(nèi)如果有磁盤發(fā)生故障，則將之前暫存的該磁盤的樣本都標(biāo)記為負(fù)樣本，對(duì)于t 時(shí)間內(nèi)沒有發(fā)生故障的磁盤，將其暫存的樣本都標(biāo)記為正樣本，新標(biāo)記的數(shù)據(jù)用于模型更新。

（2）樣本不平衡問題。故障磁盤和正常磁盤之間存在著高度的不平衡，這是因?yàn)榇疟P故障是一個(gè)相對(duì)罕見的事件，故障磁盤只占樣本的很少一部分，而樣本不平衡會(huì)造成分類模型產(chǎn)生很嚴(yán)重的偏向性。對(duì)此本文采用改變樣本權(quán)重的方法來解決樣本不平衡問題，通過增大正樣本權(quán)重，從而間接降低負(fù)樣本權(quán)重。

（3）在線學(xué)習(xí)問題。具體而言，模型的在線學(xué)習(xí)就是增量學(xué)習(xí)，增量學(xué)習(xí)指一個(gè)學(xué)習(xí)系統(tǒng)能不斷地從新樣本中學(xué)習(xí)新的知識(shí)，并能保存大部分以前已經(jīng)學(xué)習(xí)到的知識(shí)。本文在當(dāng)前決策樹的基礎(chǔ)上增加新的決策樹，而原來的決策樹保持不變，從而實(shí)現(xiàn)模型的增量更新。

1 相關(guān)工作

為了減少磁盤故障帶來的損失，降低維護(hù)成本。目前，傳統(tǒng)存儲(chǔ)系統(tǒng)通常采用RAID 技術(shù)（即獨(dú)立磁盤冗余陣列技術(shù)）或副本機(jī)制來避免由于磁盤故障而導(dǎo)致的服務(wù)中斷。在發(fā)生設(shè)備故障時(shí)，系統(tǒng)利用冗余數(shù)據(jù)重構(gòu)故障數(shù)據(jù)，使用這種“被動(dòng)容錯(cuò)”機(jī)制保障系統(tǒng)和服務(wù)的可用性。然而隨著存儲(chǔ)系統(tǒng)規(guī)模的擴(kuò)大，磁盤故障頻率不斷增加，這種“被動(dòng)容錯(cuò)”機(jī)制無法很好地保障系統(tǒng)的可靠性。與之對(duì)比的是“主動(dòng)容錯(cuò)”機(jī)制：SMART（Self-Monitoring， Analysis and Reporting Technology）技術(shù)通過在磁盤硬件內(nèi)的檢測(cè)指令對(duì)磁盤的硬件（如磁頭、盤片、馬達(dá)、電路）的運(yùn)行情況進(jìn)行監(jiān)控、記錄并與廠商所設(shè)定的安全值進(jìn)行比較，若監(jiān)控到運(yùn)行情況將超出或已超出預(yù)設(shè)安全值的安全范圍，就通過主機(jī)的監(jiān)控硬件或軟件自動(dòng)向用戶做出警告，并將危險(xiǎn)磁盤上的數(shù)據(jù)提前遷移到其他健康磁盤，以保障磁盤數(shù)據(jù)的安全。這種方法簡(jiǎn)單易行，但是磁盤供應(yīng)商為了保證低誤報(bào)率，通常將閾值設(shè)置的比較嚴(yán)謹(jǐn)，導(dǎo)致故障檢出率只有3%-10%，不能滿足系統(tǒng)可靠性的要求。

為了進(jìn)一步提高磁盤故障預(yù)測(cè)的精度，國(guó)內(nèi)外科研人員基于大量磁盤SMART 數(shù)據(jù)和故障磁盤數(shù)據(jù)，采用統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)方法來訓(xùn)練磁盤故障預(yù)測(cè)模型。這些模型在故障磁盤預(yù)測(cè)方面表現(xiàn)出色，讓用戶可以對(duì)故障風(fēng)險(xiǎn)較大的磁盤進(jìn)行提前更換，從而提高了系統(tǒng)的可靠性。早期Hamerly 和Elkan運(yùn)用統(tǒng)計(jì)學(xué)中貝葉斯方法在來自昆騰公司的數(shù)據(jù)集上測(cè)試，得到 55%的故障檢測(cè)率（Failure Detection Rate，F(xiàn)DR）和0.82%的故障誤報(bào)率（False Alarm Rate，F(xiàn)AR）。Hughes等人提出兩個(gè)改進(jìn)的智能算法，他們利用秩和檢驗(yàn)對(duì)磁盤故障進(jìn)行預(yù)測(cè)。在來自兩種不同公司提供的3744 個(gè)磁盤（36 個(gè)故障）上進(jìn)行預(yù)測(cè)，結(jié)果表明他們的算法在0.5%誤報(bào)率的情況下，故障檢出率為60%。Zhu 和Wang等人探索了反向傳播(BP)神經(jīng)網(wǎng)絡(luò)模型，開發(fā)了一個(gè)改進(jìn)的支持向量機(jī)(SVM)模型，使用23395 個(gè)磁盤真實(shí)數(shù)據(jù)來驗(yàn)證模型，BP 神經(jīng)網(wǎng)絡(luò)模型在保持合理的低FAR 的同時(shí)，故障檢出率明顯提高，高達(dá)95%。國(guó)防科技大學(xué)胡維探索了利用機(jī)器學(xué)習(xí)理論預(yù)測(cè)磁盤故障的新方法，進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性，降低誤報(bào)率，增強(qiáng)實(shí)用性。

隨著對(duì)磁盤故障預(yù)測(cè)關(guān)注度和投入力度的深入和提高，基于磁盤故障預(yù)測(cè)的研究方法由傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)方法轉(zhuǎn)變?yōu)闄C(jī)器學(xué)習(xí)方法。但上述方法都是在離線模型的方式下進(jìn)行預(yù)測(cè)，雖然具有很好的預(yù)測(cè)性能，但是離線模型沒有考慮到SMART 屬性隨著時(shí)間的動(dòng)態(tài)變化，且不易于拓展到大數(shù)據(jù)場(chǎng)景，模型易老化，同時(shí)，由于離線模型對(duì)磁盤的預(yù)測(cè)與時(shí)間關(guān)系不夠密切，可能會(huì)造成一個(gè)磁盤還有很長(zhǎng)的壽命，但是因?yàn)楸粯?biāo)記為故障磁盤而被替換，導(dǎo)致磁盤的利用率低，經(jīng)濟(jì)成本提高。本文基于LightGBM 算法對(duì)磁盤是否會(huì)發(fā)生故障進(jìn)行在線預(yù)測(cè)，為磁盤維護(hù)提供決策參考。

2 LightGBM模型分析

梯度提升決策樹(GBDT)是一種流行的機(jī)器學(xué)習(xí)算法，其主要思想是利用弱分類器迭代訓(xùn)練得到最優(yōu)模型?；诖怂惴ㄓ性S多有效的實(shí)現(xiàn)，如XGBoost 和pGBRT 等，這些工具雖然都是在GBDT的基礎(chǔ)上進(jìn)行優(yōu)化，但是當(dāng)特征維度高、數(shù)據(jù)規(guī)模大時(shí)，它們的效率和可伸縮性仍然不能令人滿意。同時(shí)，作為GBDT 的代表模型，XGBoost 具有較大的時(shí)間開銷，在遍歷樹中的每一個(gè)分割點(diǎn)的時(shí)候，都需要進(jìn)行分裂增益的計(jì)算，消耗的計(jì)算代價(jià)和時(shí)間代價(jià)都比較大。

為了解決這個(gè)問題，2017 年微軟發(fā)布了LightGBM 模型，提出兩種新的技術(shù)來解決以上問題：?jiǎn)芜吿荻炔蓸樱℅OSS）和互斥特征捆綁（EFB）。GOSS 區(qū)分具有不同梯度的實(shí)例，保留具有較大梯度的實(shí)例并對(duì)較小梯度采用隨機(jī)采樣的方式來減少計(jì)算量，從而達(dá)到提升效率的目的。EFB 通過采用特征捆綁的方式減少特征維度，來提升計(jì)算效率。

同時(shí)LightGBM 模型為了減少分裂點(diǎn)的數(shù)量，采用了基于直方圖的算法，其基本思想如下：將連續(xù)的浮點(diǎn)特征值離散為k 個(gè)整數(shù)（即分桶bins），并根據(jù)特征所在的bin 對(duì)其進(jìn)行梯度累加和個(gè)數(shù)統(tǒng)計(jì)；在遍歷數(shù)據(jù)時(shí)，根據(jù)離散化的值索引尋找bin，累積數(shù)據(jù)；遍歷一遍數(shù)據(jù)后，直方圖積累了一定的統(tǒng)計(jì)量，然后根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點(diǎn)。

在多個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)表明，LightGBM 將傳統(tǒng)GBDT 模型的訓(xùn)練速度提升了20 多倍，同時(shí)保持預(yù)測(cè)精度不變。

3 特征工程和特征選擇

3.1 數(shù)據(jù)來源

本文所使用的數(shù)據(jù)來自于Backblaze 公司，包含了 2020年 1 月至 2021 年 12 月總共 8 個(gè)季度的磁盤運(yùn)行記錄。其中，2020 年1 月至2020 年12 月的數(shù)據(jù)用于離線模型的訓(xùn)練，2021 年1 月至2021 年6 月的數(shù)據(jù)用于在線模型的訓(xùn)練，2021 年7 月至2021 年12 月的數(shù)據(jù)用于模型的測(cè)試。上述數(shù)據(jù)集包含的信息有磁盤運(yùn)行時(shí)間、磁盤序列號(hào)、磁盤型號(hào)、磁盤容量、故障標(biāo)記和510 個(gè)SMART 屬性特征值，其中SMART 的原始特征值有255 個(gè)，SMART 的標(biāo)準(zhǔn)特征值有255 個(gè)。由Backblaze 公司提供的磁盤年度故障表可知，ST12000NM0007 型號(hào)的磁盤數(shù)量總量和故障的磁盤數(shù)量最多，因此本文選擇ST12000NM0007 型號(hào)的磁盤數(shù)據(jù)作為本文的實(shí)驗(yàn)數(shù)據(jù)。表1 對(duì)本文所采用的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了說明。

表1：實(shí)驗(yàn)數(shù)據(jù)說明

3.2 數(shù)據(jù)處理

數(shù)據(jù)的預(yù)處理操作對(duì)于提高模型的預(yù)測(cè)性能至關(guān)重要，可以避免模型受到噪聲、缺失值和不一致數(shù)據(jù)的侵?jǐn)_。本文通過缺失值處理、數(shù)據(jù)提取和特征選擇操作，構(gòu)造出高質(zhì)量的訓(xùn)練數(shù)據(jù)，提高了模型的預(yù)測(cè)性能。

3.2.1 缺失值處理

原始數(shù)據(jù)記錄的SMART 屬性共有510 個(gè)，但其中大部分屬性的特征值為空值，示例如圖1 所示。這些空值數(shù)據(jù)對(duì)磁盤故障的預(yù)測(cè)沒有任何幫助，而且會(huì)增加磁盤故障預(yù)測(cè)的故障率和運(yùn)行效率，因此本文剔除了全部為空值的SMART屬性。剔除的SMART 屬性為smart_2、smart_6、smart_8、smart_11、smart_13—smart_186、smart_189、smart_191、smart_196、smart_201—smart_239、smart_243—smart_255，共計(jì)131 個(gè)SMART 屬性。另外，對(duì)于缺失值較少的屬性，本文采用0 填補(bǔ)其缺失值。

圖1：原始數(shù)據(jù)的SMART 特征屬性示例

3.2.2 數(shù)據(jù)提取

此時(shí)樣本數(shù)據(jù)還是分散的且存在一些混亂數(shù)據(jù)，對(duì)磁盤預(yù)測(cè)的準(zhǔn)確率產(chǎn)生一定的負(fù)面影響。因此本文按照磁盤序列號(hào)提取數(shù)據(jù)，將正常磁盤和故障磁盤分別存儲(chǔ)，同時(shí)將正常磁盤和故障磁盤中的混亂數(shù)據(jù)剔除。正常盤磁盤的混亂數(shù)據(jù)是指：最后一天的failure 值為0，而之前的樣本中存在failure 值為1 的數(shù)據(jù)；故障磁盤的混亂數(shù)據(jù)是指：最后一天的failure值為1，而之前的樣本中也存在failure值為1的數(shù)據(jù)。圖2 為正常磁盤的混亂數(shù)據(jù)樣例，雖然磁盤ZCH059KN 當(dāng)前處于正常運(yùn)行的狀態(tài)，但是其在前期出現(xiàn)過故障標(biāo)識(shí)（第五列的failure 值為1），所以將其從正常磁盤中剔除。

圖2：正常磁盤的混亂數(shù)據(jù)示例

3.2.3 特征選擇

在SMART 數(shù)據(jù)中，每一項(xiàng)都由兩種數(shù)值形式予以展現(xiàn)，分別為normal value 和raw value。其中raw value 是該項(xiàng)記錄的原始值，normal value 是把原始值經(jīng)過標(biāo)準(zhǔn)的規(guī)整計(jì)算，得到的一組數(shù)值范圍為0 到255 的一個(gè)數(shù)值。因?yàn)樵贾悼梢愿舾械母兄酱疟P狀態(tài)的變化，所以本文在訓(xùn)練過程中更多地使用raw value。

目前，對(duì)于特征選擇方面的研究主要包括三類：基于特征子集評(píng)價(jià)策略的特征選擇算法、基于搜索策略的特征選擇算法、和基于不同監(jiān)督信息的特征選擇方法。本文采用基于特征子集評(píng)價(jià)策略的特征選擇算法中的嵌入式特征選擇方法，嵌入式特征選擇是將特征選擇過程與學(xué)習(xí)模型的訓(xùn)練過程聯(lián)系到一起，從訓(xùn)練結(jié)果中得到各個(gè)特征的權(quán)值系數(shù)，根據(jù)系數(shù)選擇特征。LightGBM 算法采用兩種計(jì)算特征重要性的方法：“gain”，表示 使用這些特征分割的總增益；“frequency”，表示使用該特征的次數(shù)。

本文結(jié)合“gain”和“frequency”兩種方法來計(jì)算特征的重要性得分，同時(shí)參考特征的實(shí)際意義，進(jìn)行特征屬性的選擇。通過“gain”計(jì)算方法，權(quán)值系數(shù)排在前二十的特征屬性如圖3 所示，通過“frequency”計(jì)算方法，權(quán)值系數(shù)排在前二十的特征屬性如圖4 所示。結(jié)合兩種計(jì)算方法和特征的實(shí)際意義，本文最終選取了12 個(gè)特征屬性，如表2 所示。

圖3：importance_type='split'時(shí)權(quán)值系數(shù)前二十的特征

圖4：importance_type='gain'時(shí)權(quán)值系數(shù)前二十的特征

表2：選取的12 個(gè)特征

4 在線模型的構(gòu)建

實(shí)現(xiàn)在線磁盤故障預(yù)測(cè)模型需要在離線模型的基礎(chǔ)上進(jìn)行增量學(xué)習(xí)，本文先通過已標(biāo)注的歷史數(shù)據(jù)集構(gòu)建出基礎(chǔ)模型，然后再對(duì)實(shí)時(shí)產(chǎn)生的數(shù)據(jù)樣本進(jìn)行在線標(biāo)注，最后利用新數(shù)據(jù)樣本增量更新基礎(chǔ)模型，實(shí)現(xiàn)磁盤故障的在線預(yù)測(cè)。

4.1 基礎(chǔ)模型構(gòu)建

4.1.1 數(shù)據(jù)選擇

本文選擇2020 年1 月-2020 年12 月四個(gè)季度的數(shù)據(jù)進(jìn)行離線模型訓(xùn)練，得到基礎(chǔ)模型。該訓(xùn)練數(shù)據(jù)集包含從正常運(yùn)行的健康磁盤數(shù)據(jù)中隨機(jī)抽取的連續(xù)七天的數(shù)據(jù)樣本（總共有258412 條數(shù)據(jù)樣本），和從故障盤數(shù)據(jù)的最后一天向前取的七天數(shù)據(jù)樣本（總共有2304 條數(shù)據(jù)樣本，其中兩條數(shù)據(jù)因異常而去除）。將故障盤的數(shù)據(jù)樣本的failure 值全部改為1，作為負(fù)樣本。

4.1.2 樣本不平衡處理

由于出現(xiàn)故障磁盤是一個(gè)小概率事件，因此故障磁盤數(shù)據(jù)與正常磁盤數(shù)據(jù)的訓(xùn)練樣本數(shù)量差距很大，如果不處理就進(jìn)行訓(xùn)練會(huì)嚴(yán)重影響模型精度，對(duì)故障磁盤的預(yù)測(cè)性能非常差。

處理樣本不平衡問題，可以采用保留比例小的樣本數(shù)據(jù)和減少比例大的樣本數(shù)據(jù)來平衡兩者的比例，但這種方法可能會(huì)丟失一些重要信息而導(dǎo)致欠采樣。因此本文采用改變權(quán)重的方法來處理樣本不平衡問題，把正樣本權(quán)重設(shè)置為：正樣本權(quán)重=負(fù)樣本數(shù)量/正樣本數(shù)量，從改變模型的目標(biāo)函數(shù)出發(fā)，增大正樣本權(quán)重，從而間接降低負(fù)樣本權(quán)重，讓分類器更多的關(guān)注正樣本。通過該方法減少模型學(xué)習(xí)樣本比例的先驗(yàn)信息，以獲得能學(xué)習(xí)到辨別好壞本質(zhì)特征的模型。

4.1.3 參數(shù)優(yōu)化

訓(xùn)練模型過程中，除了應(yīng)用LightGBM 的重要參數(shù)外，本文還選取了LightGBM 中的colsample_bytree：特征的隨機(jī)取樣（來加速訓(xùn)練及處理過擬合）；subsample：LightGBM將會(huì)在每次迭代中在不進(jìn)行重采樣的情況下隨機(jī)選擇部分?jǐn)?shù)據(jù)（來加速訓(xùn)練及處理過擬合）；min_split_gain：執(zhí)行節(jié)點(diǎn)分裂的最小增益（防止樹過深，處理過擬合）；min_child_samples：葉節(jié)點(diǎn)樣本的最小數(shù)據(jù)量（使葉子節(jié)點(diǎn)的數(shù)據(jù)分布相對(duì)穩(wěn)定，提高模型的泛化能力）。通過網(wǎng)格搜素和交叉驗(yàn)證的方法進(jìn)行參數(shù)調(diào)優(yōu)，參數(shù)的設(shè)置如表3 所示。

表3：LightGBM 主要參數(shù)設(shè)置

4.2 訓(xùn)練樣本的在線標(biāo)注

4.2.1 數(shù)據(jù)選擇

在線模型的訓(xùn)練數(shù)據(jù)我們選擇的是2021 年上半年的數(shù)據(jù)，為了模擬真實(shí)的在線過程，本文選擇七天為一個(gè)周期，將七天的數(shù)據(jù)聚合成為一個(gè)訓(xùn)練樣本，示例如圖5 所示。

圖5：訓(xùn)練樣本示例

4.2.2 在線樣本標(biāo)記

對(duì)于離線模型的樣本數(shù)據(jù)，其磁盤狀態(tài)已經(jīng)確定，很容易進(jìn)行樣本標(biāo)記。而對(duì)于在線樣本數(shù)據(jù)，由于其磁盤的狀態(tài)不確定，如果直接將樣本數(shù)據(jù)標(biāo)記為正常磁盤，那么若是磁盤在近期發(fā)生故障，這些標(biāo)記就會(huì)成為標(biāo)記噪音，同時(shí)也不能直接標(biāo)記為故障磁盤，因?yàn)橹挥挟?dāng)故障真實(shí)發(fā)生之后，其之前的樣本才能標(biāo)記為故障磁盤。因此，本文提出了一種新的在線樣本標(biāo)記方法，具體步驟如下：

（1）樣本數(shù)據(jù)A 到來，暫存；

（2）檢查A 中是否有故障磁盤，如果有則將相同序列號(hào)的故障磁盤的failure 值全部改為1；

（3）新的樣本數(shù)據(jù)B 到來，檢查其中是否有故障磁盤，如果有則將磁盤序列號(hào)傳給A；

（4）修改A 中對(duì)應(yīng)序列號(hào)的磁盤數(shù)據(jù)，將其failure 值改為1；

（5）將樣本數(shù)據(jù)A 移除暫存隊(duì)列，用于模型更新，將樣本數(shù)據(jù)B 暫存并重復(fù)以上步驟。

4.2.3 更新模型

實(shí)現(xiàn)在線磁盤故障模型，即在離線模型的基礎(chǔ)上使用新的樣本來更新模型，以避免模型老化，實(shí)現(xiàn)在線故障預(yù)測(cè)。具體來說，就是在當(dāng)前迭代樹的基礎(chǔ)上增加新的決策樹，而原來的決策樹保持不變。通過對(duì)LightGBM 算法的分析研究，我們發(fā)現(xiàn)LightGBM 存在對(duì)外的Python API 接口，通過設(shè)置其參數(shù)init_model，可以繼續(xù)訓(xùn)練LightGBM 模型或Booster。本文在完成離線模型的訓(xùn)練后，將其存儲(chǔ)為gbm，更新模型時(shí)加載gbm，同時(shí)設(shè)置init_model=gbm，從而實(shí)現(xiàn)在線模型。

4.2.4 評(píng)價(jià)結(jié)果

磁盤故障預(yù)測(cè)實(shí)際是一個(gè)二分類問題，磁盤樣本的預(yù)測(cè)結(jié)果有兩種，正樣本（P）和負(fù)樣本（N），壞盤的樣本為P，好盤的樣本為N，對(duì)其預(yù)測(cè)結(jié)果可能是正確（T），也可能是錯(cuò)誤（F）。因此，磁盤故障預(yù)測(cè)結(jié)果有四種：TP、FP、FN、TN。其中TP 是正確的正樣本預(yù)測(cè)，即把壞盤的樣本預(yù)測(cè)為壞盤。FP 是錯(cuò)誤的正樣本，即把壞盤樣本預(yù)測(cè)為好盤。FN 是錯(cuò)誤的負(fù)樣本，即把好盤樣本預(yù)測(cè)為壞盤。TN 是正確的負(fù)樣本，即把好盤樣本預(yù)測(cè)為好盤。磁盤故障預(yù)測(cè)的評(píng)價(jià)指標(biāo)是經(jīng)過以上四種結(jié)果計(jì)算出來的。

FDR 定義為故障檢出率，表示所有測(cè)試磁盤中壞盤被預(yù)測(cè)為壞盤的比例，公式如下：

FDR=TP/(TP+FN)

FAR 定義為故障誤報(bào)率，表示所有測(cè)試磁盤中好盤被預(yù)測(cè)為壞盤的比例，公式如下：

FAR=FP/(TN+FP)

經(jīng)計(jì)算離線模型的FDR 為85.59%，F(xiàn)AR 為1.33%。隨著樣本數(shù)據(jù)的增加在線模型的預(yù)測(cè)性能發(fā)生波動(dòng)，如圖6 所示?？傮w的FDR 維持在75%以上，且FAR 不超過5%，符合預(yù)測(cè)系統(tǒng)對(duì)性能測(cè)試的需求。

圖6：實(shí)驗(yàn)結(jié)果

5 結(jié)語

在如今信息化時(shí)代，社會(huì)的方方面面越來越依賴數(shù)據(jù)，而磁盤作為數(shù)據(jù)的存儲(chǔ)器，提高其可靠性對(duì)于保障數(shù)據(jù)安全具有重大意義。本文提出的基于LightGBM 的在線磁盤故障預(yù)測(cè)模型，在保障誤報(bào)率較低的情況下，實(shí)現(xiàn)較高的故障檢出率，同時(shí)該模型可以根據(jù)新來的樣本數(shù)據(jù)進(jìn)行實(shí)時(shí)更新，適應(yīng)SMART 屬性隨時(shí)間的動(dòng)態(tài)變化，擺脫模型老化問題。

在未來研究中，本文將考慮增大樣本的數(shù)量，同時(shí)選用不同磁盤生廠商的數(shù)據(jù)集，以提升模型的魯棒性。另一方面，由于時(shí)間限制，在模型參數(shù)調(diào)優(yōu)方面，本文選取的參數(shù)粒度較大，同時(shí)LightGBM 的參數(shù)眾多，本文只選取了其中一部分，未來可以選取更多參數(shù)，使用更小的調(diào)參力度，以得到預(yù)測(cè)性能更好的模型。同時(shí)，還可以考慮使用其他模型進(jìn)行在線學(xué)習(xí)，進(jìn)一步提升預(yù)測(cè)模型性能和穩(wěn)定性。