基于XGBoost的不平衡員工晉升預(yù)測

黃 靜，鄭慧慧

(1.浙江理工大學(xué)信息科學(xué)與工程學(xué)院，浙江 杭州 310018；2.浙江理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018)

syhj_sy@163.com;472596438@qq.com

1 引言(Introduction)

隨著市場競爭越來越激烈，人才已經(jīng)成為非常重要的競爭資源，也是企業(yè)發(fā)展的核心要素。晉升能夠?qū)T工進行有效的激勵，促使員工發(fā)揮更大的潛力和價值，也能為企業(yè)留住更多有才華的員工，為其創(chuàng)造更多的收益[1]?；ヂ?lián)網(wǎng)信息時代，人力資源數(shù)據(jù)類型和數(shù)量逐漸增多和增大，其數(shù)據(jù)化價值持續(xù)放大。員工信息表現(xiàn)出越來越多樣和繁雜的特征，人力資源部門需要采用信息化、數(shù)據(jù)化的方式提升對員工晉升的分析、決策效率，以期改善傳統(tǒng)人力資源管理的信息更新緩慢的缺陷和決策的單調(diào)性，促使人才晉升透明化，以此有效激勵員工積極工作[2]。

目前，機器學(xué)習(xí)在人力資源管理領(lǐng)域的應(yīng)用和研究有很多[3]，研究的內(nèi)容大多涉及人才招聘、人才離職流失、預(yù)防人才流失等方面。高超[4]分析了數(shù)據(jù)挖掘在人才招聘、人才管理和離職流失分析等人力資源管理中的具體應(yīng)用。賴華強等[5]和張金艷[6]對數(shù)據(jù)挖掘在離職管理方面的應(yīng)用進行了分析和實現(xiàn)。PUNNOOSE等[7]為了解決人員流失的問題，應(yīng)用了極限梯度增強技術(shù)預(yù)測員工流動率。KUMAR等[8]實現(xiàn)了一個人力資源排名模型，可用于預(yù)測簡歷的排名和分類，有效地簡化了人力資源招聘工作。KHERA等[9]建立了一個基于支持向量機的員工離職模型，主要用來預(yù)測企業(yè)的員工流失率。隨著機器學(xué)習(xí)在人力資源領(lǐng)域的影響不斷擴大，張敏等[10]對機器學(xué)習(xí)正在重塑人力資源管理者的管理理念和方式的探討，為本文將XGBoost預(yù)測模型應(yīng)用于人力資源的晉升場景帶來了更深入的思考。

為幫助企業(yè)決策者調(diào)整人才晉升管理策略、提升員工晉升公正性，本文通過分析預(yù)處理Kaggle提供的員工分析數(shù)據(jù)集，并利用XGBoost算法構(gòu)建員工晉升預(yù)測模型，與其他機器學(xué)習(xí)模型進行相應(yīng)模型評價指標(biāo)比較，驗證XGBoost模型的效果和有效性，從而進一步分析影響員工晉升的因素。

2 XGBoost模型介紹(Introduction to XGBoost model)

在門店銷售、客戶行為、廣告點擊率等營銷方面和災(zāi)害風(fēng)險等方面，可利用XGBoost[11]進行相關(guān)預(yù)測；在高能物理事件、Web文本、惡意軟件、產(chǎn)品等領(lǐng)域，可利用XGBoost進行相應(yīng)的分類判斷。在各領(lǐng)域的廣泛問題上，XGBoost都給出了相對較好的效果。

XGBoost[12]是一種基于boosting思想的并行回歸樹模型，其中boosting思想是指在已有的若干弱分類器進行加權(quán)求和得到最終的分類器。XGBoost模型是由CHEN等[11]在梯度下降決策樹(Gradient Boosted Decision Tree，GBDT)的基礎(chǔ)上改進而來。與GBDT[13]模型比較，XGBoost極大地提升了模型訓(xùn)練計算的速度和預(yù)測及分類的精度，是GBDT算法的升級版。XGBoost[14]是由多棵決策樹(即CART回歸樹)[15]組建構(gòu)成的，每一棵決策樹學(xué)習(xí)的是目標(biāo)值與預(yù)測值的殘差，其中預(yù)測值是之前所有決策樹的預(yù)測值之和。所有決策樹訓(xùn)練完成后進行共同決策，樣本在每一棵樹上得到相應(yīng)的預(yù)測值之后進行累加作為其最終預(yù)測結(jié)果，在訓(xùn)練階段，每一棵新的樹都是在已訓(xùn)練完成建成的樹的基礎(chǔ)上進行訓(xùn)練的。其中，每一棵決策樹都是弱學(xué)習(xí)器。通過boosting技術(shù)將所有弱學(xué)習(xí)器提升成為一個強學(xué)習(xí)器。為了避免模型過擬合，同時增強泛化能力，XGBoost在GBDT模型的損失函數(shù)上增加正則化項。傳統(tǒng)GBDT計算損失函數(shù)采用一階泰勒展開，利用負(fù)梯度值代替殘差進行擬合，XGBoost則對損失函數(shù)增加二階泰勒展開，使用二階導(dǎo)數(shù)收集梯度方向信息，以此提高模型的精確性。此外，XGBoost對每一個特征實行分塊并排序，因此在尋找最佳分裂點時可以實現(xiàn)并行化計算，從而提高了計算速度。

對于給定包含n個樣本和m個特征的數(shù)據(jù)集，該數(shù)據(jù)集表示為D={(xi,yi)}(|D|=n,xi∈Rm,yi∈R)，樹集成模型使用K個可加函數(shù)預(yù)測輸出。

式(3)中，γ和λ分別表示為葉子節(jié)點數(shù)T和葉子權(quán)值ω的L2平方模系數(shù)，正則化項有助于平滑最終權(quán)重，避免過擬合。將式(2)進行二階泰勒展開，將二階形式作為近似目標(biāo)函數(shù)。

式(5)中，q為輸入映射至葉子的索引，即q:Rm→T，定義每個葉子的樣本集合為Ij= {i|q(xi)=j}，將式(5)進行如下改寫：

式(7)和式(8)中，構(gòu)成目標(biāo)函數(shù)的Gj和Hj在取值上是由第j個樹葉上數(shù)據(jù)樣本所決定的，而第j個樹葉具有的數(shù)據(jù)樣本是由樹結(jié)構(gòu)函數(shù)q決定的，則推導(dǎo)可知決策樹結(jié)構(gòu)q，易求得目標(biāo)函數(shù)值，L*代表當(dāng)指定一個樹的結(jié)構(gòu)時，目標(biāo)函數(shù)上最多減少多少，故把L*作為評價一棵樹模型的評分函數(shù)，評分越小，表明該樹的結(jié)構(gòu)模型越優(yōu)。訓(xùn)練的目的在于尋求最佳決策樹結(jié)構(gòu)q*，使得目標(biāo)函數(shù)取得最優(yōu)解。

3 基于XGBoost 的預(yù)測方法(Prediction method based on XGBoost)

3.1 數(shù)據(jù)集描述

本文采用Kaggle平臺HR Analytics: Employee Promotion Data(人力資源分析：員工晉升數(shù)據(jù))提供的公開員工數(shù)據(jù)集作為數(shù)據(jù)源。Kaggle作為目前最大的機器學(xué)習(xí)數(shù)據(jù)及數(shù)據(jù)分析競賽平臺，能確保其數(shù)據(jù)的真實性和適用性。根據(jù)企業(yè)的實際情況，只有少數(shù)員工能獲得晉升機會，該數(shù)據(jù)集存在不平衡問題，數(shù)據(jù)集中的訓(xùn)練集共有54，808 個樣本，測試集有23，490 個樣本。訓(xùn)練集樣本中有未晉升員工50，140 個，晉升員工4，668 個。數(shù)據(jù)集包括12 個特征變量列，1 個標(biāo)簽列。其中，標(biāo)簽列“晉升狀況”，0=未晉升，1=已晉升。特征變量列有5 個數(shù)值型變量和7 個類別型變量。數(shù)值型變量包括“上一年完成其他軟技能、技術(shù)技能等培訓(xùn)次數(shù)”“年齡”“上一年員工的評級”“工齡”“當(dāng)前培訓(xùn)評估的平均分”，類別型屬性變量如表1所示。

表1 類別型特征變量含義描述Tab.1 Meaning description of category characteristic variables

3.2 XGBoost模型預(yù)測流程

基于XGBoost的員工晉升預(yù)測流程如圖1所示，主要包括以下步驟：針對員工數(shù)據(jù)集進行預(yù)處理；采用訓(xùn)練集構(gòu)建XGBoost模型并確認(rèn)最終模型參數(shù)；預(yù)測測試集的員工晉升結(jié)果，查看模型的預(yù)測效果。

圖1 基于XGBoost的員工晉升預(yù)測基本流程Fig.1 Basic process of employee promotion prediction based on XGBoost

(1)數(shù)據(jù)預(yù)處理。員工數(shù)據(jù)中部分特征存在缺失值，重要特征值的缺失將會影響模型訓(xùn)練效果。本文將對缺失特征值的樣本進行適當(dāng)剔除或填充處理[16]。特征分為類別型特征和數(shù)值型特征，需要對類別型特征進行編碼處理。在類別型特征中，對性別、教育程度等特征進行序號編碼(OrdinalEncoder)[17]，對員工所在部門、就業(yè)地區(qū)、招聘渠道等特征進行獨熱編碼(One-HotEncoder)[18]。因為實際情況是只有少數(shù)人員才能獲得晉升機會，所以在數(shù)據(jù)分布上會存在數(shù)據(jù)不平衡問題[19]。本文采用SMOTE方法對數(shù)據(jù)集進行重采樣，處理數(shù)據(jù)集不平衡問題。

(2)學(xué)習(xí)和確定模型。采用交叉驗證的思想，將數(shù)據(jù)預(yù)處理之后得到的數(shù)據(jù)集以7:3的比例隨機分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集將輸入XGBoost模型進行學(xué)習(xí)訓(xùn)練，不斷調(diào)整模型參數(shù)提升預(yù)測精度，最終確定模型參數(shù)。

(3)預(yù)測晉升結(jié)果。預(yù)測測試數(shù)據(jù)集的員工晉升結(jié)果，計算預(yù)測評估指標(biāo)，分析XGBoost模型的準(zhǔn)確性，并與其他預(yù)測模型相比較，查看模型的預(yù)測效果。

4 實驗分析(Experimental analysis)

4.1 數(shù)據(jù)預(yù)處理

本文主要針對Kaggle平臺發(fā)布的源數(shù)據(jù)集中的部分重要特征存在的缺失值問題、類別型特征編碼問題及數(shù)據(jù)不平衡問題進行數(shù)據(jù)預(yù)處理，防止影響模型訓(xùn)練結(jié)果。首先針對重要特征存在的缺失值問題，采用過濾刪除樣本或填充特征值方法處理數(shù)據(jù)；其次采用序號編碼、獨熱編碼和二進制編碼對類別型特征進行編碼處理，使其數(shù)值化；最后采用SMOTE過采樣技術(shù)解決數(shù)據(jù)不平衡問題。

檢查數(shù)據(jù)是否存在缺失值、重復(fù)值和無關(guān)變量，發(fā)現(xiàn)在教育程度(education)和上一年員工評級(previous_year_rating)存在缺失值，如圖2所示。

圖2 數(shù)據(jù)集缺失值分布情況圖Fig.2 Distribution of missing values in dataset

由于“教育程度”是一個類別型特征，表示一個人是否達到了特定教育水平，它是一個較為重要的特征，不可隨意指定，這是因為該員工可能還未達到指定水平，這將導(dǎo)致分析不準(zhǔn)確，訓(xùn)練效果不好。在數(shù)據(jù)集的54，808 個樣本中，存在2，409 個樣本的“教育程度”為空值，占全部樣本的4.39%，由于占比較小，因此過濾剔除這部分樣本不會給模型訓(xùn)練帶來重大變化?！吧弦荒甑膯T工評級”是一個數(shù)字型特征，表示員工在上一年的評級，該特征值為空，表示該員工加入公司的時間少于1 年，尚未存在上一年的評級記錄，因此可用“0”填充該特征值。

針對數(shù)據(jù)集中的類別型特征，本文將通過序號編碼和獨熱編碼對這些類別型特征進行編碼處理。序號編碼一般用來處理類別值間具有大小、上下關(guān)系的數(shù)據(jù)。其中，“教育程度”的類別值Master’s &above，Bachelor’s，Below Secondary之間具有大小關(guān)系，故采用序號編碼映射編碼成[0，2]的整數(shù)。“所在部門”“就業(yè)地區(qū)”“招聘渠道”這幾個特征的類別值之間不具有大小關(guān)聯(lián)，因此使用獨熱編碼進行編碼處理。剩余類別型特征的類別值僅有兩種，因此使用二進制編碼方式用0和1進行編碼。

按照實際晉升情況，晉升員工樣本在全部樣本中占比很小，不利于模型訓(xùn)練學(xué)習(xí)，模型會傾向于學(xué)習(xí)比例較高的數(shù)據(jù)特征，對于比例低的數(shù)據(jù)只學(xué)習(xí)很少的特征。為克服在現(xiàn)實情況下因為數(shù)據(jù)不平衡問題導(dǎo)致訓(xùn)練效果不佳的問題，本文將采用SMOTE-Synthetic Minority Oversampling Technique(合成少數(shù)過采樣技術(shù))[20]通過復(fù)制少數(shù)實例隨機增加少數(shù)類實例平衡類分布，解決數(shù)據(jù)不平衡的問題，提高模型的訓(xùn)練效果。利用SMOTE重采樣之后，數(shù)據(jù)樣本數(shù)量達到95，704 個，其中正負(fù)樣本各47，852 個。

4.2 模型驗證與評估

本文選用準(zhǔn)確率(Accuracy)、F1 值和AUC值這三項分類算法評價指標(biāo)衡量判斷模型的效果。計算AUC值需求得描述分類器的混淆矩陣。把是否晉升的分類觀測值放入矩陣中，得到混淆矩陣如表2所示。

表2 晉升分類結(jié)果混淆矩陣Tab.2 Confusion matrix of promotion classification result

準(zhǔn)確率是指對于給定的測試數(shù)據(jù)集，分類器進行正確分類的樣本數(shù)與總樣本數(shù)之比；F1 值是精確率和召回率的綜合衡量指標(biāo)，F(xiàn)1 值越接近1，則說明模型預(yù)測更準(zhǔn)確。準(zhǔn)確率和F1 值是由混淆矩陣計算得到?？衫没煜仃?yán)L制出受試者工作特征(ROC)曲線，AUC值是由該曲線求得。AUC值越大，模型精度越高。準(zhǔn)確率和F1 值的計算公式如式(9)和式(10)所示：

本文數(shù)據(jù)集經(jīng)過預(yù)處理之后，樣本總量達95，704 個，編碼后特征列為55 列，是否晉升作為預(yù)測的結(jié)果標(biāo)簽。將特征變量與目標(biāo)變量輸入XGBoost模型，按照7:3的比例劃分訓(xùn)練集數(shù)據(jù)與測試集數(shù)據(jù)，構(gòu)建模型進行訓(xùn)練預(yù)測。

通過不斷調(diào)整參數(shù)，得到的XGBoost模型最優(yōu)超參數(shù)組合為n_estimators=100、learning_rate=0.3、max_depth=6、colsample_bynode=0.7、colsample_bytree=0.7、min_child_weight=2、subsample=0.8，其余參數(shù)則設(shè)為默認(rèn)值。將建立之后不斷調(diào)優(yōu)得到的XGBoost模型與LR、SVM、ANN、MLP模型進行相應(yīng)評價指標(biāo)的交叉驗證實驗對比，對比結(jié)果如表3所示。

表3 模型對比結(jié)果Tab.3 Comparison results of models

ROC曲線下的面積稱為AUC值。ROC曲線采用真陽性率(True Positive Rate，TPR)為縱軸，假陽性率(False Positive Rate，F(xiàn)PR)為橫軸，其中真陽性率是指預(yù)測結(jié)果為晉升且實際結(jié)果也為晉升的實例，是混淆矩陣中的TP，又稱靈敏度；假陽性率是指預(yù)測結(jié)果為晉升但是實際結(jié)果為未晉升的實例，是混淆矩陣中的FP。ROC曲線能直觀地反映模型的性能。上述模型算法的ROC曲線如圖3所示。

圖3 模型ROC曲線對比圖Fig.3 Model ROC curve comparison diagram

分析模型對比的實驗結(jié)果發(fā)現(xiàn)，本文建立的XGBoost模型在預(yù)測員工晉升時的準(zhǔn)確率達到96.71%，F(xiàn)1 值為96.61%，AUC值為96.56%，相較于LR、SVM、ANN、MLP四種模型，其三項指標(biāo)都具有最佳表現(xiàn)，其中AUC值通過ROC曲線直觀地表明XGBoost算法模型的預(yù)測效果最好。員工是否晉升與其相對的教育程度、工齡、年齡、上一年評級等特征之間存在較為復(fù)雜的影響關(guān)系。XGBoost模型基于集成方法，在模型的復(fù)雜度和精確性之間得到一個較好的平衡效果，并基于貪心算法思想，在建立決策樹的過程中尋找最佳分裂點，較之上述其他算法具有一定的優(yōu)越性。

5 結(jié)論(Conclusion)

當(dāng)下環(huán)境，人力資源在決策策略方法、管理手段上數(shù)據(jù)化程度不斷深化，基于大量數(shù)據(jù)和算法的員工晉升預(yù)測為企業(yè)的人才選拔和儲備發(fā)展提供了新的視角和信息。本文對Kaggle平臺提供的員工數(shù)據(jù)集采用XGBoost模型建立晉升預(yù)測模型，與LR、SVM、ANN、MLP模型進行相應(yīng)的評價指標(biāo)的實驗對比，分析影響員工晉升的影響因素，XGBoost模型在晉升預(yù)測上優(yōu)于其他模型，其AUC值達96.56%。下一步將考慮企業(yè)員工實際情況，增加新特征，進一步提高預(yù)測模型對于員工晉升問題的應(yīng)用意義。