融合AI模型在移網(wǎng)用戶滿意度預(yù)測中的應(yīng)用研究

董瑩瑩，葛 陽，李坤樹，沈 斌，黃雙雙

（中國聯(lián)通智網(wǎng)創(chuàng)新中心，江蘇南京 210000）

0 引言

隨著移網(wǎng)用戶數(shù)量不斷增長，提升用戶滿意度水平對運(yùn)營商高質(zhì)量發(fā)展具有重要意義。本文基于O域信令數(shù)據(jù)、B 域用戶出賬數(shù)據(jù)、用戶感知數(shù)據(jù)，再結(jié)合移網(wǎng)用戶的投訴數(shù)據(jù)與打分?jǐn)?shù)據(jù)，其中投訴數(shù)據(jù)中主要關(guān)注移網(wǎng)網(wǎng)絡(luò)質(zhì)量、套餐資費(fèi)、服務(wù)質(zhì)量等維度，打分?jǐn)?shù)據(jù)是通過發(fā)放調(diào)查問卷的方式收集用戶整體滿意度評價(jià)打分，打分機(jī)制是10分制，從1分至10分，分別表示不滿意至滿意的程度，基于上述5類數(shù)據(jù)，分析各個分?jǐn)?shù)段的用戶數(shù)分布及特征，搭建分類加回歸的融合AI 模型，對全網(wǎng)用戶進(jìn)行滿意度打分預(yù)測，將預(yù)測打分清單提供給網(wǎng)絡(luò)部，支撐網(wǎng)絡(luò)部進(jìn)行差異化重保，高效提升移網(wǎng)用戶滿意度水平。

1 背景、數(shù)據(jù)集和標(biāo)準(zhǔn)模型

1.1 背景

近年來，隨著移動網(wǎng)絡(luò)的迅猛發(fā)展尤其是5G網(wǎng)絡(luò)的發(fā)展，以及中國聯(lián)通、中國移動、中國電信3 家運(yùn)營商競爭格局的改變，移動網(wǎng)絡(luò)用戶對上網(wǎng)速度、網(wǎng)絡(luò)感知、套餐資費(fèi)等提出了更高要求，如何更好地進(jìn)行客戶服務(wù)工作對運(yùn)營商來說是一個新的挑戰(zhàn)。目前，各運(yùn)營商均提出了一些預(yù)測用戶滿意度的方法，常見的方法有通過客服部收集的歷史用戶評分，對低分用戶進(jìn)行回訪維系；或者通過分析用戶的基礎(chǔ)信息（年齡、性別、行為偏好等）和用戶的行為數(shù)據(jù)（用戶的感知數(shù)據(jù)、歷史記錄等），對用戶進(jìn)行大數(shù)據(jù)畫像，指導(dǎo)運(yùn)營商對低分用戶群進(jìn)行重點(diǎn)保障。本文提出了一種基于融合機(jī)器學(xué)習(xí)模型來預(yù)測用戶打分的方法，該方法基于用戶的信令數(shù)據(jù)、感知數(shù)據(jù)、投訴數(shù)據(jù)、CES滿意度打分?jǐn)?shù)據(jù)等海量數(shù)據(jù)，利用大數(shù)據(jù)對用戶滿意度進(jìn)行分析，再結(jié)合機(jī)器學(xué)習(xí)回歸與分類融合模型對用戶滿意度進(jìn)行預(yù)測，不僅預(yù)測準(zhǔn)確率高，且實(shí)時(shí)性較強(qiáng)，通過每天或每周對用戶進(jìn)行預(yù)測，然后將預(yù)測打分?jǐn)?shù)據(jù)清單輸出給客服部進(jìn)行及時(shí)干預(yù)維系，從而精準(zhǔn)提升移網(wǎng)用戶的滿意度。

1.2 數(shù)據(jù)集

本文用戶滿意度預(yù)測模型使用的數(shù)據(jù)集是某省5G 用戶滿意度的打分。打分為10 分制，分?jǐn)?shù)越高代表滿意度越高。該數(shù)據(jù)集除了打分?jǐn)?shù)據(jù)外，還包含了脫敏的用戶基礎(chǔ)數(shù)據(jù)（年齡、性別、常住地、入網(wǎng)時(shí)間等）、用戶的投訴數(shù)據(jù)（投訴分類、渠道等）以及用戶的感知數(shù)據(jù)（流量、時(shí)長、時(shí)延、下載業(yè)務(wù)次數(shù)、卡頓數(shù)、掉線次數(shù)等）。最終的數(shù)據(jù)集有172 個特征。數(shù)據(jù)集中共有約37 000 條打分?jǐn)?shù)據(jù)，平均分為8.04 分，方差為11.21，具體的分?jǐn)?shù)分布如圖1所示。

圖1 打分分?jǐn)?shù)用戶分布

從圖1 可以發(fā)現(xiàn)，10 分和1 分的打分成績占了數(shù)據(jù)總量的83%。其余分?jǐn)?shù)（除了10 分、8 分、5 分和1分）的數(shù)據(jù)量都非常少，占比均不到4%。由此可以看出這個數(shù)據(jù)集非常不均衡，這會降低模型的預(yù)測準(zhǔn)確性。

1.3 標(biāo)準(zhǔn)模型及結(jié)果

本文建立了線性回歸模型作為標(biāo)準(zhǔn)模型，對數(shù)據(jù)集進(jìn)行諸如缺失值填充、對類別變量進(jìn)行獨(dú)熱編碼，降維等一系列操作后建模，最終得到的模型在測試集上的平均絕對誤差為2.6。雖然平均絕對誤差在可以接受的范圍內(nèi)，但觀察預(yù)測出的數(shù)據(jù)本身還是暴露出了一些問題，如圖2所示。

由圖2 可以看出，大部分的預(yù)測結(jié)果集中在6～9分，只有極少數(shù)的預(yù)測結(jié)果為1、3、4 或10 分，這與實(shí)際打分結(jié)果的分布完全不符。造成這種結(jié)果的原因是模型在嘗試縮小平均誤差時(shí)會將預(yù)測結(jié)果盡可能地靠近訓(xùn)練集的平均打分。因此預(yù)測結(jié)果中占比最多的自然是數(shù)據(jù)集打分的平均數(shù)。這樣的預(yù)測結(jié)果會在實(shí)際的生產(chǎn)環(huán)境中給一線人員造成困惑，所以需要提出一些新的方法解決這個問題。

2 模型融合

為解決上述問題，本文采用模型融合的方法。其大致思路是，首先建立分類模型，從數(shù)據(jù)集中單獨(dú)分出10 分和1 分用戶，再通過回歸模型預(yù)測剩余用戶的分?jǐn)?shù)，具體的過程如下。

2.1 建立分類模型

為解決數(shù)據(jù)分布不均衡問題，本文通過分類模型將以上打分為10 分和1 分的用戶提取出來。本文針對10分和1分建立了模型A和模型B 2個分類模型。

模型A 的任務(wù)是選出數(shù)據(jù)集中的10 分用戶，為訓(xùn)練模型A，首先將打分?jǐn)?shù)據(jù)映射到0和1上。其中打分為10 分的用戶標(biāo)記為1，其他用戶標(biāo)記為0，通過在修改后的數(shù)據(jù)集上訓(xùn)練分類模型，得到一個可以用來提取滿意度打分為10 分的分類器。與之相對的，模型B的任務(wù)是選出打分為1 分的用戶。同理，將數(shù)據(jù)集中打分為1 分的用戶標(biāo)記為1，其余用戶標(biāo)記為0，從而訓(xùn)練能提取1分用戶的分類器。

為了訓(xùn)練這2 個分類模型，使用了LightGBM 工具庫，一個基于梯度提升（Gradient Boosting）的機(jī)器學(xué)習(xí)庫，它通過使用梯度提升決策樹（Gradient Boosting Decision Tree）算法，實(shí)現(xiàn)了精準(zhǔn)預(yù)測、快速訓(xùn)練、分布式和大規(guī)模部署等能力。LightGBM 在分類任務(wù)中旨在最小化以下?lián)p失函數(shù)（Loss Function）。

式中：

n——數(shù)據(jù)集中的用戶數(shù)量

yi——用戶的真實(shí)打分?jǐn)?shù)據(jù)

——模型預(yù)測的數(shù)據(jù)

t——決策樹的個數(shù)

fi——單個決策樹

C(fi)——衡量決策樹復(fù)雜度的方程，該方程會隨著決策樹復(fù)雜度的增加而增加

l——單個用戶的模型評價(jià)函數(shù)

在分類模型中使用了交叉熵（Cross Entropy）函數(shù)作為評價(jià)，當(dāng)預(yù)測結(jié)果和真實(shí)打分越接近，交叉熵會越小，具體公式如下。

通常而言，復(fù)雜的模型往往預(yù)測精度更高，但同時(shí)也會損失掉一定的泛化能力。因此LightGBM 通過最小化損失函數(shù)，可以使模型兼?zhèn)漭^好的預(yù)測能力和泛化能力。

在通過LightGBM 構(gòu)建模型的過程中，往往需要手動選取一定的超參數(shù)（Hyperparameters），例如決策樹的深度、樹葉個數(shù)、懲罰項(xiàng)系數(shù)等。為實(shí)現(xiàn)最好效果，本文使用了sklearn 提供的隨機(jī)搜索交叉檢驗(yàn)算法（Random Search Cross Validation）為2 個不同目標(biāo)的分類器尋找最優(yōu)超參數(shù)。經(jīng)過一系列的訓(xùn)練和驗(yàn)證后，便生成了2 個擁有各自獨(dú)立目標(biāo)的分類器，其中一個用于篩選出滿意度打分為1 分的用戶，而另一個用于篩選出滿意度打分為10 分用戶。接下來的任務(wù)便是訓(xùn)練回歸模型。

2.2 建立回歸模型

建立回歸模型需要對數(shù)據(jù)集做一定的修改。筆者將數(shù)據(jù)集中打分為1 分和打分為10 分的用戶刪除，僅留下打分為2～9 分的用戶作為訓(xùn)練樣本。通過LightGBM 中的回歸模塊建立回歸模型。與分類模型相比，回歸模型的評價(jià)函數(shù)變成了平均絕對誤差（Mean Absolute Error）。

相較于常用的均方誤差，平均絕對誤差更適合本文滿意度的使用場景。在經(jīng)過與之前分類模型相同的訓(xùn)練、模型選擇等過程后，便得到了適用于2～9分用戶的回歸模型。

2.3 模型融合

前文的2 個過程建立了2 個分類模型和1 個回歸模型，接下來在預(yù)測過程中需要融合上述3 個模型的結(jié)果，具體融合方法如下所述。

a）將數(shù)據(jù)投入分類器A中，得到用戶打分為10分的概率pa，當(dāng)pa大于某個設(shè)定的閾值a時(shí)，便將此用戶的預(yù)測分值設(shè)定為10。

b）然后將數(shù)據(jù)投入分類器B 中，得到用戶打分為1 分的概率pb，當(dāng)pb大于某個設(shè)定的閾值b時(shí)，便將此用戶的預(yù)測分值設(shè)定為1。

c）將剩余的預(yù)測打分不為1 分和不為10 分的用戶投入回歸模型中，將回歸模型預(yù)測結(jié)果四舍五入為整數(shù)作為這批用戶的打分。

上述步驟將3個模型的結(jié)果融合到了一起。為了尋找到最佳閾值，本文使用網(wǎng)格化搜索（Grid Search）的方法，以最小化整體平均絕對誤差為目標(biāo)，經(jīng)過尋找，將2個閾值設(shè)定為a=0.63，b=0.28。

2.4 模型融合流程

基于上述融合模型，具體的數(shù)據(jù)處理及建模流程如圖3所示。

圖3 數(shù)據(jù)處理集建模流程

3 模型評價(jià)與應(yīng)用

3.1 模型評價(jià)

本文在相同的測試集上進(jìn)行了試驗(yàn)，結(jié)果發(fā)現(xiàn)融合模型的平均絕對誤差僅為1.35，相較線性回歸模型的平均絕對誤差減少了約48%。本文模型預(yù)測結(jié)果的數(shù)據(jù)分布圖4所示。

圖4 預(yù)測打分結(jié)果占比

相較于線性回歸的結(jié)果，融合模型預(yù)測打分的分布更接近真實(shí)用戶打分的分布。因此，融合模型在減小了整體預(yù)測誤差的同時(shí)，也使得預(yù)測結(jié)果更接近真實(shí)分布，使得一線業(yè)務(wù)人員可以更好地利用數(shù)據(jù)提升用戶滿意度打分。

3.2 模型應(yīng)用效果

由以上建模過程和結(jié)果分析可知，本文提出的融合模型非常適合客戶滿意度打分預(yù)測的場景。在實(shí)際滿意度打分場景下，用戶的打分往往集中在最滿意和最不滿意兩端，直接進(jìn)行回歸，會使預(yù)測分?jǐn)?shù)在平均分?jǐn)?shù)附近而忽略了數(shù)據(jù)的分布特征。本文首先使用分類器篩選出這2 種占比最多的打分，再將剩余的分?jǐn)?shù)通過回歸模型擬合，這樣可以在保留數(shù)據(jù)分布特征的同時(shí)盡可能提高預(yù)測準(zhǔn)確度。

本文對某省分公司A全月打分用戶進(jìn)行預(yù)測及結(jié)果驗(yàn)證，共計(jì)2.5 萬個用戶，實(shí)際打分均值為8.8 分，預(yù)測打分均值為9.2分，較實(shí)際均值高0.4；其中預(yù)測打分為10 分的用戶中，75.6%的用戶實(shí)際打分大于8 分，模型預(yù)測效果大大高于預(yù)期。

另外，針對某省分公司B 提供的工信部回訪的5 000 個用戶進(jìn)行效果驗(yàn)證，并將預(yù)測打分與用戶實(shí)際打分結(jié)果進(jìn)行對比分析，預(yù)測打分平均分為7.61，實(shí)際打分平均分為7.89，較實(shí)際均分低0.28分；其中預(yù)測打分為10 分的用戶中，實(shí)際打分大于8 分的用戶占比82.8%，實(shí)際打分小于4 分的用戶占比僅3.6%。預(yù)測效果得到了省分B的認(rèn)可，準(zhǔn)確率較高，大大提高了重保效率。

4 結(jié)束語

本文通過對移動網(wǎng)絡(luò)用戶滿意度數(shù)據(jù)的分析，提出了一種融合機(jī)器學(xué)習(xí)模型的方法對用戶滿意度打分進(jìn)行預(yù)測，詳細(xì)介紹了數(shù)據(jù)采集、數(shù)據(jù)處理、分類模型建立、回歸模型建立、模型融合、模型評價(jià)以及模型應(yīng)用效果等方面的內(nèi)容。本文在選定融合AI 模型之前也對單一的回歸模型和分類模型進(jìn)行了建模測試，由于用戶滿意度打分?jǐn)?shù)據(jù)分布極其不均衡，單一的回歸與分類模型的預(yù)測效果均不盡如人意，預(yù)測的打分分布與實(shí)際打分分布偏差較大。為了解決上述問題，本文提出了一種基于多模型動態(tài)融合的方法，在提升精度的同時(shí)，模型的預(yù)測結(jié)果分布也更符合實(shí)際打分分布。在模型的實(shí)際應(yīng)用與推廣中，該方法也得到了客戶的一致認(rèn)可。