基于注意力機(jī)制和知識(shí)圖譜的多任務(wù)推薦模型

摘 要：近年來(lái)，通過(guò)將知識(shí)圖譜與傳統(tǒng)推薦算法相結(jié)合，能夠充分利用知識(shí)圖譜所提供的豐富信息，解決傳統(tǒng)推薦體系中存在的數(shù)據(jù)不足和冷啟動(dòng)問(wèn)題。人們普遍關(guān)注將深度學(xué)習(xí)與知識(shí)圖譜相結(jié)合并應(yīng)用在推薦領(lǐng)域。然而，有些模型僅以用戶電影評(píng)分作為輸入向量進(jìn)行建模，對(duì)用戶與物品間交叉特征考慮不足。為解決這一問(wèn)題，文中提出了一種新的多任務(wù)深度學(xué)習(xí)模型—AKMR模型。首先，為了將物品名稱特征轉(zhuǎn)化為密集的向量，我們采用文本卷積網(wǎng)絡(luò)，再與物品自身的其他屬性相結(jié)合，形成一個(gè)完整的物品特征向量；其次，利用注意力網(wǎng)絡(luò)（AFM）提取用戶的各種特征，并考慮了用戶間交叉特征；最終，在MovieLens數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。結(jié)果顯示：AKMR模型比其他對(duì)比模型的效果更好，有效提升了推薦系統(tǒng)的性能。

關(guān)鍵詞：知識(shí)圖譜；深度學(xué)習(xí)；推薦系統(tǒng)；注意力機(jī)制；多任務(wù)；文本卷積網(wǎng)絡(luò)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）06-00-03

0 引 言

由于當(dāng)前網(wǎng)絡(luò)時(shí)代的信息爆炸問(wèn)題，用戶在面對(duì)海量信息時(shí)很難做出合適的選擇。推薦系統(tǒng)[1]可以在用戶需求不明確的情況下進(jìn)行有效的信息篩選，充分利用用戶的各類歷史信息，為用戶實(shí)現(xiàn)信息的個(gè)性化推薦[2-3]。

在推薦系統(tǒng)的發(fā)展過(guò)程中，眾多研究學(xué)者提出了各種推薦算法和模型。大多數(shù)推薦算法采用協(xié)同過(guò)濾技術(shù)進(jìn)行推薦，但在實(shí)際推薦方案中，協(xié)同過(guò)濾技術(shù)往往受到數(shù)據(jù)稀疏和冷啟動(dòng)[4]的限制，導(dǎo)致推薦質(zhì)量下降。針對(duì)該問(wèn)題，在推薦過(guò)程中添加知識(shí)圖譜這一輔助信息[5-7]受到國(guó)內(nèi)外重視。知識(shí)圖譜是一種用于描述現(xiàn)實(shí)世界中事物及其相互關(guān)系的圖形化模型。與之相關(guān)的知識(shí)圖譜特征學(xué)習(xí)（Knowledge Graph Embedding）旨在將實(shí)體和關(guān)系映射到低維連續(xù)向量空間中，使得知識(shí)圖譜能夠與機(jī)器學(xué)習(xí)算法結(jié)合，從而提供更強(qiáng)的分析和推理能力。知識(shí)圖譜的特征學(xué)習(xí)策略之一是交叉學(xué)習(xí)（如MKR模型[8]），該策略通過(guò)交叉連接不同任務(wù)的特征提取層，使得不同任務(wù)之間可以共享特征，同時(shí)又可以保留每個(gè)任務(wù)的特征信息，是一種介于依次學(xué)習(xí)和聯(lián)合學(xué)習(xí)之間的學(xué)習(xí)方式。然而，MKR模型僅利用用戶電影評(píng)分而未充分考慮用戶或者物品間的交叉特征。

為解決上述問(wèn)題，文中提出了一種新的推薦模式AKMR，其主要?jiǎng)?chuàng)新體現(xiàn)在3個(gè)方面：

（1）針對(duì)MKR模型，AKMR模型引入了注意力網(wǎng)絡(luò)[9]，并采用交叉學(xué)習(xí)的方法對(duì)模型進(jìn)行訓(xùn)練和優(yōu)化。

（2）為改進(jìn)模型的收斂速度，我們提出了一種優(yōu)化物品向量初始化的方法。該方法結(jié)合了提取物品名稱特征并考慮物品自身屬性，得到了密集的物品向量。在后續(xù)模型中，將這些向量作為輸入，并利用文本卷積網(wǎng)絡(luò)[10-11]加快模型的收斂過(guò)程。

（3）通過(guò)引入注意力網(wǎng)絡(luò)（AFM[9]）層可以根據(jù)不同的權(quán)重提取用戶特征。

1 相關(guān)工作

基于深度學(xué)習(xí)的推薦。從2016年開始，隨著一大批優(yōu)秀推薦模型架構(gòu)的提出，深度學(xué)習(xí)模型逐漸席卷推薦和廣告領(lǐng)域并進(jìn)行了快速演化，從改變神經(jīng)網(wǎng)絡(luò)的復(fù)雜程度到注意力機(jī)制與推薦模型的結(jié)合。

基于知識(shí)圖譜的推薦。知識(shí)圖譜作為目前熱門的研究領(lǐng)域，包含豐富的語(yǔ)義信息。把知識(shí)圖譜集成到推薦系統(tǒng)，一方面能夠添加物品的屬性信息并給出更加精確的推薦結(jié)果；另一方面，知識(shí)圖譜作為一個(gè)結(jié)構(gòu)化的知識(shí)庫(kù)，可以提供對(duì)推薦過(guò)程的解釋。

基于注意力機(jī)制的推薦。注意力機(jī)制關(guān)注的重點(diǎn)是人類處理信息時(shí)的重要特征，最早由Treisman等[12]提出。它通過(guò)計(jì)算輸入序列中不同位置的重要性權(quán)重，將注意力集中在對(duì)當(dāng)前任務(wù)或問(wèn)題最有幫助的部分。注意力機(jī)制的應(yīng)用不僅可以有效過(guò)濾輸入數(shù)據(jù)中的噪聲，還能夠增強(qiáng)具有代表性數(shù)據(jù)的權(quán)重。

2 模型設(shè)計(jì)

在MKR模型基礎(chǔ)上，使用注意力分解機(jī)（AFM）提取用戶的交叉特征[13]，通過(guò)交替訓(xùn)練推薦模塊和知識(shí)圖譜嵌入模塊構(gòu)建了AKMR模型。該模型的整體結(jié)構(gòu)如圖1所示。

2.1 數(shù)據(jù)預(yù)處理

在AKMR模型中，將用戶信息、電影信息和用戶電影交互評(píng)分記錄作為推薦模塊的輸入，為避免過(guò)擬合并加速模型的收斂過(guò)程，需要對(duì)原始數(shù)據(jù)集進(jìn)行預(yù)處理。

以MovieLens-1M為例，電影數(shù)據(jù)包括電影ID、名稱和類別等字段，我們對(duì)電影的類別進(jìn)行統(tǒng)計(jì)，通過(guò)計(jì)算各類別出現(xiàn)的頻次，將詞頻代替原有的類別信息，對(duì)類別數(shù)進(jìn)行缺失值補(bǔ)插并使每個(gè)樣本的維度保持一致，最后對(duì)樣本進(jìn)行標(biāo)準(zhǔn)化處理。

使用文本卷積網(wǎng)絡(luò)對(duì)電影名稱進(jìn)行特征提取。首先，將這一屬性列（如Waiting to Exhale（1995））中的時(shí)間去掉，只保留電影名字段，發(fā)現(xiàn)最長(zhǎng)的電影名只有15個(gè)單詞，于是將所有電影名的長(zhǎng)度用空字符補(bǔ)全到15個(gè)單詞。其次對(duì)每一個(gè)單詞Embedding到32維度，得到一個(gè)15×32維度的矩陣，根據(jù)式（1）對(duì)其進(jìn)行卷積操作：

（1）

式中：w是卷積矩陣；k表示窗口大??；b為偏置項(xiàng)。在卷積操作后，對(duì)所得特征矩陣進(jìn)行最大池化處理。最后，將電影的ID、類別和名稱進(jìn)行全連接，并對(duì)其參數(shù)進(jìn)行L2正則化，以增強(qiáng)模型的穩(wěn)定性和泛化能力。

對(duì)用戶ID、年齡、性別和職業(yè)等字段進(jìn)行one-hot編碼處理。用戶電影交互評(píng)分記錄包括用戶ID、電影ID和評(píng)分。將評(píng)分低于4分的設(shè)為負(fù)分，評(píng)分大于等于4分設(shè)為正分。

2.2 注意力分解機(jī)

文中提出的AKMR模型使用注意力網(wǎng)絡(luò)提取用戶的特征向量，將用戶交叉特征充分考慮在推薦結(jié)果中。為了更有效地利用特征之間的交互信息，為每個(gè)交叉特征提供權(quán)重，AFM模型在特征交叉層和輸出層之間加入注意力網(wǎng)絡(luò)。其嵌入層將輸入的每個(gè)非零特征嵌入到一個(gè)密集向量中。特征交叉層對(duì)嵌入層的2個(gè)不同向量進(jìn)行元素積，將k個(gè)向量擴(kuò)充到k（k-1）/2個(gè)交叉向量。該層的輸出結(jié)果見式（2）：

（2）

基于注意力機(jī)制的池化層使用注意力網(wǎng)絡(luò)來(lái)生成注意力得分，計(jì)算過(guò)程見式（3）：

（3）

式中：Xi是輸入；Vi是輸入向量的特征；fPI（ ）是特征交叉層的輸出結(jié)果；fATT（ ）是加入注意力機(jī)制的函數(shù)；aij是交叉特征（i， j）的注意力得分；⊙表示元素積操作。

3 實(shí)驗(yàn)與分析

3.1 評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)先對(duì)原始數(shù)據(jù)進(jìn)行處理，然后將處理后數(shù)據(jù)的60%作為訓(xùn)練集，20%作為測(cè)試集，20%作為驗(yàn)證集，每次實(shí)驗(yàn)重復(fù)5次并計(jì)算平均值。文中采用CRT估計(jì)的ACC指標(biāo)和AUC指標(biāo)來(lái)評(píng)價(jià)該模型，同時(shí)還使用Top-K的precision（式4）和recall（式5）分?jǐn)?shù)來(lái)驗(yàn)證實(shí)驗(yàn)結(jié)果：

（4）

（5）

式中：R（u）表示推薦項(xiàng)目的列表；T（u）表示用戶真實(shí)訪問(wèn)的項(xiàng)目列表。

3.2 對(duì)比模型

（1）DKN[14]：該模型融合了知識(shí)圖譜和深度學(xué)習(xí)，主要使用知識(shí)圖譜嵌入的方法，利用實(shí)體嵌入和詞嵌入作為多個(gè)通道，并將它們組合在一個(gè)CNN中進(jìn)行預(yù)測(cè)。

（2）RippleNet[15]：該模型采用的是一種知識(shí)圖譜和推薦系統(tǒng)聯(lián)合訓(xùn)練的方法，將用戶的歷史偏好傳播到知識(shí)圖譜上，擴(kuò)展用戶的潛在偏好。

（3）MKR[8]：該模型是一個(gè)多任務(wù)推薦框架，將知識(shí)圖譜應(yīng)用于推薦系統(tǒng)。根據(jù)物品與實(shí)體的相關(guān)性，通過(guò)交叉壓縮單元將知識(shí)圖譜模型和推薦模塊結(jié)合起來(lái)，預(yù)測(cè)用戶是否對(duì)之前沒有互動(dòng)過(guò)的物品感興趣。

（4）KGCN[16]：該模型通過(guò)將知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)結(jié)合，實(shí)現(xiàn)了對(duì)項(xiàng)目實(shí)體在知識(shí)圖譜中的傳播，并利用項(xiàng)目的鄰居信息聚合來(lái)補(bǔ)充項(xiàng)目的嵌入表示。

3.3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證文中提出的模型的有效性，將AKMR模型與DKN、MKR、RippleNe和KGCN基準(zhǔn)模型做對(duì)比試驗(yàn)，分別重復(fù)進(jìn)行3次，最后取平均值。在MovieLens-1M數(shù)據(jù)集上，各模型在CTR預(yù)測(cè)中的AUC和ACC結(jié)果見表1所列。

實(shí)驗(yàn)在相同的環(huán)境下進(jìn)行，模型輸入包括用戶特征、電影特征、評(píng)分記錄和知識(shí)譜圖三元組。通過(guò)實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)，文中提出的AKMR模型相比于其他模型，在ACC和AUC指標(biāo)上都取得了較好的性能。

為了更好地評(píng)價(jià)AKMR模型的性能，文中進(jìn)行了Top-K推薦實(shí)驗(yàn)，選取多種K值驗(yàn)證AKMR模型與對(duì)比模型的精準(zhǔn)率和召回率，其實(shí)驗(yàn)結(jié)果如圖2和圖3所示。

根據(jù)分析可知，在movieLens-1M數(shù)據(jù)集上，AKMR模型在精確率和召回率指標(biāo)方面表現(xiàn)出色，整體上優(yōu)于其他4種模型。

4 結(jié) 語(yǔ)

我們提出了一種引入注意力網(wǎng)絡(luò)和知識(shí)圖譜的多任務(wù)深度學(xué)習(xí)推薦模型（AKMR），對(duì)未充分考慮用戶自身或項(xiàng)目間交叉特性對(duì)推薦結(jié)果產(chǎn)生影響的模型進(jìn)行了改進(jìn)。首先，通過(guò)應(yīng)用文本卷積網(wǎng)絡(luò)對(duì)項(xiàng)目進(jìn)行特征提取，得到初始項(xiàng)目特征向量，并將其作為推薦模塊的輸入。其次，使用注意力網(wǎng)絡(luò)提取用戶的多種特征。最后，利用信息共享單元共同學(xué)習(xí)推薦模塊的項(xiàng)目特征和知識(shí)圖譜嵌入的頭實(shí)體特征。實(shí)驗(yàn)表明，在MovieLens數(shù)據(jù)集上，AKMR模型在CTR預(yù)測(cè)中的AUC和ACC以及Top-K的Precision@K和Recall@K指標(biāo)均優(yōu)于其他基準(zhǔn)模型。

上述提出的AKMR模型將經(jīng)過(guò)處理的頭實(shí)體特征和關(guān)系特征傳遞給多層，以獲得預(yù)測(cè)的尾實(shí)體特征，忽略了邊信息與節(jié)點(diǎn)信息之間的影響，因此在今后的實(shí)驗(yàn)中將對(duì)其進(jìn)行改進(jìn)。

參考文獻(xiàn)

[1]秦川，祝恒書，莊福振，等.基于知識(shí)圖譜的推薦系統(tǒng)研究綜述[J].中國(guó)科學(xué)：信息科學(xué)，2020，50（7）：937-956.

[2]任敏.大數(shù)據(jù)個(gè)性化推薦分析[J].物聯(lián)網(wǎng)技術(shù)，2019，9（11）：62-64.

[3]牛俊潔，崔忠偉，趙晨潔，等.個(gè)性化旅游推薦技術(shù)研究及發(fā)展綜述[J].物聯(lián)網(wǎng)技術(shù)，2020，10（3）：86-88.

[4]史海燕，倪云瑞.推薦系統(tǒng)冷啟動(dòng)問(wèn)題研究進(jìn)展[J].圖書館學(xué)研究，2021，43 （12）：2-10.

[5] WANG H，ZHANG F，ZHANG M，et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems [C]// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. 2019：968-977.

[6]趙曄輝，柳林，王海龍，等.知識(shí)圖譜推薦系統(tǒng)研究綜述[J].計(jì)算機(jī)科學(xué)與探索，2023，17（4）：771-791.

[7]楊振辰，湯悅.知識(shí)圖譜在推薦系統(tǒng)中的應(yīng)用研究[J].上海電力大學(xué)學(xué)報(bào)，2022，38（2）：163-170.

[8] WANG H，ZHANG F，ZHAO M，et al. Multi-task feature learning for knowledge graph enhanced recommendation [C]// The World Wide Web Conference. 2019：2000-2010.

[9] XIAO J，YE H，HE X，et al. Attentional factorization machines：Learning the weight of feature interactions via attention networks. arXiv 2017 [Z]. arXiv preprint arXiv：1708.04617，2017.

[10]朱瑞，張俊三，朱杰，等.一種基于KCNN和MKR的兩階段深度學(xué)習(xí)多任務(wù)推薦模型[J].陜西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，48（6）：82-89.

[11]宋亞恒.基于文本卷積網(wǎng)絡(luò)的電影推薦算法研究[D].武漢：華中科技大學(xué)，2021.

[12]黃德柒，茍剛. 融合注意力機(jī)制與場(chǎng)感知因子分解機(jī)的電影推薦[J]. 軟件導(dǎo)刊，2020，19（6）：19-22.

[13]喬金霞. 基于注意力分解機(jī)和知識(shí)圖譜的多任務(wù)推薦模型[D].武漢：湖北大學(xué)，2022.

[14] WANG H，ZHANG F，XIE X，et al. r：Deep knowledge-aware network for news recommendation [C]// Proceedings of the 2018 World Wide Web Conference. 2018：1835-1844.

[15] WANG H，ZHANG F，WANG J，et al. Ripplenet：Propagating user preferences on the knowledge graph for recommender systems [C]// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018：417-426.

[16] WANG H，ZHAO M，XIE X，et al. Knowledge graph convolutional networks for recommender systems [C]// The World Wide Web Conference. 2019：3307-3313.

作者簡(jiǎn)介：張瀟賢（1999—），女，碩士在讀，研究方向?yàn)橥扑]系統(tǒng)。

王 亮（1971—），男，博士，副教授，研究方向?yàn)樽匀徽Z(yǔ)言處理和多模態(tài)情感識(shí)別。