基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)專家推薦方法

陳卓，朱淼，杜軍威，袁璽明

（青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院，山東青島 266061）

在線問答社區(qū)是當(dāng)下萬維網(wǎng)普及和社會快速發(fā)展的產(chǎn)物，模擬現(xiàn)實中的社區(qū)，使人們能夠即刻交流和獲取知識.而快速、準(zhǔn)確、主動地發(fā)現(xiàn)社區(qū)用戶中的領(lǐng)域?qū)＜?，成為提高用戶參與社區(qū)互動積極性、提高社區(qū)內(nèi)容質(zhì)量的關(guān)鍵性技術(shù)問題.

然而，目前問答社區(qū)的專家推薦策略主要依靠傳統(tǒng)的信息檢索和排序技術(shù)對符合條件的用戶進行排序推薦.這類方法沒有考慮問題的語義信息，無法滿足用戶的需求.后來學(xué)者將推薦算法應(yīng)用在專家推薦領(lǐng)域.這類算法通常計算用戶偏好特征與問題內(nèi)容文本特征之間的匹配度為目標(biāo)問題產(chǎn)生候選專家用戶集或者通過相似歷史問題表示新問題，未考慮用戶特征，因而無法體現(xiàn)現(xiàn)實世界中，用戶在教育背景、從業(yè)經(jīng)歷等方面的差異.隨著深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)的方法被引入專家推薦.這類專家推薦方法從問題文本特征的角度表示問題的內(nèi)容，通過計算專家得分進行推薦.但未考慮用戶的回答能力和社交關(guān)系，無法完整的建模用戶信息.

針對現(xiàn)有的專家推薦模型的問題，本文在用戶記憶力的基礎(chǔ)上，提出了一種融合用戶、問題、用戶與問題交互信息的圖神經(jīng)網(wǎng)絡(luò)專家推薦模型（Graph recommendation method based on memory neural net?work，GMNN）.本文的貢獻可以總結(jié)為以下兩點：

1）給出了基于圖的用戶聯(lián)合特征表示學(xué)習(xí)方法，解決了問答社區(qū)中高維系數(shù)的用戶特征建模難題，增強了用戶的表示能力.

2）利用記憶網(wǎng)絡(luò)和注意力機制從用戶的不同視角表示新問題，解決了數(shù)據(jù)較稀疏的情況下，傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)難以對社區(qū)中沒有與用戶產(chǎn)生交互行為的問題進行表示的難題.

1 相關(guān)工作

1.1 專家推薦算法

專家推薦的目的就是根據(jù)提出的問題內(nèi)容，在社區(qū)中找到具有一定解決或回答問題能力的專家，提高問答效率，優(yōu)化用戶體驗.研究前期，專家推薦主要依靠傳統(tǒng)的信息檢索和排序技術(shù).目前的專家推薦算法通常利用自然語言處理技術(shù)進行文本特征的提取，然后挖掘用戶和問題之間的相似關(guān)系提供推薦服務(wù).如San等［1］基于問答社區(qū)的用戶傾向于回答自己專業(yè)問題這一基本原理，提出了一種在線CQA 社區(qū)專家模型RankSLDA 算法，利用專業(yè)知識的主題對用戶進行建模.Mandal 等［2］提出了一種查詢似然語言模型中的主題方法來為社區(qū)中新提出的問題推薦潛在的回答者.這類方法忽略了用戶與問題交互網(wǎng)絡(luò)中的拓?fù)浣Y(jié)構(gòu)，無法捕獲用戶與問題在網(wǎng)絡(luò)中的關(guān)聯(lián)信息.圖神經(jīng)網(wǎng)絡(luò)出現(xiàn)后，因其對圖形數(shù)據(jù)強大的表示能力自然的被應(yīng)用在推薦系統(tǒng)中.Fan［3］提出了一個面向社交推薦的圖神經(jīng)網(wǎng)絡(luò)框架GraphRec，該框架聯(lián)合用戶的社交信息和用戶與項目的交互信息對用戶進行向量表示學(xué)習(xí).王根生［4］通過計算不同元路徑下的用戶相似度，得出用戶相似度矩陣，然后把用戶相似度矩陣融合到矩陣分解推薦算法的目標(biāo)函數(shù)中.

圖神經(jīng)網(wǎng)絡(luò)能夠捕獲節(jié)點的特征信息與網(wǎng)絡(luò)的結(jié)構(gòu)信息，但是多數(shù)圖神經(jīng)網(wǎng)絡(luò)無法對沒有邊的新節(jié)點產(chǎn)生向量表示，因此無法解決推薦系統(tǒng)中的冷啟動問題.

1.2 記憶網(wǎng)絡(luò)

記憶網(wǎng)絡(luò)由Weston［5］等最先提出，通過構(gòu)建記憶組件將信息存儲起來，以達到長期記憶的效果.在此之前，很多神經(jīng)網(wǎng)絡(luò)都有一定的記憶機制，但由于存儲能力有限，在訓(xùn)練過程中容易丟失一部分語義信息.如由Hochreiter 等［6］提出的長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）有效解決了RNN記憶能力弱，無法存儲足夠信息的問題.但在現(xiàn)實世界任務(wù)中，如在數(shù)據(jù)較稀疏的推薦領(lǐng)域，短期的記憶難以完整的表示項目，需要更加長久的記憶以支撐系統(tǒng)的建模從而提高準(zhǔn)確度.Weston 等在最初的記憶網(wǎng)絡(luò)基礎(chǔ)上又提出了端到端的記憶網(wǎng)絡(luò)［7］以及鍵值記憶網(wǎng)絡(luò)［8］，使網(wǎng)絡(luò)可以更好的存儲問答系統(tǒng)所需要的先驗知識.目前記憶網(wǎng)絡(luò)已在語音識別、社交推薦等各領(lǐng)域任務(wù)上取得了顯著的成功.

1.3 注意力機制

注意力機制最早為解決圖像分類問題提出，其目的是將視線聚焦于輸入的信息中對當(dāng)前任務(wù)更為重要的信息，減少對其他信息的關(guān)注，提高效率.何柔螢［9］通過利用注意力機制增強卷積神經(jīng)網(wǎng)絡(luò)對于問題文本特征的提取能力，使建模更加準(zhǔn)確.呂曉琦［10］結(jié)合注意力機制與循環(huán)神經(jīng)網(wǎng)絡(luò)，除了實現(xiàn)了問題與標(biāo)簽的聯(lián)合表示，還捕獲了動態(tài)變化的用戶偏好.

注意力機制目前在推薦系統(tǒng)中已有廣泛的應(yīng)用，通過為用戶和項目分配注意力權(quán)重，以更有效地捕捉與任務(wù)相關(guān)的長期或短期的用戶興趣［11］.

2 方法

隨著問答社區(qū)用戶規(guī)模和問題數(shù)目的不斷擴大，傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)難以對社區(qū)中沒有與用戶產(chǎn)生交互行為的問題進行表示，為了解決這一問題，本文構(gòu)建了一種基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)推薦方法（Memory based attention graph neural network rec?ommendation method，GMNN）為問答社區(qū)中的新問題進行專家推薦，算法模型如圖1 所示，圖中顯示模型由三部分組成：用戶特征聯(lián)合表示學(xué)習(xí)模塊、新問題表示模塊和用戶回答能力預(yù)測模塊.前兩個模塊分別對用戶和問題的向量進行表示學(xué)習(xí)，然后在用戶回答能力預(yù)測模塊進行拼接，輸入多層感知機，輸出對用戶回答能力的預(yù)測結(jié)果.

2.1 用戶特征聯(lián)合表示學(xué)習(xí)

問答社區(qū)通常會記錄用戶的個人基本信息、用戶在社區(qū)中提出的問題、回答的答案及由此獲得的財富打賞等交互信息.傳統(tǒng)的社區(qū)用戶表示學(xué)習(xí)方法，基本都是直接從用戶個人基本信息、用戶與問題交互信息生成用戶的向量表示.但隨著社區(qū)規(guī)模的擴大，問答社區(qū)平均用戶回答問題個數(shù)少，用戶與問題之間的交互矩陣很稀疏，傳統(tǒng)的用戶表示學(xué)習(xí)方法難以準(zhǔn)確表示用戶的偏好和回答能力等信息，因此本文聯(lián)合用戶多個維度的特征，對用戶進行表示學(xué)習(xí).本文首先利用矩陣分解中的交替最小二乘法（Alternating Least Squares，ALS）算法對用戶的歷史回答數(shù)據(jù)進行分析，計算出能夠表示用戶歷史回答能力的隱性向量矩陣P；再利用用戶的問答與打賞關(guān)系構(gòu)建異質(zhì)信息網(wǎng)絡(luò)，使用深度游走算法對網(wǎng)絡(luò)中的用戶和問題進行網(wǎng)絡(luò)表示學(xué)習(xí)，計算出能夠表示用戶認(rèn)可度的特征矩陣G1；對問答社區(qū)中高維稀疏的用戶個人特征矩陣自編碼，轉(zhuǎn)化為低維稠密的用戶個人特征矩陣I.本文利用多層感知機對上述三個維度的用戶特征進行融合，最終預(yù)測用戶對新問題的回答能力.

2.1.1 用戶歷史回答能力建模

矩陣分解可從已知評分?jǐn)?shù)據(jù)中學(xué)習(xí)用戶的隱性偏好和項目隱性特征.相比于其他矩陣分解算法，ALS 更加適合稀疏矩陣的矩陣分解，因此本文使用ALS 對用戶/問題交互數(shù)據(jù)進行矩陣分解，產(chǎn)生用戶歷史回答能力的隱性向量表示.

用戶歷史回答能力由該用戶歷史所獲得財富打賞值表現(xiàn)出來.本文使用帶標(biāo)簽和偽標(biāo)簽用戶/問題交互數(shù)據(jù)構(gòu)建用戶/問題交互矩陣.其中U={u1，u2，...，uM}和Q={q1，q2，...，qN}分別表示M個用戶和N個問題，用戶參與回答問題所獲得的財富值構(gòu)成了一個M行N列的評分矩陣RM×N，缺失的財富值由DeepFM預(yù)測.

在問答社區(qū)中，使用ALS 將用戶和問題的評分矩陣RM×N分解為M×K維的用戶隱性矩陣和K×N維的問題隱性矩陣，超參數(shù)K為潛在因子空間.用戶/問題評分矩陣可以表示為用戶矩陣與問題矩陣的乘積，計算公式見公式（1）.

式中：PM×K表示用戶隱性向量矩陣，DK×N表示問題隱性向量矩陣.

用戶ui對問題qj的評分預(yù)測值的計算公式見公式（2）.

式中：pi表示用戶隱性向量，dj表示問題隱性向量.在計算PM×K與DK×N的乘積與原始矩陣的誤差時，損失函數(shù)的計算公式見公式（3）.

式中：λ表示正則化系數(shù).為了優(yōu)化損失函數(shù)，使用交替固定P和D對損失函數(shù)求偏導(dǎo)，降低損失函數(shù).

2.1.2 用戶認(rèn)可度建模

在實際問答過程中，其他用戶對回答者給予的財富值能反映出對該答案的認(rèn)可程度，專家等權(quán)威用戶給出的財富值比普通用戶更有價值；而有權(quán)威用戶參與的問題往往也具有更高的質(zhì)量和難度.用戶被認(rèn)可的程度可以通過他回答過哪些用戶的提問、哪些用戶與他共同回答過同一問題以及哪些用戶打賞過他的回答這三個方面體現(xiàn).

本文將用戶和問題作為節(jié)點，用戶與問題之間的問答關(guān)系和用戶間的打賞關(guān)系作為邊，構(gòu)建圖1中用戶/問題異質(zhì)信息網(wǎng)絡(luò)，并生成元路徑，根據(jù)元路徑，對用戶進行網(wǎng)絡(luò)表示學(xué)習(xí)，表示用戶認(rèn)可度.本文將化工問答社區(qū)的問答關(guān)系和打賞關(guān)系整理為異質(zhì)信息網(wǎng)絡(luò)G，G的定義見公式（4）.

式中：V表示G中的頂點集，頂點分為用戶和問題兩個類別.E代表了G中頂點與頂點之間連接的邊集，用戶頂點與問題頂點之間的邊表示用戶提出或回答了該問題，用戶頂點與用戶頂點之間的邊則表示用戶之間的打賞關(guān)系.

根據(jù)化工問答社區(qū)用戶間的交互形式，本文為隨機游走設(shè)計了兩種元路徑.

元路徑1：體現(xiàn)用戶和問題間的問答關(guān)系

元路徑2：體現(xiàn)用戶和用戶間的打賞關(guān)系.

式中：vt是路徑中的第t個節(jié)點，v的類型為At，At共有問題和用戶兩種類型是具有At+1類型的節(jié)點v的一階鄰域集，游走將重復(fù)遵循元路徑的模式直到它達到預(yù)定義的長度.為了計算節(jié)點vi的向量，本文選用深度游走的方法根據(jù)元路徑采樣求節(jié)點的表示，這種方法不僅能適應(yīng)網(wǎng)絡(luò)的變化，而且對網(wǎng)絡(luò)中相似的用戶，低維連續(xù)的用戶向量表示也是相似的.深度游走使用公式（6）最大化vi到其周圍點的平均概率，生成向量矩陣.

式中：φ表示節(jié)點vi到對應(yīng)向量的映射函數(shù)，Pr 表示在隨機游走過程中，出現(xiàn)節(jié)點vi時，出現(xiàn)它的n個節(jié)點范圍內(nèi)節(jié)點的概率.

2.2 新問題表示學(xué)習(xí)

由于傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)無法從交互網(wǎng)絡(luò)中直接學(xué)習(xí)新問題的表示，因此在圖神經(jīng)網(wǎng)絡(luò)之前加入保存用戶歷史回答問題集合的記憶網(wǎng)絡(luò)，并通過注意力機制實現(xiàn)面向用戶視角的新問題表示學(xué)習(xí)方法.

2.2.1 用戶記憶網(wǎng)絡(luò)的構(gòu)建

基于內(nèi)容的推薦思想能夠為新問題從社區(qū)中尋找到與之相似的舊問題，但是這種方法忽略了用戶視角對于問題的理解程度以及偏好，因此本文首先構(gòu)建用戶歷史回答問題集合的記憶網(wǎng)絡(luò)，然后通過文本相似度的計算為新問題從記憶網(wǎng)絡(luò)中尋找相似問題序列.為了更好地計算文本之間的相似程度，本文通過BERT（Bidirectional Encoder Representations from Transformers）模型［12］進行文本表示后計算問題文本向量之間的余弦相似度.

當(dāng)新問題出現(xiàn)時，首先使用BERT預(yù)訓(xùn)練模型對問題文本生成了向量表示，然后基于文本向量之間的余弦相似度，計算出在用戶歷史回答過的問題中，與新問題最相似的舊問題，生成矩陣Sij，j為與新問題相似的問題個數(shù)，為超參數(shù)，i為歷史回答數(shù)大于相似問題個數(shù)的用戶人數(shù).對于任意問題q，都可以按照相似度排序找到與文本內(nèi)容相似的問題序列.

本文為新問題尋找n個最相似的問題ID 序列進行保存，當(dāng)需要對新問題進行向量表示時，先通過記憶網(wǎng)絡(luò)構(gòu)建其相似度矩陣，對這些相似舊問題進行表示學(xué)習(xí).

2.2.2 基于注意力的新問題表示學(xué)習(xí)

對于不同用戶來說，針對每個相似問題的回答能力和偏好是不相同的，因此本文引入注意力機制，從不同的用戶視角，為每個相似問題分配一個權(quán)重來表示每個相似問題對新問題表示時做出的不同貢獻，注意力網(wǎng)絡(luò)的計算見公式（7）.

式中：uc為用戶向量表示，pm為相似問題的向量表示.使用softmax 函數(shù)獲得最終注意力權(quán)重，可以被解釋為每個相似問題在表示新問題時對新問題潛在因子的貢獻，每個問題t的權(quán)重at計算見公式（8）.

式中：T表示相似問題集合，最終通過注意力機制對相似舊問題給予不同權(quán)重，獲得新問題的表示q′，q′的計算見公式（9）.

2.3 基于記憶的圖神經(jīng)網(wǎng)絡(luò)專家推薦方法

本文將用戶向量表示和新問題向量表示兩者拼接后輸入多層感知機進行深度融合，最終預(yù)測出目標(biāo)用戶i對于新問題j回答后可能獲得的財富值的計算公式見公式（10）至公式（13）.

計算出后，為了訓(xùn)練GMNN 模型的參數(shù)，需要設(shè)置一個目標(biāo)函數(shù)進行優(yōu)化.由于GMNN 模型的任務(wù)是預(yù)測用戶回答問題獲得的財富值，因此本文采取MSE 作為GMNN 模型的損失函數(shù)，MSE 的計算公式為式（14）.

式中：rij為用戶i回答問題j所獲得的實際財富值，GMNN 模型中的權(quán)重以及偏置參數(shù)由隨機初始化獲得，通過隨機梯度下降的方法更新各個參數(shù)的值，最小化模型的損失，使GMNN 模型的預(yù)測效果達到最優(yōu).預(yù)測出所有用戶對新問題回答后可能獲得的財富值，將其進行排序，將問題推薦給排名靠前即預(yù)測回答能力強的用戶回答.

3 實驗與分析

3.1 實驗數(shù)據(jù)集

作為國內(nèi)最大的化工領(lǐng)域問答社區(qū)，海川化工問答社區(qū)為廣大從業(yè)人員提供了獲取專業(yè)知識與分享化工領(lǐng)域知識的平臺，見證并記錄了國內(nèi)化工行業(yè)的發(fā)展，據(jù)官方統(tǒng)計，該化工問答社區(qū)已擁有約480 萬的用戶.它由第一代問答網(wǎng)站發(fā)展而來，并在問答網(wǎng)站中加入了搜索功能，是知識社區(qū)和社交網(wǎng)絡(luò)的結(jié)合體.本文爬取了海川化工問答社區(qū)中6 017名用戶的問答數(shù)據(jù)及獲得財富值情況，在統(tǒng)計時間內(nèi)，這6 017 名用戶共對10 633 個問題做出了35 773條回答并獲得了財富值.由于GMNN 模型著重于新問題的解決，因此本文對數(shù)據(jù)集使用基于時序的劃分方法，將2017年11月7日至2018年10月7日的問答數(shù)據(jù)作為訓(xùn)練集，2018 年10 月8 日至12 月7 日的問答數(shù)據(jù)作為測試集，劃分結(jié)果見表1.

表1 化工問答社區(qū)數(shù)據(jù)集Tab.1 Dataset of the Chemical Q&A community

3.2 實驗對比模型

本文針對的問題是在數(shù)據(jù)稀疏情況下難以對無交互信息的用戶及問題進行有效表示，從而難以為新問題推薦專家回答.本文選取了以下幾種對比模型，在推薦領(lǐng)域?qū)ο∈钄?shù)據(jù)有很好的表示能力.

Factorization Machine（FM）［13］：該模型旨在解決大規(guī)模稀疏數(shù)據(jù)下的特征組合問題，考慮不同特征之間的相互關(guān)系，被廣泛地用于預(yù)測和推薦任務(wù)上.

Deep Factorization Machine（DeepFM）［14］：該模型在新的神經(jīng)網(wǎng)絡(luò)中集合了用于推薦的FM 模型的功能和深度學(xué)習(xí)的特征學(xué)習(xí)能力，可以更快地訓(xùn)練以及更精準(zhǔn)的學(xué)習(xí)并給出推薦.

Wide&Deep［15］：該模型被用于推薦系統(tǒng)中，結(jié)合了神經(jīng)網(wǎng)絡(luò)的泛化能力和線性模型的記憶能力，通過對稀疏特征的學(xué)習(xí)，提高了推薦系統(tǒng)的準(zhǔn)確性和多樣性.

3.3 評價指標(biāo)

本文采用均方根誤差（Root mean squared error，RMSE）和平均絕對誤差（mean absolute error，MAE）、召回率、歸一化折損累計增益（Normalized Dis?counted cumulative Gain，NDCG）和平均倒數(shù)排名（Mean Reciprocal Rank，MRR）評價模型回答者推薦效果.

3.4 參數(shù)選擇

對于本文提出的GMNN 算法，通過將矩陣分解得到的用戶和問題隱性向量、深度游走算法得到的用戶和問題的網(wǎng)絡(luò)表示、問題LDA 概率向量和用戶個人特征進行輸入，對選取相似舊問題個數(shù)進行選擇，進行分組實驗，實驗結(jié)果見圖2.

圖2 性能隨相似舊問題個數(shù)變化趨勢圖Fig.2 Performance trend with the number of similar projects

從圖2 可知，參與訓(xùn)練模型的相似舊問題數(shù)為5時，RMSE 和MAE 最小，因此在使用GMNN 時，將相似舊問題數(shù)設(shè)置為5.

在推薦回答者時，本文將問題中的回答所獲得的財富值按照數(shù)量進行了排名統(tǒng)計，并將財富值排名前N名的回答占該問題下總體的比例進行了計算，結(jié)果見表2.

表2 財富值占比情況統(tǒng)計Tab.2 Statistics on the proportion of wealth value

從表2 中可知，財富值排名最高的回答能夠獲得該問題下55.5%的財富值，財富值排名前五名的回答可以獲得94.8%的財富值.因此本文在對用戶回答問題可能獲得財富值進行排序時，選擇前5 名為問題進行專家推薦.

對ALS 的隱性向量長度進行分組實驗，實驗結(jié)果見表3.

表3 ALS不同隱性向量長度分組實驗結(jié)果Tab.3 Experimental results of ALS different latent lengths

從表3 可知，隱性向量長度為70 時，RMSE 和MAE最小，因此在使用ALS分析用戶歷史回答數(shù)據(jù)，對用戶和問題隱性向量進行表示時，隱性向量長度設(shè)置為70.

3.5 對比實驗

3.5.1 不同模型之間的對比實驗

為了驗證本文提出GMNN 算法的有效性，本文訓(xùn)練了FM、DeepFM、Wide&Deep 模型作為對比模型，在DeepFM 模型對目標(biāo)用戶的財富值預(yù)測時將提問者特征、問題文本LDA 概率向量表示和回答者特征輸入網(wǎng)絡(luò)進行訓(xùn)練.不同模型在測試集上的預(yù)測效果見表4.

表4 不同算法的模型效果對比Tab.4 Comparison of model effects under different algorithms

通過分析表4 可知，GMNN 算法由于加入了記憶網(wǎng)絡(luò)且考慮了用戶的社交關(guān)系、偏好與能力，因此在化工問答社區(qū)數(shù)據(jù)上的表現(xiàn)優(yōu)于其他三種流行的算法.

3.5.2 數(shù)據(jù)集劃分對比實驗

為了驗證GMNN 算法在海川化工數(shù)據(jù)集中不同時間數(shù)據(jù)的泛化性，本文采用交叉驗證方法對算法進行驗證.海川化工數(shù)據(jù)集由化工論壇2017年11月7 日至2018 年12 月7 日的問答數(shù)據(jù)構(gòu)成，本文分別將6 月～8 月、8 月～10 月的問答數(shù)據(jù)作為測試集進行實驗，實驗結(jié)果如表5-6所示.

表5 6—8月不同算法的模型效果對比Tab.5 Comparison of model effects of different algorithms from June to August

從表5、表6 可以看出，GMNN 算法對于海川化工數(shù)據(jù)集中不同時間的數(shù)據(jù)依然有很好的表現(xiàn)，說明該算法具有一定的泛化性.

表6 8—10月不同算法的模型效果對比Tab.6 Comparison of model effects of different algorithms from August to October

3.6 消融實驗

3.6.1 用戶特征有效性分析

為了驗證本文提取用戶三部分特征的有效性，分別將用戶的隱形向量特征P，用戶認(rèn)可度的特征矩陣G和用戶個人特征矩陣使用自編碼轉(zhuǎn)化為低維稠密的用戶個人特征矩陣E，三類特征進行不同的組合，輸入GMNN 模型進行消融實驗，實驗結(jié)果見圖3.

圖3 不同用戶特征組合下的模型效果對比Fig.3 Comparison of model effects under different user feature combinations

通過對用戶不同維度特征輸入模型進行消融實驗，由圖3可以看出，融合了用戶的隱形向量特征P、用戶認(rèn)可度的特征矩陣G和用戶個人特征矩陣E.三類特征的個人特征模型效果最好，驗證了本文設(shè)計面向用戶多維特征的聯(lián)合表示子網(wǎng)絡(luò)的有效性.

3.6.2 用戶元路徑有效性分析

為了驗證本文提取兩條元路徑的有效性，本文分別將兩條元路徑生成的用戶網(wǎng)絡(luò)特征表示向量放入基于記憶的圖神經(jīng)網(wǎng)絡(luò)模型進行消融實驗，實驗結(jié)果見圖4.

圖4 不同元路徑組合下的模型效果對比Fig.4 Comparison of model effects under different meta-path

通過分析圖4 可知，將用戶兩條元路徑共同生成的用戶網(wǎng)絡(luò)特征表示輸入模型進行訓(xùn)練，比其他兩條元路徑單獨生成的用戶網(wǎng)絡(luò)特征表示效果好.

3.6.3 注意力機制有效性分析

為了驗證本文采用的注意力機制的有效性，在數(shù)據(jù)集上進行注意力機制消融實驗，實驗結(jié)果見圖5.

圖5 引入注意力機制性能分析Fig.5 Performance analysis of introducting attention mechanism

由圖5 可得，引入注意力機制的模型性能在數(shù)據(jù)集上有所提升.注意力機制可以解釋為不同用戶對待問題的不同視角，體現(xiàn)出不同用戶對同一問題的理解程度不同.說明了本文提出的基于注意力的新問題圖網(wǎng)絡(luò)表示學(xué)習(xí)的有效性.

4 結(jié)論

數(shù)據(jù)稀疏和冷啟動是推薦系統(tǒng)目前面臨的主要挑戰(zhàn)，傳統(tǒng)的專家推薦算法無法有效建模新問題，本文提出一種基于記憶的注意力圖神經(jīng)網(wǎng)絡(luò)推薦方法，對用戶進行多特征聯(lián)合表示學(xué)習(xí)，有效緩解數(shù)據(jù)稀疏問題，利用記憶網(wǎng)絡(luò)和注意力機制，從用戶的不同視角表示新問題.通過在海川化工問答社區(qū)數(shù)據(jù)集上的相關(guān)實驗，本模型的表現(xiàn)都優(yōu)于同類模型，為解決數(shù)據(jù)稀疏和冷啟動問題提供了新的思路.

隨著推薦系統(tǒng)的發(fā)展，數(shù)據(jù)呈現(xiàn)多模態(tài)的發(fā)展趨勢，后續(xù)研究將重點設(shè)計針對不同模態(tài)的信息的統(tǒng)一框架使推薦系統(tǒng)建模更加準(zhǔn)確.