基于Pairwise策略?xún)?yōu)化的雙塔召回算法模型研究

摘要：在推薦或廣告系統(tǒng)中，召回階段扮演著快速?gòu)拇罅康暮蜻x集中挑選出較為合適的物品Item集合，作為下一階段精排的準(zhǔn)入，從而起到在較為貼合用戶興趣的基礎(chǔ)上，緩解精排的計(jì)算壓力的作用，故召回階段面臨的候選集數(shù)量通常非常大，一般在幾百萬(wàn)至上億規(guī)模。此時(shí)，在訓(xùn)練召回模型時(shí)，采樣便成了很重要的問(wèn)題，尤其是負(fù)采樣，一般情況下，訓(xùn)練召回模型時(shí)，會(huì)做隨機(jī)負(fù)采樣，由于召回模型負(fù)樣本的不置信問(wèn)題，采到的負(fù)樣本有可能并不是真負(fù)樣本，導(dǎo)致影響了模型的訓(xùn)練效果。針對(duì)此問(wèn)題，本文提出了一個(gè)基于雙塔模型的Pairwise訓(xùn)練策略，利用度量學(xué)習(xí)的思想規(guī)避召回模型負(fù)采樣過(guò)程中負(fù)樣本不置信的問(wèn)題，不直接針對(duì)負(fù)樣本判別真假，而是學(xué)習(xí)樣本對(duì)之間的差距，提升模型學(xué)習(xí)精度與效率。

關(guān)鍵詞：推薦系統(tǒng)；召回；雙塔模型；負(fù)樣本；Pairwise

一、背景介紹

推薦系統(tǒng)的技術(shù)階段一般包括召回、排序和重排序。其中，召回模型是推薦系統(tǒng)的核心技術(shù)之一。推薦系統(tǒng)可以被看作一個(gè)用于人與物的匹配系統(tǒng)。其最終目的是通過(guò)實(shí)現(xiàn)千人千面，將最符合用戶興趣的物品展示給用戶，并按照用戶偏好對(duì)每個(gè)物品進(jìn)行匹配分值排序。為了實(shí)現(xiàn)這一目的，可以將推薦系統(tǒng)抽象為如下的框架：用戶請(qǐng)求推薦引擎時(shí)，使用一個(gè)排序算法將所有的物品與該用戶計(jì)算出一個(gè)匹配分值，然后按照該分值從高到低在頁(yè)面上展示物品。然而，推薦系統(tǒng)所面臨的候選集通常規(guī)模非常大，從幾百萬(wàn)至億級(jí)別不等，如果對(duì)每個(gè)物品都進(jìn)行計(jì)算，系統(tǒng)的性能無(wú)法滿足線上要求。因此引入召回模型，快速?gòu)暮Ａ亢蜻x集中挑選出適量與用戶興趣較為匹配的物品集，然后將其送入排序算法進(jìn)行更加精確的匹配計(jì)算。

當(dāng)下，拋開(kāi)規(guī)則策略型的召回技術(shù)，業(yè)界共識(shí)的召回技術(shù)到目前為止已發(fā)展了兩代。

第一代：?jiǎn)l(fā)式規(guī)則召回技術(shù)，例如ItemCF 召回技術(shù)，召回與用戶歷史行為過(guò)的物品相似Item。

該召回技術(shù)優(yōu)點(diǎn)為實(shí)現(xiàn)簡(jiǎn)單，性能也較為高效。

兩階段實(shí)現(xiàn)：

①?gòu)挠脩舻臍v史行為（點(diǎn)擊、收藏、點(diǎn)贊等）中獲取觸發(fā)Item。

②在候選物品集中檢索與觸發(fā)物品最近鄰的Item。 物品之間的相似度列表可以離線預(yù)先計(jì)算好存入類(lèi)Key-Value數(shù)據(jù)庫(kù)，線上直接獲取結(jié)果。

此類(lèi)召回方法有以下缺點(diǎn)：

①模型較為簡(jiǎn)單，精度有限。

②每次觸發(fā)均為用戶歷史行為過(guò)的物品，易造成馬太效應(yīng)，模型泛化能力不足。

第一階段和第二階段之間有明顯差距，不是聯(lián)合訓(xùn)練，影響最終效果。

第二代：針對(duì)第一代召回技術(shù)的不足，發(fā)展出了第二代召回模型范式：

基于 Embedding 的向量化檢索模型。分別將用戶和物品用Embedding向量進(jìn)行表征，用向量之間余弦距離的大小表示用戶與物品的匹配程度，配合快速向量化最近鄰檢索ANN方法，既做到了泛化能力強(qiáng)，又兼顧了召回模型的高性能需求。

二、雙塔模型框架

上述提到的基于Embedding 的向量化檢索模型，目前業(yè)界主流實(shí)現(xiàn)為雙塔模型，結(jié)構(gòu)如圖1。

可以看出，雙塔模型其實(shí)是一套框架，左側(cè)塔和右側(cè)塔可以分別使用不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行處理，只要在最頂端的兩塔的輸出層交互時(shí)，向量保持維度一致即可。

訓(xùn)練階段：分別將用戶側(cè)和物品側(cè)原始特征經(jīng)過(guò)特征處理、離散化等操作后，對(duì)特征進(jìn)行Embedding化，拼接Embedding特征向量后分別經(jīng)過(guò)幾層全連接神經(jīng)網(wǎng)絡(luò)（激活函數(shù)可以是ReLu、SeLu等），對(duì)輸入的特征信息進(jìn)行編碼表征。最終左右兩個(gè)塔分別輸出用戶Embedding向量U_Vector與物品Embedding向量I_Vector，并將二者拼接后送入單層全連接神經(jīng)網(wǎng)絡(luò)，輸出層的激活函數(shù)使用Sigmoid方便進(jìn)行概率輸出Y_Prob，最后用輸出的Y_Prob與真實(shí)的Label（該用戶對(duì)該物品是否真的有行為）做交叉熵形成損失函數(shù)，再利用反向傳播算法更新雙塔模型的網(wǎng)絡(luò)參數(shù)，直到模型收斂。

推理階段：第一階段的訓(xùn)練完畢后，左右兩個(gè)塔的參數(shù)均已經(jīng)固化下來(lái)。推理時(shí)，當(dāng)收到用戶請(qǐng)求時(shí)，根據(jù)用戶畫(huà)像的存儲(chǔ)，可實(shí)時(shí)獲取到該用戶的原始特征，將特征喂入左側(cè)已經(jīng)訓(xùn)練好的塔，就可在塔的頂端獲取到該用戶最終的輸出向量U_Vector。物品向量的獲取和用戶側(cè)不太一樣：由于物品側(cè)的特征一般均為靜態(tài)屬性，故不需要線上實(shí)時(shí)獲取物品Item的輸出Embedding向量，只需要在每次雙塔模型訓(xùn)練完畢后，將所有候選集中的物品特征全部取出，拼接后喂入右側(cè)的物品塔，再經(jīng)過(guò)幾層全連接神經(jīng)網(wǎng)絡(luò)，頂端輸出物品向量I_Vector，然后將批量獲取到的物品向量存入Faiss等快速向量化最近鄰ANN檢索數(shù)據(jù)庫(kù)工具中，當(dāng)線上實(shí)時(shí)獲取到用戶向量U_Vector時(shí)，查找Faiss等檢索數(shù)據(jù)庫(kù)，快速找到與該用戶向量U_Vector最近鄰的TopK個(gè)物品向量，達(dá)到召回目的，生成精排候選集。

三、召回模型樣本偏差問(wèn)題

在機(jī)器/深度學(xué)習(xí)模型領(lǐng)域中，有一個(gè)重要原則：訓(xùn)練與推理樣本分布要保持一致，否則會(huì)影響模型效果。理解下這個(gè)問(wèn)題，若訓(xùn)練模型的樣本集分布為A、B、C這三類(lèi)，但當(dāng)模型訓(xùn)練完成，在使用模型進(jìn)行推理時(shí)，線上均為D、E兩大類(lèi)待預(yù)測(cè)樣本，顯然，模型在訓(xùn)練時(shí)從未見(jiàn)過(guò)這兩類(lèi)樣本，線上的推理效果可想而知。

這個(gè)問(wèn)題存在于雙塔召回模型中。分析一下，通常情況下，召回模型的采樣方法和精排模型相同，正樣本為用戶行為點(diǎn)擊過(guò)的樣本，負(fù)樣本為曝光未點(diǎn)擊樣本。這種采樣方式在精排模型中沒(méi)有問(wèn)題，但是在召回模型中有較大的問(wèn)題，原因如下：由于召回模型在訓(xùn)練時(shí)，選取的負(fù)樣本均為“曝光未點(diǎn)擊”樣本，而模型在線上進(jìn)行召回推理時(shí)，面對(duì)的是海量的候選物品集合，很多物品Item從未給用戶展示，因此明顯會(huì)產(chǎn)生上述的樣本偏差問(wèn)題，從而極大地影響召回模型效果。

四、雙塔模型隨機(jī)負(fù)采樣

采用隨機(jī)負(fù)采樣的方式來(lái)解決召回模型的樣本偏差問(wèn)題是一種有效的解決方法。隨機(jī)負(fù)采樣的方式可以使得負(fù)采樣的分布更加均勻，從而減輕樣本偏差的問(wèn)題。但這種方式也帶來(lái)了一個(gè)新的問(wèn)題，即負(fù)樣本的置信問(wèn)題。由于隨機(jī)負(fù)采樣的方式會(huì)導(dǎo)致大量不相關(guān)的物品出現(xiàn)在負(fù)樣本中，這些負(fù)樣本對(duì)模型訓(xùn)練的效果會(huì)產(chǎn)生負(fù)面影響，從而導(dǎo)致模型的效果下降。因此，在使用隨機(jī)負(fù)采樣的方式時(shí)，需要采取一些策略，如降低隨機(jī)負(fù)采樣的采樣率、對(duì)負(fù)樣本進(jìn)行過(guò)濾、引入其他的策略等，從而保證采樣的負(fù)樣本的質(zhì)量。 經(jīng)過(guò)仔細(xì)分析，上述提出的隨機(jī)負(fù)采樣方法雖然規(guī)避了樣本偏差問(wèn)題，但是存在另外一個(gè)問(wèn)題：由于負(fù)樣本一部分是來(lái)自全物品庫(kù)的隨機(jī)采樣，這其中包含了很多從未給用戶曝光展示過(guò)的物品。然而，按照這種采樣方式，會(huì)將很多這類(lèi)從未給用戶曝光過(guò)的物品Item當(dāng)成負(fù)樣本來(lái)引導(dǎo)模型參數(shù)的訓(xùn)練。很明顯，若某一物品從未展示給某用戶，就無(wú)法判斷用戶對(duì)該物品的喜好，也就無(wú)法下定論說(shuō)此物品Item對(duì)該用戶來(lái)說(shuō)是負(fù)樣本。因此，按照全物品庫(kù)隨機(jī)負(fù)采樣的方式，將會(huì)導(dǎo)致訓(xùn)練時(shí)很多喂入雙塔召回模型的負(fù)樣本其實(shí)是存在置信度缺陷的。為了解決此問(wèn)題，本文提出核心觀點(diǎn)：基于度量學(xué)習(xí)的Pairwise訓(xùn)練策略，以?xún)?yōu)化雙塔召回模型。本方法針對(duì)上述負(fù)樣本不置信問(wèn)題，結(jié)合度量學(xué)習(xí)與Pairwise訓(xùn)練方法，以用戶為衡量標(biāo)準(zhǔn)，學(xué)習(xí)樣本之間與用戶的匹配程度差距，而非直接用單一的正負(fù)樣本進(jìn)行學(xué)習(xí)。這樣，既達(dá)到將雙塔模型參數(shù)學(xué)習(xí)到最佳收斂狀態(tài)，又能規(guī)避由負(fù)樣本不置信導(dǎo)致的對(duì)模型參數(shù)學(xué)習(xí)造成的負(fù)面影響。

五、度量學(xué)習(xí)與Pairwise訓(xùn)練

（一）度量學(xué)習(xí)

度量學(xué)習(xí)也就是常說(shuō)的相似度學(xué)習(xí)。距離測(cè)度學(xué)習(xí)的目的即為了衡量樣本之間的相近程度，而這也正是模式識(shí)別的核心問(wèn)題之一。大量的機(jī)器學(xué)習(xí)方法，比如K近鄰、支持向量機(jī)、徑向基函數(shù)網(wǎng)絡(luò)等分類(lèi)方法以及K-Means聚類(lèi)方法，還有一些基于圖的方法，其性能好壞都主要有樣本之間的相似度量方法的選擇決定。

（二）Pairwise方法

基于雙塔的Pairwise訓(xùn)練模型結(jié)構(gòu)如圖2。所謂的Pair，指的是樣本對(duì)，在這里，一個(gè)Pair樣本對(duì)為：這里的Item+指的是用戶點(diǎn)擊過(guò)的Item，Item－指的是用戶未點(diǎn)擊過(guò)的Item，從而將模型的優(yōu)化目標(biāo)轉(zhuǎn)化為：針對(duì)同一個(gè)User，Item+與他的匹配程度，要遠(yuǎn)遠(yuǎn)高于Item?與他的匹配程度。所以Loss中沒(méi)有具體的正負(fù)Label，而存在“的匹配分”與“的匹配分”相互比較的形式。

六、基于Pairwise度量學(xué)習(xí)的雙塔召回模型實(shí)現(xiàn)

（一）基于Sampled Softmax Loss實(shí)現(xiàn)

為了實(shí)現(xiàn)基于上述的雙塔模型Pairwise訓(xùn)練方式，有幾種Loss可供選擇。

一種是采樣的Softmax Loss，即：Sampled Softmax Loss。

這種Loss將召回看成一個(gè)超大規(guī)模的多分類(lèi)問(wèn)題，優(yōu)化的目標(biāo)是使，User選中Item+的概率最高。

User選中Item+的概率：

（1）

其中vu是User Embedding，vi代表Item Embedding，|I|代表整個(gè)Item候選集。

為使以上概率達(dá)到最大，要求分子，即User與Item+的匹配度，盡可能大；而分母，即User與除Item+之外的所有Item的匹配度之和，盡可能小。體現(xiàn)出上文所說(shuō)的“不與Label比較，而是匹配得分相互比較”的特點(diǎn)。

但是，由于計(jì)算分配牽扯到整個(gè)候選Item集合|I|，計(jì)算量大到不現(xiàn)實(shí)。所以實(shí)際優(yōu)化的是Sampled Softmax Loss，即從|I|中隨機(jī)采樣若干Item，近似代替計(jì)算完整的分母。

（2）

（二）基于Hinge Loss實(shí)現(xiàn)

優(yōu)化目標(biāo)是：User與正樣本Item的匹配程度，要比User與負(fù)樣本Item的匹配程度高出一定的閾值。

（0，margin-user·item++user·item-）? ? ? （3）

（三）基于BPR Loss實(shí)現(xiàn)

上文中提到的 Hinge loss有兩個(gè)不足：

①超參數(shù)Margin需要調(diào)節(jié)，且不同業(yè)務(wù)和數(shù)據(jù)場(chǎng)景，超參數(shù)Margin的選擇對(duì)模型的學(xué)習(xí)有非常大的影響，導(dǎo)致訓(xùn)練不穩(wěn)定。

②仔細(xì)觀察Hinge Loss不拿發(fā)現(xiàn)，若使用Hinge Loss，一旦兩個(gè)樣本之間匹配程度很相近，Loss便無(wú)法捕捉到。

因此本文主要使用如下的BPR Loss實(shí)現(xiàn)。

其思想是計(jì)算“給User召回時(shí)，將Item+排在Item-前面的概率”。

pCorrectOrder=sigmoid（user·item--user·item+）? ? ? ? （4）

因?yàn)?User， Item+， Item->的Ground-Truth Label永遠(yuǎn)是1，所以將pCorrectOrder喂入二分類(lèi)交叉熵?fù)p失（Binary Cross-Entropy Loss）的公式，就有：

LBPR=-log（pCorrectOrder）=log（1+exp（user·item--user·item+））? ? （5）

七、實(shí)驗(yàn)結(jié)論

使用同一線上數(shù)據(jù)做A/B實(shí)驗(yàn)，分別采用原始的雙塔召回模型與引入度量學(xué)習(xí)Pairwise的雙塔召回模型，評(píng)價(jià)指標(biāo)采用離線準(zhǔn)確率、線上點(diǎn)擊率、單路召回占比。對(duì)比結(jié)果如表1所示。結(jié)果表明：①引入度量學(xué)習(xí)Pairwise的雙塔召回模型，無(wú)論是離線準(zhǔn)確率、線上點(diǎn)擊率均有較大幅度提升，充分說(shuō)明了引入Pairwise度量學(xué)習(xí)后，對(duì)模型的訓(xùn)練效果有較大的正面影響。②引入Pairwise度量學(xué)習(xí)策略方法后，該模型的單路召回占比相較于隨機(jī)負(fù)采樣而言，也有較大幅度提升，表明該方法對(duì)模型的泛化性也有較大幅度的提升，有效地緩解了召回的馬太效應(yīng)問(wèn)題。

八、結(jié)束語(yǔ)

本文采用將Pairwise與度量學(xué)習(xí)同時(shí)引入雙塔召回模型，以解決隨機(jī)負(fù)采樣造成的負(fù)樣本不置信度高和模型泛化能力差的問(wèn)題。通過(guò)真實(shí)的線上A/B實(shí)驗(yàn)驗(yàn)證了該方法的有效性和可行性，對(duì)智能推薦召回系統(tǒng)的研究具有重要意義。

作者單位：于慶洋 伊利集團(tuán)

參? 考? 文? 獻(xiàn)

[1] Jui-Ting Huang. Embedding-based Retrieval in Facebook Search， KDD 2020，F(xiàn)acebook.