基于相關(guān)修正的無偏排序?qū)W習(xí)方法

王奕婷 蘭艷艷 龐 亮 郭嘉豐 程學(xué)旗

1(中國科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點實驗室(中國科學(xué)院計算技術(shù)研究所) 北京 100190)2(中國科學(xué)院大學(xué) 北京 100049)3(清華大學(xué)智能產(chǎn)業(yè)研究院 北京 100084)4(中國科學(xué)院計算技術(shù)研究所數(shù)據(jù)智能系統(tǒng)研究中心 北京 100190)(wangyiting211@mails.ucas.ac.cn)

排序?qū)W習(xí)是信息檢索領(lǐng)域的關(guān)鍵技術(shù)，它運用機器學(xué)習(xí)方法訓(xùn)練模型并根據(jù)查詢請求返回候選文檔的預(yù)測得分.真實場景中的網(wǎng)絡(luò)信息隨時間更新變化，若采用傳統(tǒng)的排序?qū)W習(xí)方法則需不斷對新產(chǎn)生的數(shù)據(jù)進行人工標注，這需要消耗人力且不利于模型的實時更新.相較文檔相關(guān)標簽，用戶瀏覽留下的點擊數(shù)據(jù)規(guī)模大、易于獲取[1]且更能反映用戶偏好和興趣[2].將點擊數(shù)據(jù)作為標簽?zāi)軌蛴行Ы档蜆俗⒊杀綶3].因此，面向點擊數(shù)據(jù)訓(xùn)練模型具有重要意義.

用戶點擊[4]包含偏差和噪聲[5-6]，如位置靠前的文檔更容易被用戶點擊，因此直接將是否點擊作為文檔相關(guān)的判據(jù)會導(dǎo)致次優(yōu)的模型訓(xùn)練效果[7].目前主要有2類方法利用點擊數(shù)據(jù)訓(xùn)練模型：一類為點擊模型，它通過研究用戶行為特點從用戶點擊推測文檔相關(guān)性，從而得到去除偏差后的數(shù)據(jù)用于訓(xùn)練.這類方法將偏差去除和排序任務(wù)作為2個分開的任務(wù).由于2步驟優(yōu)化的目標不一致，往往不能達到很好的訓(xùn)練效果，且在長尾稀疏數(shù)據(jù)場景表現(xiàn)不佳.另一類為近年來提出的無偏排序?qū)W習(xí)方法，它的基本思路是利用逆傾向加權(quán)方法進行反事實因果推斷，對不同文檔進行點擊傾向估計并對損失加權(quán)，最終得到無偏模型.這類方法需要較為準確的點擊傾向估計，結(jié)果隨機呈現(xiàn)是較常見的思路.它將候選文檔打亂排列次序并呈現(xiàn)給用戶，根據(jù)用戶的實際點擊情況估計點擊傾向，但呈現(xiàn)給用戶的文檔順序被打亂進而會導(dǎo)致用戶體驗不佳.

基于回歸的期望最大化方法是通過極大似然估計計算點擊概率和傾向概率，但該方法對初值敏感且每當有數(shù)據(jù)更新時都需重新執(zhí)行算法，因此適用范圍有限.

對偶學(xué)習(xí)方法是目前較為主流的無偏排序方法，適用范圍較廣且在多個數(shù)據(jù)集上表現(xiàn)較優(yōu)[8].在已知用戶點擊的情況下，用戶是否觀察到文檔以及文檔是否與該項查詢相關(guān)未知.對偶學(xué)習(xí)將這2個概率估計問題看作對偶任務(wù)，利用逆傾向加權(quán)和逆相關(guān)加權(quán)聯(lián)合訓(xùn)練排序模型和傾向模型.但該方法僅當排序模型和傾向模型的損失函數(shù)均為凸函數(shù)時收斂到最優(yōu).實際神經(jīng)網(wǎng)絡(luò)包含多個隱藏層導(dǎo)致?lián)p失函數(shù)非凸，模型可能收斂得到次優(yōu)解.

針對上述問題，本文提出一種新的無偏排序?qū)W習(xí)方法，利用現(xiàn)有小規(guī)模標注數(shù)據(jù)對排序模型預(yù)訓(xùn)練，并利用其對對偶去偏過程進行相關(guān)修正.由于對偶學(xué)習(xí)方法中越精準的排序模型會促使傾向模型輸出的傾向得分越貼近真實用戶點擊傾向，而越準確的傾向模型會促使訓(xùn)練的排序模型更接近無偏模型，故本文方法利用現(xiàn)有的小規(guī)模樣本訓(xùn)練排序模型能使得模型在聯(lián)合訓(xùn)練前有較好的初始值從而避免訓(xùn)練中錯誤的累積，進而得到更優(yōu)的無偏模型.模擬不同程度的點擊偏差并在真實點擊數(shù)據(jù)場景下測試，結(jié)果表明本文方案能夠有效提升無偏排序方法表現(xiàn).

1 相關(guān)工作

利用用戶點擊反饋訓(xùn)練模型有點擊模型和無偏排序?qū)W習(xí)2類方法.

1.1 點擊模型

點擊模型從已知的用戶點擊中反向推斷文檔與查詢的相關(guān)性，再將其結(jié)果用于訓(xùn)練.基于用戶瀏覽行為特點，研究者提出了不同的點擊模型[9-13]，從帶偏的點擊數(shù)據(jù)中推測實際文檔相關(guān)性.如位置模型(position based model, PBM)假設(shè)用戶是否點擊由文檔吸引用戶程度以及是否被用戶檢驗所決定.在此基礎(chǔ)上Craswell等人[10]作進一步假設(shè)，認為用戶自上而下瀏覽網(wǎng)頁、返回結(jié)果、并逐個判定是否點擊該文檔、直到需求被滿足，構(gòu)建了級聯(lián)模型(cascade model, CM).級聯(lián)模型在一次搜索過程中只出現(xiàn)一次點擊，某位置文檔被點擊的概率與之前的文檔是否被點擊有關(guān)，而位置模型中各文檔被點擊的概率相互獨立.用戶瀏覽模型[11](user browsing model, UBM)可看作上述模型的拓展，它既考慮了用戶對某一位置文檔是否點擊與該位置之前的文檔是否被點擊之間的關(guān)聯(lián)關(guān)系；又考慮了文檔排列的先后位置順序與用戶對該位置文檔進行檢驗的概率之間的關(guān)聯(lián)關(guān)系.

在上述不同假設(shè)條件下，可以通過用戶點擊來推測文檔的相關(guān)性，從而訓(xùn)練排序模型.然而，這類方法要求每一查詢-文檔對多次呈現(xiàn)給用戶，因此難以適用于稀疏數(shù)據(jù)場景.此外，由于點擊模型去偏和訓(xùn)練排序模型2步驟的優(yōu)化目標不一致，最終模型能夠達到的效果有限.

1.2 無偏排序?qū)W習(xí)

對點擊數(shù)據(jù)去除偏差并得到文檔的真實相關(guān)性的任務(wù)存在難以適用于稀疏長尾數(shù)據(jù)的真實場景以及前后任務(wù)優(yōu)化目標不一致等諸多難點，因此近年來研究人員提出無偏排序?qū)W習(xí)這一新的研究方向，將點擊數(shù)據(jù)作為標簽訓(xùn)練無偏模型.Wang等人[14]和Joachims等人[15]提出采用逆傾向評分加權(quán)的方法來訓(xùn)練無偏排序?qū)W習(xí)模型，利用結(jié)果隨機呈現(xiàn)的方法來估計點擊傾向.然而上述方法需要將結(jié)果隨機展示給用戶，導(dǎo)致用戶體驗下降.因此，2018年Wang等人[16]探討了結(jié)果隨機呈現(xiàn)帶來的不良影響并提出基于回歸的期望最大化方法用于個性化搜索場景.該方法可以提升用戶體驗，并從一定程度上解決個性化搜索中的點擊數(shù)據(jù)稀疏的問題，但每當有點擊數(shù)據(jù)更新時都需要重新進行計算.

Ai等人[17]將排序?qū)W習(xí)模型和傾向模型的訓(xùn)練看作對偶任務(wù)，對2個模型同時訓(xùn)練.在此基礎(chǔ)上，Hu等人[18]將逆傾向得分加權(quán)方法擴展為成對去偏方法，并結(jié)合LambdaMART實現(xiàn)位置偏差估計和排序模型的共同訓(xùn)練.這類方法用戶體驗相對較好，然而當相關(guān)性模型估計不準確時會引入新的偏差.由于傾向估計表現(xiàn)依賴于排序模型效果，因此需要構(gòu)建較為準確的相關(guān)估計模型以提升效果.

2 問題描述

2.1 無偏排序任務(wù)

無偏排序旨在利用用戶反饋數(shù)據(jù)訓(xùn)練模型，對給定查詢q和文檔d的特征信息給出對應(yīng)的文檔相關(guān)得分，按照從高到低將排序結(jié)果返回并呈現(xiàn)給用戶，系統(tǒng)記錄用戶點擊候選列表中的某一文檔并更新模型，其流程如圖1所示：

對于每一查詢-文檔對，無偏排序?qū)W習(xí)方法將點擊數(shù)據(jù)作為標簽，通過設(shè)計有效的損失函數(shù)盡可能消除點擊數(shù)據(jù)偏差，使模型向相關(guān)標簽訓(xùn)練的排序模型收斂.

為統(tǒng)一本文表達方式，列出本文使用符號參數(shù)及其含義如表1所示.令用戶輸入的查詢集合為Q，查詢q∈Q.系統(tǒng)針對查詢q返回呈現(xiàn)給用戶的文檔列表πq，文檔用d表示.>

Table 1 Symbols and Their Meanings表1 使用符號及其含義

2.2 對偶學(xué)習(xí)及問題

現(xiàn)有無偏排序?qū)W習(xí)算法中，對偶學(xué)習(xí)方法在多個數(shù)據(jù)集上表現(xiàn)較佳且適用范圍較廣，其流程如圖2所示:

Fig. 2 Core ideas of dual learning algorithm圖2 對偶學(xué)習(xí)核心思路

假設(shè)對每一文檔d，用戶點擊某一文檔當且僅當該文檔被觀察到且與查詢相關(guān)，如式(1)所示：

P(cd=1)=P(od=1)×P(rd=1).

(1)

對于查詢集合Q，傾向估計的目標是找到傾向模型P，使得損失函數(shù)達到最?。?/p>

(2)

類似地，對文檔進行正確排序的方法是找到排序模型R使得損失函數(shù)達到最?。?/p>

(3)

對偶學(xué)習(xí)方法將傾向估計和相關(guān)估計看作對偶問題，聯(lián)合訓(xùn)練傾向模型和相關(guān)模型并得到最終模型參數(shù).對于點擊傾向模型，對檢索記錄被觀察到的概率估計問題定義逆相關(guān)加權(quán)(inverse relevance weighting, IRW)損失函數(shù)lIRW(P,c)如式(4)所示：

(4)

其中Δ(P,cd|πq)代表文檔序列πq中文檔d的損失.可以證明逆相關(guān)加權(quán)后lIRW(P,c)是傾向模型的無偏估計，如式(5)所示.類似也可證明逆傾向加權(quán)后lIPW(P,c)是排序模型的無偏估計.

(5)

訓(xùn)練過程中，傾向模型對每一位置的文檔輸出其估計的用戶點擊傾向；相關(guān)模型對每一文檔輸出其計算出的相關(guān)概率；對用戶點擊分別乘以逆傾向權(quán)重和逆相關(guān)權(quán)重來計算相關(guān)模型和傾向模型的損失值并更新參數(shù).經(jīng)過多輪迭代直到模型收斂并得到最終的模型參數(shù).

該方法的收斂條件是排序模型和傾向模型的目標函數(shù)為凸函數(shù)，但實際神經(jīng)網(wǎng)絡(luò)含有多個隱藏層，導(dǎo)致其損失函數(shù)非凸不能保證結(jié)果最優(yōu).

3 基于相關(guān)修正的對偶去偏方法

3.1 模型架構(gòu)

針對上述模型收斂得到次優(yōu)解的問題，本文設(shè)計一種基于相關(guān)修正的無偏排序?qū)W習(xí)方法，利用現(xiàn)有小規(guī)模相關(guān)標簽訓(xùn)練模型并利用其對對偶學(xué)習(xí)進行調(diào)整和修正，從而得到更優(yōu)的無偏排序模型.方案流程如圖3所示：

Fig. 3 Unbiased learning to rank based on relevance correction圖3 基于相關(guān)修正的無偏排序?qū)W習(xí)方法

在小規(guī)模標簽上預(yù)先排序模型可以對對偶去偏過程賦予更優(yōu)的初始參數(shù)，因此在訓(xùn)練過程中，尤其是訓(xùn)練初期，排序模型和傾向模型輸出的文檔相關(guān)得分和點擊傾向得分更加準確.這防止了對偶訓(xùn)練過程中文檔相關(guān)得分和點擊傾向得分在相互輸出并計算損失時由于相關(guān)得分和傾向得分估計不準確導(dǎo)致迭代過程中錯誤的累積，從而促使最終模型收斂得到更優(yōu)結(jié)果.

該方案包括以下步驟：階段1.先在少量標注的相關(guān)標簽上進行排序模型預(yù)訓(xùn)練；階段2.利用排序模型輸出的相關(guān)得分訓(xùn)練點擊傾向模型；階段3.利用訓(xùn)練好的模型對對偶去偏過程賦予初值并聯(lián)合訓(xùn)練.

3.1.1 排序模型預(yù)訓(xùn)練

為統(tǒng)一輸入的候選文檔維度并減少計算量，在預(yù)訓(xùn)練數(shù)據(jù)輸入之前先進行粗排.選用少量的訓(xùn)練數(shù)據(jù)訓(xùn)練模型并利用其返回排在前k位的文檔，作為預(yù)訓(xùn)練排序模型的訓(xùn)練數(shù)據(jù).

利用帶有相關(guān)標簽的訓(xùn)練數(shù)據(jù)，找到能夠使得指定損失函數(shù)L(y,f(x))最小的函數(shù)f*：

(6)

其中,f(x)代表排序模型輸出得分，y代表對應(yīng)的相關(guān)標簽.理論上任何可以輸出候選文檔分值的排序模型都可以作為該模型的實現(xiàn)方式.

對每一查詢q的候選文檔列表，按照式(7)計算損失：

(7)

其中，i表示候選列表πq中第i個文檔，yi為第i個文檔的相關(guān)標簽值,wyi為對每一文檔分配的權(quán)重，其計算公式如式(8)所示：

(8)

文檔與查詢的相關(guān)程度越大，對應(yīng)的權(quán)重wyi越高，該文檔占損失的比重越大.在小規(guī)模相關(guān)標簽上訓(xùn)練完成后，返回預(yù)訓(xùn)練得到的排序模型參數(shù)θ0.

3.1.2 對偶去偏

在執(zhí)行對偶學(xué)習(xí)去偏過程之前，利用訓(xùn)練好的排序模型對每一查詢-文檔對輸出文檔相關(guān)得分.利用點擊數(shù)據(jù)和相關(guān)得分，采用逆相關(guān)加權(quán)方法訓(xùn)練傾向模型P，返回其參數(shù)γ0.

將排序模型的參數(shù)θ0和傾向模型的參數(shù)γ0作為對偶去偏過程的初始值，并面向點擊數(shù)據(jù)聯(lián)合訓(xùn)練實現(xiàn)對偶模型的參數(shù)更新，得到收斂程度更好的最終模型.

能夠有效利用經(jīng)偏差校正后的損失函數(shù)均可用于本文提出的方案.為便于方法有效性驗證和效果對比，選用與文獻[17]相同的基于softmax交叉熵的損失函數(shù)如式(9)(10)所示：

(9)

(10)

用戶點擊傾向概率和文檔相關(guān)概率是通過傾向模型和排序模型對每一查詢-文檔對輸出的分值gd(γ)和fd(θ)經(jīng)過softmax變換后得到.

(11)

(12)

因此，經(jīng)過逆傾向加權(quán)和逆相關(guān)加權(quán)后的損失函數(shù)如式(13)(14)所示.式中rk代表第k個位置的文檔是否相關(guān)，ok代表第k個位置的文檔是否被觀察到.

(13)

(14)

對數(shù)據(jù)集中的查詢集合Q，按照式(15)(16)計算傾向模型P和排序模型R的損失：

(15)

(16)

綜上，本文提出的基于相關(guān)修正的對偶去偏方法如算法1.

算法1.基于相關(guān)修正的對偶去偏方法.

輸入：查詢集合Q，對q∈Q有集合{q,πq,cq}；

輸出：排序模型R的參數(shù)θ，傾向模型P的參數(shù)γ.

① 利用預(yù)訓(xùn)練的排序模型f*，對排序模型R的參數(shù)θ進行初始化賦值；

② 固定排序模型R的參數(shù)θ0，利用用戶點擊數(shù)據(jù)訓(xùn)練傾向模型P，得到參數(shù)γ0；

③ 隨機抽取部分查詢樣本，利用式(11)(12)對每一查詢計算展示列表中每個文檔被觀察到和被點擊的概率；

④ 按照式(15)(16)計算傾向模型和相關(guān)模型的損失；

⑤ 根據(jù)損失計算梯度并更新模型參數(shù)θ和γ；

⑥ 重復(fù)步驟③～⑤，直到收斂.

3.2 有效性驗證

令fi代表文檔列表πq中第i個文檔的相關(guān)性得分，將排序模型的參數(shù)固定，當滿足式(17)時，基于相關(guān)修正的對偶去偏模型收斂.

(17)

模型收斂時，最終得到

P(od=1|πq)=

(18)

此時，位置i處的逆傾向權(quán)重為

(19)

由上可知，通過賦予較好的參數(shù)初始值可以避免迭代過程中錯誤的累積，從而得到更優(yōu)的無偏排序?qū)W習(xí)模型.因此，本文提出的無偏排序?qū)W習(xí)方法能夠有效促進系統(tǒng)的性能提升.

3.3 計算速度

在線計算速度方面，由于本文提出的基于相關(guān)修正的對偶去偏方法通過預(yù)訓(xùn)練的排序模型和傾向模型對對偶去偏過程賦予較好的初始值，并未改變部署的對偶去偏模型的參數(shù)量，因此在模型上線部署后，計算速度與原有對偶學(xué)習(xí)方法一致.

離線訓(xùn)練時間方面，由于本文使用小規(guī)模的人工標注相關(guān)標簽預(yù)訓(xùn)練排序模型，因此需在原有基礎(chǔ)上會增加排序模型預(yù)訓(xùn)練的時間.然而實際場景下，系統(tǒng)往往已有預(yù)先訓(xùn)練好的表現(xiàn)較優(yōu)的排序模型可直接用于參數(shù)賦值，且離線訓(xùn)練時間不影響用戶體驗與模型上線效果，故該因素可以忽略.

因此本文提出方法不影響模型的上線計算速度，能夠應(yīng)用于在線學(xué)習(xí)場景.

4 實驗分析

4.1 基準數(shù)據(jù)集實驗

實驗選用公開數(shù)據(jù)集Yahoo! Learn to Rank Challenge[19]version 2.0 set1，該數(shù)據(jù)集總共包含29 921個查詢和其對應(yīng)的709 877個文檔，每一查詢文檔對有700維度的特征向量及其對應(yīng)的5分類水平(0～4)的相關(guān)標簽.其數(shù)據(jù)特征如表2所示:

Table 2 Data Characteristics of Yahoo Dataset表2 Yahoo數(shù)據(jù)集數(shù)據(jù)特征

仿照文獻[15,17]的方法，采用以下方法生成用戶點擊數(shù)據(jù).首先，隨機選取1%的訓(xùn)練數(shù)據(jù)和相關(guān)性標簽訓(xùn)練Ranking SVM模型[20]，得到對每一查詢q的初始的結(jié)果序列πq,將該模型稱作初始排序模型，設(shè)置參數(shù)c=200.然后模擬用戶瀏覽檢索結(jié)果的過程，引入?yún)?shù)控制偏差和噪聲，計算點擊概率并生成點擊數(shù)據(jù)，步驟如下：假設(shè)用戶在僅當文檔被觀察到并且與查詢相關(guān)時點擊該文檔.按照式(20)通過文獻[9]基于眼動追蹤實驗估計的展示偏差ρ計算觀察傾向概率.

(20)

其中，η∈[0,+∞]是控制展示偏差程度的超參數(shù)，本文設(shè)置η的默認值為1.仿照文獻[21]按照式(21)的方法計算文檔相關(guān)概率.

(21)

其中，y為文檔的相關(guān)標簽，ymax是數(shù)據(jù)集中相關(guān)標簽的最大值，參數(shù)ε引入噪聲故而不相關(guān)文檔(yd=0)有一定概率被點擊.實驗設(shè)置ε=0.1.本文選用數(shù)據(jù)集的標簽是5分類，因此ymax=4.對于每一查詢，按照Ranking SVM模型輸出的得分對文檔進行排序，設(shè)置截止文檔個數(shù)為10.

對偶學(xué)習(xí)方法的實現(xiàn)仿照論文設(shè)置學(xué)習(xí)率為0.05，批量大小(batch size)設(shè)置為256，網(wǎng)絡(luò)迭代13 000次后結(jié)束訓(xùn)練.本文方法中傾向模型的迭代次數(shù)設(shè)置為3 000，學(xué)習(xí)率為0.05，批量大小設(shè)為256，對偶去偏網(wǎng)絡(luò)迭代10 000次結(jié)束.不同比例的查詢數(shù)據(jù)實驗設(shè)置參數(shù)值如表3所示:

Table 3 Parameter Settings of the Pre-trained Ranking Model表3 預(yù)訓(xùn)練排序模型參數(shù)設(shè)置

4.1.1 可行性驗證

為驗證本文提出方法的可行性，對上述Yahoo數(shù)據(jù)集進行劃分和構(gòu)造.將訓(xùn)練集分成2部分：一部分通過隨機抽取少量數(shù)據(jù)作為排序模型預(yù)訓(xùn)練的集合；另一部分查詢-文檔對通過模擬用戶行為生成用戶點擊并用于無偏排序模型的訓(xùn)練，2集合的劃分比例為2∶8.實驗選用的驗證集和測試集與Yahoo原始數(shù)據(jù)集相同.

由于相關(guān)標簽有5個等級，因此選用多分類等級評估指標NDCG(normalized discounted cumulative gain)和ERR(expected reciprocal rank)展示其在第1，3，5，10位置上的結(jié)果，實驗結(jié)果如表4所示.另外選用較常用的AUC(area under curve)和MAP(mean average precision)指標進行評估.表4中數(shù)據(jù)顯示本文提出方法在各項指標上均優(yōu)于對比方法，說明該方法能夠有效提升現(xiàn)有方法的表現(xiàn).

Table 4 Experimental Results on the Yahoo Dataset表4 在Yahoo數(shù)據(jù)集上的實驗結(jié)果

4.1.2 偏差程度影響

表4結(jié)果表明點擊數(shù)據(jù)偏差一定時，本文提出方法優(yōu)于基準方法.然而真實情況下用戶行為不斷變化.選用不同的η值模擬不同程度的點擊偏差，η值越大代表生成點擊數(shù)據(jù)的偏差越嚴重，比較對偶學(xué)習(xí)方法和本文方法訓(xùn)練結(jié)果如圖4所示.圖中展示的本文方法是隨機抽取20%查詢訓(xùn)練排序模型并進行相關(guān)修正的結(jié)果，令η值分別為0.5，1.0，1.5，2.0并繪制NDCG和ERR在第1，3，5，10位置的結(jié)果.

Fig. 4 Results of different degrees of bias圖4 不同偏差程度結(jié)果

圖4中可以看到，在不同η值模擬的用戶點擊偏差場景下，本文提出方法效果均優(yōu)于對偶學(xué)習(xí)方法.因此在不同程度的用戶點擊偏差場景下，本文方案能夠有效去除偏差.

4.1.3 抗噪性能分析

為進一步驗證方法的魯棒性，在不同噪聲場景下對比分析本文方法的性能，如圖5所示.通過控制ε值的大小來模擬不同程度的噪聲，其中ε值越大代表噪聲程度越大.ε=0.3時表明用戶有59.8%的概率點擊不相關(guān)的文檔.圖5中結(jié)果說明在不同噪聲程度下本文方法均有優(yōu)越的表現(xiàn).

Fig. 5 Results of different degrees of noise圖5 不同噪聲程度結(jié)果

4.2 真實點擊實驗

為驗證真實用戶點擊數(shù)據(jù)場景下本文提出方法的有效性，選用Tiangong-ULTR[17,22]數(shù)據(jù)集進行實驗.該訓(xùn)練集包含3 449個查詢、333 813個文檔及其對應(yīng)的真實用戶點擊數(shù)據(jù)；測試集包含100個查詢和10 000個文檔.按照2∶8對測試集進行劃分，其中20%含有相關(guān)標簽的數(shù)據(jù)作為排序模型預(yù)訓(xùn)練的數(shù)據(jù)，另外的數(shù)據(jù)用于模型評估與比較.

與現(xiàn)有點擊模型方法級聯(lián)模型CM、用戶瀏覽模型UBM、位置模型PBM和對偶學(xué)習(xí)方法進行比較，結(jié)果如圖6所示.可以看到，圖6中展示的各指標表明本文方法均優(yōu)于基準方法，證明了真實點擊數(shù)據(jù)場景下該方案具有優(yōu)異的性能表現(xiàn).

Fig. 6 Results of the real click experiment圖6 真實點擊實驗結(jié)果

5 總結(jié)展望

針對對偶學(xué)習(xí)方法存在的問題，本文提出一種新的通用無偏排序?qū)W習(xí)方法.利用現(xiàn)有小規(guī)模標注數(shù)據(jù)訓(xùn)練排序模型，對候選文檔進行較精準的相關(guān)性判定，并對對偶去偏過程進行相關(guān)修正.通過預(yù)先訓(xùn)練的排序模型參數(shù)賦值操作避免損失函數(shù)非凸造成的次優(yōu)解.該方法將無偏排序問題轉(zhuǎn)化為在小規(guī)模標注數(shù)據(jù)上的排序?qū)W習(xí)問題，使得以往的排序模型能夠應(yīng)用于大規(guī)模點擊數(shù)據(jù).在模擬和真實用戶點擊場景下測試結(jié)果表明：本文方法能夠有效提升現(xiàn)有方法表現(xiàn).

未來可以將本文提出方法應(yīng)用于大規(guī)模真實用戶點擊數(shù)據(jù)場景，并嘗試不同種類的排序?qū)W習(xí)方法作為預(yù)訓(xùn)練模型以進一步提升無偏排序模型的性能表現(xiàn).

作者貢獻聲明：王奕婷為論文主要完成人，負責(zé)實驗設(shè)計與實施、文章撰寫；蘭艷艷對文稿提出針對性修改意見，完善課題思路和實驗設(shè)計，負責(zé)文章審校；龐亮提供專業(yè)知識等方面幫助，負責(zé)文章實驗部分的技術(shù)性指導(dǎo)；郭嘉豐對文章的知識性內(nèi)容作批評性審閱并提出意見，提供工作支持；程學(xué)旗對所用方法缺陷提出改進意見.