• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于用戶意圖的搜索結(jié)果文本突顯方法

    2020-03-09 01:36:46馬少平
    關(guān)鍵詞:搜索引擎詞語特征

    張 輝, 馬少平

    (清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系; 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室, 北京 100084)

    用戶根據(jù)自身的信息需求形成查詢意圖,并將查詢意圖通過關(guān)鍵詞或自然語言的方式提交給搜索引擎;搜索引擎則根據(jù)用戶提交的查詢詞或自然語言,從網(wǎng)絡(luò)上搜集相關(guān)信息整理成與查詢意圖相匹配的搜索引擎結(jié)果頁面(SERP),每條搜索結(jié)果包含了標(biāo)題、摘要、網(wǎng)址等信息[1].從用戶查詢意圖的形成到用戶提交查詢關(guān)鍵詞的整個(gè)過程受限于用戶自身的語言特點(diǎn),可能發(fā)生信息模糊、信息丟失或信息冗余等情況,在這種條件下查詢關(guān)鍵詞通常難以充分并準(zhǔn)確地表達(dá)用戶的查詢意圖[2].

    Clarke等[3]提出相關(guān)性間接判定假設(shè),即用戶主要根據(jù)SERP中的結(jié)果標(biāo)題和結(jié)果摘要判斷搜索結(jié)果與用戶查詢的相關(guān)性,繼而決定是否瀏覽/點(diǎn)擊這一搜索結(jié)果.因此, SERP中所展示的搜索結(jié)果是決定用戶搜索交互行為的關(guān)鍵因素.SERP中所展示的搜索結(jié)果給予用戶的最終感受包括內(nèi)容和展現(xiàn)形式兩方面.目前,商用搜索引擎在SERP的展示形式上,通常采用查詢詞突顯(QTH)策略,即通過變色/加粗等方式突出顯示查詢詞,進(jìn)而達(dá)到吸引用戶注意力的目的.這種策略包含兩個(gè)假設(shè):① 查詢詞是體現(xiàn)用戶查詢信息需求最重要的詞,這一假設(shè)忽略了用戶提交查詢本身的局限性以及用戶意圖和提交查詢詞之間的不一致性;② 搜索引擎的SERP包含合適數(shù)量的查詢詞,這一假設(shè)忽略了結(jié)果摘要的生成方式千差萬別,能同時(shí)滿足代表原始網(wǎng)頁文檔和完美匹配查詢詞這兩個(gè)條件的結(jié)果摘要少之又少.例如,查詢需求為“中秋看望父母,聽說喝紅酒對老年人有好處,想買1瓶千元以內(nèi),適合老年人喝的紅酒”.

    查詢方法1以“老年人紅酒”作為查詢關(guān)鍵詞時(shí),1條SERP中展示的搜索結(jié)果為:老年人可以適當(dāng)飲用葡萄酒,不過應(yīng)該注意的是,如果老年人有三高癥狀就堅(jiān)決不能喝酒.在給老年人選擇葡萄酒時(shí),應(yīng)盡量選擇酒精含量比較低的干型葡萄酒,避免過量……

    查詢方法2以自然語言“我想買適合老年人飲用的千元以內(nèi)的紅酒”作為查詢語句時(shí),1條SERP中展示的搜索結(jié)果為:事實(shí)上葡萄酒并非都很貴,很多葡萄酒都是百元以內(nèi)的,甚至四五十塊的紅酒有很多都很好喝.很多適宜日常飲用的葡萄酒,果香豐富,口感順滑,便宜又好喝.……這些拍賣行的葡萄酒拍品,往往是老年份的葡萄酒,市場上比較少見的酒,……事實(shí)上,新世界的酒,以果味新鮮為主,適合盡早飲用,新西蘭不少走自然風(fēng)格……

    查詢方法1的信息量有限,不能充分地表達(dá)用戶的查詢意圖,存在信息模糊及信息丟失現(xiàn)象,如“葡萄酒”、“干紅”這些對于滿足用戶查詢需求有用的詞語并不會被突出顯示;查詢方法2使用的查詢語句較長,與目前商業(yè)搜索引擎通常采用的關(guān)鍵詞框架設(shè)計(jì)不一致,存在信息冗余現(xiàn)象,搜索引擎容易把“適合”、“飲用”等這些對于滿足用戶信息需求不重要的詞語突出顯示.

    在中文語言環(huán)境下,用戶提交的查詢以關(guān)鍵詞查詢?yōu)橹鳎樵兺^短,含有的信息量有限.余慧佳等[4]統(tǒng)計(jì)了查詢?nèi)罩?,發(fā)現(xiàn)有93%的查詢包含不超過3個(gè)查詢詞,平均長度為1.85個(gè)詞.因此,當(dāng)用戶提交的查詢?yōu)殛P(guān)鍵詞時(shí),將研究對象定為SERP的文本突顯策略.同時(shí),考慮到結(jié)果標(biāo)題和結(jié)果摘要在用戶查詢過程中所承擔(dān)的作用,為了使所研究的問題更有針對性,重點(diǎn)關(guān)注了搜索結(jié)果中結(jié)果摘要的突顯策略.首先基于用戶標(biāo)注的突顯詞,提出一種關(guān)鍵詞突顯策略;然后,基于4種常用的序列標(biāo)注機(jī)器學(xué)習(xí)算法——結(jié)構(gòu)化支持向量機(jī)(SVMStruct)、隱Markov(HMM)、最大間隔Markov網(wǎng)絡(luò)(M3N)和條件隨機(jī)場(CRF)算法,提出一種新的聯(lián)合序列標(biāo)注學(xué)習(xí)(JSL)算法,并利用詞語4個(gè)方面的屬性特征自動(dòng)識別突顯詞;最后,對比分析在2種文本突顯方法下的用戶搜索行為,調(diào)查不同文本突顯方法在整個(gè)用戶搜索交互過程中所承擔(dān)的作用.

    1 相關(guān)研究工作

    研究內(nèi)容主要包括3個(gè)方面:文本突顯對于用戶閱讀、認(rèn)知及搜索行為的影響;查詢擴(kuò)展、查詢縮減和查詢推薦的方法;文本關(guān)鍵詞的提取方法.

    一段文本內(nèi)不同亮度、顏色的文本具有視覺敏感性.文本突顯的目的是通過改變文本的外在展示形式獲取視覺注意,即“吸引注意力”[5-6].Few[7-8]發(fā)現(xiàn)通過在摘要中突顯查詢詞(顏色突顯)可以吸引用戶的注意力,改善用戶搜索中信息的獲取效率.然而,過多的顏色突顯反而會降低用戶的視覺注意力,引起視覺分散的現(xiàn)象.Kickmeier等[9]通過實(shí)驗(yàn)發(fā)現(xiàn)文本突顯的密度對用戶的點(diǎn)擊行為及記憶準(zhǔn)確性都有明顯的影響,文本突顯密度過高或過低都會對用戶造成選擇困擾,從而增加結(jié)果相關(guān)性的判斷時(shí)間.然而,這些實(shí)驗(yàn)都著重于研究突顯查詢詞及文本突顯密度對于用戶行為的影響,并沒有考慮突顯不同的詞語對用戶搜索效率的影響.

    為了解決用戶所提交的查詢與用戶的查詢意圖不一致的問題,查詢擴(kuò)展技術(shù)、查詢縮減技術(shù)和查詢推薦技術(shù)通過一定的方法策略,如增加、減少或更換一些詞或詞語到原查詢中,達(dá)到提高信息檢索的查全率及查準(zhǔn)率的目的[10-11].這些方法從一定程度上解決了查詢信息不足的問題,但其出發(fā)點(diǎn)為查詢詞,被擴(kuò)展或更換的詞語往往是查詢詞的同義詞、近義詞,或來自于搜索引擎公司提供的查詢推薦詞,這些詞語并不一定存在于SERP的結(jié)果摘要中.因此,搜索結(jié)果的展示方式依然是面向查詢、而非面向用戶查詢意圖的.文本關(guān)鍵詞的提取技術(shù)通過一定的方法策略提取能夠體現(xiàn)作者(原始文本)主要思想的重要詞語[12-13],但其僅與文本自身相關(guān).搜索結(jié)果中需要突顯的詞語是由用戶的查詢?nèi)蝿?wù)所決定的,文本的關(guān)鍵詞并不一定是滿足用戶意圖的關(guān)鍵詞.綜上所述,基于查詢的查詢擴(kuò)展技術(shù)、推薦技術(shù)和基于搜索結(jié)果的關(guān)鍵詞提取技術(shù)都不能直接作為SERP的結(jié)果摘要突顯詞.SERP的結(jié)果摘要突顯詞是存在于結(jié)果摘要中、與查詢?nèi)蝿?wù)相關(guān)且對于用戶信息查詢需求最重要的詞或詞語.

    圖1 用戶標(biāo)注前后的SERP示意圖Fig.1 The diagram of SERP before and after highlighting words by users

    2 突顯詞用戶標(biāo)注調(diào)查

    研究由日本國家科學(xué)信息系統(tǒng)中心(NACSIS)策劃主辦的檢索與自然語言處理測試任務(wù)(NTCIR IMine)[14]中的12對中文查詢詞,如表1所示.每組2個(gè)查詢?nèi)蝿?wù)的查詢需求類似、查詢難度相當(dāng),其中包括2組4個(gè)導(dǎo)航(NA)類查詢,2組4個(gè)事務(wù)(TR) 類查詢和8組16個(gè)信息(IN)類查詢.針對每個(gè)查詢?nèi)蝿?wù),利用Google搜索引擎獲取前10個(gè)純文本的搜索結(jié)果,去除SERP中含有圖片、視頻等內(nèi)容的查詢結(jié)果.

    表1 用戶標(biāo)注采用的24個(gè)中文查詢Tab.1 Twenty-four Chinese queries annotated by users

    針對表1中的每個(gè)查詢?nèi)蝿?wù)撰寫相應(yīng)的任務(wù)描述.提供用戶查詢?nèi)蝿?wù)說明、查詢詞以及去除結(jié)果摘要中文本突顯的SERP(形成統(tǒng)一的字體顏色),供用戶進(jìn)行突顯詞的選擇及標(biāo)注,如圖1(a)所示.調(diào)查對突顯文本的內(nèi)容、長短及次數(shù)不進(jìn)行任何限制,只要求用戶根據(jù)自身對任務(wù)描述及查詢(詞)的理解,標(biāo)注出個(gè)人認(rèn)為最重要的、對完成查詢?nèi)蝿?wù)最有價(jià)值的、最應(yīng)該被突顯的詞或詞語,標(biāo)注結(jié)果如圖 1(b) 所示.調(diào)查一共邀請了10個(gè)計(jì)算機(jī)專業(yè)、自述能夠熟練地使用搜索引擎的用戶對24個(gè)任務(wù)的SERP(前10個(gè)結(jié)果)進(jìn)行標(biāo)注,最終產(chǎn)生 2 400 個(gè)搜索結(jié)果的突顯詞標(biāo)注結(jié)果.

    由圖1可知,用戶標(biāo)注的突顯詞(關(guān)鍵詞)與查詢詞并不一致.挑選幾個(gè)用戶標(biāo)注的突現(xiàn)詞進(jìn)行示例,如圖2所示.當(dāng)查詢?yōu)椤鞍滩∑つw癥狀”時(shí),用戶更傾向于將“艾滋病初期皮膚癥狀”作為一個(gè)整體突顯來標(biāo)注,而不是分別標(biāo)注“艾滋病”、“皮膚”、“癥狀”等這些單獨(dú)的詞語;當(dāng)查詢?yōu)椤柏S田銳志”時(shí),用戶除了標(biāo)注“豐田銳志”這個(gè)實(shí)體,還傾向于標(biāo)注“參數(shù)配置”、“報(bào)價(jià)”等與該實(shí)體相對應(yīng)的屬性詞;當(dāng)查詢?yōu)椤爸Ц秾氹娫挕睍r(shí),用戶更傾向于標(biāo)注出可能的答案,如“95188”和“0571-6500-5120”. 綜上所述,在不同的查詢?nèi)蝿?wù)中,用戶更傾向于標(biāo)注較長的突顯詞、更為豐富的關(guān)鍵詞或直接標(biāo)注可能的答案.

    圖2 用戶標(biāo)注突顯詞示例Fig.2 Examples of highlighting words labelled by users

    3 突顯詞自動(dòng)識別算法

    3.1 問題描述

    結(jié)果摘要的文本突顯問題可以看作為一個(gè)序列標(biāo)注任務(wù).如圖3所示,在給定查詢Q、結(jié)果標(biāo)題T和結(jié)果摘要S的情況下,序列標(biāo)注的最終目的是預(yù)測結(jié)果摘要中詞語的突顯標(biāo)簽Y和非突顯標(biāo)簽N.前文的用戶標(biāo)注調(diào)查已經(jīng)得到了 2 400 條用戶的標(biāo)注數(shù)據(jù),因此可以把識別突顯詞任務(wù)看成一個(gè)有監(jiān)督的序列標(biāo)注任務(wù).

    圖3 結(jié)果摘要文本的突顯詞識別問題示例Fig.3 An example of search result snippet highlighting terms tagging

    假定摘要的固定長度為K,則輸出序列為y=[y1y2…yK],其中yk(k=1,2,…,K)為第k個(gè)詞.能夠觀測到的用戶標(biāo)注序列為x=[x1x2…xK].其中:xk,yk∈{N,Y},k=1,2,…,K.突顯詞識別任務(wù)由已經(jīng)觀測到的用戶標(biāo)注序列x對最終的輸出序列y進(jìn)行估計(jì)和推斷[15].在自然語言處理序列標(biāo)注任務(wù)中廣泛應(yīng)用的SVMStruct[16]、M3N[17]和CRF[18]算法選取條件概率P(y|x),而HMM[19]算法選取聯(lián)合概率P(x,y)分布中最大的一個(gè)y*作為輸出序列.在模型訓(xùn)練階段,預(yù)測序列可由下式計(jì)算得出:

    y*=argmaxyP(y|x) 或

    y*=argmaxyP(x,y)

    (1)

    其中:argmax可以通過Viterbi動(dòng)態(tài)規(guī)劃算法獲得.

    3.2 序列標(biāo)注模型

    由于SVMStruct、HMM、M3N和CRF算法在預(yù)測不同標(biāo)簽上的特性不同,將這些機(jī)器學(xué)習(xí)算法聯(lián)合起來提出一種新的JSL算法,用以進(jìn)一步提高算法性能,如圖4所示.

    圖4 JSL算法模型示意圖Fig.4 Schematic diagram of JSL algorithm

    為獲得序列y,構(gòu)造(K-1)個(gè)2×2的轉(zhuǎn)移矩陣Tk(m,n)記為countk(m,n),為k位置上的標(biāo)簽m變換成標(biāo)簽n的次數(shù),其中,k=1,2,…,K-1;m,n∈{N,Y}.定義標(biāo)簽的狀態(tài)權(quán)重為Uk(t)=countk(t),代表位置k上標(biāo)簽t出現(xiàn)的次數(shù),其中,k=1,2,…,K;t∈{N,Y}.預(yù)測序列y的表達(dá)式為

    (2)

    3.3 特征參數(shù)

    采用基于詞匹配、詞信息、詞向量和詞屬性的4類特征預(yù)測一條結(jié)果摘要中哪些詞應(yīng)該被突出顯示為紅色,而哪些詞不需要被突出顯示,表2所示為其特征列表.

    表2 突顯詞識別所用詞語特征列表Tab.2 The features used in tagging of the highlighting words

    基于詞匹配的特征(★):衡量該詞語是否存在于查詢、結(jié)果標(biāo)題、維基百科、百度百科或者搜索推薦之中.

    基于詞信息的特征(■):衡量該詞語與對應(yīng)的詞語之間的距離或者詞頻-逆文本頻率指數(shù)(tf-idf)值.其中:tf值是該詞在維基百科中的數(shù)量;而idf值則是根據(jù)所有查詢詞對應(yīng)的維基百科文本計(jì)算得出的.

    基于詞向量的特征(◆):用詞向量表達(dá)一個(gè)詞,并基于這一向量計(jì)算該詞語與對應(yīng)詞語之間的相似度等特征.其中,詞向量是基于搜狗互聯(lián)網(wǎng)語料庫(SogouT)數(shù)據(jù)集[20]采用詞向量(word2vec)[21]算法預(yù)先訓(xùn)練得到的,并在整個(gè)突顯詞識別算法的訓(xùn)練過程中保持不變.

    基于詞屬性的特征(●):該詞語自身包含的信息包括詞性、情感以及主題特征,這部分特征可以由中科院ICTCLAS系統(tǒng)和MB-PL-ASUM算法得到[22].

    3.4 算法性能

    3.4.1模型性能 通常序列預(yù)測算法的目標(biāo)是所有詞語的標(biāo)簽預(yù)測綜合性能達(dá)到最優(yōu),一般損失函數(shù)(AverageLoss)表示所有詞語的預(yù)測標(biāo)簽與詞語實(shí)際標(biāo)簽之間的差異程度,其表達(dá)式為

    AverageLoss=

    (3)

    為了測試不同算法的綜合性能指標(biāo),采用所有種類的特征信息計(jì)算5種算法在模型準(zhǔn)確度、精度、召回率及F值方面的性能,計(jì)算結(jié)果如表3所示.由表3可知:① SVMstruct算法在模型準(zhǔn)確度及召回率方面的性能較好;而CRF算法在模型精度及F值方面的性能較好.② HMM算法在模型準(zhǔn)確度、召回率及F值3方面的性能都表現(xiàn)得較差,這可能是由于模型本身采用的是聯(lián)合概率而非條件概率所引起的.③ JSL算法在模型準(zhǔn)確度、精度及F值方面的性能都是最優(yōu)的,相較于其他4種算法都有一定程度的提高.但由于數(shù)據(jù)的不均衡性,在提高突顯詞語的預(yù)測比重后導(dǎo)致了更多的非突顯詞不能被識別,故在召回率方面有所降低.各算法在JSL算法中的所占比重分別為:SVMstruct算法占70.1%;CRF算法占16.2%;M3N算法占7.1%;HMM算法占6.6%.SVMstruct算法與CRF算法所占比重較高,這是由于SVMstruct算法和CRF算法解決了M3N算法的標(biāo)簽偏置問題并弱化了HMM算法的獨(dú)立性假設(shè),所以在JSL算法中優(yōu)勢更為突出,獲得了較大的比重.

    表3 各序列標(biāo)簽學(xué)習(xí)模型的性能對比

    Tab.3 The performance comparison of different sequence label learning algorithms

    算法準(zhǔn)確度/%精度/%召回率/%F值/%SVMstruct92.5019.2090.4031.7HMM81.1017.8063.2027.8M3N90.0032.8064.5043.5CRF91.2037.9062.4047.2JSL93.3048.5069.4057.1

    3.4.2不同特征下的JSL算法性能 不同特征下的JSL算法性能如表4所示,其中↑和↓為相比于上一個(gè)數(shù)量較少的特征,F(xiàn)值的變化是增大還是減小.由表4可知:① 當(dāng)僅采用詞匹配和詞屬性信息特征時(shí),查詢效果較差;當(dāng)采用詞信息或詞向量特征時(shí),查詢效果明顯提高,說明用戶需要更多有效的信息為搜索交互過程提供必要的線索.② 當(dāng)將詞向量與詞匹配、詞信息與詞屬性分別組合成2組特征信息時(shí),則算法的F值有所下降,這可能是由于2組特征混合在一起后使得算法出現(xiàn)了過擬合問題,同時(shí)也說明詞向量對于JSL算法而言是作用比較大的一組特征;當(dāng)采用3組特征時(shí),F(xiàn)值有所提高;當(dāng)采用4組特征時(shí),JSL算法性能達(dá)到最優(yōu),說明這4組特征在識別突顯詞這一任務(wù)中都是有效的特征.③ 當(dāng)預(yù)測所有詞語的整體準(zhǔn)確度達(dá)到93%時(shí), JSL算法的F值僅有57%,說明該數(shù)據(jù)集是一個(gè)不均衡的數(shù)據(jù)集,突顯詞數(shù)量非常少,因而出現(xiàn)了過擬合的問題.

    表4 不同特征下的JSL算法性能比較

    Tab.4 The performance comparison of JSL algorithm under different features

    3.4.3不同任務(wù)下的JSL算法性能 不同搜索任務(wù)下,同時(shí)采用4類特征時(shí)的JSL算法性能如表5所示,其中ALL為所有任務(wù).由表5可知:① 當(dāng)搜索任務(wù)為NA類查詢?nèi)蝿?wù)時(shí),JSL算法的預(yù)測性能最優(yōu),這是由于NA類查詢?nèi)蝿?wù)是搜索一個(gè)與查詢高度相關(guān)的網(wǎng)站,此時(shí)預(yù)測算法使用的特征已經(jīng)包含了查詢內(nèi)容;當(dāng)搜索任務(wù)為TR類和IN類查詢?nèi)蝿?wù)時(shí),用戶往往需要更加豐富的線索信息,此時(shí)預(yù)測突顯詞更加困難.② 當(dāng)搜索任務(wù)為ALL時(shí),預(yù)測摘要中的查詢詞性能較好,而預(yù)測摘要中的非查詢詞性能較差, 其F值分別為70.2%和38.7%.這可能是由于所采用的特征大部分是與查詢相關(guān)的特征,所以預(yù)測查詢詞較容易,而預(yù)測非查詢詞較困難.③ 從預(yù)測結(jié)果可以看出,當(dāng)查詢?nèi)蝿?wù)是TR類或IN類時(shí),用戶需要更豐富的線索信息以直接突顯答案,但目前的預(yù)測算法在這方面的性能有待提高,這可能會是下一步的研究重點(diǎn).

    表5 不同搜索任務(wù)下JSL算法的性能

    Tab.5 The performance comparison of JSL algorithm under different search tasks

    搜索任務(wù)突顯詞F值/%NA類全部摘要詞語66.0TR類全部摘要詞語56.4IN類全部摘要詞語53.0ALL查詢詞70.2ALL非查詢詞38.7

    4 用戶實(shí)驗(yàn)

    4.1 實(shí)驗(yàn)流程

    實(shí)驗(yàn)邀請了12名參與者,包括4名女生和8名男生,均為同一所大學(xué)一年級的本科生,就讀專業(yè)包括經(jīng)濟(jì)學(xué)、美學(xué)、法學(xué)、社會科學(xué)等,自我報(bào)告有1年以上的搜索引擎使用經(jīng)驗(yàn).每人需要完成24個(gè)查詢?nèi)蝿?wù),其中12個(gè)任務(wù)采用QTH策略,另外12個(gè)任務(wù)采用關(guān)鍵詞突顯(KTH)策略.實(shí)驗(yàn)采用希臘拉丁方及隨機(jī)序列方法保證每個(gè)任務(wù)以相同的概率展現(xiàn)給用戶.針對每種突顯策略下的每個(gè)查詢?nèi)蝿?wù),收集到6個(gè)用戶的查詢?nèi)蝿?wù)數(shù)據(jù).實(shí)驗(yàn)提供的界面形式采用Google框架的搜索引擎,用戶可通過該搜索引擎完成正常的搜索功能.此外,用戶交互的鼠標(biāo)數(shù)據(jù)和眼動(dòng)數(shù)據(jù)均會被記錄下來.實(shí)驗(yàn)要求參與者必須在90分鐘內(nèi)完成所有查詢?nèi)蝿?wù),完成任務(wù)后通過口頭詢問的方式確保參與者以認(rèn)真的態(tài)度完成任務(wù),同時(shí)搜集用戶關(guān)于頁面突顯感受的反饋.

    4.2 評價(jià)指標(biāo)和實(shí)驗(yàn)結(jié)果

    搜索用戶的交互過程通常采用的是成本-效益框架評價(jià)搜索引擎的性能[23-24],并以商業(yè)搜索引擎采用的QTH策略作為對比基準(zhǔn),與基于JSL算法產(chǎn)生的KTH策略進(jìn)行對比,采用的評價(jià)指標(biāo)如表6所示.

    表6 搜索效益評價(jià)指標(biāo)體系Tab.6 The evaluation index system of search performance

    表7 KTH與QTH策略下的搜索效益對比

    Tab.7 The performance comparison between KTH and QTH highlighting strategies

    指標(biāo)NA/%IN/%TR/%C-CG8.2Δ9.1Δ22.4C-DCG6.2Δ4.820.9DT6.3Δ18.713.0C-RN5.0Δ7.8Δ19.0C-RD26.713.7Δ17.6C-SL5.0Δ8.218.6

    用戶的注視行為熱度如圖5所示.突顯詞可以吸引用戶的注意力,讓用戶“注意看”突顯詞,進(jìn)而使得用戶關(guān)注位置靠后但更為相關(guān)的搜索結(jié)果.當(dāng)查詢詞為“降壓藥種類”時(shí),在QTH策略下(見圖5),突顯詞為“降壓藥”、“種類”等,用戶優(yōu)先關(guān)注排名靠前的結(jié)果,排名靠后的結(jié)果(排名為第7和第8名的結(jié)果)用戶基本不會注意到;在KTH策略下(見圖6),排名為第7和第8名的結(jié)果突顯詞為“6大類”、“5大類”、“利尿藥”、“β受體阻滯藥”和“鈣離子拮抗劑CCB”等,用戶則重點(diǎn)關(guān)注了這些結(jié)果突顯詞,原因是這些結(jié)果突出詞顯示了對于用戶查詢意圖更有價(jià)值的關(guān)鍵詞.

    圖5 用戶注視熱度圖Fig.5 People’s gaze paths in the heat map

    圖6 用戶注視熱度圖Fig.6 People’s gaze paths in the heat map

    5 結(jié)語

    基于用戶標(biāo)注的數(shù)據(jù),提出一種新的突顯策略,以突顯更能滿足用戶查詢意圖的關(guān)鍵詞;采用JSL算法,使用詞匹配、詞信息、詞向量以及詞屬性4個(gè)方面的特征,自動(dòng)識別搜索結(jié)果摘要中的突顯詞,取得了接近于人工標(biāo)注的效果;設(shè)計(jì)用戶搜索實(shí)驗(yàn),并且與目前通用的QTH策略進(jìn)行對比,進(jìn)而分析不同突顯策略對于用戶行為及搜索效益的影響.實(shí)驗(yàn)證明不同突顯詞對于用戶搜索行為有較大的影響,KTH策略明顯優(yōu)于QTH策略,能夠有效地提升搜索效益.

    猜你喜歡
    搜索引擎詞語特征
    容易混淆的詞語
    找詞語
    如何表達(dá)“特征”
    不忠誠的四個(gè)特征
    抓住特征巧觀察
    詞語欣賞
    網(wǎng)絡(luò)搜索引擎亟待規(guī)范
    一枚詞語一門靜
    基于Nutch的醫(yī)療搜索引擎的研究與開發(fā)
    廣告主與搜索引擎的雙向博弈分析
    丝袜人妻中文字幕| 菩萨蛮人人尽说江南好唐韦庄| 精品亚洲乱码少妇综合久久| 精品少妇久久久久久888优播| 亚洲国产精品一区二区三区在线| 高清视频免费观看一区二区| 日本五十路高清| 大型黄色视频在线免费观看| 欧美国产精品va在线观看不卡| 亚洲精品av麻豆狂野| 丁香六月欧美| 黑人猛操日本美女一级片| 亚洲一区二区三区欧美精品| 69av精品久久久久久 | 日本欧美视频一区| 一级黄色大片毛片| 757午夜福利合集在线观看| 婷婷丁香在线五月| 纵有疾风起免费观看全集完整版| 精品国产乱码久久久久久男人| 精品人妻1区二区| 热re99久久国产66热| 自拍欧美九色日韩亚洲蝌蚪91| 如日韩欧美国产精品一区二区三区| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲熟女精品中文字幕| 一进一出抽搐动态| 亚洲人成电影免费在线| 久久午夜亚洲精品久久| 如日韩欧美国产精品一区二区三区| av超薄肉色丝袜交足视频| 免费观看av网站的网址| 精品久久久久久久毛片微露脸| 久久精品国产亚洲av香蕉五月 | 亚洲精品久久成人aⅴ小说| 欧美日韩成人在线一区二区| 国产一卡二卡三卡精品| 国产精品免费大片| av视频免费观看在线观看| 两个人免费观看高清视频| www.999成人在线观看| 天堂动漫精品| 美女高潮喷水抽搐中文字幕| 亚洲午夜精品一区,二区,三区| 美女福利国产在线| 午夜日韩欧美国产| 国产精品一区二区免费欧美| 国产成人免费无遮挡视频| 久久久久久久久免费视频了| 国精品久久久久久国模美| 黑人操中国人逼视频| 777久久人妻少妇嫩草av网站| 一二三四在线观看免费中文在| 在线观看66精品国产| 亚洲午夜精品一区,二区,三区| 老汉色∧v一级毛片| 天天躁夜夜躁狠狠躁躁| 午夜免费成人在线视频| 午夜免费成人在线视频| 精品国产一区二区三区四区第35| 午夜福利,免费看| 国产午夜精品久久久久久| 欧美日韩中文字幕国产精品一区二区三区 | 久久久欧美国产精品| 久久精品国产亚洲av香蕉五月 | 国产三级黄色录像| 精品国产一区二区三区四区第35| 亚洲熟妇熟女久久| 国产伦人伦偷精品视频| 大陆偷拍与自拍| 国产成人影院久久av| av福利片在线| 极品人妻少妇av视频| 午夜成年电影在线免费观看| 国产精品一区二区免费欧美| 一本久久精品| 777久久人妻少妇嫩草av网站| 飞空精品影院首页| 纯流量卡能插随身wifi吗| 热re99久久精品国产66热6| 国产无遮挡羞羞视频在线观看| 国产亚洲一区二区精品| 丰满饥渴人妻一区二区三| 成人特级黄色片久久久久久久| 午夜福利在线在线| 好男人电影高清在线观看| 五月伊人婷婷丁香| 亚洲精品美女久久久久99蜜臀| 久久99热这里只有精品18| 日韩欧美三级三区| 99国产综合亚洲精品| 一本久久中文字幕| 久久草成人影院| 天堂影院成人在线观看| 国产探花在线观看一区二区| 亚洲 欧美一区二区三区| 亚洲午夜理论影院| 精品不卡国产一区二区三区| 欧美一区二区精品小视频在线| www日本在线高清视频| av福利片在线观看| 色哟哟哟哟哟哟| 一级a爱片免费观看的视频| 国产精品免费一区二区三区在线| 露出奶头的视频| 亚洲国产欧洲综合997久久,| 香蕉丝袜av| 国产亚洲av嫩草精品影院| 精品久久蜜臀av无| 久久草成人影院| 最新美女视频免费是黄的| 精品国产乱子伦一区二区三区| 小蜜桃在线观看免费完整版高清| 韩国av一区二区三区四区| 亚洲精品一卡2卡三卡4卡5卡| 日本成人三级电影网站| 久久香蕉精品热| 又紧又爽又黄一区二区| 日韩欧美 国产精品| 国产极品精品免费视频能看的| 999久久久国产精品视频| 国产野战对白在线观看| 男女下面进入的视频免费午夜| 床上黄色一级片| 一个人免费在线观看电影 | 欧美不卡视频在线免费观看| 亚洲人成网站在线播放欧美日韩| 日韩人妻高清精品专区| 久久婷婷人人爽人人干人人爱| 亚洲av免费在线观看| 91av网站免费观看| 这个男人来自地球电影免费观看| 亚洲激情在线av| 亚洲精品美女久久av网站| 国产精品久久视频播放| 国产视频内射| 婷婷丁香在线五月| 中文字幕久久专区| 免费无遮挡裸体视频| 色哟哟哟哟哟哟| 村上凉子中文字幕在线| 最好的美女福利视频网| 中文字幕人成人乱码亚洲影| 亚洲国产欧美人成| 99热只有精品国产| 日韩 欧美 亚洲 中文字幕| 国产精品一及| 精品国产乱码久久久久久男人| 久久久久九九精品影院| 色综合欧美亚洲国产小说| 亚洲天堂国产精品一区在线| 91在线观看av| 亚洲一区二区三区色噜噜| avwww免费| 亚洲国产看品久久| 亚洲精品美女久久久久99蜜臀| а√天堂www在线а√下载| 十八禁人妻一区二区| 亚洲一区高清亚洲精品| 真实男女啪啪啪动态图| 超碰成人久久| 我的老师免费观看完整版| 一级a爱片免费观看的视频| 久久精品综合一区二区三区| 男女视频在线观看网站免费| 午夜激情福利司机影院| 久久人妻av系列| 午夜日韩欧美国产| 亚洲一区二区三区色噜噜| 国产av在哪里看| 好男人电影高清在线观看| 香蕉av资源在线| 国产伦人伦偷精品视频| 日韩三级视频一区二区三区| 91av网站免费观看| 一级作爱视频免费观看| 美女高潮的动态| 精品一区二区三区av网在线观看| 成人精品一区二区免费| 日韩中文字幕欧美一区二区| 国产野战对白在线观看| 岛国视频午夜一区免费看| 狠狠狠狠99中文字幕| 亚洲成a人片在线一区二区| 观看免费一级毛片| 国产熟女xx| www.自偷自拍.com| 免费电影在线观看免费观看| 床上黄色一级片| 久久久久九九精品影院| 国产av一区在线观看免费| 欧美乱码精品一区二区三区| 成人永久免费在线观看视频| 亚洲一区二区三区色噜噜| 热99在线观看视频| 最近视频中文字幕2019在线8| 国产真实乱freesex| a级毛片在线看网站| 国产成人影院久久av| 熟女少妇亚洲综合色aaa.| 中文资源天堂在线| 久久久久久九九精品二区国产| 天堂√8在线中文| 毛片女人毛片| 熟女少妇亚洲综合色aaa.| 在线观看舔阴道视频| 日韩免费av在线播放| 男人舔女人下体高潮全视频| 欧美一区二区国产精品久久精品| 嫁个100分男人电影在线观看| 欧美一级毛片孕妇| 国产激情偷乱视频一区二区| 亚洲成人免费电影在线观看| 国产精品av视频在线免费观看| 香蕉丝袜av| 欧美日韩一级在线毛片| 国产又黄又爽又无遮挡在线| 国语自产精品视频在线第100页| 成人国产一区最新在线观看| 色吧在线观看| 亚洲欧美日韩卡通动漫| 国产成人欧美在线观看| 搡老熟女国产l中国老女人| 一区二区三区激情视频| 97超视频在线观看视频| 亚洲国产精品sss在线观看| 波多野结衣高清无吗| 欧美黑人欧美精品刺激| or卡值多少钱| 日韩av在线大香蕉| 午夜免费激情av| 国产日本99.免费观看| 久久草成人影院| 成人精品一区二区免费| 国产亚洲精品综合一区在线观看| 日本熟妇午夜| 男女午夜视频在线观看| 国产精品九九99| 亚洲色图 男人天堂 中文字幕| 免费看日本二区| 黑人操中国人逼视频| 日韩中文字幕欧美一区二区| 啦啦啦免费观看视频1| 岛国在线免费视频观看| 伦理电影免费视频| 久久国产精品影院| 丰满的人妻完整版| 69av精品久久久久久| 亚洲第一欧美日韩一区二区三区| 亚洲自偷自拍图片 自拍| 欧美av亚洲av综合av国产av| 久久久国产精品麻豆| 日韩有码中文字幕| 中文在线观看免费www的网站| 欧美日本视频| 午夜影院日韩av| 综合色av麻豆| 久9热在线精品视频| 一本精品99久久精品77| 一区二区三区激情视频| 日韩欧美三级三区| 免费观看的影片在线观看| 九色国产91popny在线| 精品国产亚洲在线| 亚洲av美国av| 欧美成人一区二区免费高清观看 | 日韩欧美国产一区二区入口| 亚洲熟妇中文字幕五十中出| 一本一本综合久久| 脱女人内裤的视频| 免费在线观看影片大全网站| 99精品欧美一区二区三区四区| 俺也久久电影网| 窝窝影院91人妻| 神马国产精品三级电影在线观看| 麻豆国产97在线/欧美| 在线看三级毛片| 老司机深夜福利视频在线观看| 午夜福利欧美成人| 国产精品 国内视频| 精品99又大又爽又粗少妇毛片 | 一二三四在线观看免费中文在| 啦啦啦免费观看视频1| 午夜福利免费观看在线| 久久这里只有精品19| 国产熟女xx| 日本 av在线| 亚洲精华国产精华精| 黑人欧美特级aaaaaa片| 999久久久精品免费观看国产| 变态另类丝袜制服| 亚洲色图 男人天堂 中文字幕| 欧美国产日韩亚洲一区| 三级男女做爰猛烈吃奶摸视频| 嫩草影视91久久| 美女黄网站色视频| 日韩有码中文字幕| 91在线观看av| 少妇人妻一区二区三区视频| 欧美黑人巨大hd| 精品久久久久久久久久免费视频| 麻豆成人av在线观看| 麻豆国产97在线/欧美| xxxwww97欧美| netflix在线观看网站| 啦啦啦免费观看视频1| 免费人成视频x8x8入口观看| 狂野欧美激情性xxxx| 亚洲va日本ⅴa欧美va伊人久久| 在线视频色国产色| 一个人免费在线观看电影 | 2021天堂中文幕一二区在线观| 69av精品久久久久久| 精品一区二区三区av网在线观看| 欧美日韩瑟瑟在线播放| 美女免费视频网站| 日日干狠狠操夜夜爽| 国产综合懂色| 麻豆久久精品国产亚洲av| 欧美绝顶高潮抽搐喷水| 国产真人三级小视频在线观看| 一二三四社区在线视频社区8| 国产精品美女特级片免费视频播放器 | 黄色丝袜av网址大全| 亚洲欧美精品综合一区二区三区| 国产精品香港三级国产av潘金莲| 国产精品 国内视频| www.精华液| 亚洲一区二区三区色噜噜| 午夜福利免费观看在线| 性欧美人与动物交配| 中文字幕最新亚洲高清| 亚洲 欧美 日韩 在线 免费| 国产一区二区激情短视频| av女优亚洲男人天堂 | avwww免费| 亚洲人与动物交配视频| 特级一级黄色大片| 国产精品免费一区二区三区在线| 亚洲人与动物交配视频| 在线观看一区二区三区| 中文字幕人妻丝袜一区二区| 欧美乱妇无乱码| 国产激情欧美一区二区| 亚洲精品一区av在线观看| 日日干狠狠操夜夜爽| 最新美女视频免费是黄的| 人妻夜夜爽99麻豆av| 久久久久久久午夜电影| 色av中文字幕| 亚洲一区高清亚洲精品| 中文亚洲av片在线观看爽| www日本黄色视频网| 久久九九热精品免费| 亚洲欧洲精品一区二区精品久久久| 我的老师免费观看完整版| 一夜夜www| 99热这里只有是精品50| 亚洲 国产 在线| 日韩av在线大香蕉| 国产 一区 欧美 日韩| 精品人妻1区二区| 亚洲国产精品成人综合色| 伦理电影免费视频| 久久久久久人人人人人| av在线天堂中文字幕| 国产精品永久免费网站| 亚洲中文字幕日韩| 五月玫瑰六月丁香| 老司机午夜十八禁免费视频| 白带黄色成豆腐渣| 久久天堂一区二区三区四区| 国产免费男女视频| 波多野结衣高清无吗| 日韩高清综合在线| 伦理电影免费视频| 日韩中文字幕欧美一区二区| 国产精品女同一区二区软件 | 久久久国产成人精品二区| 99久久99久久久精品蜜桃| 婷婷六月久久综合丁香| 久99久视频精品免费| 日韩国内少妇激情av| 一二三四社区在线视频社区8| 老司机午夜福利在线观看视频| 国产精品国产高清国产av| 18禁黄网站禁片免费观看直播| 禁无遮挡网站| 成人永久免费在线观看视频| 国产精品一及| 亚洲一区高清亚洲精品| 国产亚洲精品久久久久久毛片| 少妇裸体淫交视频免费看高清| 淫妇啪啪啪对白视频| 丁香欧美五月| 欧美日韩一级在线毛片| 激情在线观看视频在线高清| 19禁男女啪啪无遮挡网站| 精品久久蜜臀av无| 全区人妻精品视频| 国产精品精品国产色婷婷| 99久久成人亚洲精品观看| 亚洲自拍偷在线| 毛片女人毛片| 国产精品1区2区在线观看.| 99在线人妻在线中文字幕| 国产单亲对白刺激| 中文亚洲av片在线观看爽| 我要搜黄色片| 久久人妻av系列| 巨乳人妻的诱惑在线观看| 可以在线观看的亚洲视频| 麻豆成人av在线观看| av在线天堂中文字幕| 成人亚洲精品av一区二区| 国产高潮美女av| 欧美在线一区亚洲| 亚洲欧美日韩高清在线视频| 午夜免费成人在线视频| 青草久久国产| 成年版毛片免费区| 成在线人永久免费视频| 久久久久久久久免费视频了| 亚洲国产精品999在线| 高清毛片免费观看视频网站| 免费在线观看视频国产中文字幕亚洲| 变态另类丝袜制服| 国产av一区在线观看免费| 日韩欧美 国产精品| 久久久久久久精品吃奶| 看片在线看免费视频| 国产主播在线观看一区二区| xxxwww97欧美| 悠悠久久av| 国产精品 国内视频| 免费一级毛片在线播放高清视频| 丰满的人妻完整版| 欧美黄色淫秽网站| 国语自产精品视频在线第100页| 精品久久久久久久毛片微露脸| 天堂影院成人在线观看| 亚洲欧美日韩无卡精品| 一进一出抽搐动态| 97超视频在线观看视频| 国产男靠女视频免费网站| 性色avwww在线观看| 国产伦一二天堂av在线观看| 久久精品夜夜夜夜夜久久蜜豆| 亚洲人成电影免费在线| 老汉色∧v一级毛片| 最近最新免费中文字幕在线| 韩国av一区二区三区四区| 免费高清视频大片| 亚洲男人的天堂狠狠| 欧美在线黄色| 免费在线观看亚洲国产| 亚洲色图av天堂| av在线天堂中文字幕| 麻豆一二三区av精品| www.999成人在线观看| 午夜成年电影在线免费观看| 国产精品久久久av美女十八| 99精品久久久久人妻精品| 又紧又爽又黄一区二区| 叶爱在线成人免费视频播放| 亚洲av中文字字幕乱码综合| 99精品欧美一区二区三区四区| 99热这里只有精品一区 | 欧美激情在线99| 免费在线观看日本一区| 国产野战对白在线观看| 亚洲人成伊人成综合网2020| 欧美一区二区精品小视频在线| 黄片大片在线免费观看| 亚洲欧美精品综合一区二区三区| 欧美性猛交╳xxx乱大交人| 丁香六月欧美| 久久中文看片网| 99久国产av精品| 欧美日本亚洲视频在线播放| 狂野欧美白嫩少妇大欣赏| 国产高清视频在线播放一区| 好男人在线观看高清免费视频| 午夜福利在线观看免费完整高清在 | 我要搜黄色片| 日日夜夜操网爽| 国产私拍福利视频在线观看| 特大巨黑吊av在线直播| 午夜影院日韩av| 美女 人体艺术 gogo| 精品电影一区二区在线| 香蕉国产在线看| 国产精品亚洲一级av第二区| 亚洲精品国产精品久久久不卡| xxx96com| 最新中文字幕久久久久 | 少妇熟女aⅴ在线视频| 视频区欧美日本亚洲| 啦啦啦韩国在线观看视频| 丰满的人妻完整版| 成人18禁在线播放| 亚洲欧美日韩无卡精品| 国产成人av教育| 亚洲精品在线美女| 久久天躁狠狠躁夜夜2o2o| 成年版毛片免费区| 亚洲欧美日韩卡通动漫| 熟妇人妻久久中文字幕3abv| 欧美高清成人免费视频www| 国产一区二区在线av高清观看| 精品国产乱子伦一区二区三区| 国产高清视频在线观看网站| 欧美大码av| 宅男免费午夜| 国产又黄又爽又无遮挡在线| 1024香蕉在线观看| 国产精品久久电影中文字幕| 精品久久久久久,| 亚洲第一欧美日韩一区二区三区| 日韩欧美精品v在线| 狂野欧美白嫩少妇大欣赏| 日韩精品青青久久久久久| 国产麻豆成人av免费视频| 欧美+亚洲+日韩+国产| 非洲黑人性xxxx精品又粗又长| 国产三级中文精品| 国产精品美女特级片免费视频播放器 | 香蕉av资源在线| 日本一本二区三区精品| 十八禁网站免费在线| 99热精品在线国产| 国产黄a三级三级三级人| 丁香六月欧美| 亚洲av日韩精品久久久久久密| 少妇的逼水好多| 精品久久久久久久毛片微露脸| 国产亚洲精品综合一区在线观看| a级毛片a级免费在线| 亚洲国产欧美网| 精品久久久久久久毛片微露脸| 黑人操中国人逼视频| 亚洲九九香蕉| 国产成+人综合+亚洲专区| 国产精品女同一区二区软件 | 日韩免费av在线播放| 精品欧美国产一区二区三| 亚洲中文字幕一区二区三区有码在线看 | svipshipincom国产片| 午夜免费观看网址| 国产精品永久免费网站| 美女黄网站色视频| 久久久久久久久免费视频了| 99在线人妻在线中文字幕| 一级毛片精品| 噜噜噜噜噜久久久久久91| 亚洲国产欧美网| 在线观看美女被高潮喷水网站 | 19禁男女啪啪无遮挡网站| 日日摸夜夜添夜夜添小说| 露出奶头的视频| 国产精品亚洲美女久久久| 精品久久久久久久毛片微露脸| 成人永久免费在线观看视频| 美女黄网站色视频| 日韩欧美国产在线观看| 18禁国产床啪视频网站| 国产精品电影一区二区三区| 久久久精品欧美日韩精品| 又黄又粗又硬又大视频| 欧美zozozo另类| 一级黄色大片毛片| 精品欧美国产一区二区三| 大型黄色视频在线免费观看| 桃色一区二区三区在线观看| 91av网一区二区| 久久伊人香网站| 欧美黄色片欧美黄色片| 夜夜躁狠狠躁天天躁| 成人特级av手机在线观看| 国产成+人综合+亚洲专区| 久久久久久久精品吃奶| 国产亚洲av高清不卡| av女优亚洲男人天堂 | 国产视频内射| 日韩欧美精品v在线| 久久伊人香网站| 波多野结衣高清作品| 亚洲成av人片在线播放无| 狠狠狠狠99中文字幕| 在线观看免费视频日本深夜| 久9热在线精品视频| 午夜免费成人在线视频| 亚洲一区高清亚洲精品| 国产精品影院久久| 老司机午夜福利在线观看视频| 一a级毛片在线观看| 黄色丝袜av网址大全| 五月玫瑰六月丁香| 免费一级毛片在线播放高清视频| 成在线人永久免费视频| 国内精品一区二区在线观看| 99riav亚洲国产免费| 欧美日韩黄片免| 免费在线观看成人毛片| 国产探花在线观看一区二区| 成年女人永久免费观看视频| 久久久久免费精品人妻一区二区| 亚洲国产精品成人综合色| 精品国产亚洲在线| 欧美日韩福利视频一区二区| 国产男靠女视频免费网站| 亚洲男人的天堂狠狠| 十八禁网站免费在线| 国产熟女xx| 免费看十八禁软件|