• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    對(duì)數(shù)透視法在信息檢索結(jié)果評(píng)價(jià)中的應(yīng)用研究

    2017-02-27 00:31:51楊海鋒
    現(xiàn)代情報(bào) 2017年1期
    關(guān)鍵詞:信息檢索評(píng)價(jià)指標(biāo)

    楊海鋒

    〔摘要〕信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究,而從用戶認(rèn)知的角度來(lái)對(duì)其進(jìn)行研究逐漸成為學(xué)者們追捧的熱點(diǎn)。本文從用戶認(rèn)知的角度出發(fā),借助布魯克斯提出的對(duì)數(shù)透視法思想,對(duì)目前比較常用的評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn),將物理世界(“世界1”)中的評(píng)價(jià)指標(biāo)通過(guò)“對(duì)數(shù)尺”轉(zhuǎn)換到了“世界2”和“世界3”的精神世界,從用戶所獲取的情報(bào)量對(duì)其檢索結(jié)果進(jìn)行了評(píng)價(jià),克服了以文獻(xiàn)數(shù)量為計(jì)量單位評(píng)價(jià)的不足。同時(shí),通過(guò)應(yīng)用分析對(duì)其改進(jìn)的評(píng)價(jià)指標(biāo)進(jìn)行了說(shuō)明。最后提出了本研究的不足和需要改進(jìn)的地方。

    〔關(guān)鍵詞〕對(duì)數(shù)透視法;信息檢索;評(píng)價(jià)指標(biāo);用戶認(rèn)知

    DOI:10.3969/j.issn.1008-0821.2017.01.012

    〔中圖分類號(hào)〕G252.7〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-0821(2017)01-0066-05

    〔Abstract〕Information retrieval evaluation has been widely researched to scholars,the research from the perspective of cognitive has gradually become a hot pursuit of the scholars.Based on logarithmic law proposed by Brooks,this paper made some changes to commonly used evaluation index,from the perspective of user cognition,change evaluation measures in material“world 1”to spiritual“world 2”and“world 3”by logarithmic law,evaluated result by information amount instead of the number of documents.At the same time,the article did a application analysis to explain the changes and pointed out the deficiency and what should do at last.

    〔Key words〕logarithmic law;information retrieval;evaluation measures;user cognition

    信息檢索評(píng)價(jià)得到了學(xué)者們的廣泛研究,最常用的評(píng)價(jià)指標(biāo)包括召回率、準(zhǔn)確率、P@N(Precision at rank N)、AP(Average Precision)、MAP(Mean Average Precision)、NDCG(Normalized Discount Cumulative Gain)等[1-3]。上述評(píng)價(jià)標(biāo)準(zhǔn)大多(除NDCG外)是以所檢索出文獻(xiàn)(檔)的數(shù)量作為計(jì)量單位,并在此基礎(chǔ)上形成常用的評(píng)價(jià)指標(biāo),同時(shí),這些評(píng)價(jià)指標(biāo)僅僅針對(duì)二元相關(guān)性,要么相關(guān),要么不相關(guān)。NDCG方法的出現(xiàn)彌補(bǔ)了二元相關(guān)評(píng)價(jià)方法的不足,它能夠系統(tǒng)地結(jié)合文檔排序和相關(guān)性得分,可以說(shuō)是對(duì)文檔滿足用戶需求的情況進(jìn)行了考慮。用戶在信息檢索過(guò)程的認(rèn)知行為是檢索評(píng)價(jià)的重要依據(jù),但由于認(rèn)知行為的隱蔽性和不確定性,傳統(tǒng)的評(píng)價(jià)指標(biāo)對(duì)其考慮較少。因此,可從用戶認(rèn)知角度出發(fā),對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn),力求最大程度衡量用戶檢索過(guò)程的滿足感。布魯克斯情報(bào)學(xué)認(rèn)知觀范式,對(duì)情報(bào)學(xué)發(fā)展起到了重要的影響推動(dòng)作用,其思想不斷地被使用、推廣、延伸和完善。通過(guò)他提出的對(duì)數(shù)透視法,我們將嘗試通過(guò)“對(duì)數(shù)尺”將物理世界的“硬”評(píng)價(jià)轉(zhuǎn)化到精神世界的“軟”評(píng)價(jià)。本文基于此展開(kāi)研究,在相關(guān)研究的基礎(chǔ)上,對(duì)對(duì)數(shù)透視法理論進(jìn)行了較為全面的梳理和分析后,對(duì)傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)進(jìn)行了改進(jìn),并通過(guò)相關(guān)的應(yīng)用對(duì)其進(jìn)行了說(shuō)明。

    1相關(guān)研究

    1980年,英國(guó)著名情報(bào)學(xué)家布魯克斯發(fā)表了一組《情報(bào)學(xué)的基礎(chǔ)》論文,提出了當(dāng)前情報(bào)學(xué)研究的現(xiàn)狀和特點(diǎn),并較宏觀地介紹了一些定量性的研究方法。比如,情報(bào)學(xué)的任務(wù)是探索和組織客觀知識(shí)世界(“世界3”),提出了對(duì)數(shù)透視法、情報(bào)學(xué)基本方程等。對(duì)于對(duì)數(shù)透視法,布魯克斯指出解決物理現(xiàn)象所采用的計(jì)算方法,應(yīng)用于精神現(xiàn)象以及情報(bào)過(guò)程的定量化時(shí)要采取修正的方法,這種修正方法就是利用對(duì)數(shù)透視法來(lái)加以變換,不能簡(jiǎn)單地用物理數(shù)據(jù)來(lái)度量認(rèn)知范圍的問(wèn)題,應(yīng)當(dāng)進(jìn)行相應(yīng)的變換[4]。信息檢索結(jié)果評(píng)價(jià)中,傳統(tǒng)的查準(zhǔn)率和查全率衡量指標(biāo)是布魯克斯稱之為物理現(xiàn)象采用的計(jì)算方法,它忽略了不同用戶的信息需求和滿足程度,必須進(jìn)行相關(guān)的修正。因此,嘗試將對(duì)數(shù)透視法則應(yīng)用于信息檢索結(jié)果的評(píng)價(jià)中,將可能更加客觀地衡量不同用戶主體對(duì)檢索結(jié)果的滿意程度。

    關(guān)于對(duì)數(shù)透視法的應(yīng)用,學(xué)者們對(duì)其進(jìn)行了一些研究,但只是提到相關(guān)的現(xiàn)象,沒(méi)有專門以此展開(kāi)討論。馬費(fèi)成在檢索系統(tǒng)的效率評(píng)價(jià)問(wèn)題中指出,人的情報(bào)吸收過(guò)程呈現(xiàn)情報(bào)遞減規(guī)律,傳統(tǒng)的檢全率錯(cuò)誤地認(rèn)為每篇文檔含有等量的情報(bào),計(jì)數(shù)文獻(xiàn)是一種客觀活動(dòng),而情報(bào)檢索過(guò)程是人的主觀活動(dòng)和情報(bào)過(guò)程,同時(shí)舉例說(shuō)明了如何使用對(duì)數(shù)透視原理對(duì)檢全率進(jìn)行了改進(jìn)[5]。馬費(fèi)成提出的情報(bào)學(xué)的6個(gè)原理中,對(duì)數(shù)透視原理便是其中重要的一條原理[6]。婁銀銀等指出,根據(jù)情報(bào)學(xué)基本方程式和對(duì)數(shù)透視法,可構(gòu)建動(dòng)態(tài)認(rèn)知的智能網(wǎng)絡(luò)信息檢索系統(tǒng),并在保證知識(shí)含金量不變的情況下,適當(dāng)降低召回率來(lái)提高準(zhǔn)確率[7]。肖楠等分析了網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理,在基于對(duì)數(shù)透視原理的網(wǎng)絡(luò)檢索效率中指出,用戶即使只選擇100條結(jié)果集中的10條,其檢全率是50%而不是10%[8]。鄧慧敏將對(duì)數(shù)透視原理應(yīng)用于網(wǎng)絡(luò)鏈接分析中,驗(yàn)證了對(duì)數(shù)透視原理在銀行網(wǎng)站鏈接中的適用性[9]。同時(shí),從文獻(xiàn)查閱過(guò)程發(fā)現(xiàn),關(guān)于對(duì)數(shù)透視法在信息檢索評(píng)價(jià)中的研究相對(duì)較少,且以理論研究為主。

    在一些檢索結(jié)果評(píng)價(jià)指標(biāo)的研究中,布魯克斯的對(duì)數(shù)透視法思想其實(shí)也已經(jīng)融入其中。歸一化懲罰累積增益(NDCG)評(píng)價(jià)方法,是一種多級(jí)的相關(guān)排序方法,采用了對(duì)數(shù)懲罰函數(shù)對(duì)排名較低的文檔進(jìn)行了懲罰,其實(shí)和布魯克斯對(duì)數(shù)透視原理有非常相似之處[4],即說(shuō)明不同文檔所包含的情報(bào)量不同。對(duì)于AP評(píng)價(jià)指標(biāo)的爭(zhēng)議,比如主題上的AP值不符合正態(tài)分布、邊界0~1情況、對(duì)檢索困難的主題關(guān)注較少等,Robertson[10]對(duì)AP進(jìn)行了修正,涉及到公式轉(zhuǎn)換和平滑,在GMAP(Geometric MAP)的基礎(chǔ)上提出了logAP(即lAP),同時(shí)也關(guān)注到了ltAP(即logitAP=AP1-AP)[11],并對(duì)兩者邊界問(wèn)題進(jìn)行了定義。同時(shí)又從概率的角度解決了0~1邊界問(wèn)題,這里使用到了Laplace平滑,即可得到平滑后的sAP、slAP以及(yet another AP)yaAP=logit(sAP)。最后,在假設(shè)AP概率符合正態(tài)分布的基礎(chǔ),對(duì)上述變換評(píng)價(jià)指標(biāo)進(jìn)行了卡方檢驗(yàn),yaAP取得了較好效果。Kelly[12]認(rèn)為信息檢索評(píng)價(jià)應(yīng)該從檢索背景(包括用戶差異性、信息需求等)、人機(jī)交互、檢索性能(通過(guò)常用評(píng)價(jià)指標(biāo)衡量)、易用性(效果、效率、滿意度等)4個(gè)方面進(jìn)行考慮,常用的量化評(píng)價(jià)僅在檢索性能展開(kāi)。信息量和用戶滿意度也是評(píng)價(jià)的重要指標(biāo),信息量評(píng)價(jià)關(guān)注相關(guān)性的相對(duì)評(píng)價(jià)而不是絕對(duì)衡量,假設(shè)讓用戶從信息量遞減的順序?qū)ξ臋n進(jìn)行排序,而滿意度是用戶檢索過(guò)程中的體驗(yàn)感受,影響下次檢索過(guò)程的執(zhí)行,常通過(guò)用戶的問(wèn)卷或面談獲得。文獻(xiàn)[13]對(duì)信息量在信息搜尋和檢索環(huán)境中的概念進(jìn)行了再討論,認(rèn)為信息量是以用戶為中心的概念,能對(duì)信息檢索過(guò)程的有效性進(jìn)行評(píng)價(jià),能構(gòu)建傳統(tǒng)評(píng)價(jià)到用戶扮演重要評(píng)價(jià)角色的橋梁,并且克服了傳統(tǒng)方法中認(rèn)為排序中文檔之間獨(dú)立性假設(shè)的不足。Tague-Sutcliffe認(rèn)為,信息檢索系統(tǒng)評(píng)價(jià)應(yīng)以檢索過(guò)程的信息量來(lái)進(jìn)行衡量,提出了信息量的估量方法以及數(shù)學(xué)公式的推導(dǎo)過(guò)程,反映了面向用戶、上下文相關(guān)、對(duì)數(shù)響應(yīng)的特性,用檢索到的詞條信息量來(lái)對(duì)檢索結(jié)果排序,并指出詞條信息量的評(píng)價(jià)方法,而且這些詞條信息量滿足對(duì)數(shù)特性[14-15]。

    信息檢索過(guò)程可從系統(tǒng)(算法)觀和認(rèn)知觀進(jìn)行分析[16],系統(tǒng)觀(“世界1”)主要體現(xiàn)在Cranfield和TREC評(píng)價(jià)模型中,它在實(shí)驗(yàn)室環(huán)境中通過(guò)控制實(shí)驗(yàn)變量和重復(fù)實(shí)驗(yàn)達(dá)到結(jié)果的可靠性,這個(gè)觀點(diǎn)關(guān)注系統(tǒng),并對(duì)用戶、用戶需求、用戶行為做了抽樣假設(shè),為了計(jì)算方便,僅僅考慮系統(tǒng)的局部特征而整體考慮不足[12]。信息檢索用戶的認(rèn)知角度,也就是布魯克斯所提出的“世界2”和“世界3”范疇,它在現(xiàn)實(shí)操作環(huán)境進(jìn)行信息檢索研究中,認(rèn)為信息檢索過(guò)程可描述為認(rèn)知任務(wù)的信息搜索過(guò)程,交互過(guò)程涉及因素多且具有內(nèi)在的復(fù)雜性,關(guān)注用戶信息搜索和檢索、用戶信息交互、人機(jī)交互過(guò)程中的認(rèn)知活動(dòng),認(rèn)知角度試圖對(duì)基本的信息檢索現(xiàn)象和概念做一個(gè)全面的理解,比如信息需求的本質(zhì)、認(rèn)知不一致和檢索重疊、邏輯不確定性、“文檔”的概念、相關(guān)性衡量、實(shí)驗(yàn)環(huán)境設(shè)置等,這里面更多的依賴社會(huì)學(xué)和心理學(xué)的研究方法[17-18],它是物質(zhì)世界(系統(tǒng)或算法觀)到精神世界(認(rèn)知觀)的轉(zhuǎn)換。同時(shí),兩種觀點(diǎn)的融合在不斷增強(qiáng),Borlund[19]指出合并兩種觀點(diǎn)的混合方法是必要的,并繼而提出交互式信息檢索評(píng)價(jià)的框架。Ingwersen等[20]暗示兩者研究中的融合,比如評(píng)價(jià)中共同使用標(biāo)準(zhǔn)的TREC數(shù)據(jù)集,對(duì)相關(guān)性假設(shè)進(jìn)行簡(jiǎn)化等。

    總之,將物質(zhì)世界的信息檢索相關(guān)方法改造移植到精神世界范疇的研究中,雖然學(xué)者們所采用的方法和關(guān)注領(lǐng)域不盡相同,但都是對(duì)信息檢索過(guò)程中精神世界知識(shí)的探索,本文也不例外。

    2傳統(tǒng)評(píng)價(jià)指標(biāo)修正

    傳統(tǒng)的信息檢索評(píng)價(jià)指標(biāo)是“硬指標(biāo)”,是布魯克斯所劃分的“世界1”的外在表現(xiàn),而從用戶認(rèn)知角度出發(fā)的檢索評(píng)價(jià)指標(biāo)可稱為“軟指標(biāo)”,是對(duì)布魯克斯所提到的“世界2”的探索,以及最終轉(zhuǎn)變到“世界3“,是對(duì)傳統(tǒng)評(píng)價(jià)“硬指標(biāo)”的修正。

    3應(yīng)用分析

    在對(duì)傳統(tǒng)評(píng)價(jià)指標(biāo)進(jìn)行改進(jìn)的基礎(chǔ)上,本節(jié)對(duì)其進(jìn)行了應(yīng)用分析。圖2顯示了與某查詢相關(guān)的文檔以及檢索結(jié)果排名前10的文檔,表1給出了前10個(gè)排序位置的召回率和準(zhǔn)確率,分為傳統(tǒng)方法和應(yīng)用對(duì)數(shù)透視法后(即公式(5)、(6))的改進(jìn)方法兩種情況。

    從上面的圖表可以發(fā)現(xiàn),對(duì)于文檔列表的每個(gè)位置,改進(jìn)后的召回率升高,但準(zhǔn)確率降低了,這和召回率升高而準(zhǔn)確率下降或不變的現(xiàn)象相符合。

    通常也可以繪制召回率—準(zhǔn)確率圖。定義標(biāo)準(zhǔn)召回率等級(jí)是0.0~1.0,增量為0.1。插值方法為在任何標(biāo)準(zhǔn)召回率等級(jí)R處,定義準(zhǔn)確率P為[21]:

    P(R)=max{P′;R′≥R∧(R′P′)∈S}

    其中,S是觀察點(diǎn)(R,P)的集合。標(biāo)準(zhǔn)召回率等級(jí)上的準(zhǔn)確率如表2所示,其中,準(zhǔn)確率1表示傳統(tǒng)評(píng)價(jià)方法中的插值,而準(zhǔn)確率2描述了使用對(duì)數(shù)透視法后的插值結(jié)果。圖3為表2圖示后的召回率-準(zhǔn)確率折線圖。

    從圖3可以看出,兩個(gè)折線圖的形狀相當(dāng),都產(chǎn)生了一個(gè)單調(diào)遞減的函數(shù),即準(zhǔn)確率的值隨著召回率的升高而下降或者不變。在TREC8中的Ad hoc任務(wù)中,在50個(gè)查詢上對(duì)每個(gè)標(biāo)準(zhǔn)召回率上的準(zhǔn)確率求算數(shù)平均值,某TREC系統(tǒng)的11點(diǎn)插值召回率-準(zhǔn)確率平均曲線逐漸趨于平滑[21]。同理,隨著查詢數(shù)的不斷增加,改進(jìn)后的正確率-召回率平均曲線也會(huì)逐漸趨于平滑。改進(jìn)后的P@N、AP和MAP也可在上述計(jì)算基礎(chǔ)上進(jìn)行,這里不再贅述。

    從上述的分析得出,相對(duì)傳統(tǒng)的評(píng)價(jià)指標(biāo),改進(jìn)后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果相當(dāng),但評(píng)價(jià)結(jié)果的數(shù)量級(jí)不同,改進(jìn)后的曲線相當(dāng)于從準(zhǔn)確率1曲線的位置向下移動(dòng)到了準(zhǔn)確率2的位置。同時(shí)發(fā)現(xiàn),同樣的召回率,準(zhǔn)確率2比準(zhǔn)確率1要低,這也說(shuō)明檢索結(jié)果中相關(guān)文檔的信息含量不同,靠后的文檔可能會(huì)產(chǎn)生更多的噪聲。

    4評(píng)價(jià)與總結(jié)

    4.1結(jié)論

    將對(duì)數(shù)透視法則應(yīng)用到信息檢索評(píng)價(jià)中,是基于用戶認(rèn)知角度對(duì)信息檢索評(píng)價(jià)的探索,從中得到了一些好的結(jié)論:

    1)能從用戶認(rèn)知的角度出發(fā)來(lái)對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià),是對(duì)信息檢索結(jié)果評(píng)價(jià)方法的提升和改進(jìn),并且提出了量化方法,符合當(dāng)前研究的方向。

    2)對(duì)用戶來(lái)說(shuō),每篇文獻(xiàn)所包含的情報(bào)量是不同的,用戶吸收文獻(xiàn)的內(nèi)容呈現(xiàn)報(bào)酬遞減規(guī)律,即靠前的文獻(xiàn)能吸收更多的情報(bào)內(nèi)容,而對(duì)于后讀的文獻(xiàn),由于其內(nèi)容必然與前面的文獻(xiàn)有重復(fù)之處,所以獲得的新內(nèi)容就不及靠前的文獻(xiàn)[5]。

    3)通過(guò)對(duì)數(shù)透視法,將通常使用的物理評(píng)價(jià)方法轉(zhuǎn)化到了精神世界范疇的量度。

    4)克服了評(píng)價(jià)中以文獻(xiàn)數(shù)量(假設(shè)每篇文獻(xiàn)包含情報(bào)量相同)為計(jì)量單位的不足,通過(guò)用戶所獲得的情報(bào)量來(lái)對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)。

    4.2不足

    由于對(duì)數(shù)透視法思想提出的年代較早,后續(xù)可借鑒的研究不多,因此本研究相對(duì)簡(jiǎn)單且存在一些不足的地方:

    1)對(duì)傳統(tǒng)的評(píng)價(jià)方法中的準(zhǔn)確率和召回率,兩個(gè)公式中,分母代表的文獻(xiàn)數(shù)量所包含的情報(bào)量前者不高于后者(只要相關(guān)文檔包含情報(bào),非相關(guān)文檔情報(bào)量為零),因此,對(duì)有準(zhǔn)確率來(lái)說(shuō),分母不適合對(duì)數(shù)法則,但分子通過(guò)對(duì)數(shù)法則后,一般情況下準(zhǔn)確率有所下降,召回率會(huì)有較高的提升,這比較符合準(zhǔn)確率和召回率互逆相關(guān)性(通常情況下)的解釋。這種情況類似于評(píng)價(jià)指標(biāo)(R-precision),該評(píng)價(jià)指標(biāo)中召回率和準(zhǔn)確率相同[22]。

    2)對(duì)數(shù)透視法目前適用于二元的相關(guān)性評(píng)價(jià)指標(biāo)中,在按相關(guān)性排序的方法中也用到了對(duì)數(shù)計(jì)算,其過(guò)程可以看作對(duì)數(shù)透視法則思想變換[4,10,13],兩者之間的關(guān)系還有待于進(jìn)一步研究。

    3)對(duì)數(shù)透視法則中,情報(bào)區(qū)間是一片聯(lián)系的平面空間區(qū)域,但對(duì)于檢索結(jié)果無(wú)序排列的情況,顯然不能得到滿足,但不影響最終計(jì)算結(jié)果。如果檢索結(jié)果是按照相關(guān)度由高到底排序的話,那么用戶所獲得的情報(bào)量比無(wú)序結(jié)果要多的多,對(duì)其評(píng)價(jià)可使用兩次對(duì)數(shù)透視法則[5]。

    4)應(yīng)用結(jié)果顯示,改進(jìn)前后的評(píng)價(jià)指標(biāo)評(píng)價(jià)效果類似,只是數(shù)量級(jí)發(fā)生了變化。因此,兩種評(píng)價(jià)指標(biāo)的適用范圍和環(huán)境還不很清楚。

    總之,從用戶角度來(lái)對(duì)信息檢索結(jié)果進(jìn)行評(píng)價(jià)是研究的一個(gè)熱點(diǎn),對(duì)數(shù)透視法只是提供了一種新的研究方法。由于對(duì)數(shù)透視法提出較為宏觀,筆者對(duì)其思想把握深度還不夠,因此,研究過(guò)程中,理論研究擴(kuò)展不強(qiáng),分析方法和數(shù)據(jù)收集還較為簡(jiǎn)單,說(shuō)服力還不夠,對(duì)于其適用性和可靠性還需一定的探索。

    參考文獻(xiàn)

    [1]Voorhees E M.Evaluation by Highly Relevant Documents[C]∥Proceedings of the 24th Annual International ACM SIGIR Conference,New Orleans,Louisiana,2001:74-82.

    [2]Manning C D,Raghavan P,Schutez H,et al.Introduction to Information Retrieval[M].Cambridge University Press,2008.

    [3]Jrvelin K,Keklinen J.Cumulated Gain-based Evaluation of IR Techniques[C]∥ACM Transactions on Information Systems,2002,20(4):422-446.

    [4]Brookes B C.The foundations of information science:Part Ⅲ.Quantitative aspects:objective maps and subjective landscapes[J].Journal of Information Science,1980:269-275.

    [5]馬費(fèi)成.論布魯克斯情報(bào)學(xué)的定量方法[J].情報(bào)科學(xué),1983,(4):1-9.

    [6]馬費(fèi)成.論情報(bào)學(xué)的基本原理及理論體系構(gòu)建[J].情報(bào)學(xué)報(bào),2007,26(1):3-13.

    [7]婁銀銀,劉春茂.布氏情報(bào)學(xué)思想對(duì)網(wǎng)絡(luò)信息檢索結(jié)果的認(rèn)識(shí)優(yōu)化[J].情報(bào)雜志,2008,27(8):61-63.

    [8]肖楠,任全娥,胡鳳.網(wǎng)絡(luò)環(huán)境下的對(duì)數(shù)透視原理[J].圖書情報(bào)知識(shí),2007,(3):60-64.

    [9]鄧慧敏.基于網(wǎng)絡(luò)鏈接分析的對(duì)數(shù)透視原理的適用性探討[J].中山大學(xué)研究生學(xué)刊:社會(huì)科學(xué)版,2013,34(3):51-61.

    [10]Robertson S.On smoothing average precision[M]∥Advances in Information Retrieval.Springer Berlin Heidelberg,2012:158-169.

    [11]Cormack G V,Lynam T R.Statistical precision of information retrieval evaluation[C]∥Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval.ACM,2006:533-540.

    [12]Kelly D.Methods for evaluating interactive information retrieval systems with users[J].Foundations and Trends in Information Retrieval,2009,3(1-2):1-224.

    [13]Freund L,Toms E G.Revisiting informativeness as a process measure for information interaction[J].Decision Analysis,2004,3(3):70-90.

    [14]Tague-Sutcliffe J.Measuring the informativeness of a retrieval process[C]∥Proceedings of the 15th annual International ACM SIGIR Conference on Research and development in information retrieval.ACM,1992:23-36.

    [15]Tague-Sutcliffe J,Hayes R M.Measuring information:An information services perspective[J].Library Quarterly,1996,66(2):222-222.

    [16]Ingwersen P,Willett P.An introduction to algorithmic and cognitive approaches for information retrieval[J].Libri,1995,45(3-4):160-177.

    [17]Ingwersen P.Cognitive perspectives of information retrieval interaction:elements of a cognitive IR theory[J].Journal of documentation,1996,52(1):3-50.

    [18]Sutcliffe A,Ennis M.Towards a cognitive theory of information retrieval[J].Interacting with computers,1998,10(3):321-351.

    [19]Borlund P.The IIR evaluation model:a framework for evaluation of interactive information retrieval systems[EB/OL].http:∥www.informationr.net/ir/8-3/paper152.html,2016-04-20.

    [20]Ingwersen P,Jrvelin K.The turn:Integration of information seeking and retrieval in context[M].Springer Science & Business Media,2006.

    [21](美)Croft W B,等.搜索引擎-信息檢索實(shí)踐[M].劉挺,等譯.北京:機(jī)械工業(yè)出版社,2010.

    [22]Aslam J A,Yilmaz E,Pavlu V.A geometric interpretation of r-precision and its correlation with average precision[C]∥Proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval.ACM,2005:573-574.

    (本文責(zé)任編輯:郭沫含)

    猜你喜歡
    信息檢索評(píng)價(jià)指標(biāo)
    基于同態(tài)加密支持模糊查詢的高效隱私信息檢索協(xié)議
    旅游產(chǎn)業(yè)與文化產(chǎn)業(yè)融合理論與實(shí)證分析
    中國(guó)藥品安全綜合評(píng)價(jià)指標(biāo)體系研究
    第三方物流企業(yè)績(jī)效評(píng)價(jià)研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評(píng)價(jià)系統(tǒng)的分析與研究
    公共文化服務(wù)體系評(píng)價(jià)指標(biāo)的國(guó)際經(jīng)驗(yàn)與啟示
    資源型企業(yè)財(cái)務(wù)競(jìng)爭(zhēng)力評(píng)價(jià)研究
    醫(yī)學(xué)期刊編輯中文獻(xiàn)信息檢索的應(yīng)用
    新聞傳播(2016年18期)2016-07-19 10:12:06
    在網(wǎng)絡(luò)環(huán)境下高職院校開(kāi)設(shè)信息檢索課的必要性研究
    新聞傳播(2016年11期)2016-07-10 12:04:01
    基于神經(jīng)網(wǎng)絡(luò)的個(gè)性化信息檢索模型研究
    久久这里只有精品中国| 久久久久久久久久久丰满 | 欧美成人免费av一区二区三区| 亚洲av电影不卡..在线观看| 日韩欧美在线二视频| 亚洲第一电影网av| 99精品在免费线老司机午夜| 免费一级毛片在线播放高清视频| 两个人的视频大全免费| АⅤ资源中文在线天堂| 午夜精品久久久久久毛片777| 观看免费一级毛片| 动漫黄色视频在线观看| 欧美精品国产亚洲| 性插视频无遮挡在线免费观看| 国产麻豆成人av免费视频| 精品久久久久久久久久久久久| 亚洲最大成人中文| 男人舔女人下体高潮全视频| 亚洲精品影视一区二区三区av| 三级毛片av免费| 啦啦啦观看免费观看视频高清| 国产精品一区二区三区四区免费观看 | 精品久久久久久久人妻蜜臀av| 99视频精品全部免费 在线| 3wmmmm亚洲av在线观看| 国产精品久久久久久av不卡| 久久久久久久久久久丰满 | 女生性感内裤真人,穿戴方法视频| 日韩欧美免费精品| 久久久国产成人精品二区| 麻豆一二三区av精品| h日本视频在线播放| 国产伦在线观看视频一区| 亚洲国产色片| 可以在线观看的亚洲视频| 一卡2卡三卡四卡精品乱码亚洲| 欧美丝袜亚洲另类 | 亚洲人与动物交配视频| 狠狠狠狠99中文字幕| 99riav亚洲国产免费| 亚洲一区高清亚洲精品| 男女那种视频在线观看| 日本熟妇午夜| 亚洲国产高清在线一区二区三| 国产高清视频在线播放一区| 老熟妇仑乱视频hdxx| 久久这里只有精品中国| 日日干狠狠操夜夜爽| 51国产日韩欧美| 国产 一区 欧美 日韩| 成人高潮视频无遮挡免费网站| 1000部很黄的大片| 在线观看一区二区三区| 变态另类丝袜制服| 国产黄色小视频在线观看| 最近在线观看免费完整版| 极品教师在线视频| 国产高清三级在线| 国内久久婷婷六月综合欲色啪| 欧美最黄视频在线播放免费| 老熟妇乱子伦视频在线观看| 国产黄片美女视频| 人人妻,人人澡人人爽秒播| 变态另类丝袜制服| 国内精品宾馆在线| 在线播放国产精品三级| 成人高潮视频无遮挡免费网站| 亚洲人成网站在线播放欧美日韩| av.在线天堂| 国产极品精品免费视频能看的| 国产三级在线视频| 九九久久精品国产亚洲av麻豆| 亚洲最大成人av| 成人无遮挡网站| 人妻少妇偷人精品九色| 性欧美人与动物交配| 中文字幕久久专区| 色5月婷婷丁香| av天堂中文字幕网| 亚洲精品在线观看二区| 国产91精品成人一区二区三区| 女人十人毛片免费观看3o分钟| 久久精品国产亚洲网站| 亚洲av成人精品一区久久| 国产伦精品一区二区三区视频9| 99久久精品热视频| 久久久久久久午夜电影| 久久亚洲真实| 久9热在线精品视频| 欧美高清性xxxxhd video| 人妻丰满熟妇av一区二区三区| 色综合色国产| 亚洲成人精品中文字幕电影| 舔av片在线| 亚洲国产色片| 精品久久久噜噜| 变态另类成人亚洲欧美熟女| 一区福利在线观看| 一级毛片久久久久久久久女| 久久国内精品自在自线图片| 成人鲁丝片一二三区免费| 中文在线观看免费www的网站| 在现免费观看毛片| 蜜桃亚洲精品一区二区三区| 91狼人影院| 欧美区成人在线视频| 久久精品国产亚洲av香蕉五月| 琪琪午夜伦伦电影理论片6080| 我要看日韩黄色一级片| 国产精品一区www在线观看 | 亚洲第一区二区三区不卡| 国产一区二区三区av在线 | 亚洲精品aⅴ在线观看| 少妇人妻 视频| 哪个播放器可以免费观看大片| 99视频精品全部免费 在线| 汤姆久久久久久久影院中文字幕| 亚洲av男天堂| 少妇裸体淫交视频免费看高清| 一级片'在线观看视频| 高清欧美精品videossex| 97在线人人人人妻| 久久国产精品大桥未久av | 自拍偷自拍亚洲精品老妇| 精品国产乱码久久久久久小说| 国产精品爽爽va在线观看网站| 亚洲高清免费不卡视频| 国产爽快片一区二区三区| 欧美激情极品国产一区二区三区 | 18禁在线无遮挡免费观看视频| 天堂俺去俺来也www色官网| 久久这里有精品视频免费| 男女免费视频国产| 亚洲一级一片aⅴ在线观看| 国产免费一区二区三区四区乱码| av线在线观看网站| 亚洲成人av在线免费| 五月伊人婷婷丁香| 免费观看性生交大片5| 国产美女午夜福利| 中文在线观看免费www的网站| 精品国产一区二区三区久久久樱花 | 九草在线视频观看| 国产永久视频网站| 成人国产麻豆网| 成人漫画全彩无遮挡| 久久韩国三级中文字幕| 99热6这里只有精品| 黄色欧美视频在线观看| 欧美激情国产日韩精品一区| av网站免费在线观看视频| 七月丁香在线播放| 久久影院123| 99久国产av精品国产电影| 狠狠精品人妻久久久久久综合| 精品视频人人做人人爽| 亚洲电影在线观看av| 爱豆传媒免费全集在线观看| 日韩免费高清中文字幕av| 香蕉精品网在线| 国产又色又爽无遮挡免| 久久热精品热| av又黄又爽大尺度在线免费看| 午夜福利影视在线免费观看| 下体分泌物呈黄色| 极品少妇高潮喷水抽搐| 日韩国内少妇激情av| 国产成人精品久久久久久| av又黄又爽大尺度在线免费看| 免费观看性生交大片5| 成人二区视频| 国产精品国产av在线观看| 肉色欧美久久久久久久蜜桃| 亚洲成人中文字幕在线播放| 黑人高潮一二区| 少妇猛男粗大的猛烈进出视频| 久久人人爽人人片av| 老女人水多毛片| 国产成人一区二区在线| 国产高清不卡午夜福利| 最黄视频免费看| 免费久久久久久久精品成人欧美视频 | 岛国毛片在线播放| 久久人妻熟女aⅴ| 久久久成人免费电影| 久久人人爽av亚洲精品天堂 | 一个人看的www免费观看视频| 2022亚洲国产成人精品| 一级片'在线观看视频| 久久午夜福利片| 亚洲不卡免费看| 国产黄片美女视频| 亚洲国产高清在线一区二区三| av播播在线观看一区| 国产精品欧美亚洲77777| 最后的刺客免费高清国语| 亚洲av综合色区一区| 小蜜桃在线观看免费完整版高清| 亚洲色图av天堂| 免费高清在线观看视频在线观看| 一级片'在线观看视频| 亚洲va在线va天堂va国产| 超碰97精品在线观看| av线在线观看网站| 欧美老熟妇乱子伦牲交| 久久久亚洲精品成人影院| 久久久久视频综合| 亚洲欧美清纯卡通| 久热久热在线精品观看| 欧美变态另类bdsm刘玥| 制服丝袜香蕉在线| 久久久久视频综合| 一区二区三区乱码不卡18| 国产亚洲av片在线观看秒播厂| 免费大片黄手机在线观看| 亚洲欧美日韩无卡精品| 国产高清国产精品国产三级 | 波野结衣二区三区在线| 久久久久精品久久久久真实原创| 精品一区在线观看国产| 亚洲精品第二区| 免费看不卡的av| 婷婷色麻豆天堂久久| 精品一区在线观看国产| av卡一久久| 亚洲怡红院男人天堂| 高清av免费在线| 欧美xxxx黑人xx丫x性爽| 中文字幕亚洲精品专区| 女人久久www免费人成看片| 最黄视频免费看| 王馨瑶露胸无遮挡在线观看| 国产深夜福利视频在线观看| 亚洲经典国产精华液单| 搡女人真爽免费视频火全软件| 日本爱情动作片www.在线观看| 婷婷色av中文字幕| 日本黄色日本黄色录像| 五月伊人婷婷丁香| 国产综合精华液| 99热全是精品| 成人综合一区亚洲| 两个人的视频大全免费| av又黄又爽大尺度在线免费看| 久久久久久久精品精品| 嘟嘟电影网在线观看| 欧美人与善性xxx| 久久久午夜欧美精品| 亚洲欧美成人综合另类久久久| 免费观看无遮挡的男女| 国产视频内射| 联通29元200g的流量卡| 性高湖久久久久久久久免费观看| 精华霜和精华液先用哪个| 日韩av免费高清视频| 一本久久精品| 日韩视频在线欧美| 91午夜精品亚洲一区二区三区| 男女国产视频网站| 51国产日韩欧美| 18+在线观看网站| 亚洲精品久久久久久婷婷小说| 精品久久国产蜜桃| 亚洲精品第二区| 欧美日本视频| 黄片无遮挡物在线观看| 天美传媒精品一区二区| 午夜精品国产一区二区电影| 久久鲁丝午夜福利片| 中文欧美无线码| 男女边吃奶边做爰视频| 午夜老司机福利剧场| 中文字幕免费在线视频6| 日韩,欧美,国产一区二区三区| 亚洲欧美精品自产自拍| 亚洲欧美成人综合另类久久久| 久久97久久精品| 午夜精品国产一区二区电影| 亚洲最大成人中文| 久久精品国产自在天天线| 在线观看免费高清a一片| 99热这里只有是精品在线观看| 午夜免费观看性视频| 边亲边吃奶的免费视频| 一区二区av电影网| 久久午夜福利片| 在线免费观看不下载黄p国产| 久久久久久久久久久丰满| 人人妻人人爽人人添夜夜欢视频 | 色视频在线一区二区三区| 久久久久久人妻| 人体艺术视频欧美日本| 日韩三级伦理在线观看| 国产美女午夜福利| 高清视频免费观看一区二区| 欧美日韩在线观看h| 99九九线精品视频在线观看视频| 晚上一个人看的免费电影| 久久久久久久久久久免费av| 亚洲一级一片aⅴ在线观看| 欧美精品亚洲一区二区| 伦精品一区二区三区| 国产精品秋霞免费鲁丝片| 国产精品熟女久久久久浪| 国产精品国产av在线观看| 最黄视频免费看| 在线免费观看不下载黄p国产| 亚洲第一区二区三区不卡| 少妇猛男粗大的猛烈进出视频| 日韩在线高清观看一区二区三区| 夫妻午夜视频| 亚洲丝袜综合中文字幕| 一级片'在线观看视频| 高清毛片免费看| 街头女战士在线观看网站| 男人爽女人下面视频在线观看| av天堂中文字幕网| 午夜福利视频精品| 国产在线免费精品| 日本爱情动作片www.在线观看| 国产精品人妻久久久久久| 自拍欧美九色日韩亚洲蝌蚪91 | 亚洲精品一区蜜桃| 少妇丰满av| 建设人人有责人人尽责人人享有的 | 成人国产麻豆网| 男人狂女人下面高潮的视频| av在线观看视频网站免费| a 毛片基地| 亚洲欧美精品自产自拍| 日韩欧美精品免费久久| 国产男女超爽视频在线观看| 亚洲高清免费不卡视频| 亚洲经典国产精华液单| 91精品伊人久久大香线蕉| 国产伦在线观看视频一区| 97在线视频观看| 精品视频人人做人人爽| 国产精品欧美亚洲77777| 免费人成在线观看视频色| av又黄又爽大尺度在线免费看| 中文字幕人妻熟人妻熟丝袜美| 亚洲欧美成人综合另类久久久| 欧美成人精品欧美一级黄| 欧美日韩在线观看h| 免费在线观看成人毛片| av在线观看视频网站免费| 狂野欧美白嫩少妇大欣赏| 1000部很黄的大片| 国产黄色视频一区二区在线观看| 男女啪啪激烈高潮av片| 亚洲精品成人av观看孕妇| 久久精品人妻少妇| 免费在线观看成人毛片| 欧美精品一区二区免费开放| 欧美 日韩 精品 国产| 精品人妻视频免费看| 人妻系列 视频| 久久精品人妻少妇| 建设人人有责人人尽责人人享有的 | a级毛片免费高清观看在线播放| 在线观看免费视频网站a站| 国产成人精品婷婷| 国产在线男女| 深爱激情五月婷婷| 国产欧美亚洲国产| 精品久久久久久久末码| 国产熟女欧美一区二区| 高清欧美精品videossex| 亚洲国产高清在线一区二区三| 中文字幕精品免费在线观看视频 | 三级国产精品片| 2022亚洲国产成人精品| 亚洲精品中文字幕在线视频 | 丰满人妻一区二区三区视频av| videos熟女内射| 色吧在线观看| 黄色欧美视频在线观看| 久久久精品94久久精品| 国产毛片在线视频| 欧美zozozo另类| 五月开心婷婷网| 男男h啪啪无遮挡| 久久女婷五月综合色啪小说| 我要看黄色一级片免费的| 久久人妻熟女aⅴ| 国产精品嫩草影院av在线观看| 1000部很黄的大片| 97精品久久久久久久久久精品| freevideosex欧美| 久热久热在线精品观看| 日本wwww免费看| 亚洲图色成人| 各种免费的搞黄视频| 日本欧美视频一区| 欧美国产精品一级二级三级 | 久久99蜜桃精品久久| 妹子高潮喷水视频| 日韩伦理黄色片| 内地一区二区视频在线| 草草在线视频免费看| 精品99又大又爽又粗少妇毛片| 亚洲熟女精品中文字幕| 婷婷色av中文字幕| 久久精品国产亚洲av涩爱| 舔av片在线| 内射极品少妇av片p| a级毛片免费高清观看在线播放| 在线播放无遮挡| 大片电影免费在线观看免费| 午夜免费观看性视频| 爱豆传媒免费全集在线观看| 日韩欧美一区视频在线观看 | 校园人妻丝袜中文字幕| 久热这里只有精品99| 一边亲一边摸免费视频| 日本欧美视频一区| 国产精品爽爽va在线观看网站| 黄色欧美视频在线观看| 中国国产av一级| 在线观看免费视频网站a站| 搡老乐熟女国产| 亚洲精品一区蜜桃| 日韩制服骚丝袜av| 亚洲人成网站高清观看| 亚洲国产欧美在线一区| 日韩在线高清观看一区二区三区| 舔av片在线| 亚洲最大成人中文| 一本—道久久a久久精品蜜桃钙片| 日本欧美视频一区| 日韩中文字幕视频在线看片 | 欧美bdsm另类| videos熟女内射| 亚洲国产av新网站| 男人添女人高潮全过程视频| 亚州av有码| 亚洲av成人精品一区久久| 一区二区三区免费毛片| 内地一区二区视频在线| 亚洲国产精品专区欧美| 亚洲av在线观看美女高潮| 亚洲一级一片aⅴ在线观看| videos熟女内射| 国产男女内射视频| 在线观看免费视频网站a站| 亚洲av电影在线观看一区二区三区| 久久久精品免费免费高清| 男女国产视频网站| 日韩在线高清观看一区二区三区| 日本vs欧美在线观看视频 | 精品少妇黑人巨大在线播放| 偷拍熟女少妇极品色| 中文字幕久久专区| 国产国拍精品亚洲av在线观看| 一级爰片在线观看| 青春草亚洲视频在线观看| 中国美白少妇内射xxxbb| 一二三四中文在线观看免费高清| 亚洲av二区三区四区| 男人和女人高潮做爰伦理| 国产乱人视频| 性色av一级| 精品国产三级普通话版| 国产在线一区二区三区精| 午夜激情久久久久久久| 大又大粗又爽又黄少妇毛片口| 我要看日韩黄色一级片| 国产伦理片在线播放av一区| 18禁在线无遮挡免费观看视频| 欧美三级亚洲精品| 久久久久网色| 国产精品无大码| 极品教师在线视频| 亚洲自偷自拍三级| 国产伦精品一区二区三区四那| 人人妻人人添人人爽欧美一区卜 | 一级片'在线观看视频| 中文在线观看免费www的网站| 亚洲国产欧美人成| 大又大粗又爽又黄少妇毛片口| 搡老乐熟女国产| 国产毛片在线视频| 最后的刺客免费高清国语| av.在线天堂| av又黄又爽大尺度在线免费看| 欧美高清成人免费视频www| 国产精品精品国产色婷婷| 亚洲经典国产精华液单| 国语对白做爰xxxⅹ性视频网站| 天天躁夜夜躁狠狠久久av| 免费在线观看成人毛片| 99久久精品热视频| 最近最新中文字幕大全电影3| 国产精品爽爽va在线观看网站| 小蜜桃在线观看免费完整版高清| 美女xxoo啪啪120秒动态图| .国产精品久久| 一本久久精品| 日产精品乱码卡一卡2卡三| 亚洲av综合色区一区| 我的女老师完整版在线观看| 中文字幕久久专区| 久久久久久伊人网av| 老女人水多毛片| 一级片'在线观看视频| 亚洲av中文字字幕乱码综合| 在线观看免费高清a一片| 人人妻人人澡人人爽人人夜夜| 99久久综合免费| 精品人妻偷拍中文字幕| 狂野欧美白嫩少妇大欣赏| 久久久久精品久久久久真实原创| 精品亚洲乱码少妇综合久久| 伦理电影免费视频| 亚洲久久久国产精品| 亚洲欧美清纯卡通| 欧美精品人与动牲交sv欧美| 亚洲av不卡在线观看| 国产成人91sexporn| 国产精品国产av在线观看| 天堂8中文在线网| 国产精品不卡视频一区二区| 嫩草影院入口| 身体一侧抽搐| 国产乱来视频区| 亚洲天堂av无毛| 亚洲第一av免费看| 激情五月婷婷亚洲| 成人免费观看视频高清| 午夜福利影视在线免费观看| 自拍偷自拍亚洲精品老妇| 中文字幕亚洲精品专区| 精品久久国产蜜桃| 亚洲,欧美,日韩| 2021少妇久久久久久久久久久| 天天躁夜夜躁狠狠久久av| 亚洲美女搞黄在线观看| 爱豆传媒免费全集在线观看| 国产探花极品一区二区| 亚洲成人手机| freevideosex欧美| 久久久久久久国产电影| 欧美另类一区| 精品少妇黑人巨大在线播放| 日日摸夜夜添夜夜爱| 精品人妻偷拍中文字幕| 一级av片app| 国产成人精品婷婷| 中国美白少妇内射xxxbb| 夜夜骑夜夜射夜夜干| 日韩欧美 国产精品| 熟妇人妻不卡中文字幕| 777米奇影视久久| www.av在线官网国产| 18禁裸乳无遮挡免费网站照片| 国产精品成人在线| 蜜桃久久精品国产亚洲av| a级毛片免费高清观看在线播放| 一个人看视频在线观看www免费| 亚洲精品日本国产第一区| freevideosex欧美| 最近最新中文字幕大全电影3| 2018国产大陆天天弄谢| 成人亚洲精品一区在线观看 | 国产无遮挡羞羞视频在线观看| 日韩中文字幕视频在线看片 | 国产亚洲最大av| 国产毛片在线视频| 亚洲精品日本国产第一区| 久久久午夜欧美精品| 免费黄频网站在线观看国产| 成人特级av手机在线观看| 欧美区成人在线视频| 乱系列少妇在线播放| 少妇人妻久久综合中文| 国产淫语在线视频| 六月丁香七月| av在线蜜桃| 久久久久久人妻| 777米奇影视久久| 亚洲色图av天堂| 国产老妇伦熟女老妇高清| 在线观看一区二区三区| 国产大屁股一区二区在线视频| 久久久久久久精品精品| 女性生殖器流出的白浆| 亚洲精品国产成人久久av| 国产黄片美女视频| av不卡在线播放| 亚洲欧洲国产日韩| 伊人久久国产一区二区| 欧美精品国产亚洲| 久久女婷五月综合色啪小说| 久久久久精品性色| 国产成人91sexporn| 午夜免费观看性视频| 性色avwww在线观看| 日本午夜av视频| 午夜视频国产福利| 免费观看的影片在线观看| 观看av在线不卡| 人人妻人人看人人澡| 高清欧美精品videossex| 国产亚洲5aaaaa淫片| 青春草视频在线免费观看| 免费大片18禁| 蜜桃在线观看..| 精品久久久久久久末码| 国内少妇人妻偷人精品xxx网站| 91精品国产九色| 一级毛片 在线播放| 亚洲最大成人中文| 亚洲va在线va天堂va国产|