• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    從用戶視角理解智能推薦系統(tǒng)*

    2019-12-12 09:23:48羅婷予MiguelBaptistaNunes
    數(shù)字圖書館論壇 2019年10期
    關(guān)鍵詞:用戶系統(tǒng)研究

    羅婷予 Miguel Baptista Nunes

    從用戶視角理解智能推薦系統(tǒng)*

    羅婷予 Miguel Baptista Nunes

    (中山大學(xué),廣州 510006)

    隨著推薦系統(tǒng)的廣泛應(yīng)用,探討用戶對(duì)推薦系統(tǒng)的理解,了解影響用戶感知推薦系統(tǒng)的因素可以為推薦系統(tǒng)的評(píng)價(jià)以及開發(fā)設(shè)計(jì)提供理論參考。本研究為探索性研究,旨在驗(yàn)證研究的可行性以及研究問題的價(jià)值,本文采用定性研究方法,對(duì)4名普通用戶進(jìn)行焦點(diǎn)小組訪談,并借助NVivo 11軟件通過內(nèi)容分析法對(duì)訪談數(shù)據(jù)進(jìn)行分析。研究發(fā)現(xiàn)用戶感知到的推薦依據(jù)有用戶偏好、用戶行為以及業(yè)務(wù)需求。感知交互成本、多樣性、覆蓋率、感知有用性、環(huán)境背景兼容性、控制度、靈敏度、跨平臺(tái)數(shù)據(jù)共享、推薦精度、新穎性和透明度是影響用戶感知推薦系統(tǒng)的因素。

    推薦系統(tǒng);用戶感知;質(zhì)性研究;感知因素

    隨著互聯(lián)網(wǎng)時(shí)代的到來,信息的供求關(guān)系發(fā)生明顯的轉(zhuǎn)變,用戶在使用信息服務(wù)的過程中,不再只是信息的消費(fèi)者,同時(shí)也是信息的生產(chǎn)者,其行為通過各類推薦系統(tǒng)的分析與利用影響著信息的傳播,從而決定著信息的價(jià)值。在信息過載問題日趨嚴(yán)重的當(dāng)下,推薦系統(tǒng)的發(fā)展為基于海量數(shù)據(jù)的信息服務(wù)帶來新的市場(chǎng)、提供新的契機(jī),同時(shí)也引起了用戶信息需求和信息行為的改變。在這種轉(zhuǎn)變之下,用戶作為推薦系統(tǒng)形成與發(fā)展的動(dòng)因,其行為受到推薦系統(tǒng)的影響,最終對(duì)推薦系統(tǒng)提出新的要求。因此,探索用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)有助于為推薦系統(tǒng)的評(píng)價(jià)提供理論依據(jù),并為系統(tǒng)的設(shè)計(jì)開發(fā)提供參考,改善現(xiàn)有的信息推薦服務(wù)。本文以此為目的,從用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知等方面深入分析用戶對(duì)推薦系統(tǒng)的理解。

    1 文獻(xiàn)綜述

    隨著信息社會(huì)的發(fā)展,信息過載問題日趨嚴(yán)重,推薦系統(tǒng)的開發(fā)設(shè)計(jì)與評(píng)價(jià)得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。根據(jù)Isinkaye等[1]對(duì)推薦系統(tǒng)的定義,推薦系統(tǒng)是根據(jù)用戶偏好,利用可觀測(cè)的行為數(shù)據(jù)解決信息過載問題的信息過濾系統(tǒng)。筆者認(rèn)為推薦系統(tǒng)是從資源到用戶的中介系統(tǒng),一方面,推薦系統(tǒng)在資源與用戶之間架起了一座橋梁;另一方面,系統(tǒng)的存在影響著資源與用戶的相互關(guān)系,甚至影響著用戶的信息行為。

    目前,關(guān)于推薦系統(tǒng)的研究包含推薦技術(shù)與算法設(shè)計(jì)、交互界面設(shè)計(jì)、系統(tǒng)評(píng)價(jià)、用戶感知4個(gè)方面。就推薦技術(shù)與算法設(shè)計(jì)而言,推薦系統(tǒng)興起于協(xié)同過濾推薦技術(shù)的出現(xiàn)。最早的推薦系統(tǒng)是針對(duì)垃圾郵件過濾提出的電子郵件過濾系統(tǒng),使用Goldberg等[2]提出的協(xié)同過濾(collaborative filtering)推薦技術(shù)。如今,推薦技術(shù)已經(jīng)從協(xié)同過濾推薦擴(kuò)展到包括基于內(nèi)容的推薦、基于知識(shí)的推薦、基于人口統(tǒng)計(jì)數(shù)據(jù)的推薦和混合推薦等技術(shù)在內(nèi)的5種常用的核心推薦技術(shù)[3],應(yīng)用領(lǐng)域覆蓋電子商務(wù)[4-5]、圖書[6-7]、電影、社交網(wǎng)絡(luò)、音樂、郵件、廣告等。人工智能技術(shù)在推薦系統(tǒng)領(lǐng)域的應(yīng)用也越來越廣泛,其中最具代表性的是基于深度學(xué)習(xí)和基于語義網(wǎng)的推薦系統(tǒng)。

    就系統(tǒng)評(píng)價(jià)而言,算法的準(zhǔn)確率和覆蓋率常作為評(píng)價(jià)推薦系統(tǒng)效率的重要指標(biāo)[1]。但有學(xué)者表明,準(zhǔn)確的預(yù)測(cè)并不代表好的推薦[8],評(píng)估指標(biāo)的設(shè)計(jì)應(yīng)該以用戶為中心。隨后,Pu等[9]提出將用戶滿意度、預(yù)測(cè)準(zhǔn)確度、覆蓋率、多樣性、新穎性、驚喜度、信任度、實(shí)時(shí)性、魯棒性,以及是否能夠輔助實(shí)現(xiàn)商業(yè)目標(biāo)作為推薦系統(tǒng)的評(píng)價(jià)指標(biāo)。

    推薦系統(tǒng)的人機(jī)交互是影響用戶體驗(yàn)的重要因素。Resnick等[10]在早期的GroupLens系統(tǒng)設(shè)計(jì)中提到了界面設(shè)計(jì)要盡可能地減少用戶的交互成本等原則。Swearingen等[11]提出交互界面的導(dǎo)航和排版與用戶感知有用性和感知易用性密切相關(guān),在對(duì)信息架構(gòu)和導(dǎo)航系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)應(yīng)讓用戶盡可能方便地獲取推薦信息或生成新的推薦集。Cosley等[12]通過實(shí)驗(yàn)方法驗(yàn)證了評(píng)分界面對(duì)用戶意見和其意見表達(dá)的影響。

    目前,涉及推薦系統(tǒng)用戶感知的研究主要集中在用戶對(duì)于某一特定推薦系統(tǒng)的感知評(píng)價(jià)[13],以及某些感知因素對(duì)用戶接受意愿[14-17]、用戶體驗(yàn)[18-19]、用戶抗拒心理[20]、風(fēng)險(xiǎn)感知[21]等方面的影響,未將推薦系統(tǒng)作為一個(gè)整體去探討用戶對(duì)推薦系統(tǒng)及其推薦依據(jù)的認(rèn)識(shí)。因此,本文初步探索用戶對(duì)推薦系統(tǒng)的整體認(rèn)知,從用戶視角給出關(guān)于用戶使用以及推薦系統(tǒng)設(shè)計(jì)的參考。

    2 研究設(shè)計(jì)

    2.1 研究方法與研究工具

    本研究的目標(biāo)是理解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)以及推薦系統(tǒng)對(duì)用戶產(chǎn)生的影響,因而采用定性研究的方法進(jìn)行探索性研究,以用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知為主題進(jìn)行焦點(diǎn)小組的訪談。焦點(diǎn)小組訪談以西方解釋學(xué)理論及交往行為理論為依據(jù),強(qiáng)調(diào)通過組員間對(duì)研究者擬定話題的交流對(duì)話進(jìn)行數(shù)據(jù)的收集。相比于個(gè)人訪談,焦點(diǎn)小組訪談的優(yōu)勢(shì)在于進(jìn)一步增加了總體研究結(jié)果的公正性,并且參與成員間可以互相汲取力量,互相表達(dá)自己的想法或觀點(diǎn),豐富采集的數(shù)據(jù)。研究進(jìn)一步借助NVivo?11軟件對(duì)訪談數(shù)據(jù)進(jìn)行管理分析,NVivo?11是由QSR International公司開發(fā)的質(zhì)性分析軟件,其優(yōu)點(diǎn)在于可以對(duì)訪談資料(包括音頻、視頻和文本在內(nèi)的資源文件)進(jìn)行統(tǒng)一管理,利用自由節(jié)點(diǎn)編輯和可視化工具對(duì)資料進(jìn)行編碼分析。在Nvivo?11中,用于存儲(chǔ)主題或想法的容器稱為“節(jié)點(diǎn)”,節(jié)點(diǎn)可以實(shí)時(shí)創(chuàng)建,也可以預(yù)先創(chuàng)建。筆者借助NVivo?11的節(jié)點(diǎn)編輯功能,使用內(nèi)容分析法歸納了用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)以及其認(rèn)識(shí)的基本特征。

    2.2 研究步驟

    2.2.1 數(shù)據(jù)收集

    (1)確定訪談對(duì)象。本研究采用非隨機(jī)抽樣中的目的抽樣方法,在選擇訪談對(duì)象時(shí)為避免隨機(jī)抽樣導(dǎo)致的樣本不具代表性的問題,根據(jù)研究的問題和目的刻意地抽取那些能夠?yàn)楸狙芯刻峁┳畲笮畔⒘康臉颖尽8鶕?jù)中國(guó)互聯(lián)網(wǎng)信息中心在2019年2月發(fā)布的《第43次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》,我國(guó)網(wǎng)民的年齡分布主要集中在20~29歲,占比26.8%;網(wǎng)民中學(xué)生群體規(guī)模最大,占比為25.4%[22]。以上數(shù)據(jù)表明,年齡在20~29歲的學(xué)生群體有較大概率接觸智能推薦系統(tǒng),在選取訪談對(duì)象時(shí),確定以大學(xué)生群體為焦點(diǎn)小組訪談對(duì)象。由于本研究為探索性研究,旨在基于有限的資源對(duì)理論進(jìn)行初步的構(gòu)建,為后續(xù)研究提供參考。本次訪談樣本數(shù)量為4人,均為信息管理與信息系統(tǒng)專業(yè)學(xué)生,其中男生3人、女生1人,年齡分布為22歲2人、21歲2人;訪談時(shí)間為52.01分鐘,訪談內(nèi)容轉(zhuǎn)換為文本后共計(jì)11?562字。

    (2)訪談大綱設(shè)計(jì)。訪談前根據(jù)研究的問題和目的擬定訪談大綱,在訪談前對(duì)訪談大綱進(jìn)行預(yù)測(cè)試,并采用專家咨詢的方式對(duì)大綱進(jìn)行修改,確保其具有良好的信度和效度,能夠針對(duì)要解決的問題獲得關(guān)于訪談對(duì)象的真實(shí)數(shù)據(jù)。大綱共設(shè)計(jì)了關(guān)于推薦系統(tǒng)的定義、推薦依據(jù)和用戶感知3類問題,先確認(rèn)用戶認(rèn)知中的推薦系統(tǒng)與研究所定義的推薦系統(tǒng)是同一概念,再進(jìn)行更為深入的關(guān)于用戶對(duì)推薦系統(tǒng)的理解和感知的訪談。問題的設(shè)置均為開放性引導(dǎo)性問題,如“請(qǐng)描述使你印象深刻的幾次使用推薦系統(tǒng)的經(jīng)歷”“你認(rèn)為推薦系統(tǒng)可以怎樣幫助你探索你感興趣的內(nèi)容,服務(wù)你的信息需求”等,在實(shí)際的訪談過程中依據(jù)現(xiàn)場(chǎng)的實(shí)際情況對(duì)問題進(jìn)行彈性調(diào)整。

    (3)訪談過程。提前預(yù)約訪談對(duì)象,并告知參與者研究的主題和目的。訪談前與參與者簽訂知情同意書并獲得錄音許可。訪談過程中采用圓桌式討論,以拉近受訪人與采訪人之間的距離,營(yíng)造舒適自由的交流空間。訪談過程中采訪人不對(duì)談話進(jìn)行干預(yù),不對(duì)被采訪人的觀點(diǎn)進(jìn)行任何評(píng)價(jià),只提出問題并在談話內(nèi)容明顯偏題的時(shí)候做一定的引導(dǎo)。訪談時(shí)間52.01分鐘,全程進(jìn)行錄音。訪談結(jié)束后,對(duì)音頻材料進(jìn)行人工轉(zhuǎn)錄,將訪談數(shù)據(jù)逐字逐句地記錄在word文檔。在處理訪談材料時(shí),對(duì)4名被訪談對(duì)象的訪談資料進(jìn)行匿名處理,用字母(ABCD)代替訪談?wù)咝彰?/p>

    2.2.2 數(shù)據(jù)編碼與分析

    將轉(zhuǎn)錄后的Word文檔資料導(dǎo)入NVivo?11軟件并進(jìn)行規(guī)范化處理,采用主題(內(nèi)容)分析法對(duì)文本資料進(jìn)行逐級(jí)編碼,并最終歸納出用戶對(duì)推薦系統(tǒng)的認(rèn)知以及其認(rèn)識(shí)的基本特征。內(nèi)容分析是一種系統(tǒng)的、可復(fù)制的內(nèi)容壓縮技術(shù),旨在基于明確的編碼規(guī)則將文本中的許多單詞壓縮到更為抽象內(nèi)容類別中[23],可以幫助研究人員發(fā)現(xiàn)和描述個(gè)人、團(tuán)體、機(jī)構(gòu)或社會(huì)關(guān)注的焦點(diǎn),輔助研究人員作出推理,并在后續(xù)的研究中采用其他的數(shù)據(jù)收集方法對(duì)推理進(jìn)行驗(yàn)證[24]。本研究按照開放式編碼、主軸編碼和選擇式編碼的順序,采用Haney等[25]提出的應(yīng)急編碼(emergent coding)方式以及先天編碼(priori coding)方式[24],以提綱中預(yù)設(shè)的命題(用戶感知到的推薦標(biāo)準(zhǔn)、用戶對(duì)推薦系統(tǒng)的正面與負(fù)面感知)為編碼單位對(duì)文獻(xiàn)進(jìn)行分析和歸納,具體操作流程見圖1。

    第一階段為開放式編碼。該階段對(duì)文本進(jìn)行逐行分析,并為可以進(jìn)行編碼的句子附上概念化標(biāo)簽,進(jìn)一步將層次較低的標(biāo)簽進(jìn)行抽象化處理及提煉成范疇。如經(jīng)過編碼后出現(xiàn)的層次較低的標(biāo)簽“喜歡的”“感興趣的”“需要的”“準(zhǔn)確的”,將這些概念聚攏,提煉成一個(gè)范疇“符合用戶需求”。在初步分析word文本的基礎(chǔ)上,找到訪談對(duì)象常用的范疇,最終得到13個(gè)關(guān)于用戶感知的推薦標(biāo)準(zhǔn)的自由節(jié)點(diǎn)、13個(gè)關(guān)于推薦系統(tǒng)負(fù)面感知的自由節(jié)點(diǎn)和14個(gè)關(guān)于推薦系統(tǒng)正面感知的自由節(jié)點(diǎn)。

    第二階段為主軸編碼。在開放式編碼階段發(fā)現(xiàn)的3個(gè)方面40個(gè)自由節(jié)點(diǎn)中尋找關(guān)聯(lián),查看數(shù)量較多的范疇是否能夠抽象到更高層次。經(jīng)過反復(fù)比較與辨析,最終分別為用戶感知的推薦依據(jù)和正負(fù)面感知識(shí)別出19個(gè)節(jié)點(diǎn)作為副主題。

    第三階段為選擇式編碼。在主軸編碼的基礎(chǔ)上進(jìn)一步系統(tǒng)地處理范疇之間的關(guān)聯(lián),從而找出核心主題。最終確定了3個(gè)用戶感知的推薦依據(jù)(即用戶認(rèn)為系統(tǒng)在向用戶進(jìn)行推薦時(shí)主要考慮哪些數(shù)據(jù)或指標(biāo)),以及11個(gè)影響用戶感知推薦系統(tǒng)的因素。

    3 數(shù)據(jù)分析

    3.1 用戶感知的推薦依據(jù)

    探討用戶感知的推薦依據(jù)有助于了解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí),發(fā)現(xiàn)用戶缺失或錯(cuò)誤的認(rèn)知,引導(dǎo)用戶安全高效地使用推薦系統(tǒng),并在使用過程中提升隱私保護(hù)的意識(shí)。用戶感知到的推薦依據(jù)包括業(yè)務(wù)需求、用戶偏好和用戶行為,具體如圖2所示。其中用戶行為是訪談對(duì)象最常提到的依據(jù),主要包括瀏覽行為和搜索行為兩個(gè)方面。例如,A表示曾經(jīng)在京東和淘寶瀏覽過相機(jī)后,在微信公眾號(hào)推送的文章下方出現(xiàn)了關(guān)于相機(jī)的廣告;B認(rèn)為推薦系統(tǒng)會(huì)首先詢問用戶的喜好,并結(jié)合用戶搜索行為及瀏覽記錄,判斷用戶的需求,給出相應(yīng)推薦。另外,用戶偏好也是一個(gè)頻繁被受訪者提到的推薦依據(jù),偏好數(shù)據(jù)采集的具體表現(xiàn)為邀請(qǐng)用戶對(duì)項(xiàng)目進(jìn)行評(píng)分和在注冊(cè)時(shí)進(jìn)行數(shù)據(jù)標(biāo)記。例如,B認(rèn)為音樂播放軟件會(huì)根據(jù)用戶對(duì)音樂“喜歡”或“不喜歡”的標(biāo)記推斷用戶喜歡的音樂類型,從而推薦要播放的音樂;A認(rèn)為一些資訊類軟件會(huì)在用戶注冊(cè)時(shí)詢問其感興趣的話題,并根據(jù)用戶選擇的主題進(jìn)行內(nèi)容的推薦。最后,業(yè)務(wù)需求是用戶感知到的推薦依據(jù)之一。例如,C將推薦系統(tǒng)定義為“算法+業(yè)務(wù)”;A表示淘寶將商家付費(fèi)購(gòu)買流量作為商品排名的關(guān)鍵依據(jù)。

    3.2 用戶對(duì)推薦系統(tǒng)的正面感知

    探討用戶對(duì)推薦系統(tǒng)的正面感知有助于了解哪些因素會(huì)激發(fā)用戶對(duì)系統(tǒng)的好感,從而輔助推薦系統(tǒng)的設(shè)計(jì),提高用戶的滿意度。由于目前關(guān)于推薦系統(tǒng)的評(píng)價(jià)指標(biāo)已經(jīng)較為完善,本研究參考已有的文獻(xiàn)[11]和文獻(xiàn)[26]整理出先驗(yàn)范疇并以此為基礎(chǔ)對(duì)數(shù)據(jù)進(jìn)行分析,在分析的基礎(chǔ)上對(duì)范疇進(jìn)行修改。經(jīng)過分析發(fā)現(xiàn),用戶對(duì)推薦系統(tǒng)的正面感知主要包含低互動(dòng)成本、感知有用性、高覆蓋率、高精度、高靈敏度、高控制度6個(gè)方面,如圖3所示。

    其中,高控制度是最常被提及的一種正向感知。例如,B對(duì)能夠自由地切換推薦的歌曲表現(xiàn)出一定的好感;A表示因?yàn)榭梢宰灾鞯剡x擇要瀏覽的內(nèi)容,所以并不覺得被推薦系統(tǒng)所操控。高靈敏度和高精度也是兩個(gè)較常被提到的正面感知。高靈敏度是指系統(tǒng)能敏捷地對(duì)用戶需求的變化作出反應(yīng),能夠及時(shí)甚至實(shí)時(shí)地根據(jù)用戶行為改變推薦內(nèi)容。例如,B表示淘寶可以實(shí)時(shí)地根據(jù)用戶的搜索及查詢調(diào)整首頁(yè)推薦的商品,反應(yīng)速度很快;D表示如果在淘寶上搜索了某商品但未完成購(gòu)買,首頁(yè)會(huì)出現(xiàn)大量相關(guān)商品的推薦,一旦完成對(duì)該商品的購(gòu)買,首頁(yè)就不會(huì)再大量出現(xiàn)同類商品,對(duì)用戶的需求反應(yīng)十分靈敏。高精度體現(xiàn)在推薦結(jié)果符合用戶的喜好和需要。例如,D表示抖音能根據(jù)用戶的視頻停留的時(shí)間捕捉用戶喜歡的內(nèi)容,并作出準(zhǔn)確的推薦。低互動(dòng)成本體現(xiàn)在系統(tǒng)可以利用已有的數(shù)據(jù)對(duì)項(xiàng)目進(jìn)行推薦,而不需要讓用戶進(jìn)行多次額外或重復(fù)的操作來采集用戶數(shù)據(jù)。例如,B表示網(wǎng)易音樂會(huì)在新用戶第一次使用該軟件的時(shí)候自動(dòng)讀取用戶手機(jī)里的音樂文件,以此判斷用戶可能喜歡的音樂類型,節(jié)省了人工標(biāo)注的時(shí)間。高覆蓋率體現(xiàn)在對(duì)項(xiàng)目長(zhǎng)尾的發(fā)現(xiàn)能力,即推薦系統(tǒng)不僅能對(duì)被廣泛喜愛的項(xiàng)目進(jìn)行推薦,還能對(duì)小眾的項(xiàng)目進(jìn)行推薦。例如,B認(rèn)為網(wǎng)易音樂不但能夠推送大眾喜愛的音樂,對(duì)一些被判斷出來符合用戶喜好的小眾音樂也能作出合理的推薦。感知有用性是用戶對(duì)使用推薦系統(tǒng)是否可以有效地幫助他們獲取想要的東西的感知,包括輔助信息需求表達(dá)和輔助用戶發(fā)現(xiàn)信息需求兩方面。例如,B表示對(duì)于一些較難用文字形容的領(lǐng)域(如音樂領(lǐng)域),推薦系統(tǒng)可以幫助用戶在不能明確地表達(dá)自己需求的情況下給出符合自己喜好的推薦;A表示在瀏覽推薦系統(tǒng)所推薦的項(xiàng)目時(shí)可以幫助自己發(fā)現(xiàn)感興趣的話題。

    3.3 用戶對(duì)推薦系統(tǒng)的負(fù)面感知

    探討用戶對(duì)推薦系統(tǒng)的負(fù)面感知有助于了解哪些因素會(huì)激發(fā)用戶對(duì)系統(tǒng)的負(fù)面評(píng)價(jià),在對(duì)推薦系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)應(yīng)盡量避免引起用戶反感的因素,從而提高用戶的滿意度。經(jīng)過分析發(fā)現(xiàn),用戶對(duì)推薦系統(tǒng)的負(fù)面感知主要包含低透明度、低新穎度、感知有用性低、環(huán)境背景兼容性弱、控制度低、跨平臺(tái)數(shù)據(jù)共享和缺乏多樣性7個(gè)方面,如圖4所示。

    其中,跨平臺(tái)數(shù)據(jù)共享是提及頻率最高的引起用戶對(duì)推薦系統(tǒng)產(chǎn)生負(fù)面評(píng)價(jià)的因素。例如,D認(rèn)為在微信、百度搜索、淘寶及京東上留下的瀏覽痕跡都會(huì)在抖音里有所體現(xiàn),這是令人害怕的。其次是推薦的內(nèi)容缺乏多樣性。例如,C表示因?yàn)橥扑]的內(nèi)容過于相似,因此不希望在資訊類APP上使用推薦系統(tǒng)。另外,推薦結(jié)果的新穎度較低也是引起用戶產(chǎn)生負(fù)面感知的原因之一,新穎度是指給用戶推薦那些他們以前沒有聽說過的項(xiàng)目。例如,C認(rèn)為一些推薦系統(tǒng)僅對(duì)他已經(jīng)了解的事物進(jìn)行了推薦,不能幫助他了解新知識(shí)、獲取新事物。用戶對(duì)推薦系統(tǒng)的信任受到透明度的影響,當(dāng)透明度較低時(shí)用戶對(duì)推薦系統(tǒng)會(huì)產(chǎn)生負(fù)面的感知。例如,C表示因?yàn)閷?duì)推薦系統(tǒng)的排序機(jī)制不夠了解和信任,為避免廣告推薦,在真正選擇要購(gòu)買的商品時(shí)恰恰會(huì)避開排位靠前的商品。當(dāng)推薦系統(tǒng)給予用戶低控制權(quán)限,甚至剝奪用戶對(duì)是否接受推薦的控制時(shí),用戶會(huì)產(chǎn)生較明顯的負(fù)面感知。例如,A表示不受控制的彈窗資訊會(huì)引起他的反感。環(huán)境背景兼容性是指一個(gè)推薦系統(tǒng)具備的在相關(guān)使用場(chǎng)景給出建議的能力,包括推薦結(jié)果的實(shí)時(shí)性以及是否考慮當(dāng)時(shí)用戶所在的情境,如在推薦電影時(shí)考慮的環(huán)境因素(觀眾當(dāng)時(shí)的情緒、是否有同伴等)。例如,D表示希望推薦系統(tǒng)不僅能夠知道用戶的興趣,也可以對(duì)用戶興趣所處的不同生命周期進(jìn)行考慮。最后,感知有用性低也是引起用戶產(chǎn)生負(fù)面感知的原因之一。例如,C表示抖音向其推薦的內(nèi)容既無用也無趣,A認(rèn)為抖音很無聊。

    4 討論

    4.1 用戶感知的推薦依據(jù)

    對(duì)訪談資料進(jìn)行分析發(fā)現(xiàn),雖然目前學(xué)界對(duì)推薦系統(tǒng)的定義強(qiáng)調(diào)以用戶數(shù)據(jù)作為判斷用戶是否會(huì)對(duì)某一內(nèi)容或項(xiàng)目感興趣為標(biāo)準(zhǔn),即推薦系統(tǒng)是以用戶畫像為基礎(chǔ),根據(jù)用戶偏好利用可觀測(cè)的行為數(shù)據(jù)解決信息過載問題的信息過濾系統(tǒng)[1]。但用戶認(rèn)為推薦系統(tǒng)推薦的依據(jù)除以用戶為導(dǎo)向、反應(yīng)用戶需求的行為數(shù)據(jù)、偏好數(shù)據(jù)外,還包括反應(yīng)平臺(tái)商業(yè)需求的數(shù)據(jù)(如推廣和廣告收益)。在目前的研究中,學(xué)術(shù)界在對(duì)推薦系統(tǒng)的相關(guān)技術(shù)進(jìn)行探討時(shí)更強(qiáng)調(diào)用戶數(shù)據(jù)對(duì)推薦結(jié)果的影響,而工業(yè)界已經(jīng)將業(yè)務(wù)需求作為影響推薦結(jié)果的重要指標(biāo)。總體上來說,用戶對(duì)業(yè)務(wù)需求作為推薦依據(jù)也并不敏感,其表現(xiàn)在單獨(dú)詢問用戶關(guān)于推薦系統(tǒng)的推薦依據(jù)時(shí),他們往往不太提及業(yè)務(wù)需求,但在進(jìn)一步剖析對(duì)推薦系統(tǒng)的負(fù)面感知時(shí)會(huì)強(qiáng)調(diào)因?yàn)榧{入廣告帶來的困擾。

    為進(jìn)一步對(duì)比用戶感知的推薦依據(jù)、理論探討中的推薦依據(jù)和實(shí)際應(yīng)用的推薦依據(jù),本研究結(jié)合文獻(xiàn)[11]中提到的推薦依據(jù)制定表1,以觀察哪些是被用戶忽略的依據(jù)。在本次調(diào)查中,用戶除對(duì)用戶行為、用戶偏好有較強(qiáng)感知,對(duì)業(yè)務(wù)需求有較弱感知以外,對(duì)推薦系統(tǒng)所利用的用戶標(biāo)簽數(shù)據(jù)、上下文信息和社交網(wǎng)絡(luò)數(shù)據(jù)均未提及,這啟發(fā)我們?cè)趯?duì)推薦系統(tǒng)進(jìn)行推廣時(shí)可以更明顯地標(biāo)識(shí)系統(tǒng)利用的數(shù)據(jù),提高推薦的透明度以取得用戶的信任。

    4.2 影響用戶感知的因素

    由于用戶對(duì)系統(tǒng)的正負(fù)面感知同時(shí)作用于影響用戶感知推薦系統(tǒng)的因素,因此,此處不再將兩者區(qū)分,而是把它們看作統(tǒng)一的整體進(jìn)行討論。雖然目前已有研究探討了影響推薦系統(tǒng)用戶感知的因素,但本研究嘗試將正面感知和負(fù)面感知進(jìn)行分別分析,以探索各個(gè)因素的正向和負(fù)向作用。本研究共發(fā)現(xiàn)11個(gè)影響用戶感知的因素,表2對(duì)這些因素進(jìn)行羅列并對(duì)是否作用于正向和負(fù)向感知進(jìn)行了標(biāo)識(shí)。

    經(jīng)過對(duì)比發(fā)現(xiàn),用戶提到的僅作用于正向評(píng)價(jià)的因素有互動(dòng)成本、覆蓋率、靈敏度和推薦精度,僅作用于負(fù)向評(píng)價(jià)的因素有多樣性、環(huán)境背景兼容性、跨平臺(tái)數(shù)據(jù)共享、新穎度和透明度。同時(shí)作用于正向感知和負(fù)向感知的因素為感知有用性和控制度。但由于本研究樣本量較小,且未做定量的驗(yàn)證,因此不能明確假設(shè)是否成立,可以在未來研究中進(jìn)一步探討。

    另外,本研究除驗(yàn)證了文獻(xiàn)[11]和文獻(xiàn)[26]中所提到的影響用戶感知的因素外,還發(fā)現(xiàn)用戶對(duì)推薦系統(tǒng)的感知與交互成本、是否跨平臺(tái)共享數(shù)據(jù)、系統(tǒng)響應(yīng)用戶需求變化的感知靈敏度均會(huì)影響用戶對(duì)推薦系統(tǒng)的感知。通過分析還發(fā)現(xiàn)文獻(xiàn)[26]中提到的環(huán)境背景兼容性除包含對(duì)用戶所處環(huán)境的實(shí)時(shí)考慮外,還包括對(duì)需求生命周期的考量。解釋度與透明度構(gòu)成用戶信任推薦系統(tǒng)的兩個(gè)維度,在對(duì)推薦結(jié)果進(jìn)行呈現(xiàn)時(shí)可以通過向用戶說明使用了哪些數(shù)據(jù)和規(guī)則來增加用戶對(duì)推薦系統(tǒng)的信任。此外,用戶并不避諱用隱私換取便利,但是當(dāng)出現(xiàn)跨平臺(tái)的數(shù)據(jù)利用時(shí)會(huì)產(chǎn)生比較強(qiáng)烈的隱私泄露感,因此在需要共享數(shù)據(jù)時(shí)最好先取得用戶的許可。最后,用戶并不反感在使用推薦系統(tǒng)的過程中瀏覽廣告,但當(dāng)廣告質(zhì)量較差或嚴(yán)重打斷用戶使用的時(shí)候會(huì)使用戶產(chǎn)生負(fù)面感知。

    5 結(jié)論

    在信息過載的時(shí)代,推薦系統(tǒng)的廣泛應(yīng)用為用戶提供信息個(gè)性化過濾服務(wù)的同時(shí),還帶來了新的商業(yè)模式。本文通過對(duì)用戶感知的推薦依據(jù)和影響用戶感知的因素進(jìn)行了定性研究,發(fā)現(xiàn)用戶偏好、用戶行為和業(yè)務(wù)需求是用戶感知到的3個(gè)推薦依據(jù),感知成本、多樣性、覆蓋率、感知有用性、環(huán)境背景兼容性、控制度、靈敏度、跨平臺(tái)數(shù)據(jù)共享、推薦準(zhǔn)確性、新穎性和透明度是影響用戶感知的因素。由于本研究屬于探索性研究,其最大的意義在于驗(yàn)證了研究的可行性以及研究問題的價(jià)值,為進(jìn)一步研究夯實(shí)基礎(chǔ)。另外,本研究通過了解用戶對(duì)推薦系統(tǒng)的認(rèn)識(shí)發(fā)現(xiàn)了用戶對(duì)推薦依據(jù)認(rèn)識(shí)的不足,可以作為用戶有效安全地使用推薦系統(tǒng)的參考。研究對(duì)影響用戶感知因素的認(rèn)識(shí)也可以作為深入探討推薦接納意愿、推薦系統(tǒng)信任度以及推薦系統(tǒng)的評(píng)價(jià)提供理論支持,同時(shí)為系統(tǒng)的開發(fā)與設(shè)計(jì)提供參考。但本研究仍存在樣本量過小,數(shù)據(jù)分析具有主觀性等不足。未來的研究可以擴(kuò)大樣本量,進(jìn)行多個(gè)焦點(diǎn)小組的訪談,繼續(xù)完善以上發(fā)現(xiàn),使其成為一個(gè)通用性理論,并通過定量研究的方法驗(yàn)證各因素與感知傾向的關(guān)系。

    [1] ISINKAYE F,F(xiàn)OLAJIMI Y,OJOKOH B. Recommendation systems:principles,methods and evaluation[J]. Egyptian Informatics Journal,2015,16(3):261-273.

    [2] GOLDBERG D,NICHOLS D,OKI B M,et al. Using collaborative filtering to weave an information tapestry[J]. Communications of the ACM,1992,35(12):61-71.

    [3] ALYARI F,JAFARI N. Recommender systems:a systematic review of the state of the art literature and suggestions for future research[J]. Kybernetes,2018,47(5):985-1017.

    [4] GUO Y,YIN C X,LI M F,et al. Mobile e-commerce recommendation system based on multi-source information fusion for sustainable e-business[J]. Sustainability,2018,10(1):147-160.

    [5] JESSENITSCHNIG M,ZANKER M. ISeller:A Flexible Personalization Infrastructure for e-Commerce Applications[C]//

    International Conference on Electronic Commerce and Web Technologies,EC-Web,2009:336-347.

    [6] RANA C,JAIN S K. Building a book recommender system using time based content filtering[J]. WSEAS Transactions on Computers,2012,11(2):2224-2872.

    [7] MOONEY R J,ROY L. Content-based book recommending using learning for text categorization[C]//Proceedings of the fifth ACM conference on Digital libraries,ACM,2000.

    [8] MCNEE S M,RIEDL J,KONSTAN J A. Being accurate is not enough:how accuracy metrics have hurt recommender systems[C]//CHI’06 Extended Abstracts on Human Factors in Computing Systems,ACM,2006.

    [9] PU P,CHEN L. A User-Centric Evaluation Framework of Recommender Systems[C]//Proceedings of the ACM RecSys 2010 Workshop on User-Centric Evaluation of Recommender Systems and Their Interfaces,Barcelona,Spain. 2010.

    [10] RESNICK P,IACOVOU N,SUCHAK M,et al. GroupLens:an open architecture for collaborative filtering of netnews[C]//Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. ACM,1994.

    [11] SWEARINGEN K,SINHA R. Beyond algorithms:an HCI perspective on recommender systems[C]//ACM SIGIR 2001 Workshop on Recommender Systems,2001.

    [12] COSLEY D,LAM S K,ALBERT I,et al. Is seeing believing? how recommender system interfaces affect users’ opinions[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,ACM,2003.

    [13] 高夢(mèng)晨. 推薦系統(tǒng)用戶感知調(diào)研[J]. 工業(yè)設(shè)計(jì)研究,2018:320-326.

    [14] 劉新民,傅曉暉,王松. 個(gè)性化推薦系統(tǒng)的感知價(jià)值對(duì)用戶接受意愿的影響研究——基于心理資本的調(diào)節(jié)作用[J]. 技術(shù)與創(chuàng)新管理,2017,38(4):403-411.

    [15] 劉蓓琳. 電子商務(wù)用戶個(gè)性化推薦技術(shù)接受影響因素研究[D]. 北京:中國(guó)礦業(yè)大學(xué)(北京),2009.

    [16] 張紅. 基于用戶認(rèn)知的電子商務(wù)網(wǎng)站知識(shí)推薦服務(wù)接受模型研究[D]. 南京:南京理工大學(xué),2013.

    [17] 李楠. 移動(dòng)生活服務(wù)用戶接受行為研究[D]. 上海:上海工程技術(shù)大學(xué),2016.

    [18] 張鳳羽. 電子商務(wù)推薦系統(tǒng)的用戶體驗(yàn)影響因素研究[D]. 南寧:廣西民族大學(xué),2017.

    [19] 曹杜鵑. 電子商務(wù)推薦系統(tǒng)滿意度研究[D]. 湘潭:湘潭大學(xué),2014.

    [20] 趙沖. 用戶對(duì)購(gòu)物網(wǎng)站信息推薦服務(wù)的心理抗拒研究[D]. 重慶:西南大學(xué),2016.

    [21] 肖海清. 電商個(gè)性化推薦采納中用戶隱私風(fēng)險(xiǎn)感知的影響因素分析[D]. 武漢:華中師范大學(xué),2015.

    [22] 中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心. 第43次中國(guó)互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL].[2019-07-07]. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201902/t20190228_70645.htm.

    [23] STEMLER S. An overview of content analysis[J]. Practical Assessment,Research & Evaluation,2001,7(17):137-146.

    [24] WEBER RP. Basic content analysis[M]. London:Sage,1990:9-14.

    [25] HANEY W,RUSSELL M,GULEK C,et al. Drawing on education:Using student drawings to promote middle school improvement[J]. Schools in the Middle,1998,7(3):38-43.

    [26] CRAMER H,EVERS V,RAMLAL S,et al. The effects of transparency on trust in and acceptance of a content-based art recommender[J]. User Modeling and User-Adapted Interaction,2008,18(5):455.

    Understanding Recommender Systems from Users’ Perspective

    LUO TingYu NUNES Miguel Baptista

    ( Sun Yat-Sen University, Guangzhou 510006, China )

    In order to solve the problems of information overload and information anxiety, recommendation system have been applied widely in many different areas. In order to effectively solve these problems, it is necessary to understand how users perceive recommendation systems and what factors affect their perceptions of usefulness and effectiveness of recommendations. This is very necessary in order to design and evaluate systems. This research is an inductive exploratory pilot study that aims to give a first indication towards understanding what type of factors influence these perceptions. Data was collected through one focus group interview and was then coded using content analysis supported by NVivo 11. The findings of the study reveal that users’ preference, users’ behaviors and business characteristics are 3 criteria which interviewees perceived as important evidence of recommendation. Moreover, interviewees expressed that the factors which affects their perceptions of usefulness and effectiveness of recommendations are perceived interaction effort, diversity of recommendation results, coverage, perceived usefulness, contextual compatibility, perceived controllability, flexibility, cross-platform data sharing, accuracy, novelty, and transparency. This study is not generalizable due to the small numbers of respondents, but provides an initial informed emergent theory that can help designers and developers of recommendation systems improve their efforts.

    Recommendation Systems; User Perception; Qualitative Study; Impact Factor Study

    *本研究得到廣東省自然科學(xué)基金面上項(xiàng)目“基于人工智能的虛擬現(xiàn)實(shí)古籍理論與模型研究”(編號(hào):2019A1515011260)以及中山大學(xué)信息科學(xué)、信息管理和信息系統(tǒng)學(xué)科交叉的培育研究科研啟動(dòng)經(jīng)費(fèi)(經(jīng)費(fèi)號(hào):20000-18841200)資助。

    G251

    10.3772/j.issn.1673-2286.2019.10.005

    羅婷予,女,1991年生,博士生,研究方向:信息獲取、推薦系統(tǒng),E-mail:luoty7@mail2.sysu.edu.cn。

    Miguel Baptista Nunes,男,1963年生,博士,教授,研究方向:信息系統(tǒng)、知識(shí)管理、數(shù)字人文。

    (2019-10-08)

    猜你喜歡
    用戶系統(tǒng)研究
    Smartflower POP 一體式光伏系統(tǒng)
    FMS與YBT相關(guān)性的實(shí)證研究
    遼代千人邑研究述論
    WJ-700無人機(jī)系統(tǒng)
    ZC系列無人機(jī)遙感系統(tǒng)
    視錯(cuò)覺在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    EMA伺服控制系統(tǒng)研究
    連通與提升系統(tǒng)的最后一塊拼圖 Audiolab 傲立 M-DAC mini
    關(guān)注用戶
    商用汽車(2016年11期)2016-12-19 01:20:16
    關(guān)注用戶
    商用汽車(2016年6期)2016-06-29 09:18:54
    极品少妇高潮喷水抽搐| 国产亚洲最大av| 婷婷色麻豆天堂久久| 99久久精品国产国产毛片| 在线观看人妻少妇| 观看av在线不卡| 亚洲av不卡在线观看| 天堂中文最新版在线下载| 亚洲四区av| 国产精品福利在线免费观看| 熟妇人妻不卡中文字幕| 丰满人妻一区二区三区视频av| 国产老妇伦熟女老妇高清| 最近中文字幕2019免费版| 性色avwww在线观看| 交换朋友夫妻互换小说| 精品少妇内射三级| 国产精品久久久久久久电影| 国产成人精品无人区| 一级毛片久久久久久久久女| 亚洲av在线观看美女高潮| 日韩中字成人| 亚洲人成网站在线播| 又大又黄又爽视频免费| 另类精品久久| 狂野欧美激情性xxxx在线观看| 国产精品国产三级国产专区5o| 天天操日日干夜夜撸| 国产成人免费无遮挡视频| 欧美最新免费一区二区三区| 黄色毛片三级朝国网站 | 高清视频免费观看一区二区| 日韩欧美精品免费久久| 精品熟女少妇av免费看| av专区在线播放| 亚洲人成网站在线播| 久久97久久精品| 在线精品无人区一区二区三| 国产视频首页在线观看| 永久网站在线| 国产成人一区二区在线| 性色av一级| 亚洲,一卡二卡三卡| 国产男女内射视频| 十分钟在线观看高清视频www | 亚洲精品aⅴ在线观看| 久久久久久久亚洲中文字幕| 夜夜骑夜夜射夜夜干| 国产精品国产三级国产av玫瑰| 日本免费在线观看一区| av在线老鸭窝| 午夜激情福利司机影院| 一级二级三级毛片免费看| 2022亚洲国产成人精品| 国产成人精品久久久久久| 五月开心婷婷网| 国产成人午夜福利电影在线观看| 久久久久人妻精品一区果冻| 国产熟女午夜一区二区三区 | 国产在视频线精品| 亚洲欧美日韩卡通动漫| 国产高清国产精品国产三级| 青春草亚洲视频在线观看| 亚洲精品国产色婷婷电影| 精品久久久久久久久亚洲| 亚洲成色77777| 欧美激情国产日韩精品一区| 大话2 男鬼变身卡| 日韩一本色道免费dvd| 国产午夜精品久久久久久一区二区三区| 亚洲成人av在线免费| 亚洲av.av天堂| 国产极品天堂在线| 人妻 亚洲 视频| 中文乱码字字幕精品一区二区三区| 女人精品久久久久毛片| 国产黄色免费在线视频| 一个人看视频在线观看www免费| 久久久久久久国产电影| 国产精品嫩草影院av在线观看| 色哟哟·www| 亚洲精品日韩av片在线观看| 国产高清不卡午夜福利| 久热这里只有精品99| 国产中年淑女户外野战色| 偷拍熟女少妇极品色| 草草在线视频免费看| 99视频精品全部免费 在线| 国产日韩欧美亚洲二区| 中文字幕精品免费在线观看视频 | 久久午夜福利片| 大片电影免费在线观看免费| 亚洲激情五月婷婷啪啪| 女性生殖器流出的白浆| 久久久久久久久久久丰满| 黄色视频在线播放观看不卡| 在线观看美女被高潮喷水网站| 亚洲精品日韩av片在线观看| 你懂的网址亚洲精品在线观看| 国产日韩欧美在线精品| 97精品久久久久久久久久精品| 成人影院久久| 国产成人精品婷婷| 成人国产麻豆网| 高清黄色对白视频在线免费看 | 国产成人免费观看mmmm| 国产午夜精品久久久久久一区二区三区| 久久人妻熟女aⅴ| 日韩熟女老妇一区二区性免费视频| 黄色配什么色好看| 国产精品一二三区在线看| 大香蕉97超碰在线| 国产中年淑女户外野战色| 免费黄色在线免费观看| 国产精品久久久久久精品电影小说| 51国产日韩欧美| 国产爽快片一区二区三区| 免费看日本二区| 国产亚洲av片在线观看秒播厂| 青春草视频在线免费观看| 少妇的逼水好多| 亚洲中文av在线| 伊人亚洲综合成人网| 只有这里有精品99| 国产成人91sexporn| 午夜久久久在线观看| 久久久久久久精品精品| 丰满迷人的少妇在线观看| 日本av手机在线免费观看| 久久99热这里只频精品6学生| 视频中文字幕在线观看| 亚洲情色 制服丝袜| av一本久久久久| 午夜福利视频精品| 国产老妇伦熟女老妇高清| 夜夜骑夜夜射夜夜干| 久久久久国产精品人妻一区二区| 另类精品久久| 亚洲av在线观看美女高潮| 又黄又爽又刺激的免费视频.| 精品人妻一区二区三区麻豆| 久久久a久久爽久久v久久| 国产又色又爽无遮挡免| 免费av不卡在线播放| 最近中文字幕2019免费版| 亚洲国产精品一区二区三区在线| 国产av精品麻豆| 中文字幕人妻丝袜制服| 国产黄色免费在线视频| 视频区图区小说| 日韩中文字幕视频在线看片| 午夜久久久在线观看| 一级毛片电影观看| 91精品伊人久久大香线蕉| 久久 成人 亚洲| 99久国产av精品国产电影| 国内精品宾馆在线| 极品教师在线视频| 赤兔流量卡办理| 成人亚洲精品一区在线观看| 国产精品不卡视频一区二区| 免费看不卡的av| 伦理电影大哥的女人| 成人亚洲欧美一区二区av| 九草在线视频观看| 日日啪夜夜撸| 一区二区av电影网| av一本久久久久| 国产精品一区www在线观看| 国产高清国产精品国产三级| av一本久久久久| 丰满少妇做爰视频| 一级黄片播放器| 欧美成人午夜免费资源| 黄色欧美视频在线观看| 日日摸夜夜添夜夜添av毛片| 99国产精品免费福利视频| 精品国产露脸久久av麻豆| 大陆偷拍与自拍| 亚洲精品视频女| 国产精品秋霞免费鲁丝片| 国产男人的电影天堂91| 亚洲精品国产色婷婷电影| 18禁在线播放成人免费| 国产视频首页在线观看| 少妇裸体淫交视频免费看高清| 91精品国产国语对白视频| 成人无遮挡网站| 建设人人有责人人尽责人人享有的| 久久久久久久国产电影| 久久久国产欧美日韩av| h视频一区二区三区| 欧美高清成人免费视频www| 免费大片黄手机在线观看| 欧美日本中文国产一区发布| 亚洲中文av在线| 91aial.com中文字幕在线观看| 69精品国产乱码久久久| 自拍偷自拍亚洲精品老妇| 国产一区二区在线观看日韩| www.色视频.com| 一级毛片久久久久久久久女| 一区二区三区免费毛片| 亚洲精品第二区| 久久精品国产a三级三级三级| 国产爽快片一区二区三区| 青春草视频在线免费观看| 18+在线观看网站| 久久久久久久久久人人人人人人| 九九在线视频观看精品| 最新的欧美精品一区二区| 欧美日韩视频精品一区| av免费在线看不卡| 久久精品久久精品一区二区三区| 五月天丁香电影| 久久精品国产a三级三级三级| 十八禁高潮呻吟视频 | 国产一区二区三区综合在线观看 | 老司机亚洲免费影院| 国产日韩欧美视频二区| 国产亚洲av片在线观看秒播厂| 人人妻人人看人人澡| 夫妻性生交免费视频一级片| 亚洲激情五月婷婷啪啪| 99热网站在线观看| 最近中文字幕高清免费大全6| 国内精品宾馆在线| 国产在线一区二区三区精| 国产伦理片在线播放av一区| 黄色日韩在线| 国产一区二区三区av在线| 中文精品一卡2卡3卡4更新| 精品一区在线观看国产| 国语对白做爰xxxⅹ性视频网站| 免费看av在线观看网站| 91成人精品电影| 国产精品一区二区在线观看99| 久久久久久久久久久久大奶| 免费观看a级毛片全部| 七月丁香在线播放| 美女内射精品一级片tv| 久久精品国产亚洲网站| 极品少妇高潮喷水抽搐| 国产伦理片在线播放av一区| 一级毛片黄色毛片免费观看视频| 久久国产精品大桥未久av | 三级国产精品片| 日韩视频在线欧美| 一级毛片黄色毛片免费观看视频| 亚洲精品久久久久久婷婷小说| 中国三级夫妇交换| 美女内射精品一级片tv| 欧美xxxx性猛交bbbb| 国产在线一区二区三区精| 亚洲,欧美,日韩| 亚洲av中文av极速乱| 亚洲国产精品专区欧美| 校园人妻丝袜中文字幕| 美女内射精品一级片tv| 精品人妻熟女av久视频| 婷婷色av中文字幕| 伦精品一区二区三区| 天堂中文最新版在线下载| 日本色播在线视频| 国产综合精华液| 欧美丝袜亚洲另类| a级片在线免费高清观看视频| 欧美区成人在线视频| 日本-黄色视频高清免费观看| 日韩伦理黄色片| 国产黄片视频在线免费观看| 国产精品一区www在线观看| 乱人伦中国视频| 国产精品.久久久| 少妇丰满av| 欧美日韩视频高清一区二区三区二| 午夜福利影视在线免费观看| 麻豆精品久久久久久蜜桃| h视频一区二区三区| 国产高清不卡午夜福利| 婷婷色麻豆天堂久久| 欧美精品国产亚洲| 在线 av 中文字幕| 男人添女人高潮全过程视频| 国产伦在线观看视频一区| 黑丝袜美女国产一区| 3wmmmm亚洲av在线观看| 国产男人的电影天堂91| 高清不卡的av网站| 国产一级毛片在线| 国产成人一区二区在线| 99视频精品全部免费 在线| 少妇人妻一区二区三区视频| 九色成人免费人妻av| 久久6这里有精品| 国产精品蜜桃在线观看| 欧美精品高潮呻吟av久久| 午夜福利,免费看| 久久免费观看电影| 精品久久久久久久久av| 亚洲国产精品一区三区| 午夜老司机福利剧场| 丰满饥渴人妻一区二区三| 成人美女网站在线观看视频| 亚洲精品一区蜜桃| 久久国产精品大桥未久av | 在现免费观看毛片| 中文在线观看免费www的网站| h日本视频在线播放| 精品人妻偷拍中文字幕| 最新中文字幕久久久久| 人人澡人人妻人| 男人狂女人下面高潮的视频| 又爽又黄a免费视频| 大香蕉久久网| 日韩精品有码人妻一区| 亚洲精品久久午夜乱码| 丝袜脚勾引网站| 国产免费又黄又爽又色| 成年人免费黄色播放视频 | 青青草视频在线视频观看| 亚洲欧美中文字幕日韩二区| 中文字幕人妻熟人妻熟丝袜美| 久久亚洲国产成人精品v| av天堂中文字幕网| 日韩中文字幕视频在线看片| 嫩草影院入口| 十八禁高潮呻吟视频 | 国产日韩一区二区三区精品不卡 | 一级片'在线观看视频| 久久99热这里只频精品6学生| 精品少妇内射三级| 免费黄网站久久成人精品| 亚洲丝袜综合中文字幕| 国产精品女同一区二区软件| 青春草亚洲视频在线观看| 亚洲av电影在线观看一区二区三区| 少妇熟女欧美另类| 中文资源天堂在线| 少妇被粗大猛烈的视频| 国产综合精华液| 久久久久久人妻| av有码第一页| 最黄视频免费看| 国产在视频线精品| 国产高清三级在线| 亚洲无线观看免费| 日韩不卡一区二区三区视频在线| 夫妻午夜视频| 97精品久久久久久久久久精品| 欧美成人精品欧美一级黄| a级片在线免费高清观看视频| 国产精品无大码| 美女福利国产在线| 日韩电影二区| 亚洲天堂av无毛| 免费观看的影片在线观看| 涩涩av久久男人的天堂| 老司机影院毛片| 亚洲自偷自拍三级| 黄色视频在线播放观看不卡| 久久狼人影院| av在线观看视频网站免费| 日本猛色少妇xxxxx猛交久久| 亚洲欧美清纯卡通| 欧美97在线视频| 免费人妻精品一区二区三区视频| 最新中文字幕久久久久| 久久久久人妻精品一区果冻| 亚洲国产色片| 久久av网站| 日本vs欧美在线观看视频 | 在线观看免费视频网站a站| 亚洲国产精品一区二区三区在线| 草草在线视频免费看| 校园人妻丝袜中文字幕| 午夜激情福利司机影院| 免费看不卡的av| 精品国产乱码久久久久久小说| 9色porny在线观看| 性色av一级| 久久久久久久久久人人人人人人| 成人免费观看视频高清| 日产精品乱码卡一卡2卡三| av天堂久久9| 另类精品久久| 国产精品久久久久久久电影| 极品人妻少妇av视频| videossex国产| 亚洲不卡免费看| 久久99一区二区三区| 大码成人一级视频| 狂野欧美激情性bbbbbb| a级片在线免费高清观看视频| 男女边摸边吃奶| 免费观看性生交大片5| 亚洲国产成人一精品久久久| 赤兔流量卡办理| 日韩不卡一区二区三区视频在线| 亚洲欧洲精品一区二区精品久久久 | 一本久久精品| 欧美97在线视频| 午夜av观看不卡| 91久久精品国产一区二区三区| av女优亚洲男人天堂| 亚洲人成网站在线观看播放| 国产精品偷伦视频观看了| 91精品国产国语对白视频| 免费黄网站久久成人精品| 国产精品久久久久久久电影| 成人特级av手机在线观看| 99热全是精品| 色网站视频免费| 精品一区在线观看国产| 少妇人妻精品综合一区二区| 精品一品国产午夜福利视频| 亚洲欧美精品专区久久| 久久 成人 亚洲| 日韩精品免费视频一区二区三区 | 99久久综合免费| 99久久精品一区二区三区| 亚洲激情五月婷婷啪啪| 啦啦啦中文免费视频观看日本| 亚洲精品乱码久久久v下载方式| 伊人久久精品亚洲午夜| 亚洲国产av新网站| 秋霞在线观看毛片| 亚洲成人av在线免费| 亚洲自偷自拍三级| 内地一区二区视频在线| 亚洲欧美一区二区三区黑人 | 免费大片18禁| 免费少妇av软件| 亚洲精品,欧美精品| 亚洲国产精品一区三区| kizo精华| 只有这里有精品99| 啦啦啦中文免费视频观看日本| 国产精品伦人一区二区| 久久人妻熟女aⅴ| 久久久久久久精品精品| 一级黄片播放器| 免费观看在线日韩| 久久6这里有精品| 精品一品国产午夜福利视频| 最新的欧美精品一区二区| 美女xxoo啪啪120秒动态图| 男人爽女人下面视频在线观看| 成人综合一区亚洲| 国内揄拍国产精品人妻在线| 日韩免费高清中文字幕av| 中文字幕久久专区| 成人国产麻豆网| 欧美精品亚洲一区二区| 一级a做视频免费观看| 一区二区av电影网| 亚洲国产欧美日韩在线播放 | 在线观看国产h片| 中文字幕免费在线视频6| 你懂的网址亚洲精品在线观看| 又粗又硬又长又爽又黄的视频| 91精品国产九色| 日韩av在线免费看完整版不卡| 久久韩国三级中文字幕| 亚洲av成人精品一区久久| 在线观看免费日韩欧美大片 | 亚洲内射少妇av| av在线老鸭窝| 69精品国产乱码久久久| 国产精品一区二区在线不卡| 亚洲精品456在线播放app| 欧美区成人在线视频| 菩萨蛮人人尽说江南好唐韦庄| 亚洲av免费高清在线观看| 中国美白少妇内射xxxbb| 少妇人妻一区二区三区视频| 日日摸夜夜添夜夜爱| 在线观看一区二区三区激情| 日韩av在线免费看完整版不卡| 黑人猛操日本美女一级片| 国产精品一二三区在线看| 欧美日韩综合久久久久久| 我的女老师完整版在线观看| 日韩亚洲欧美综合| 亚洲国产日韩一区二区| 精品一区二区免费观看| 热99国产精品久久久久久7| 麻豆成人av视频| 国产精品免费大片| 少妇 在线观看| 夜夜看夜夜爽夜夜摸| 丰满乱子伦码专区| 精品亚洲成国产av| 亚洲欧美成人综合另类久久久| 国产 精品1| 九九在线视频观看精品| 黑人猛操日本美女一级片| 久久人人爽人人片av| 午夜免费男女啪啪视频观看| 少妇丰满av| 国产中年淑女户外野战色| 成年人免费黄色播放视频 | 亚洲欧美清纯卡通| 国产成人精品福利久久| 女人精品久久久久毛片| 精品国产国语对白av| 蜜桃久久精品国产亚洲av| 人妻夜夜爽99麻豆av| 久久影院123| 精品一品国产午夜福利视频| 黄色日韩在线| 综合色丁香网| 高清视频免费观看一区二区| 女人精品久久久久毛片| 男人爽女人下面视频在线观看| 看免费成人av毛片| 欧美日韩视频高清一区二区三区二| 免费黄频网站在线观看国产| 国内少妇人妻偷人精品xxx网站| 日日爽夜夜爽网站| 日日摸夜夜添夜夜添av毛片| 一本—道久久a久久精品蜜桃钙片| 午夜激情福利司机影院| h日本视频在线播放| 国产精品免费大片| 亚洲av成人精品一区久久| 哪个播放器可以免费观看大片| 国产亚洲精品久久久com| 成年女人在线观看亚洲视频| 亚洲av中文av极速乱| 日韩亚洲欧美综合| 亚洲欧美一区二区三区黑人 | 狂野欧美激情性bbbbbb| 成人亚洲欧美一区二区av| 国产黄片视频在线免费观看| 国产成人精品一,二区| 日本vs欧美在线观看视频 | 精品国产乱码久久久久久小说| 国产亚洲精品久久久com| 女人久久www免费人成看片| 欧美国产精品一级二级三级 | 亚洲欧美精品专区久久| 女性被躁到高潮视频| 久久久久久久久久久免费av| 午夜免费鲁丝| 伦精品一区二区三区| 一区在线观看完整版| 少妇熟女欧美另类| 这个男人来自地球电影免费观看 | 婷婷色综合大香蕉| 一级av片app| 日本与韩国留学比较| 插阴视频在线观看视频| 国产精品一区二区三区四区免费观看| 97在线视频观看| 少妇被粗大的猛进出69影院 | 一级av片app| 欧美日韩在线观看h| 狂野欧美白嫩少妇大欣赏| 国产又色又爽无遮挡免| 日韩中文字幕视频在线看片| 亚洲av不卡在线观看| 国产精品无大码| 欧美3d第一页| 一区在线观看完整版| 亚洲欧美日韩另类电影网站| 两个人的视频大全免费| 在线观看免费高清a一片| 欧美变态另类bdsm刘玥| 久久人人爽人人爽人人片va| 久久久a久久爽久久v久久| 国产精品偷伦视频观看了| 麻豆精品久久久久久蜜桃| 亚洲精品自拍成人| 国产亚洲精品久久久com| 99国产精品免费福利视频| 国产精品国产三级国产av玫瑰| 春色校园在线视频观看| 日韩精品免费视频一区二区三区 | 观看av在线不卡| 亚洲精品乱久久久久久| 国产精品嫩草影院av在线观看| 精品一品国产午夜福利视频| 少妇人妻一区二区三区视频| 国产精品久久久久久av不卡| 久久这里有精品视频免费| 我的女老师完整版在线观看| 另类精品久久| 欧美日韩精品成人综合77777| 免费黄色在线免费观看| 久久人妻熟女aⅴ| 精品一区二区三区视频在线| 国产成人精品久久久久久| 一区二区三区乱码不卡18| 三级经典国产精品| 免费观看的影片在线观看| 一级毛片黄色毛片免费观看视频| 最近中文字幕高清免费大全6| 97超碰精品成人国产| 日韩av免费高清视频| 亚洲国产毛片av蜜桃av| 亚洲av成人精品一二三区| 啦啦啦啦在线视频资源| 欧美亚洲 丝袜 人妻 在线| 大香蕉97超碰在线| 亚洲av中文av极速乱| 日韩一区二区三区影片| freevideosex欧美| 91精品国产九色| 菩萨蛮人人尽说江南好唐韦庄| 久热久热在线精品观看| 这个男人来自地球电影免费观看 | 免费播放大片免费观看视频在线观看| 国产91av在线免费观看| av免费观看日本|