• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字人文類眾包抄錄平臺中任務(wù)績效的影響因素研究

    2019-09-24 01:43韓文婷宋士杰趙宇翔朱慶華
    圖書與情報 2019年3期
    關(guān)鍵詞:數(shù)字人文

    韓文婷 宋士杰 趙宇翔 朱慶華

    摘? ?要:數(shù)字人文類眾包抄錄項目對文化遺產(chǎn)的轉(zhuǎn)錄、存儲、傳播和發(fā)展而言具有重要意義。由于該類型的項目具有專業(yè)性高、任務(wù)量大等特點,因此保證抄錄質(zhì)量、提高任務(wù)績效是優(yōu)化眾包抄錄的主要任務(wù)之一。本文以國內(nèi)具有代表性的數(shù)字人文類眾包抄錄平臺--盛宣懷檔案眾包抄錄項目為例,選擇了準(zhǔn)實驗的研究方法,探討不同任務(wù)復(fù)雜度和領(lǐng)域知識水平下,眾包抄錄任務(wù)的績效差異。研究結(jié)果表明,任務(wù)復(fù)雜度和領(lǐng)域知識水平及兩者之間的交互作用均影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。研究結(jié)論為國內(nèi)數(shù)字人文類眾包平臺的建設(shè)提供了任務(wù)設(shè)計、參與者招募及任務(wù)匹配等方面的實踐建議。

    關(guān)鍵詞:數(shù)字人文;科研眾包;任務(wù)績效;任務(wù)復(fù)雜度;領(lǐng)域知識

    中圖分類號:G315? ?文獻(xiàn)標(biāo)識碼:A? ?DOI:10.11968/tsyqb.1003-6938.2019044

    Influence Factors of Task Performance on Crowdsourcing Transcription Platform in Digital Humanity Domain: Perspectives of Task Complexity and Domain Knowledge

    Abstract Crowdsourcing transcription projects in digital humanity domain are of great significance to the transcription, storage, disseminate and development of cultural heritage. However, because of the heavy workload and the high-level professionalism in the crowdsourcing projects, it becomes necessary to ensure the performance of crowdsourcing tasks. This paper adopts Transcribe-Sheng Project, one of the typical crowdsourcing projects in digital humanity domain in China, as a case. We conduct a quasi-experiment to explore the difference of task performance in the crowdsourcing transcription projects from two perspectives-task complexity and domain knowledge. Our findings reveal that both task complexity and domain knowledge significantly influence task performance. What's more, there is an interaction effect exists between task complexity and domain knowledge on task performance. Based on these findings, we provide some practical suggestions on task design, participants' recruitment and task fit for the crowdsourcing transcription projects in digital humanity domain in China.

    Key words digital humanity; scientific crowdsourcing; task performance; task complexity; domain knowledge

    1? ?引言

    近年來,文化產(chǎn)業(yè)在我國國民經(jīng)濟(jì)中所占比重不斷上升,已成為黨和國家高度重視的產(chǎn)業(yè)之一:從十七大開始,國家就提出了“文化大發(fā)展大繁榮”的戰(zhàn)略;十八大提出的“建設(shè)文化強(qiáng)國”已成為我國發(fā)展的重要目標(biāo);日前,十九大再次強(qiáng)調(diào),要“堅定文化自信”,推動社會主義文化的發(fā)展與繁榮。我國作為歷史文化悠久的四大文明古國之一,豐富的文化遺產(chǎn)的保存、傳播與發(fā)展是發(fā)展文化產(chǎn)業(yè)中非常重要的一環(huán)?,F(xiàn)今,在新一代的互聯(lián)網(wǎng)環(huán)境下,如何將豐富的文化遺產(chǎn)數(shù)字化,成為社會各界需要迫切關(guān)注的問題。首先,數(shù)字化技術(shù)在文化遺產(chǎn)的保存、傳播、發(fā)展過程中發(fā)揮著越來越重要的作用。早在20世紀(jì)50年代,計算機(jī)相關(guān)技術(shù)就已經(jīng)開始應(yīng)用于人文學(xué)科[1]。近年來,計算機(jī)等信息技術(shù)的迅速發(fā)展,為數(shù)字化技術(shù)在人文領(lǐng)域的大規(guī)模使用提供了條件,許多數(shù)字化工具也應(yīng)運(yùn)而生,如數(shù)碼相機(jī)、OCR識別技術(shù)、數(shù)據(jù)庫、云存儲等。但是,這些數(shù)字化技術(shù)與工具也存在著一定的缺陷,如功能單一,缺少集捕獲、識別、上傳、存儲等功能于一身的工具等[2]。更重要的是,我國的文化遺產(chǎn)資源具有其特殊性,不同時代、不同地域的文化資源會受到不同的歷史背景與風(fēng)俗習(xí)慣的影響,這種特殊性使得我國的文化遺產(chǎn)很難通過計算機(jī)技術(shù)進(jìn)行采集與識別[3],如在古籍的抄錄工作中,不同書法風(fēng)格的手稿以及模糊、破損的文件等很難進(jìn)行自動識別,仍需利用眾包的方式,招募志愿者進(jìn)行手工抄錄。

    近年來,眾包在GLAMs(展覽館、圖書館、檔案館、博物館)項目的應(yīng)用越發(fā)廣泛,如“Transcribe Bentham Project” “Old Weather” “Australia Newspaper Digitization Program” 等[3]。在這些科研眾包項目中,如何吸引大量參與者并激勵其進(jìn)行持續(xù)參與,成為學(xué)者普遍關(guān)注的話題,包括對志愿者前期參與動機(jī)的探索及后期持續(xù)參與意愿的研究[4-7]。然而,在鼓勵志愿者參與之外,如何提高志愿者完成任務(wù)時的任務(wù)績效,也是一個值得探究的問題。鑒于此,本文選取了具有代表性的中國數(shù)字人文類眾包平臺——上海圖書館盛宣懷檔案抄錄平臺,從任務(wù)復(fù)雜度和領(lǐng)域知識的視角,利用準(zhǔn)實驗的研究方法,探索了影響數(shù)字人文類眾包項目中志愿者任務(wù)績效的相關(guān)因素。本文的研究結(jié)論為數(shù)字人文類眾包平臺優(yōu)化任務(wù)設(shè)計、提高志愿者的任務(wù)績效等提供了一定參考。

    2? ?相關(guān)概念

    2.1? ? 任務(wù)復(fù)雜度

    隨著技術(shù)的發(fā)展與進(jìn)步,人們?yōu)榱斯ぷ髋c生活所需完成的各項任務(wù)也變得越來越復(fù)雜。任務(wù)復(fù)雜度作為影響和預(yù)測人們行為和績效的重要任務(wù)特征之一,已被廣泛應(yīng)用于心理學(xué)、教育學(xué)以及管理學(xué)等多個領(lǐng)域的研究之中。在眾包領(lǐng)域,現(xiàn)有許多研究將任務(wù)視為一個重要的影響因素[8],相應(yīng)的,任務(wù)的一些概念、屬性和特征,如任務(wù)復(fù)雜度等,也經(jīng)常作為影響因素或前置變量,被應(yīng)用于眾包相關(guān)的研究中。

    對任務(wù)復(fù)雜度這一概念的理解,許多學(xué)者從不同維度進(jìn)行了定義和解釋。一種觀點是從資源需求的角度來解讀任務(wù),將任務(wù)復(fù)雜度定義為完成一項任務(wù)所需的資源總量。已有文獻(xiàn)中提及的任務(wù)處理所需資源類型包括認(rèn)知資源、短期記憶資源、身體和心理資源、視聽資源等[9-13]。Liu和Li[14]認(rèn)為完成任務(wù)所需的資源數(shù)量可作為任務(wù)復(fù)雜度的一種度量,相關(guān)的資源類型包括視覺資源、聽覺資源、認(rèn)知資源及精神運(yùn)動資源等注意力資源[15],以及知識、技能等方面的資源。還有一些學(xué)者從任務(wù)的客觀屬性角度對任務(wù)復(fù)雜度進(jìn)行了定義,Vande Ven等[16]認(rèn)為任務(wù)復(fù)雜度主要基于任務(wù)的不確定性,包括任務(wù)在輸入、處理、輸出三個過程中的不確定性;Campbell在總結(jié)前人的研究成果的基礎(chǔ)上,認(rèn)為任務(wù)復(fù)雜度的基本屬性包括完成路徑的多樣性、路徑之間的沖突性、產(chǎn)出結(jié)果的多樣性以及路徑與結(jié)果之間的不確定性[9]。除此之外,已有研究在對任務(wù)復(fù)雜度的定義中還提及了任務(wù)要素數(shù)量、子任務(wù)數(shù)量、任務(wù)并發(fā)性、動態(tài)性、隨機(jī)性、歧義、時間壓力等屬性[17-21]。

    除了上述任務(wù)的客觀屬性,研究者還從主客觀維度將任務(wù)復(fù)雜度劃分為主觀任務(wù)復(fù)雜度與客觀任務(wù)復(fù)雜度??陀^任務(wù)復(fù)雜度僅關(guān)注任務(wù)的客觀屬性,認(rèn)為任務(wù)復(fù)雜度與任務(wù)執(zhí)行者無關(guān)[22];而主觀任務(wù)復(fù)雜度則考慮任務(wù)與任務(wù)執(zhí)行者之間的聯(lián)合屬性[23],將任務(wù)復(fù)雜度定義為人與任務(wù)特征之間進(jìn)行交互作用的產(chǎn)物[14]。在主觀任務(wù)復(fù)雜度的視角下,任務(wù)復(fù)雜度更偏向于任務(wù)執(zhí)行者的感知復(fù)雜度,因此影響感知復(fù)雜度的因素主要包括:經(jīng)驗、任務(wù)動力、認(rèn)知能力、先驗確定性、自信、自我效能等[20,24]。

    如前所述,由于任務(wù)復(fù)雜度的定義涉及了多個角度,因此對任務(wù)復(fù)雜度的度量也有不同的方式。對任務(wù)復(fù)雜度某一項內(nèi)在特征的度量結(jié)果或某幾項特征的度量結(jié)果之和均可視為任務(wù)復(fù)雜度水平的一部分。比較常見的任務(wù)復(fù)雜度測量方法是從子任務(wù)數(shù)量的屬性出發(fā),如子任務(wù)的數(shù)量、關(guān)系和變化等特征均可作為任務(wù)復(fù)雜度的衡量指標(biāo)之一,甚至某些研究中直接以子任務(wù)的數(shù)量來定義任務(wù)復(fù)雜度[14];Campbell[9]認(rèn)為,任何能夠增加信息負(fù)荷、多樣性或變化率的任務(wù)特征都可用來衡量任務(wù)復(fù)雜度。但從資源需求的角度而言,完成任務(wù)的資源需求量越高,任務(wù)復(fù)雜度水平也就越高。在本文中,為符合實驗設(shè)置要求,筆者將從客觀評估的角度來衡量任務(wù)復(fù)雜度,而不考慮主觀評估。在任務(wù)特征的選取中,筆者將結(jié)合任務(wù)屬性和資源需求兩種角度,選取子任務(wù)的任務(wù)數(shù)量、以及完成任務(wù)的資源需求量這兩個任務(wù)特征,作為衡量任務(wù)復(fù)雜度水平的兩個指標(biāo)。某項任務(wù)的子任務(wù)數(shù)量越多,完成任務(wù)的資源需求量越高,該項任務(wù)的任務(wù)復(fù)雜度水平就越高。

    2.2? ? 領(lǐng)域知識

    領(lǐng)域知識(Domain Knowledge),顧名思義,指的是個體對某一領(lǐng)域或某一主題的知識的理解,包括對相關(guān)概念、目標(biāo)、規(guī)則或者原則等的理解[25]。實際上,學(xué)界對領(lǐng)域知識的定義尚未統(tǒng)一,盡管先前的研究中涉及到了知識的分類,如將知識分為顯性知識和隱形知識[26],但是目前還未提出一個將知識分類為某些特定領(lǐng)域的系統(tǒng)方法。

    目前,領(lǐng)域知識主要被應(yīng)用于信息檢索的相關(guān)研究中,在信息檢索的情境下,領(lǐng)域知識被定義為與檢索主題本身相關(guān)的知識,而非檢索技術(shù)相關(guān)[27],且領(lǐng)域知識已被確定為影響信息檢索結(jié)果、信息檢索行為、信息檢索策略以及用戶與信息系統(tǒng)交互行為的因素之一。在不同的研究中,根據(jù)研究情境的不同,研究者所選取的知識的具體領(lǐng)域也有所區(qū)別。比如在微生物學(xué)相關(guān)的數(shù)據(jù)庫進(jìn)行檢索的情境下,研究者選取的領(lǐng)域知識即為微生物學(xué)領(lǐng)域的專業(yè)知識,并驗證其對用戶的檢索模式的影響[27]。除此之外,還有學(xué)者選擇了經(jīng)濟(jì)學(xué)專業(yè)知識[28]、心理學(xué)專業(yè)知識[29]、醫(yī)學(xué)專業(yè)知識[30]、圖書館學(xué)專業(yè)知識[31]等不同領(lǐng)域知識,探索這些不同領(lǐng)域的領(lǐng)域知識對用戶檢索行為的影響。

    綜上所述,領(lǐng)域知識在具體領(lǐng)域的選擇,需符合具體研究的研究主題。在本研究中,數(shù)字人文類的眾包抄錄任務(wù),具體而言是對盛宣懷檔案的手工抄錄任務(wù)。其所需的專業(yè)知識可細(xì)分為兩類:一類是與盛宣懷及其時代背景相關(guān)的專業(yè)歷史知識,一類是識別繁體字與閱讀文言文所需的泛在文化知識。因此,在本文的研究情境下,領(lǐng)域知識涵蓋了上述兩類,即包括歷史背景的專業(yè)知識與古漢語文字識別的泛在文化知識。

    2.3? ? 任務(wù)績效

    績效是組織管理中常用的一個概念,不同研究對績效概念在層次與維度上的解讀各有差異。首先,對績效不同層次的理解可分為三層:個體層面、團(tuán)隊層面和組織層面。在本文中,由于眾包抄錄任務(wù)的參與者為個體,因此更傾向于從個體層面來理解績效。個體層面的績效概念界定,不同學(xué)者有不同的看法。部分學(xué)者認(rèn)為績效是一種目標(biāo)導(dǎo)向的行為,Murphy[32]和Campbell[33]均支持這一觀點。在這種觀點下,個體為了達(dá)成組織設(shè)定的目標(biāo)而進(jìn)行的一系列行為,均可視為個體的績效。這種行為績效由個體直接表現(xiàn)出來,更容易被觀測。另一種觀點認(rèn)為績效更應(yīng)當(dāng)被定義為工作的結(jié)果[34]。因為工作結(jié)果與組織目標(biāo)實現(xiàn)與否間的關(guān)系更為直接,且更能夠直觀反映出個體在組織中的貢獻(xiàn)程度。

    在對績效的不同維度的理解上,Borman和Motowidlo[35]提出的績效的二維模型最被大家所接受,該模型從任務(wù)績效和關(guān)系績效兩個維度來理解績效這一概念。任務(wù)績效指的是個體應(yīng)當(dāng)承擔(dān)的工作的完成情況和結(jié)果,與個體被規(guī)定的工作范圍、個體的工作能力等有關(guān);而關(guān)系績效更多指的是個體在工作范圍之外的貢獻(xiàn)程度,如人際關(guān)系促進(jìn)等,關(guān)系績效更多的受到個體的人格、態(tài)度等因素的影響。目前,已有學(xué)者在中國的文化背景下驗證了績效的二維模型,并證明了該模型在中國背景下依舊適用[36]。

    在本文的研究情境下,由于本文設(shè)計的實驗中參與者均為單個個體。因此,本文中的績效更多的偏向于個體層面以及任務(wù)績效維度,任務(wù)績效是與個體的工作產(chǎn)出直接相關(guān)的,并且可以被直接評價[37]。因此,本文將邀請古漢語專業(yè)的專家來對參與者完成的眾包抄錄任務(wù)進(jìn)行評價,并將評價結(jié)果作為參與者的任務(wù)績效。

    3? ?研究假設(shè)

    3.1? ? 任務(wù)復(fù)雜度對任務(wù)績效的影響

    已有大量文獻(xiàn)在不同情境下探索了任務(wù)復(fù)雜度與任務(wù)績效之間的關(guān)系,在總結(jié)已有研究的基礎(chǔ)上,Liu和Li[38]將任務(wù)復(fù)雜性與任務(wù)績效的關(guān)系歸結(jié)為了四類:

    (1)任務(wù)復(fù)雜度與任務(wù)績效負(fù)相關(guān)。大多數(shù)任務(wù)復(fù)雜度的研究都支持了任務(wù)復(fù)雜度與任務(wù)績效之間的負(fù)相關(guān)關(guān)系。因為低復(fù)雜度的任務(wù)意味著較低的資源需求量,對認(rèn)知、短期記憶、心理等方面的要求要低于高復(fù)雜度的任務(wù)[11],且有學(xué)者認(rèn)為低復(fù)雜度的情況下,人們的決策和執(zhí)行能力更加準(zhǔn)確[39],因此低復(fù)雜度任務(wù)的任務(wù)績效一般會高于高復(fù)雜度任務(wù)的任務(wù)績效。

    (2)任務(wù)復(fù)雜度與任務(wù)績效正相關(guān)。部分學(xué)者在實證研究中發(fā)現(xiàn),任務(wù)復(fù)雜度有可能會正向激勵任務(wù)績效的提高。如在學(xué)習(xí)任務(wù)中,任務(wù)復(fù)雜度可以激發(fā)潛力,提高學(xué)習(xí)績效[40];在一些重復(fù)性比較高的工作中,任務(wù)復(fù)雜度可以通過提高工作興趣而提升任務(wù)績效[41]。

    (3)任務(wù)復(fù)雜度對任務(wù)績效的影響會受到其他因素的調(diào)節(jié)作用。在這種觀點下,任務(wù)復(fù)雜度與任務(wù)績效的關(guān)系會受到其他因素的調(diào)節(jié)與制約。

    (4)任務(wù)復(fù)雜度與任務(wù)績效的關(guān)系呈倒Y型。有些學(xué)者認(rèn)為,在一定閾值范圍內(nèi),任務(wù)復(fù)雜度水平的增加會促進(jìn)任務(wù)績效的提升,但當(dāng)任務(wù)復(fù)雜度水平超過任務(wù)執(zhí)行者的能力范圍之后,過高的任務(wù)復(fù)雜度反而會降低任務(wù)績效[18]。

    綜上所述,任務(wù)復(fù)雜度的變化確實會影響任務(wù)績效的高低。在本文的研究中,由于筆者選取了資源需求量和子任務(wù)數(shù)量作為任務(wù)復(fù)雜度的兩個測量維度,即任務(wù)復(fù)雜度水平越高的任務(wù),對資源的需求越高,子任務(wù)的數(shù)量也越多,相應(yīng)的,對任務(wù)執(zhí)行者的能力和時間的要求也就越高;且本文所選取的任務(wù)為數(shù)字人文類眾包平臺中的手稿抄錄任務(wù),該類任務(wù)本身具有一定的難度和挑戰(zhàn)性,并非枯燥的重復(fù)性工作和學(xué)習(xí)任務(wù),筆者認(rèn)為抄錄任務(wù)中任務(wù)復(fù)雜度的增加對參與者的激勵作用不大。因此,在上述分析的基礎(chǔ)上,本文提出了如下假設(shè):

    H1:任務(wù)復(fù)雜度的高低會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效,且隨著任務(wù)復(fù)雜度的增高,任務(wù)績效反而會降低。

    3.2? ? 領(lǐng)域知識對任務(wù)績效的影響

    如前所述,現(xiàn)有研究關(guān)于領(lǐng)域知識的研究主要集中在信息檢索領(lǐng)域。研究者對領(lǐng)域知識與檢索策略、行為與結(jié)果之間的關(guān)系進(jìn)行了一系列的探索,并從不同的角度得出了不同的結(jié)果。有學(xué)者認(rèn)為,領(lǐng)域知識水平較高的檢索者與領(lǐng)域知識水平較低的檢索者相比,檢索過程更高效,檢索結(jié)果也更準(zhǔn)確。但是在領(lǐng)域知識的作用機(jī)制方面,不同學(xué)者有不同看法,Hoelscher和Strube[28]認(rèn)為,領(lǐng)域知識水平高的檢索者可以得到更多相關(guān)的檢索結(jié)果,進(jìn)而得到較好的搜索結(jié)果;Tabatabai和Shore[42]則認(rèn)為,領(lǐng)域知識水平高的檢索者檢索結(jié)果更好是因為領(lǐng)域知識可以幫助他們更好地區(qū)分相關(guān)與不相關(guān)的檢索結(jié)果;Xie和Cool[43]認(rèn)為,領(lǐng)域知識水平高的檢索者可以更好的尋求檢索環(huán)境中的各類幫助,從而更順暢的進(jìn)行搜索過程;除此之外,Allen[44]發(fā)現(xiàn),領(lǐng)域知識水平高的檢索者可利用更多的關(guān)鍵詞進(jìn)行檢索,制定更加精確的檢索式來找到想要的結(jié)果。在學(xué)術(shù)信息搜索的情境下,Wu等[45]利用實驗的方法,探索了領(lǐng)域知識與協(xié)同經(jīng)驗對協(xié)同學(xué)術(shù)信息搜尋行為的影響,研究結(jié)果發(fā)現(xiàn),領(lǐng)域知識與協(xié)同經(jīng)驗均能提高群體的協(xié)同學(xué)術(shù)信息搜尋行為,且領(lǐng)域知識的影響要高于協(xié)同經(jīng)驗。上述所有研究結(jié)果均顯示,領(lǐng)域知識正向影響檢索結(jié)果。然而,還有部分研究并沒有發(fā)現(xiàn)領(lǐng)域知識與檢索結(jié)果之間的顯著關(guān)系。如Campbell[33]發(fā)現(xiàn),在檢索經(jīng)驗一致的情況下,領(lǐng)域知識對檢索結(jié)果的影響并不顯著[33]。

    綜上所述,在本文的研究情境下,筆者認(rèn)為領(lǐng)域知識水平高的參與者完成的抄錄任務(wù)績效會更高。首先,領(lǐng)域知識水平高的參與者,其識別繁體字、閱讀文言文的能力更強(qiáng);其次,在抄錄過程中遇到超越自身能力的困難時,領(lǐng)域知識水平高的參與者也可以更迅速、精確地找到與之相關(guān)的資料來完成抄錄,并保證抄錄的質(zhì)量?;谏鲜龇治?,本文提出了第二個假設(shè):

    H2:參與者領(lǐng)域知識的豐富度會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。

    3.3? ? 任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的交互影響

    人們普遍認(rèn)為,個體的績效取決于任務(wù)特征(如復(fù)雜性和緊迫性)、任務(wù)執(zhí)行者特征(如知識和技能)和環(huán)境特征(如噪音和溫度)之間的相互作用[14]。在本文的實驗設(shè)計中,由于采取了準(zhǔn)實驗的研究方法,在自然的情況下進(jìn)行實驗處理,不會像實驗室實驗一樣控制環(huán)境等無關(guān)變量,因此本文探究的是任務(wù)特征(任務(wù)復(fù)雜性)與任務(wù)執(zhí)行者特征(領(lǐng)域知識)之間的相互作用對眾包抄錄任務(wù)的任務(wù)績效的影響。如前所述,任務(wù)復(fù)雜度越高,其子任務(wù)數(shù)量就越多,對參與者認(rèn)知等資源需求的要求也就越高;而領(lǐng)域知識水平較高的參與者,其獲取相關(guān)資料的能力較強(qiáng),因此面對任務(wù)復(fù)雜度較高的任務(wù)時,領(lǐng)域知識水平較高的參與者,其認(rèn)知資源需求會低于領(lǐng)域知識水平較低的參與者。因此,本文假設(shè),任務(wù)復(fù)雜度與領(lǐng)域知識間的交互作用會影響眾包抄錄中的任務(wù)績效。

    H3:任務(wù)復(fù)雜度與參與者領(lǐng)域知識,對數(shù)字人文類眾包抄錄平臺中的任務(wù)績效存在交互影響。

    4? ?實驗設(shè)計

    4.1? ? 實驗背景

    本文的實驗設(shè)計依托于上海圖書館的盛宣懷檔案抄錄項目,該項目是我國目前較為典型的大型數(shù)字人文類眾包抄錄項目之一。選擇該項目的理由如下:

    (1)豐富的史料資源:收藏于上海圖書館的盛宣懷檔案收錄了盛宣懷家族自1850至1936年間共計17萬余件的檔案記錄,檔案內(nèi)容涉及到清朝末年的政治、經(jīng)濟(jì)、社會、軍事、外交、金融、貿(mào)易、教育等各個方面,史料類型涵蓋日記、文稿、信札、電報、賬冊、電文、合同、章程等多種形式。由此,盛宣懷檔案被譽(yù)為“中國私人檔案第一藏”。

    (2)珍貴的歷史價值:盛宣懷檔案眾包抄錄項目對研究中國清末到近現(xiàn)代歷史而言具有重要意義。盛宣懷(1844-1916)是清朝末年重要的政治家與企業(yè)家,曾參與過洋務(wù)運(yùn)動、辛亥革命等重大歷史事件。因而盛宣懷檔案被視為研究“中國近代史的第一手史料寶庫”,對該檔案的抄錄具有重要的歷史價值。

    (3)完善的眾包平臺:由于盛宣懷檔案存在著數(shù)量巨大、識別困難(如手寫繁體、字跡模糊、紙張損壞)等問題,因此除了依靠有限的專業(yè)人員進(jìn)行數(shù)字化之外,招募大量參與者進(jìn)行眾包抄錄顯得極為重要。為此,上海圖書館于2016年發(fā)布了一個線上眾包抄錄平臺,并經(jīng)過測試與修改,于2017年正式啟動了該在線平臺[46]。該平臺持續(xù)發(fā)布盛宣懷檔案抄錄任務(wù),并支持專業(yè)人員與業(yè)余愛好者對盛宣懷檔案進(jìn)行在線抄錄。

    4.2? ? 變量設(shè)定

    在實驗研究中,較為常見的變量設(shè)置方式即為二分變量設(shè)置法,很多研究都采用了2×2的實驗組設(shè)計來探究兩個自變量及其交互作用對因變量的影響[47-48]。在本文的實驗研究中,也將兩個自變量——任務(wù)復(fù)雜度與領(lǐng)域知識,均設(shè)置為了二分變量(形成的2×2實驗組見圖1)。

    具體到單個變量的測定,本文將結(jié)合每個變量的內(nèi)在特征與實際的抄錄任務(wù)特征,來對具體變量進(jìn)行測定。首先,在對任務(wù)復(fù)雜度的測定中,如本文所述,將采取子任務(wù)數(shù)量及完成任務(wù)所需的資源總量兩個指標(biāo)來衡量任務(wù)復(fù)雜度水平。子任務(wù)數(shù)量,反映到具體的眾包抄錄任務(wù)特征中,即為抄錄任務(wù)中的圖片數(shù)量。在盛宣懷檔案眾包抄錄平臺中,每一個抄錄任務(wù)會提供不同數(shù)量的任務(wù)圖片,數(shù)量在一張到幾十張不等(見圖2),圖中所示的抄錄任務(wù)為信函抄錄任務(wù)(施亦爵致盛宣懷函),其中,“頁數(shù)”表示的是該任務(wù)的任務(wù)圖片張數(shù),在該任務(wù)中,任務(wù)圖片數(shù)量為7張。在本次實驗中,筆者所選取的抄錄任務(wù)的任務(wù)圖片數(shù)量均在10張及以內(nèi)。因此,任務(wù)圖片數(shù)量多于5張即代表子任務(wù)數(shù)量較多,任務(wù)圖片數(shù)量低于5張(含5張)即為子任務(wù)數(shù)量較少的任務(wù)。

    至于完成任務(wù)的資源需求量,由于完成盛宣懷檔案的抄錄任務(wù)需翻閱大量歷史資料,以確定相應(yīng)的地名與人名,同時,還需查找相應(yīng)的字體資料(如簡繁體對應(yīng)、楷書、行書、草書等不同字體的演變情況等),以確保抄錄內(nèi)容的準(zhǔn)確無誤。該過程需要大量的注意力資源(如視聽、認(rèn)知、精神資源等)、身體心理資源及短期記憶資源的投入。因此本文認(rèn)為,任務(wù)圖片中字體為楷體且圖片保存完好的抄錄任務(wù),在完成過程中所需的資源總量較少,與之相對的,任務(wù)圖片字體為行書或草書且存在破損、模糊等問題的抄錄任務(wù),完成過程中的資源需求量較多(見圖3)。如圖中所示的兩張任務(wù)圖片中,抄錄左圖所示的任務(wù)圖片所需的資源總量,明顯少于抄錄右圖所示任務(wù)圖片所需的資源總量。

    在對領(lǐng)域知識的測量中,本研究所涉及的領(lǐng)域知識主要包括歷史背景和古漢語識別兩方面的專業(yè)知識。在此基礎(chǔ)上,本文設(shè)計了相應(yīng)問卷來量化參與者的領(lǐng)域知識水平,問卷共包含6個問題,前4個問題測量的是參與者對盛宣懷及其時代背景等相關(guān)史實的了解水平,包括對清朝末年相關(guān)歷史、洋務(wù)運(yùn)動相關(guān)歷史、辛亥革命相關(guān)歷史以及盛宣懷本人生平的了解程度;后2個問題測量的是參與者對古漢語及文言文的了解程度,包括對古漢語中繁體字的識別能力和文言文的閱讀理解能力。所有問題均通過李克特5級量表進(jìn)行測量,分?jǐn)?shù)越高,說明參與者對歷史背景和古漢語的了解程度越高。在進(jìn)行實驗之前,參與者需先完成該問卷,報告其領(lǐng)域知識水平。筆者根據(jù)參與者的自我報告情況,計算6個問題的平均分作為該參與者的領(lǐng)域知識水平。最后計算所有參與者的領(lǐng)域知識水平的平均分,并將領(lǐng)域知識水平高于平均分的參與者歸為高領(lǐng)域知識水平組,領(lǐng)域知識水平低于平均分的參與者歸為低領(lǐng)域知識水平組。

    在對任務(wù)績效的測量中,筆者邀請了3位古漢語專業(yè)的專家,來對參與者提交的40個任務(wù)進(jìn)行打分。3位專家將根據(jù)任務(wù)的完成情況、抄錄準(zhǔn)確度等進(jìn)行打分。專家將通過盛宣懷檔案抄錄平臺進(jìn)行評分(見圖4),抄錄基本無誤為5星,記作5分,抄錄錯誤率在80%以上為1星,記作1分。星數(shù)越多,分值越高,說明任務(wù)的績效越高。

    4.3? ? 實驗步驟

    數(shù)字人文類眾包抄錄平臺中任務(wù)績效差異的實驗步驟如下:

    (1)實驗對象招募:為招募本次實驗的實驗對象,本文通過張貼海報、線上宣傳等方式,招募了40位對盛宣懷檔案抄錄項目感興趣的參與者。其中,被試者來自于不同專業(yè),學(xué)歷基本在本科及以上。在被試進(jìn)行實驗之前,筆者先通過網(wǎng)絡(luò)問卷測試了被試者的領(lǐng)域知識水平。通過計算所有問項的平均分,得到被試者領(lǐng)域知識水平的最終得分。通過對領(lǐng)域知識水平得分進(jìn)行平均分割,將40位被試分為高領(lǐng)域知識水平組與低領(lǐng)域知識水平組。每組均包括20位被試者。

    (2)實驗材料準(zhǔn)備:本文從盛宣懷檔案眾包抄錄平臺中選取了任務(wù)圖片數(shù)量與資源需求總量不同的40個任務(wù)。其中包括檔案頁數(shù)在5頁及以下、字體為正楷體、保存完好的低復(fù)雜度任務(wù)20個,以及檔案頁數(shù)在6-10頁、字體為草書或行書、紙張有破損的高復(fù)雜度任務(wù)20個。

    (3)試驗任務(wù)分配:將10個低復(fù)雜度任務(wù)與10個高復(fù)雜度任務(wù)隨機(jī)分配給高領(lǐng)域知識水平組的20位被試者,同理,將剩余的10個低復(fù)雜度任務(wù)與10個高復(fù)雜度任務(wù)也隨機(jī)分配給低領(lǐng)域知識水平組的20位被試者。保證每個組別中均包含10位被試者。任務(wù)分配結(jié)束之后給予被試者足夠的時間進(jìn)行任務(wù)抄錄,直至被試者在平臺上提交任務(wù)為止。

    (4)任務(wù)評估:在所有被試者提交抄錄任務(wù)之后,古漢語專業(yè)的三位專家將在平臺中對被試者提交的40個任務(wù)進(jìn)行評估。專家們將根據(jù)被試者的任務(wù)完成情況及抄錄準(zhǔn)確率進(jìn)行打分。分值為1-5分,分?jǐn)?shù)越高,說明任務(wù)的完成績效越高。

    (5)數(shù)據(jù)分析:為探究任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的影響,本文擬選取方差分析(ANOVA)的研究方法,即分別采取單因素方差分析(One Way ANOVA)和雙因素方差分析(Two Way ANOVA)的方法來研究任務(wù)復(fù)雜度和領(lǐng)域知識對任務(wù)績效的單獨(dú)影響和交互影響。數(shù)據(jù)處理方面,本文采用了SPSS 19.0軟件中的ANOVA和GLM方法,來實現(xiàn)對實驗數(shù)據(jù)的處理。

    5? ?實驗結(jié)果分析

    5.1? ? 任務(wù)復(fù)雜度對任務(wù)績效的影響分析

    假設(shè)1探討的是任務(wù)復(fù)雜度的高低對任務(wù)績效的差異化影響。根據(jù)描述性統(tǒng)計分析的結(jié)果可知,本次實驗的全部有效觀察值為40個,包括20個低任務(wù)復(fù)雜度觀察值與20個高任務(wù)復(fù)雜度觀察值,且低任務(wù)復(fù)雜度組(M=4.75,SD=0.444)與高任務(wù)復(fù)雜度組(M=2.90,SD=1.021)的任務(wù)績效均值存在明顯差異。

    為進(jìn)一步檢驗不同任務(wù)復(fù)雜度水平之間的任務(wù)績效是否有顯著差異,本文采取了單因素方差分析的方法來對實驗結(jié)果進(jìn)行分析(分析結(jié)果見表1)。

    由ANOVA摘要表可知,不同任務(wù)復(fù)雜度組間的任務(wù)績效得分差異具有統(tǒng)計學(xué)意義(F(1,38)=55.225,P<0.001)。為進(jìn)一步探討任務(wù)復(fù)雜度高低與任務(wù)績效得分之間的關(guān)系,本文以任務(wù)復(fù)雜度為自變量、任務(wù)績效均值為因變量繪制了柱狀圖(見圖5),低任務(wù)復(fù)雜度組的平均任務(wù)績效(M=4.75,SD=0.444)明顯高于高任務(wù)復(fù)雜度組的平均任務(wù)績效(M=2.90,SD=1.021)。即數(shù)字人文類眾包抄錄平臺中任務(wù)的復(fù)雜度會影響任務(wù)績效,且任務(wù)的復(fù)雜度較低時,完成任務(wù)的績效比較高。

    5.2? ? 領(lǐng)域知識對任務(wù)績效的影響分析

    假設(shè)2探討的是領(lǐng)域知識水平的高低對任務(wù)績效的差異化影響。首先,由描述性統(tǒng)計分析的結(jié)果可知,實驗的全部有效觀察值為40個,包括20個高領(lǐng)域知識水平觀察值與20個低領(lǐng)域知識水平觀察值,且高領(lǐng)域知識水平組的平均任務(wù)績效(M=4.25,SD=0.91)與低領(lǐng)域知識水平組的平均任務(wù)績效(M=3.40,SD=1.353)之間也存在差異。

    為進(jìn)一步檢驗不同領(lǐng)域知識水平之間的任務(wù)績效是否有顯著差異,本文繼續(xù)采用單因素方差分析的方法來分析實驗結(jié)果(見表2)。

    由不同領(lǐng)域知識水平分析結(jié)果表可知,不同領(lǐng)域知識水平小組的組間任務(wù)績效得分差異具有統(tǒng)計學(xué)意義(F(1,38)=5.431,P<0.05)。為進(jìn)一步探討領(lǐng)域知識水平高低與任務(wù)績效得分之間的關(guān)系,本文以領(lǐng)域知識水平為自變量、任務(wù)績效均值為因變量繪制了柱狀圖(見圖6),高領(lǐng)域知識水平組的平均任務(wù)績效(M=4.25,SD=0.91)要高于低領(lǐng)域知識水平組的平均任務(wù)績效(M=3.40,SD=1.353)。即數(shù)字人文類眾包抄錄平臺中參與者的領(lǐng)域知識水平會影響任務(wù)績效,且領(lǐng)域知識水平較高的參與者,其完成任務(wù)的績效比較高。

    5.3? ? 任務(wù)復(fù)雜度和領(lǐng)域知識對任務(wù)績效的交互作用分析

    假設(shè)3探究的是任務(wù)的復(fù)雜度與參與者的領(lǐng)域知識水平,是否會對任務(wù)績效產(chǎn)生交互影響。在進(jìn)行雙因素方差分析之前,首先需對自變量之間(即任務(wù)復(fù)雜度與領(lǐng)域知識之間)是否存在交互作用進(jìn)行一個判斷,在進(jìn)行統(tǒng)計檢驗之前,可先通過任務(wù)復(fù)雜度與領(lǐng)域知識之間的變量均值圖進(jìn)行直觀判斷。

    一般來說,如果自變量均值圖中的兩條線平行,則可以初步判定自變量之間不存在交互作用;但如果兩條線相交或者延長后可能相交,則可認(rèn)為自變量之間可能存在交互作用(見圖7),圖中兩張自變量均值圖中的線均可能相交,所以可以初步判定自變量——任務(wù)復(fù)雜度和領(lǐng)域知識之間,很大可能上存在交互作用。

    雖然變量均值圖展示了任務(wù)復(fù)雜度和領(lǐng)域知識之間的交互作用的直觀結(jié)果,但由于圖形結(jié)果可能存在抽樣誤差,所以還需要通過統(tǒng)計檢驗來判斷交互作用是否存在。

    采用SPSS 19.0軟件中的GLM方法,來對實驗數(shù)據(jù)進(jìn)行雙因素方差分析(分析結(jié)果見表3)。

    由表可知,任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的交互作用顯著(F(1,36)=8.188,P<0.01,Partial Eta2=0.185),即復(fù)雜度較低的任務(wù)的完成績效要高于任務(wù)復(fù)雜度高的任務(wù)績效,且這種差異在領(lǐng)域知識水平較低的參與者身上,比在領(lǐng)域知識水平較高的參與者身上表現(xiàn)得更明顯;且高領(lǐng)域知識水平的參與者完成的任務(wù)績效要高于低領(lǐng)域知識水平參與者的任務(wù)績效,且這種差異在高任務(wù)復(fù)雜度組中,比在低任務(wù)復(fù)雜度組中表現(xiàn)得更加明顯。假設(shè)3得以驗證。且任務(wù)復(fù)雜度(F(1,36)=92.639,P<0.001,Partial Eta2=0.720)和領(lǐng)域知識(F(1,36)=19.556,P<0.001,Partial Eta2=0. 352)的主效應(yīng)均顯著。進(jìn)一步進(jìn)行簡單主效應(yīng)分析,得出分析結(jié)果(見表4)。

    由表可知,就數(shù)字人文類眾包抄錄平臺中的任務(wù)績效而言,低任務(wù)復(fù)雜度-高領(lǐng)域知識水平>低任務(wù)復(fù)雜度-低領(lǐng)域知識水平>高任務(wù)復(fù)雜度-高領(lǐng)域知識水平>高任務(wù)復(fù)雜度-低領(lǐng)域知識水平。

    6? ?結(jié)果討論與啟示

    6.1? ? 研究結(jié)論

    本文利用準(zhǔn)實驗的研究方法,探究了在數(shù)字人文類眾包抄錄平臺中,任務(wù)復(fù)雜度與領(lǐng)域知識及其交互作用對任務(wù)績效的影響。研究結(jié)果發(fā)現(xiàn):

    (1)任務(wù)復(fù)雜度會對影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效,且兩者之間為負(fù)相關(guān)的關(guān)系,即任務(wù)復(fù)雜度越高,任務(wù)績效反而越低。

    (2)領(lǐng)域知識也會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。兩者之間為正相關(guān)關(guān)系,即領(lǐng)域知識水平越高的參與者,任務(wù)績效也會越高。

    (3)任務(wù)復(fù)雜度與領(lǐng)域知識之間的交互作用會對數(shù)字人文類眾包抄錄平臺中的任務(wù)績效產(chǎn)生影響。任務(wù)復(fù)雜度會影響領(lǐng)域知識與任務(wù)績效之間的關(guān)系,在低任務(wù)復(fù)雜度水平下,領(lǐng)域知識對任務(wù)績效的影響較小,而在高任務(wù)復(fù)雜度水平下,領(lǐng)域知識對任務(wù)績效的影響非常大;領(lǐng)域知識也會影響任務(wù)復(fù)雜度與任務(wù)績效之間的關(guān)系,對于高領(lǐng)域知識水平的參與者,任務(wù)復(fù)雜度對任務(wù)績效的影響并不大,而對于低領(lǐng)域知識水平的參與者,不同任務(wù)復(fù)雜度水平下的任務(wù)績效有較大差異。

    6.2? ? 研究啟示

    本文的研究結(jié)論對于提高眾包抄錄平臺中的任務(wù)績效而言有一定的參考價值。

    (1)對眾包抄錄任務(wù)進(jìn)行細(xì)粒度劃分,考慮任務(wù)復(fù)雜度因素。在當(dāng)前的眾包抄錄任務(wù)劃分中,大部分任務(wù)是根據(jù)內(nèi)容或時間劃分的,如將某一封完整信函作為一個任務(wù),或者將時間相近的一組圖片作為一個任務(wù)。但是這種劃分方式對任務(wù)復(fù)雜度的考慮較少,如包含一封完整信函的任務(wù)圖片可能會超過二十張。參與者在認(rèn)領(lǐng)這樣一組任務(wù)之后,很容易會因為任務(wù)復(fù)雜度過高而中途放棄或者索性提交質(zhì)量較差的抄錄結(jié)果。本文的研究結(jié)論表明,任務(wù)復(fù)雜度會顯著影響任務(wù)績效,因此,筆者建議數(shù)字人文類眾包抄錄平臺在進(jìn)行任務(wù)劃分時,充分考慮任務(wù)復(fù)雜度因素,如保證每個任務(wù)的圖片數(shù)量適中,一個任務(wù)中不要包含太多破損或者字體難以辨認(rèn)的任務(wù)圖片等,這種細(xì)粒度劃分有利于降低整體的任務(wù)復(fù)雜度,從而提高平臺中的任務(wù)績效。

    (2)參與者的招募過程需重“質(zhì)”而非重“量”。與其他眾包平臺不同,數(shù)字人文類眾包平臺對參與者的領(lǐng)域知識要求比較高,很多眾包抄錄任務(wù)適合交給高領(lǐng)域知識水平的參與者,而非所有的參與者均可勝任。以往就有學(xué)者提出在招募志愿者時,選擇興趣較高且具有扎實基礎(chǔ)知識的參與者往往優(yōu)于招募普通的參與者[49]。因此,本文建議數(shù)字人文類眾包抄錄平臺在進(jìn)行參與者招募時,需考慮領(lǐng)域知識的影響,對參與者的知識水平進(jìn)行一定程度的審核,盡量選擇領(lǐng)域知識水平較高的參與者來完成抄錄任務(wù)。

    (3)在平臺設(shè)計中增加任務(wù)匹配機(jī)制,實現(xiàn)任務(wù)與參與者的匹配。以往已有研究設(shè)計了科研眾包平臺下的任務(wù)匹配機(jī)制[50],筆者認(rèn)為,在數(shù)字人文類眾包平臺中,考慮任務(wù)匹配機(jī)制的設(shè)計也非常重要,因為任務(wù)復(fù)雜度與領(lǐng)域知識水平的匹配是影響眾包任務(wù)績效的重要因素。對于數(shù)字人文類眾包抄錄平臺而言,在低任務(wù)復(fù)雜度水平下,高領(lǐng)域知識與低領(lǐng)域知識參與者之間的任務(wù)績效差異不大,而在高任務(wù)復(fù)雜度水平下,不同領(lǐng)域知識水平的參與者之間的任務(wù)績效就有明顯差異。因此,本文建議,在數(shù)字人文類眾包抄錄平臺中設(shè)計任務(wù)匹配機(jī)制,將任務(wù)復(fù)雜度較低的任務(wù)分配給領(lǐng)域知識水平一般的參與者,鼓勵領(lǐng)域知識水平較高的用戶接收任務(wù)復(fù)雜度較高的任務(wù),實現(xiàn)任務(wù)與接包方的匹配。

    7? ?結(jié)語

    本文基于我國較為典型的數(shù)字人文類眾包抄錄平臺,利用準(zhǔn)實驗的研究方法,對影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效的影響因素進(jìn)行了探索。研究發(fā)現(xiàn),任務(wù)復(fù)雜度、參與者的領(lǐng)域知識及兩者之間的相互作用均會對任務(wù)績效產(chǎn)生影響?;谏鲜霭l(fā)現(xiàn),本文在平臺的任務(wù)劃分、參與者招募與任務(wù)匹配角度提出了一定的實踐建議。文章還存在著一些研究局限,如鑒于國內(nèi)目前數(shù)字人文類眾包抄錄平臺數(shù)量不多,本研究僅基于盛宣懷檔案眾包抄錄平臺,可能導(dǎo)致研究結(jié)論的代表性不高。另外,在被試者數(shù)量、以及變量的測量方面也存在一定的缺陷,未來的研究將在本研究的基礎(chǔ)上,擴(kuò)大樣本量,細(xì)化研究變量,進(jìn)一步探討影響數(shù)字人文類眾包抄錄平臺中任務(wù)績效的因素與作用機(jī)制。

    參考文獻(xiàn):

    [1]? Toms E G,O"Brien H L.Understanding the information and communication technology needs of the e-humanist[J].Journal of Documentation,2008,64(1):102-130.

    [2]? Trace C B,Karadkar U P.Information management in the humanities:Scholarly processes,tools,and the construction of personal collections[J].Journal of the Association for Information Science and Technology,2017,68(2):491-507.

    [3]? 趙宇翔.科研眾包視角下公眾科學(xué)項目芻議:概念解析、模式探索及學(xué)科機(jī)遇[J].中國圖書館學(xué)報,2017,43(5):42-56.

    [4]? 張軒慧,趙宇翔,宋小康.數(shù)字人文類公眾科學(xué)項目持續(xù)發(fā)展階段的公眾參與動因探索——基于盛宣懷檔案抄錄案例的扎根分析[J].圖書情報知識,2018(3):16-25,77.

    [5]? Alam S L,Campbell J.Crowdsourcing Motivations in a not-for-profit GLAM context:The Australian Newspapers Digitisation Program[C].In:Proceedings of the 23rd Australasian Conference on Information System.Victoria,Australia,2012:1-11.

    [6]? Rotman D,Preece J,Hammock J,Lewis D,et al.Dynamic changes in motivation in collaborative citizen-science projects[C].In:Proceedings of the ACM conference on computer supported cooperative work.Seattle,WA,2012:217-226.

    [7]? Laut J,Cappa F,Nov O,et al.Increasing citizen science contribution using a virtual peer[J].Journal of the Association for Information Science and Technology,2017,68(3):583-593.

    [8]? Zhao Y,Zhu Q.Conceptualizing task affordance in online crowdsourcing context[J].Online Information Review,2016,40(7):938-958.

    [9]? Campbell D J.Task complexity:A review and analysis[J].Academy of management review,1988,13(1):40-52.

    [10]? Park J.The Complexity of Proceduralized Tasks[M].London:Springer,2009.

    [11]? Jacko J A,Ward K G.Toward establishing a link between psychomotor task complexity and human information processing[J].Computers & Industrial Engineering,1996,31(1-2):533-536.

    [12]? Li K,Wieringa P A.Understanding Perceived Complexity in Human Supervisory Control[J].Cognition,Technology & Work,2000,2(2):75-88.

    [13]? Bettman J R,Johnson E J,Payne J W.A Componential Analysis of Cognitive Effort in Choice[J].Organizational Behavior & Human Decision Processes,1990,45(1):111-139.

    [14]? Liu P,Li Z.Task complexity:A review and conceptualization framework[J].International Journal of Industrial Ergonomics,2012,42(6):553-568.

    [15]? McCracken J H,Aldrich T B.Analyses of selected LHX mission functions:Implications for operator workload and system automation goals[R].ANACAPA SCIENCES INC FORT RUCKER AL,1984.

    [16]? Vande Ven,F(xiàn)erry.Measuring and assessing organizations[M].New York:Wiley,1980.

    [17]? Brown T M,Miller C E.Communication Networks in Task-Performing Groups:Effects of Task Complexity,Time Pressure,and Interpersonal Dominance[J].Small Group Research,2000,31(2):131-157.

    [18]? Wood R E.Task complexity:Definition of the construct[J].Organizational Behavior & Human Decision Processes,1986,37(1):60-82.

    [19]? Zhang Y,Li Z,Wu B,et al.A spaceflight operation complexity measure and its experimental validation[J].International Journal of Industrial Ergonomics,2009,39(5):756-765.

    [20]? Katriina Bystr?觟m,Murtonen K,Kalervo J?覿rvelin,et al.Task Complexity Affects Information Seeking and Use[J].Information Processing & Management,1995,31(2):191-213.

    [21]? Woods D D.Coping with complexity:the psychology of human behaviour in complex systems[M].Tasks,errors,and mental models.Taylor & Francis,Inc,1988.

    [22]? Schwab D P,Cummings L L.A Theoretical Analysis of the Impact of Task Scope on Employee Performance[J].Academy of Management Review,1976,1(2):23-35.

    [23]? Ham D H,Park J,Jung W.Model-based identification and use of task complexity factors of human integrated systems[J].Reliability Engineering & System Safety,2012,100(none):33-47.

    [24]? Maynard D C,Hakel M D.Effects of objective and subjective task complexity on performance[J].Human Performance,1997,

    10(4):303-330.

    [25]? Chiesi H L,Spilich G J,Voss J F.Acquisition of domain-related information in relation to high and low domain knowledge[J].Journal of Verbal Learning and Verbal Behavior,1979,18(3):257-273.

    [26]? Polanyi M.The Tacit Dimension[M].Garden City,New York,Doubleday,1966.

    [27]? Wildemuth B M.The effects of domain knowledge on search tactic formulation[J].Journal of the Association for Information Science & Technology,2004,55(3):246-258.

    [28]? Hoelscher C,Strube G.Web search behavior of Internet experts and newbies[J].Computer Networks,2000,33(1-6):337-346.

    [29]? Vakkari P,Pennanen M,Serola S.Changes of search terms and tactics while writing a research proposal:A longitudinal case study[J].Information Processing & Management,2003,39(3):445-463.

    [30]? De Bliek R,F(xiàn)riedman C P,Wildemuth B M,et al.Information Retrieved from a Database and the Augmentation of Personal Knowledge[J].Journal of the American Medical Informatics Association,1994,1(4):328-338.

    [31]? Hsieh-Yee I.Effects of search experience and subject knowledge on the search tactics of novice and experienced searchers[J].Journal of the Association for Information Science & Technology,1993,44(3):161-174.

    [32]? Jensen M C,Murphy K J.Performance Pay and Top-Management Incentives[J].Journal of Political Economy,1990,98(2):225-264.

    [33]? Campbell J P.An Overview of the Army Selection and Classification Project (Project A)[J].Personnel Psychology,1990,43(2):231-239.

    [34]? Borman W C,Motowidlo S J.Expanding the criterion domain to include elements of contextual performance[C].In N.Schmitt,W.C.Borman & Associates (Eds.),Personnel selection in organizations.San Francisco:Jossey-Bass,1993:22-27.

    [35]? Borman W C,Motowidlo S J.Task Performance and Contextual Performance:The Meaning for Personnel Selection Research[J].Human Performance,1997,10(2):99-109.

    [36]? 王輝,李曉軒,羅勝強(qiáng).任務(wù)績效與情境績效二因素績效模型的驗證[J].中國管理科學(xué),2003(4):79-84.

    [37]? 薛金紅.領(lǐng)導(dǎo)-成員交換與組織公民行為及任務(wù)績效關(guān)系的實證研究[D].上海:上海交通大學(xué),2011.

    [38]? Liu P,Li Z.Toward understanding the relationship between task complexity and task performance[C].International Conference on Internationalization.Springer-Verlag,2011.

    [39]? Jacko J A,Salvendy G,Koubek R J.Modelling of menu design in computerized work[J].Interacting with Computers,1995,7(3):304-330.

    [40]? Mascha M F.The Effect of Task Complexity and Expert System Type on the Acquisition of Procedural Knowledge:Some New Evidence[J].International Journal of Accounting Information Systems,2001(2):103-124.

    [41]? Pepinsky P N,Pepinsky H B,Pavlik W B.The effects of task complexity and time pressure upon team productivity[J].Journal of Applied Psychology,1960,44(1):34-38.

    [42]? Tabatabai D,Shore B M.How experts and novices search the Web[J].Library & Information Science Research,2005,27(2):222-248.

    [43]? Xie I,Cool C.Understanding help seeking within the context of searching digital libraries[J].Journal of the American Society for Information Science and Technology,2009,60(3):477-494.

    [44]? Allen Bryce.Topic Knowledge and Online Catalog Search Formulation[J].The Library Quarterly,1991,61(2):188-213.

    [45]? Wu D,Liang S,Xiang X.The Impacts of Mutual Collaboration Experience and Domain Knowledge Levels on CAIS Behavior:An Experimental Study[J].International Journal of Libraries and Information Services,2017,67(1):51-64.

    [46]? 上海圖書館.盛宣杯檔案抄錄平臺[EB/OL].[2019-01-01].http://zb.library.sh.cn.

    [47]? Jung W,Olfman L,Ryan T,et al.An experimental study of the effects of contextual data quality and task complexity on decision performance[C].IRI -2005 IEEE International Conference on Information Reuse and Integration,Conf,2005.IEEE,2005.

    [48]? Fehrenbacher D D,Palit I.A Quasi-Experimental Analysis on the Influence of Satisfaction and Complexity on Information Quality Outcomes[J].Journal of Information Systems,2013,27(2):65-86.

    [49]? Terras M M.Crowdsourcing in the digital humanities[A].Schreibman,S.,Siemens,R.,Unsworth,J.(eds.)A New Companion to Digital Humanities.Wiley-Blackwell,2016:420-439.

    [50]? 陳英奇,趙宇翔,朱慶華.科研眾包視角下公眾科學(xué)項目的任務(wù)匹配模型研究[J].圖書情報知識,2018(3):6-17.

    猜你喜歡
    數(shù)字人文
    圖書館未來的技術(shù)應(yīng)用與發(fā)展
    數(shù)據(jù)驅(qū)動下的高校圖書館數(shù)字人文服務(wù)研究
    漢傳佛教文化遺產(chǎn)數(shù)字化建設(shè)現(xiàn)狀調(diào)查與特征分析
    數(shù)字人文2011—2016年研究綜述
    數(shù)字人文時代公共圖書館經(jīng)典閱讀推廣研究
    數(shù)字人文時代公共圖書館經(jīng)典閱讀推廣研究
    數(shù)字人文目標(biāo)下圖書館信息服務(wù)模式研究
    數(shù)字學(xué)術(shù)與公眾科學(xué):數(shù)字圖書館新生態(tài)
    跨界與融合:全球視野下的數(shù)字人文
    跨界與融合:全球視野下的數(shù)字人文
    a 毛片基地| 人妻一区二区av| 老司机亚洲免费影院| 精品熟女少妇八av免费久了| 国产在线视频一区二区| 午夜精品国产一区二区电影| 免费在线观看影片大全网站 | 亚洲国产欧美日韩在线播放| 黄色 视频免费看| 日韩中文字幕欧美一区二区 | 国产在线免费精品| 国产欧美日韩精品亚洲av| 国产淫语在线视频| 宅男免费午夜| 日韩 欧美 亚洲 中文字幕| 欧美av亚洲av综合av国产av| 日韩欧美一区视频在线观看| 国产精品av久久久久免费| 99精品久久久久人妻精品| 老司机午夜十八禁免费视频| 精品第一国产精品| 色播在线永久视频| 国产片内射在线| 操美女的视频在线观看| 99香蕉大伊视频| 一级,二级,三级黄色视频| 久久精品国产亚洲av涩爱| 1024香蕉在线观看| 国产在线视频一区二区| 美女高潮到喷水免费观看| 99精国产麻豆久久婷婷| 成年美女黄网站色视频大全免费| 成在线人永久免费视频| 一级毛片黄色毛片免费观看视频| 免费女性裸体啪啪无遮挡网站| 亚洲黑人精品在线| 久久九九热精品免费| 国产成人免费观看mmmm| 色婷婷久久久亚洲欧美| 国产av一区二区精品久久| 最近最新中文字幕大全免费视频 | 精品少妇黑人巨大在线播放| 中国美女看黄片| 国产男女内射视频| 侵犯人妻中文字幕一二三四区| 精品国产一区二区三区四区第35| 电影成人av| 国产97色在线日韩免费| 超碰成人久久| 午夜免费观看性视频| 亚洲欧美精品自产自拍| 亚洲国产欧美在线一区| 欧美日韩av久久| 日本欧美视频一区| 久久久亚洲精品成人影院| 久久久久国产一级毛片高清牌| 午夜免费鲁丝| 亚洲精品一区蜜桃| 少妇裸体淫交视频免费看高清 | 亚洲国产欧美在线一区| 777久久人妻少妇嫩草av网站| 国产又爽黄色视频| 日本黄色日本黄色录像| 亚洲国产av新网站| 欧美 亚洲 国产 日韩一| 国产爽快片一区二区三区| 欧美成人精品欧美一级黄| 在线 av 中文字幕| 久久综合国产亚洲精品| 性少妇av在线| 亚洲国产欧美一区二区综合| 美女高潮到喷水免费观看| 日韩精品免费视频一区二区三区| 亚洲第一青青草原| 亚洲成人国产一区在线观看 | 18在线观看网站| 久久性视频一级片| 成年美女黄网站色视频大全免费| 国产欧美日韩一区二区三 | 在线观看一区二区三区激情| 老汉色∧v一级毛片| 亚洲av在线观看美女高潮| 久热这里只有精品99| 国产精品.久久久| 香蕉丝袜av| 超色免费av| 大香蕉久久成人网| 一级片免费观看大全| 久久精品国产亚洲av高清一级| 日韩av不卡免费在线播放| 日韩av不卡免费在线播放| av网站免费在线观看视频| 黄网站色视频无遮挡免费观看| 免费看av在线观看网站| 精品人妻一区二区三区麻豆| 午夜免费男女啪啪视频观看| 九草在线视频观看| 母亲3免费完整高清在线观看| 久久久精品区二区三区| 精品人妻1区二区| 搡老岳熟女国产| 国产在线视频一区二区| 高清黄色对白视频在线免费看| 波多野结衣一区麻豆| 亚洲国产av影院在线观看| 国产片内射在线| 色婷婷久久久亚洲欧美| 精品一区二区三卡| 天堂中文最新版在线下载| 久久久精品国产亚洲av高清涩受| av一本久久久久| 9热在线视频观看99| 波多野结衣av一区二区av| 熟女av电影| 日韩av不卡免费在线播放| 亚洲成国产人片在线观看| 天堂8中文在线网| 中文字幕精品免费在线观看视频| 五月天丁香电影| 狠狠精品人妻久久久久久综合| 国产精品二区激情视频| 国产福利在线免费观看视频| 日韩一卡2卡3卡4卡2021年| 久9热在线精品视频| 中文字幕亚洲精品专区| 久久人人爽人人片av| 热re99久久精品国产66热6| av国产久精品久网站免费入址| av国产久精品久网站免费入址| 亚洲精品久久久久久婷婷小说| 亚洲精品国产一区二区精华液| 91精品伊人久久大香线蕉| 黄网站色视频无遮挡免费观看| 少妇精品久久久久久久| 丁香六月天网| 亚洲av电影在线观看一区二区三区| 国产精品亚洲av一区麻豆| 成年女人毛片免费观看观看9 | 国产又爽黄色视频| 亚洲欧美精品综合一区二区三区| 91麻豆av在线| 黄色毛片三级朝国网站| 午夜91福利影院| 欧美成人午夜精品| 亚洲国产精品成人久久小说| 中文字幕高清在线视频| 五月天丁香电影| 嫩草影视91久久| 国产成人一区二区在线| 欧美精品人与动牲交sv欧美| 国产精品秋霞免费鲁丝片| av天堂久久9| www日本在线高清视频| 天天躁夜夜躁狠狠躁躁| 久久亚洲国产成人精品v| 人成视频在线观看免费观看| 日本vs欧美在线观看视频| 日日夜夜操网爽| 午夜两性在线视频| 1024香蕉在线观看| 男女边摸边吃奶| 性少妇av在线| 国产亚洲av高清不卡| 亚洲精品美女久久久久99蜜臀 | 黄色 视频免费看| 国产精品av久久久久免费| 一级毛片电影观看| av在线app专区| 纵有疾风起免费观看全集完整版| 精品高清国产在线一区| 免费看不卡的av| 女警被强在线播放| 一级黄色大片毛片| 大陆偷拍与自拍| www.精华液| 悠悠久久av| 一级毛片黄色毛片免费观看视频| 看免费av毛片| 久久久精品免费免费高清| 午夜av观看不卡| 亚洲欧美清纯卡通| 亚洲久久久国产精品| 日本vs欧美在线观看视频| 亚洲欧美精品综合一区二区三区| 亚洲成色77777| 免费久久久久久久精品成人欧美视频| 天天躁夜夜躁狠狠躁躁| 汤姆久久久久久久影院中文字幕| 国产免费视频播放在线视频| 热99久久久久精品小说推荐| 久久久久久亚洲精品国产蜜桃av| 国产视频一区二区在线看| av有码第一页| 伦理电影免费视频| 女人高潮潮喷娇喘18禁视频| 一区二区三区精品91| 亚洲成人手机| a级片在线免费高清观看视频| 视频区图区小说| 黄色视频在线播放观看不卡| 五月开心婷婷网| 亚洲国产中文字幕在线视频| 国产亚洲精品第一综合不卡| 别揉我奶头~嗯~啊~动态视频 | 精品一品国产午夜福利视频| 一级毛片 在线播放| 亚洲五月色婷婷综合| 亚洲av日韩精品久久久久久密 | 午夜福利视频在线观看免费| 欧美人与性动交α欧美精品济南到| 免费在线观看视频国产中文字幕亚洲 | 国产精品99久久99久久久不卡| 久久鲁丝午夜福利片| 国产亚洲欧美精品永久| 国产深夜福利视频在线观看| 日韩大码丰满熟妇| 五月天丁香电影| 美女高潮到喷水免费观看| 夫妻午夜视频| 乱人伦中国视频| 久久免费观看电影| 国产成人免费无遮挡视频| 国产深夜福利视频在线观看| 国产精品国产三级国产专区5o| 日本wwww免费看| 91老司机精品| 亚洲精品国产av蜜桃| 亚洲国产日韩一区二区| 亚洲人成电影观看| xxx大片免费视频| 国产免费一区二区三区四区乱码| 亚洲国产毛片av蜜桃av| 1024视频免费在线观看| 国产97色在线日韩免费| 搡老乐熟女国产| 美女福利国产在线| 精品人妻一区二区三区麻豆| 中文字幕另类日韩欧美亚洲嫩草| 首页视频小说图片口味搜索 | 美女午夜性视频免费| 岛国毛片在线播放| 别揉我奶头~嗯~啊~动态视频 | 两性夫妻黄色片| 午夜福利视频在线观看免费| 亚洲国产精品一区二区三区在线| 极品人妻少妇av视频| 亚洲欧美清纯卡通| 精品亚洲乱码少妇综合久久| 国产福利在线免费观看视频| 久久久久久久久免费视频了| 韩国精品一区二区三区| 久久人妻熟女aⅴ| 国产激情久久老熟女| 热re99久久国产66热| 欧美人与性动交α欧美软件| 精品少妇一区二区三区视频日本电影| av片东京热男人的天堂| 亚洲av片天天在线观看| 97在线人人人人妻| 日本a在线网址| 午夜激情久久久久久久| 亚洲专区国产一区二区| 熟女av电影| 欧美成狂野欧美在线观看| 欧美日韩视频高清一区二区三区二| 婷婷色av中文字幕| 在线天堂中文资源库| 男女下面插进去视频免费观看| 精品一区在线观看国产| 美女视频免费永久观看网站| 亚洲国产日韩一区二区| 精品国产一区二区久久| 热99国产精品久久久久久7| 黄片小视频在线播放| 伊人亚洲综合成人网| 免费久久久久久久精品成人欧美视频| 国产片特级美女逼逼视频| 亚洲欧美色中文字幕在线| 天堂中文最新版在线下载| 色综合欧美亚洲国产小说| 水蜜桃什么品种好| 欧美老熟妇乱子伦牲交| 久久久久久人人人人人| 在线观看免费视频网站a站| 亚洲av电影在线进入| 午夜av观看不卡| 亚洲精品国产一区二区精华液| 又粗又硬又长又爽又黄的视频| 国产亚洲av片在线观看秒播厂| 国产一级毛片在线| 一区福利在线观看| 女人久久www免费人成看片| 欧美亚洲 丝袜 人妻 在线| 50天的宝宝边吃奶边哭怎么回事| 亚洲精品在线美女| 尾随美女入室| 麻豆av在线久日| 制服人妻中文乱码| 久久久久久人人人人人| 亚洲成av片中文字幕在线观看| 最近中文字幕2019免费版| 老汉色av国产亚洲站长工具| 男女之事视频高清在线观看 | 91麻豆av在线| 亚洲,一卡二卡三卡| 色婷婷av一区二区三区视频| 午夜福利视频精品| 波多野结衣av一区二区av| 老司机影院毛片| 国产精品人妻久久久影院| 男女国产视频网站| 一级黄片播放器| 亚洲精品美女久久久久99蜜臀 | 一级黄色大片毛片| 性高湖久久久久久久久免费观看| 日韩制服骚丝袜av| 一区二区三区乱码不卡18| 男人添女人高潮全过程视频| 国产精品 国内视频| 我的亚洲天堂| av线在线观看网站| av网站免费在线观看视频| 搡老乐熟女国产| 亚洲图色成人| 人成视频在线观看免费观看| 午夜免费鲁丝| av在线app专区| a级毛片在线看网站| 青青草视频在线视频观看| 91字幕亚洲| 国产福利在线免费观看视频| 国产一区二区 视频在线| 91字幕亚洲| 人成视频在线观看免费观看| 看免费av毛片| 国产精品香港三级国产av潘金莲 | 妹子高潮喷水视频| 99国产综合亚洲精品| 男女国产视频网站| 午夜视频精品福利| 肉色欧美久久久久久久蜜桃| 精品一区二区三区av网在线观看 | 777米奇影视久久| 欧美日韩亚洲高清精品| 男女边摸边吃奶| 中文字幕高清在线视频| 欧美老熟妇乱子伦牲交| 中文字幕色久视频| 性色av一级| 欧美在线一区亚洲| 一级毛片我不卡| 国产不卡av网站在线观看| 亚洲成国产人片在线观看| 老汉色∧v一级毛片| 国产伦人伦偷精品视频| 看免费av毛片| 秋霞在线观看毛片| a级片在线免费高清观看视频| 色婷婷av一区二区三区视频| 亚洲中文字幕日韩| 免费观看av网站的网址| 国产视频首页在线观看| 国产亚洲精品第一综合不卡| 国产福利在线免费观看视频| 国产人伦9x9x在线观看| 免费看av在线观看网站| 黄色视频不卡| 美女扒开内裤让男人捅视频| 每晚都被弄得嗷嗷叫到高潮| 欧美日韩综合久久久久久| 日日夜夜操网爽| 国产av一区二区精品久久| 免费在线观看黄色视频的| 手机成人av网站| 九草在线视频观看| 国产亚洲午夜精品一区二区久久| 国产欧美日韩一区二区三区在线| 国产成人精品久久久久久| 欧美大码av| 亚洲少妇的诱惑av| 汤姆久久久久久久影院中文字幕| 一本综合久久免费| 亚洲av电影在线进入| 国产免费一区二区三区四区乱码| 肉色欧美久久久久久久蜜桃| 亚洲午夜精品一区,二区,三区| 亚洲av欧美aⅴ国产| 手机成人av网站| 天天躁夜夜躁狠狠久久av| 久久久久国产精品人妻一区二区| 国产精品国产三级专区第一集| 麻豆乱淫一区二区| 国产一区二区三区av在线| 免费看av在线观看网站| 黄色片一级片一级黄色片| 亚洲专区中文字幕在线| 成人国产av品久久久| 免费在线观看视频国产中文字幕亚洲 | 亚洲av日韩在线播放| 咕卡用的链子| 最近中文字幕2019免费版| 一区二区三区乱码不卡18| 精品免费久久久久久久清纯 | 国产精品一国产av| 美女视频免费永久观看网站| 日本wwww免费看| 91成人精品电影| 国产成人欧美在线观看 | 色视频在线一区二区三区| 久久av网站| 免费在线观看日本一区| 波野结衣二区三区在线| 在现免费观看毛片| 亚洲精品久久久久久婷婷小说| 国产无遮挡羞羞视频在线观看| 99精品久久久久人妻精品| 韩国精品一区二区三区| 可以免费在线观看a视频的电影网站| 青春草视频在线免费观看| 久久久精品94久久精品| 中文字幕人妻丝袜一区二区| 国产成人免费无遮挡视频| 大陆偷拍与自拍| 在现免费观看毛片| 免费高清在线观看视频在线观看| 午夜精品国产一区二区电影| 亚洲精品乱久久久久久| 国产精品久久久人人做人人爽| 9色porny在线观看| 波野结衣二区三区在线| 中文乱码字字幕精品一区二区三区| 男女边摸边吃奶| 欧美日韩黄片免| 18禁黄网站禁片午夜丰满| 老熟女久久久| 熟女少妇亚洲综合色aaa.| 国产一卡二卡三卡精品| 日日夜夜操网爽| 叶爱在线成人免费视频播放| 国产精品99久久99久久久不卡| 国产精品成人在线| 久久人人97超碰香蕉20202| 首页视频小说图片口味搜索 | 脱女人内裤的视频| 人人妻人人澡人人爽人人夜夜| 最近手机中文字幕大全| 亚洲一区二区三区欧美精品| 亚洲国产欧美日韩在线播放| 最新在线观看一区二区三区 | h视频一区二区三区| 91麻豆av在线| 亚洲国产精品999| xxxhd国产人妻xxx| 久久国产精品大桥未久av| 亚洲精品日本国产第一区| 日韩av不卡免费在线播放| 婷婷色av中文字幕| 性少妇av在线| 久久久精品免费免费高清| 精品一区二区三区av网在线观看 | 黄网站色视频无遮挡免费观看| 久9热在线精品视频| 极品少妇高潮喷水抽搐| 国产精品免费大片| 国产在线视频一区二区| 中文字幕精品免费在线观看视频| 婷婷色麻豆天堂久久| 国产精品一二三区在线看| 视频区图区小说| 国产精品麻豆人妻色哟哟久久| 国产精品免费大片| 久久鲁丝午夜福利片| 国产成人精品久久二区二区免费| 亚洲av日韩在线播放| 久久人人爽人人片av| 99热国产这里只有精品6| 18禁观看日本| 少妇人妻 视频| 成人国产一区最新在线观看 | h视频一区二区三区| 成人三级做爰电影| 成年动漫av网址| 成人影院久久| 亚洲中文av在线| 老司机亚洲免费影院| 久久99精品国语久久久| 国产在线一区二区三区精| 国产男女内射视频| 啦啦啦 在线观看视频| 亚洲自偷自拍图片 自拍| 色精品久久人妻99蜜桃| 亚洲 国产 在线| 国产亚洲欧美精品永久| 国产一区二区三区综合在线观看| 免费在线观看视频国产中文字幕亚洲 | 麻豆国产av国片精品| 无遮挡黄片免费观看| 久久ye,这里只有精品| 啦啦啦 在线观看视频| 老司机深夜福利视频在线观看 | 色视频在线一区二区三区| 精品国产一区二区三区久久久樱花| 亚洲精品一卡2卡三卡4卡5卡 | 欧美日韩亚洲国产一区二区在线观看 | 美女大奶头黄色视频| 成年人午夜在线观看视频| 久热这里只有精品99| 精品国产乱码久久久久久男人| 黄色a级毛片大全视频| 18禁国产床啪视频网站| 亚洲国产精品一区三区| 亚洲国产精品999| 我的亚洲天堂| 久久精品国产亚洲av涩爱| 国产日韩一区二区三区精品不卡| 精品国产一区二区三区四区第35| 七月丁香在线播放| 亚洲成人免费av在线播放| 亚洲国产av新网站| 亚洲伊人色综图| 99久久精品国产亚洲精品| 亚洲精品一区蜜桃| 免费不卡黄色视频| 精品人妻一区二区三区麻豆| 十分钟在线观看高清视频www| tube8黄色片| 在线av久久热| 日韩视频在线欧美| 欧美中文综合在线视频| 欧美变态另类bdsm刘玥| 青春草亚洲视频在线观看| 亚洲,欧美,日韩| 50天的宝宝边吃奶边哭怎么回事| 久久久久精品人妻al黑| av国产精品久久久久影院| 岛国毛片在线播放| 亚洲中文日韩欧美视频| 午夜福利免费观看在线| 一区二区三区乱码不卡18| 成年美女黄网站色视频大全免费| 成年人午夜在线观看视频| 一级,二级,三级黄色视频| 一区二区三区激情视频| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩 欧美 亚洲 中文字幕| 亚洲 欧美一区二区三区| 欧美在线一区亚洲| 丝瓜视频免费看黄片| 亚洲精品国产色婷婷电影| 久久国产精品大桥未久av| 日韩一区二区三区影片| 免费不卡黄色视频| 悠悠久久av| 91麻豆av在线| 五月开心婷婷网| 亚洲专区国产一区二区| 操美女的视频在线观看| 欧美黑人欧美精品刺激| 亚洲精品日本国产第一区| 操出白浆在线播放| 成人午夜精彩视频在线观看| 午夜91福利影院| 成人手机av| 美女午夜性视频免费| 久久久久久久久免费视频了| 国产三级黄色录像| 亚洲国产最新在线播放| 大型av网站在线播放| 一级a爱视频在线免费观看| 国产精品成人在线| 18禁观看日本| 亚洲av男天堂| 日韩 欧美 亚洲 中文字幕| 青春草亚洲视频在线观看| 女性生殖器流出的白浆| 久久精品亚洲熟妇少妇任你| 嫁个100分男人电影在线观看 | 日韩伦理黄色片| 亚洲成人免费av在线播放| av一本久久久久| 99re6热这里在线精品视频| 99久久99久久久精品蜜桃| 中文字幕人妻丝袜制服| 日韩 亚洲 欧美在线| 观看av在线不卡| 男女午夜视频在线观看| 亚洲国产欧美在线一区| 久久毛片免费看一区二区三区| 国产日韩一区二区三区精品不卡| 岛国毛片在线播放| 色精品久久人妻99蜜桃| 国产成人欧美| 亚洲人成77777在线视频| 国产一区二区 视频在线| 欧美 日韩 精品 国产| 777米奇影视久久| 亚洲视频免费观看视频| 精品卡一卡二卡四卡免费| 精品福利永久在线观看| 亚洲欧美精品综合一区二区三区| 中文字幕人妻熟女乱码| 精品一区二区三卡| 精品一区二区三区av网在线观看 | 高清av免费在线| 捣出白浆h1v1| 精品久久久精品久久久| 国产成人影院久久av| 日韩制服丝袜自拍偷拍| √禁漫天堂资源中文www| 亚洲av日韩精品久久久久久密 | 亚洲,欧美,日韩| 一区二区三区乱码不卡18| 欧美日韩成人在线一区二区| 极品少妇高潮喷水抽搐| 丰满人妻熟妇乱又伦精品不卡|