• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    感官評價小組及成員排序能力評估的一般導(dǎo)則

    2014-01-21 02:32:35史波林汪厚銀支瑞聰蘇玉芳張璐璐
    食品科學(xué) 2014年17期
    關(guān)鍵詞:重復(fù)性排序感官

    史波林,趙 鐳,*,奐 暢,汪厚銀,支瑞聰,蘇玉芳,解 楠,李 志,張璐璐

    感官評價小組及成員排序能力評估的一般導(dǎo)則

    史波林1,趙 鐳1,*,奐 暢2,汪厚銀1,支瑞聰1,蘇玉芳3,解 楠1,李 志1,張璐璐1

    (1.中國標(biāo)準(zhǔn)化研究院食品與農(nóng)業(yè)標(biāo)準(zhǔn)化研究所,北京 100191;2.上海大學(xué)計算機工程與科學(xué)學(xué)院,上海 200444;3.內(nèi)蒙古伊利實業(yè)集團股份有限公司技術(shù)中心,內(nèi)蒙古 呼和浩特 010110)

    針對感官評價小組及成員排序能力的評估,提出重復(fù)性、再現(xiàn)性與一致性的評估指標(biāo)。分析了排序?qū)嶒灅悠贩N類、樣品間差異程度及樣品個數(shù)對感官分析儀器性能評估的重要性。確定了以樣品間的排列秩次作為能力評估統(tǒng)計的基礎(chǔ)數(shù)據(jù)形式。排序能力評估中,對于無理論順序樣品,通過剔除重復(fù)性與再現(xiàn)性異常評價員結(jié)果后,采用Friedman檢驗結(jié)合最小顯著性差(least significant difference,LSD)確定實驗樣品的最優(yōu)估計順序。文章重點分析用于雙變量的Spearman秩相關(guān)及用于多變量的Kendall和諧系數(shù),在評價小組及評價員的重復(fù)性、再現(xiàn)性與一致性等性能評估中的具體技術(shù)應(yīng)用方法與理論分析。為感官評價小組及成員排序能力評估提出了良好操作示范,也為不同感官實驗室評價小組間比對提供了理論基礎(chǔ)。既有利于評價小組及成員的長期監(jiān)測,也有利于感官分析實驗室的良好管理能力。

    感官分析;排序法;評價小組及評價員;能力評估

    感官分析是一門測量技術(shù),其評價活動可分成有無差別、差別程度與差別方向這3個層次,分別對應(yīng)差別檢驗、標(biāo)度與類別、描述性分析這3 類客觀性感官分析測量方法[1]。測量中按其精度從低到高可分為定類、定序、定距和定比測量這4 個層次,分別對應(yīng)感官分析中的名義標(biāo)度、順序標(biāo)度、等距標(biāo)度、等比標(biāo)度[2-3]。

    排序法屬于標(biāo)度和類別檢驗方法,為檢驗時給評價員同時提供3 個或以上樣品,要求評價員將樣品按某種感官特性的強弱或?qū)悠氛w印象的好壞進行排列的分類方法[4]??捎糜诖_定不同原料、加工、處理、包裝和貯藏等條件對產(chǎn)品一個或多個感官指標(biāo)強度水平的影響,或進行精細(xì)感官分析(如描述性分析)前的預(yù)篩,也可用于篩選、培訓(xùn)評價員。排序法體現(xiàn)為感官分析中的順序標(biāo)度,是典型的定序測量。排序法是以名義標(biāo)度為代表的差別檢驗與以等距或等比標(biāo)度為代表的描述性分析的橋梁。也就是,若評價員或評價小組對樣品間差異感覺不出其強度順序,則他們只適合進行差別檢驗活動;而對于排序能力好的評價小組及成員就有可能通過進一步培訓(xùn)而成為描述性分析小組。因此,排序能力的好壞對感官評價小組的能力提高與發(fā)展起到舉足輕重的作用,其感官評價小組及成員排序能力的評估技術(shù)方法意義非凡。而國內(nèi)外有關(guān)此方面研究的文獻報道只出現(xiàn)于2003年,為McEwan等[5]專門研究了感官排序檢測的實驗室比對,是目前唯一系統(tǒng)介紹評價小組排序性能比對的研究;該研究重點形成了這類能力比對的技術(shù)流程與每個環(huán)節(jié)的判別標(biāo)準(zhǔn),但只是排序表現(xiàn)評估中的能力比對方面。

    對于優(yōu)秀的評價員和評價小組來講,排序同一系列樣品的多次結(jié)果間理應(yīng)具有很好的重復(fù)性、再現(xiàn)性和一致性,有時甚至隨著能力的提高,其排序結(jié)果逐漸接近實際理論順序。由此,感官評價小組及成員排序能力評估重點是分析排序檢驗結(jié)果的重復(fù)性、再現(xiàn)性與一致性問題[6]。重復(fù)性為評價小組或評價員對同一系列樣品在不同時間中多次排序結(jié)果之間的一致程度。再現(xiàn)性為同一評價小組內(nèi)部不同評價員之間或不同評價小組之間對同一系列樣品排序結(jié)果之間的一致程度。一致性為同一系列樣品,評價小組或評價員每次排序結(jié)果與理論順序或最優(yōu)估計順序之間的一致程度。對于評價小組及其成員的感官排序能力評估,需要借助系列參比樣品、通過排序?qū)嶒炘O(shè)計,采用合適的統(tǒng)計分析方法才能獲得針對重復(fù)性、再現(xiàn)性和一致性的評估,這些同樣也構(gòu)成了感官評價小組及成員排序能力評估技術(shù)的理論體系。

    1 排序能力評估技術(shù)中樣品因素的影響分析

    感官評價是“被試樣品”與“評價小組(評價員)”博弈的體現(xiàn),它既可以通過合格的評價小組來分析樣品感官品質(zhì),也可以通過已知的樣品性能來考察評價小組及其成員的能力[7]。被試樣品間的差異性難度把握對于評價員及評價小組的表現(xiàn)評估至關(guān)重要。若樣品難度過低,所有評價小組及成員的每次評價結(jié)果一致并正確,但未真正達到性能考察的作用;若樣品難度過大,幾乎所有評價小組及成員的每次評價結(jié)果一致卻不正確,也同樣失去性能評估的意義。

    排序能力面對的樣品是系列樣品,對于樣品的選擇需要考慮3 個問題:1)選擇什么種類的樣品用于排序能力的表現(xiàn)評估;2)系列樣品中兩兩之間的多少差異程度比較合適;3)采用多少個系列樣品用于評估測試效率較高。

    對于第1個樣品選擇問題,也就是對于樣品種類來講,在通用實驗室可以采用基本味、嗅、視等樣品;在具體產(chǎn)品的生產(chǎn)公司可采用本公司的實際產(chǎn)品或相應(yīng)的模擬體系物質(zhì)。

    對于第2個樣品難度問題,每次評估的結(jié)果都一樣(要么每次都排對,要么每次都排的很亂),也就沒有評估的意義,則對于各基本感覺都有個門檻值。至少是優(yōu)選評價員所用排序樣品的濃度GB/T 16291.1—2012《感官分析選拔、培訓(xùn)與管理評價員一般導(dǎo)則第1部分:優(yōu)選評價員》[8],并結(jié)合排序法Spearman系數(shù)臨界值確定的數(shù)學(xué)依據(jù),來設(shè)計樣品濃度難度。結(jié)合評價小組成員的實際敏感度,建議相鄰樣品間的差異在差別閾值的1~1.5 倍之間選擇。

    對于第3個樣品個數(shù)問題,需要分析對4、5、6、7 個樣品分別排序的難度,以及Spearman系數(shù)臨界值確定背后的數(shù)學(xué)依據(jù),這個難度的把握類似于理化檢測中誤差限的確定,誤差限范圍越小難度就越大,反之難度降低。一般建議評估用樣品數(shù)為5或6 個。

    2 評估技術(shù)統(tǒng)計原理及感官數(shù)據(jù)表現(xiàn)形式

    排序檢驗的結(jié)果是每個評價員對樣品的排列秩序,其中每個樣品都有各自的序位,即秩;樣品間差異只代表強度的前后順序,而不能代表差異大小。這類定序數(shù)據(jù)內(nèi)部不可以加減乘除處理,而序列之間數(shù)據(jù)只可以加減處理,但不可以進行乘除運算,由此可以計算同一樣品多次排序的秩和[9]。

    排序能力評估就是考察定序數(shù)據(jù)間的一致性,也就是排序結(jié)果之間的離散性或相關(guān)性,即秩相關(guān)或等級相關(guān)(rank correlation)。它是用雙變量或多變量等級/排序數(shù)據(jù)作相關(guān)分析,即是一種先將x、y或多變量分別按由小到大的次序編上排序,或者變量本身就是排序資料,然后分析兩變量或多變量排序間是否相關(guān)的一種非參數(shù)相關(guān)分析法[10]。此法適用于以下特征的數(shù)據(jù):1)不服從正態(tài)分布,因而不宜作一般直線相關(guān)分析;2)總體分布性未知;3)用等級表示的原始數(shù)據(jù)。

    秩相關(guān)程度的大小及性質(zhì)用秩相關(guān)系數(shù)表示,取值為-1~+1。常用的秩相關(guān)分析方法有Spearman秩相關(guān)和Kendall秩相關(guān)。Spearman秩相關(guān)用于兩個變量的情形,Kendall和諧系數(shù)(Kendall一致性系數(shù))用于多個變量的情形。

    3 排序檢驗樣品最優(yōu)估計順序確定

    在評價小組及評價員排序能力評估時,需要在已知樣品排序前提下,通過樣品來考察感官分析“儀器”的好壞。一般自制的模擬樣品,都有已知順序。但在真實樣品測試中,往往很難直接知道樣品某屬性或整體感官品質(zhì)的排列,如系列酸奶樣品的酸度、系列煙葉樣品的油分等。它們的最優(yōu)估計排序需要通過某評價小組或多個評價小組來確定。當(dāng)進行感官分析實驗室間比對時,需要多個評價小組來確定;而對于特定實驗室評價小組及其成員的維護,就只需該小組來確定最優(yōu)估計順序。

    3.1 通過單個評價小組確定最優(yōu)估計排序

    3.1.1 評價員異常排序結(jié)果分析與剔除

    確定系列樣品的最優(yōu)估計順序一般需要評價小組的多次重復(fù),對于每位評價員個體也同樣經(jīng)歷了多次重復(fù)排序?qū)嶒?。在此基礎(chǔ)上剔除評價員個體自身重復(fù)性比較差的排序結(jié)果,接著剔除評價小組單次排序中小組內(nèi)部再現(xiàn)性較差的評價員排序結(jié)果,然后就可以根據(jù)剩下的多次重復(fù)排序結(jié)果計算最優(yōu)估計排序。

    3.1.1.1 重復(fù)性異常評價員排序剔除

    肯德爾(Kendall)和諧系數(shù)是分析兩個以上順序變量之間的相關(guān)性(一致性或等效性)問題,即可用于評價員的重復(fù)性判別[11]。按照公式(1)計算Kendall和諧系數(shù)。

    式中:rw為Kendall和諧系數(shù);K表示重復(fù)次數(shù);n表示被試樣品個數(shù);Ri表示K個評價次數(shù)在第i個樣品上所排秩次之和。

    對于評價員個體,若多次排序結(jié)果間的重復(fù)性良好,也就是每次排序結(jié)果穩(wěn)定、等效,無某次排序異?,F(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好,也就是每次排序結(jié)果無穩(wěn)定、較離散,必然有一些排序結(jié)果比較偏離整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。通過舍一法(舍去任意一次排序結(jié)果j),計算對應(yīng)剩余排序之間的重復(fù)性r’wj,并與所有重復(fù)排序后的rw進行比較。若舍去的排序結(jié)果與整體多次排序比較等效,其剩余排序間的r’wj≤rw;若舍去的排序結(jié)果與整體多次排序間重復(fù)性不好,其剩余排序間的r’wj≥rw。由此,將所有r’wj按照降序排列,然后逐一從r’wj大到小所對應(yīng)舍去的排序結(jié)果進行分析,結(jié)合Kendall和諧系數(shù)的顯著性檢驗,考察某次重復(fù)排序結(jié)果與整體多次排序的離散性。

    3.1.1.2 再現(xiàn)性異常評價員排序剔除

    對于評價小組的某次排序?qū)嶒?,若小組成員中所有評價員排序結(jié)果間的再現(xiàn)性良好,也就是評價小組排序結(jié)果內(nèi)部對系列樣品特征排列認(rèn)識統(tǒng)一、觀點一致,無某評價員排序異?,F(xiàn)象。若評價小組內(nèi)部不同評價員排序結(jié)果再現(xiàn)性不好,也就是評價小組結(jié)果不穩(wěn)定、內(nèi)部成員較離散,必然有一些評價員排序結(jié)果比較偏離小組整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。

    Friedman檢驗?zāi)茏畲笙薅鹊娘@示評價小組對樣品間差異的識別能力[12]。按照公式(2)計算Friedman檢驗系數(shù)Ftest。

    式中:Ri為第i個樣品上所排秩次之和;p為評價員個數(shù);n表示被試樣品個數(shù)。

    通過舍一法(舍去任意一個評價員排序結(jié)果k),計算對應(yīng)剩余評價員組成的評價小組Friedman檢驗結(jié)果F’test,并與整體Ftest進行比較。若舍去的評價員結(jié)果與小組整體排序比較等效,其剩余小組的F’test≤Ftest;若舍去的評價員結(jié)果與小組整體等效性不好,其剩余排序間的F’test≥Ftest。由此,將所有F’test按照降序排列,然后逐一從F’test大到小所對應(yīng)舍去的評價員進行分析,結(jié)合Ftest的顯著性檢驗,考察再現(xiàn)性不佳的評價員。

    3.1.2 確定評價小組對樣品的排序

    將自身重復(fù)性不好的評價員排序結(jié)果與小組內(nèi)再現(xiàn)性不好的評價員排序結(jié)果一起剔除后,計算各樣品的秩和,并根據(jù)升序排列,其各樣品秩和大小的前后順序說明了評價小組對被試樣品的評價排序。通過Friedman檢驗(如無理論順序)判斷是否有顯著差異樣品,若有顯著差異,則可通過在選定的風(fēng)險α下,計算最小顯著性差(least significant difference,LSD),通過兩兩樣品的秩和之差,并與LSD值比較,來確定哪些樣品與其他樣品存在顯著性差異(α=0.05或α=0.01)[13]。按照公式(3)計算LSD。

    式中:z為比較風(fēng)險;p為評價員個數(shù);n表示被試樣品個數(shù)。當(dāng)雙尾正概率α=0.05時,z值為1.96;α=0.01時,z值為2.58。

    若秩和之差等于或者大于LSD值,則這兩個樣品之間存在顯著性差異,即排序檢驗時,已區(qū)分出這兩個樣品之間的差異。反之,若秩和之差小于LSD值,則這兩個樣品之間不存在顯著性差異,即排序檢驗時,未區(qū)分出這兩個樣品之間的差異。即結(jié)合LSD值能反映評價小組對哪些樣品間排序無顯著差異,也就是可以歸成一類,即可排成同一秩次,由此確定評價小組多次重復(fù)排序后的系列樣品最優(yōu)估計順序。

    3.2 通過多個評價小組確定最優(yōu)估計排序

    當(dāng)進行不同感官實驗室的評價小組能力比對時,首選需要確定系列樣品的最優(yōu)估計順序,在此不以某個實驗室評價小組的排序結(jié)果為參考,而是需要所有評價小組共同認(rèn)可的排列順序。首先根據(jù)3.1節(jié)內(nèi)容確定各評價小組對特定系列產(chǎn)品的排序結(jié)果,并代表該小組的一次排序結(jié)果,n 個評價小組就有n 個排序結(jié)果,然后類似

    3.1.1 節(jié)中評價員再現(xiàn)性分析方法考察不同評價小組間的再現(xiàn)性,并剔除再現(xiàn)性差的評價小組結(jié)果,把剩余的評價小組結(jié)果根據(jù)3.1.2節(jié)的方式確定由多個評價小組獲得的系列樣品最優(yōu)估計順序。

    4 評價員個體排序能力表現(xiàn)評估技術(shù)方法

    4.1 評價員個體重復(fù)性評估

    4.1.1 評價員重復(fù)性能評估方法

    對于評價員首先要考察其重復(fù)性,也就是測量的精密性或穩(wěn)定性,不然其結(jié)果就不可信。重復(fù)性為同一評價員對同一組被試樣品在不同時間多次排序重復(fù)結(jié)果間的等效性,可通過分析Kendall(肯德爾)和諧系數(shù)(rw)的顯著性而獲得。按照公式(4)計算rw卡方檢驗值。

    式中:χ2為卡方檢驗值;K表示重復(fù)次數(shù);n表示被試樣品個數(shù);df為自由度。

    通過風(fēng)險水平α與自由度確定卡方檢驗臨界值,若大于臨界值,則表示多次排序結(jié)果具有等效性。

    4.1.2 評價員重復(fù)性動態(tài)監(jiān)控方法

    若多次排序結(jié)果間的重復(fù)性良好,也就是每次排序結(jié)果穩(wěn)定、等效,無某次排序異常現(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好,也就是每次排序結(jié)果無穩(wěn)定、較離散,必然有一些排序結(jié)果比較偏離整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。假設(shè)每周固定一天做1 輪含5 次重復(fù)的排序評估實驗,連續(xù)12 周(3 個月),共計12 輪60 次排序結(jié)果。就可以得出周重復(fù)、月重復(fù)、季重復(fù)這3 個系列rw值。而rw的顯著性檢驗統(tǒng)計量只能從整體上評估評價員的重復(fù)性能,體現(xiàn)某個時間段后的唯一性能值;但不能直觀看到評價員每次排序效果,及多次排序之間的動態(tài)監(jiān)測情況。

    根據(jù)前面的假設(shè),同時可以計算評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的Spearman秩相關(guān)系數(shù)rs值,則可動態(tài)的、直觀的觀察評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的接近程度,也在一定程度上說明了評價員的重復(fù)性。按照公式(5)計算rs[14]。

    式中:di為樣品i某次重復(fù)秩次與理論秩次的差;n表示被試樣品個數(shù)。

    在評價員多次排序中,rs相等的排列順序不一定完全重復(fù)。比如在系列樣品(正確順序為A、B、C、D、E)的某兩次排序中,第一次將最前面2 個樣品順序顛倒了(B、A、C、D、E),而第二次將最后2 個樣品顛倒了(A、B、C、E、D)。因此,在動態(tài)監(jiān)測評價員排序重復(fù)性時,需要同時參考rw與rs值。并且對于感官評價結(jié)果來講,是以評價小組結(jié)果為依據(jù),而非具體某個評價員的排序結(jié)果。這是因為評價員個體本身存在內(nèi)在差異性,也是在一定程度允許rs一致但不完全重復(fù)的現(xiàn)象存在。通過實驗發(fā)現(xiàn)多次排序的rs一致而Spearman檢驗顯著但排列順序不同的重復(fù)性rw檢驗也顯著。

    4.2 評價員個體一致性評估

    這里的一致性體現(xiàn)為評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的吻合度。則可以通過計算每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的Spearman秩相關(guān)系數(shù)rs值來體現(xiàn)。

    4.3 評價員個體再現(xiàn)性評估

    評價員個體的再現(xiàn)性主要體現(xiàn)在同一評價小組內(nèi)不同評價員排序結(jié)果之間的相關(guān)性、統(tǒng)一性,其實也由此體現(xiàn)評價小組的內(nèi)部穩(wěn)定性,具體參考3.1.1節(jié)中的再現(xiàn)性異常評價員分析方法。而從另一個角度分析,其實評價員的再現(xiàn)性體現(xiàn)了評價員自身與評價小組結(jié)果之間的吻合性,其實在一定程度上是與評價小組結(jié)果一致性的體現(xiàn)。

    5 評價小組排序能力表現(xiàn)評估技術(shù)方法

    5.1 評價小組排序結(jié)果表征方式

    計算整體評價小組對各樣品的秩和,并根據(jù)升序排列,其各樣品秩和的前后順序說明了評價小組對被試樣品的評價排序。通過Friedman檢驗(如無理論順序)或Page檢驗(若有理論順序)判斷是否有顯著差異樣品,則可通過在選定的風(fēng)險α下,計算LSD來確定哪些產(chǎn)品與其他產(chǎn)品存在無顯著性差異(α=0.05或α=0.01),也就是可以歸成一類,即可排成同一秩次,由此確定評價小組所獲得的系列樣品排序結(jié)果。按照公式(6)計算Page檢驗系數(shù)L[15]。

    式中:R1是已知樣品順序中排序為第一的樣品的秩和,依次類推,Rn就是排序為最后的樣品的秩和;n表示被試樣品個數(shù)。

    5.2 評價小組重復(fù)性評估

    同4.1節(jié)中的評價員排序重復(fù)性方法,其中評價小組某次排序結(jié)果等同于評價員某次評價排序,并通過Kendall(肯德爾)和諧系數(shù)(rw)的顯著性檢驗確定重復(fù)性。也同樣通過rw與Spearman秩相關(guān)系數(shù)rs相結(jié)合的方式動態(tài)監(jiān)測評價小組每次排序結(jié)果的重復(fù)效果。

    5.3 評價小組一致性評估

    同4.2節(jié)評價員一致性分析方法,只是將評價小組某次排序結(jié)果等同于評價員某次評價排序來處理。

    5.4 評價小組再現(xiàn)性評估

    對于具體某一評價小組再現(xiàn)性的好壞來評估該評價小組性能的作用不是很大。評價小組再現(xiàn)性主要應(yīng)用于感官分析實驗室間不同評價小組的能力比對中,特別是比對所用系列樣品沒有理論順序時,通過小組間的再現(xiàn)性剔除異常評價小組結(jié)果后獲得最優(yōu)估計順序。

    6 結(jié) 語

    在感官評價中,被測樣品與測量儀器“評價小組及成員”是一把雙刃劍,也是任何測量的博弈對立面。既需要通過已知樣品考察評價小組及其成員的性能,也可以通過性能合格“儀器”來檢測被試樣品。而被測樣品難度過高或過低都不能很好監(jiān)控“儀器”性能的細(xì)微變化,尋找適合感官評價小組表現(xiàn)評估的系列樣品至關(guān)重要。同時類似于理化檢測儀器性能評估,也需要對感官分析儀器評估指標(biāo)提出具體的量值化閾值(標(biāo)準(zhǔn)值)及相應(yīng)的允許誤差。對于特定感官分析實驗室,可以通過長期監(jiān)控確定一項適合自己實驗室的閾值與允差。對于實驗室比對來講,也需要一定實驗周期與一定數(shù)量感官分析實驗室評價小組的表現(xiàn)評估數(shù)據(jù)積累,獲得能代表現(xiàn)階段國內(nèi)評價小組整體水平的表現(xiàn)評估閾值與允差。

    [1] 趙鐳, 劉文. 感官分析技術(shù)應(yīng)用指南[M]. 北京: 中國輕工業(yè)出版社, 2011.

    [2] 張水華, 徐樹來, 王永華. 食品感官分析與實驗[M]. 北京: 化學(xué)工業(yè)出版社, 2006.

    [3] 游正林. 社會統(tǒng)計學(xué)[M]. 北京: 社會科學(xué)文獻出版社, 2010.

    [4] 中國標(biāo)準(zhǔn)化研究院, 北京工商大學(xué), 中國人民解放軍總后勤部軍需裝備研究所, 等. GB/T 12315—2008 感官分析方法學(xué)排序法[S]. 北京: 中國標(biāo)準(zhǔn)出版社, 2008.

    [5] MCEWAN J A, HEINIO R L, HUNTER E A, et al. Profi ciency testing for sensory ranking panels: measuring panel performance[J]. Food Quality and Preference, 2003, 14: 247-256.

    [6] BI J, KUESTEN C. Intraclass Correlation Coefficient (ICC): a framework for monitoring and assessing performance of trained sensory panels and panelists[J]. Journal of Sensory Studies, 2012, 27: 352-364.

    [7] 趙鐳, 劉文, 牛麗影, 等. 食品感官科學(xué)技術(shù): 發(fā)展的機遇和挑戰(zhàn)[J].中國食品學(xué)報, 2009, 9(6): 138-143.

    [8] 中國農(nóng)業(yè)科學(xué)院質(zhì)量標(biāo)準(zhǔn)與檢測技術(shù)研究所, 農(nóng)業(yè)部蔬菜水果質(zhì)量監(jiān)督檢驗測試中心(廣州). GB/T 16291.1—2012 感官分析選拔、培訓(xùn)與管理評價員一般導(dǎo)則第1部分: 優(yōu)選評價員[S]. 北京: 中國標(biāo)準(zhǔn)出版社, 2012.

    [9] STONE H, SIDEL J L. 感官評定實踐[M]. 北京: 化學(xué)工業(yè)出版社, 2007.

    [10] 邵志芳. 心理統(tǒng)計學(xué)[M]. 北京: 中國輕工業(yè)出版社, 2012.

    [11] 甘怡群, 張軼文, 鄒玲. 心理與行為科學(xué)統(tǒng)計[M]. 北京: 北京大學(xué)出版社, 2009.

    [12] International Organization for Standardization. ISO/DIS 8587—2006 Sensory Analysis-Methodology-Ranking[S]. United States: Information Handling Services, 2006.

    [13] 生慶海, 張愛霞, 馬蕊. 乳與乳制品感官品評[M]. 北京: 中國輕工業(yè)出版社, 2009.

    [14] LAWLESS H T, HEYMANN H. 食品感官評價原理與技術(shù)[M]. 北京: 中國輕工業(yè)出版社, 2001.

    [15] 王靜龍. 非參數(shù)統(tǒng)計分析[M]. 北京: 高等教育出版社, 2012.

    General Guidance for Performance Evaluation of Sensory Ranking Panels and Panelists

    SHI Bo-lin1, ZHAO Lei1,*, HUAN Chang2, WANG Hou-yin1, ZHI Rui-cong1, SU Yu-fang3, XIE Nan1, LI Zhi1, ZHANG Lu-lu1
    (1. Food and Agriculture Standardization Institute, China National Institute of Standardization, Beijing 100191, China; 2. School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China; 3. Technology Center, Inner Mongolia YiLi Industrial Group Co. Ltd., Hohhot 010110, China)

    Repeatability, reproducibility and consistency are considered as the indexes for the ranking capability of panels and panelists for sensory evaluation. The type, difference and number of samples are very important in ranking performance measurement. Rank is identified as the basic data style to evaluate the ranking capability. If the order of samples is unknown, the optimal evaluation order should be firstly confirmed by the methods combining Friedman test and least significant difference (LSD) after unsuitable panelists who have less repeatability and reproducibility are rejected. This paper was focused on the application approach of the two-variable Spearman rank correlation and Kendall coefficient of concordance for multiple variables in evaluating the repeatability, reproducibility, consistency of panels and panelists. Meanwhile, a good manufacturing practice to evaluate the ranking capability of panels and panelists has been established, which will provide a theoretical foundation for proficiency testing of sensory ranking panels from different laboratories. It is not only helpful for monitoring the performance of panels and panelists, but also for improving management capacity of sensory evaluation laboratories.

    sensory analysis; ranking; panels and panelists; performance evaluation

    TS207.3

    A

    1002-6630(2014)17-0346-05

    10.7506/spkx1002-6630-201417064

    2014-04-03

    中國標(biāo)準(zhǔn)化研究院院長基金項目(562013Y-3079);質(zhì)檢公益性行業(yè)科研專項(201410006)

    史波林(1981—),男,副研究員,博士,研究方向為食品感官評價與智能感官分析。E-mail:shibl@cnis.gov.cn

    *通信作者:趙鐳(1968—),女,副研究員,博士,研究方向為食品感官分析標(biāo)準(zhǔn)化。E-mail:zhaolei@cnis.gov.cn

    猜你喜歡
    重復(fù)性排序感官
    排序不等式
    化學(xué)分析方法重復(fù)性限和再現(xiàn)性限的確定
    昆鋼科技(2021年2期)2021-07-22 07:46:56
    恐怖排序
    節(jié)日排序
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    感官訓(xùn)練紙模
    論重復(fù)性供述排除規(guī)則
    翻斗式雨量傳感器重復(fù)性試驗統(tǒng)計處理方法
    水利信息化(2017年4期)2017-09-15 12:01:21
    感官并用,形象飽滿
    感官訓(xùn)練紙膜
    精品午夜福利视频在线观看一区| 午夜视频精品福利| www.精华液| 91麻豆av在线| 操出白浆在线播放| 美女cb高潮喷水在线观看 | 国产亚洲av嫩草精品影院| 久久久久久久精品吃奶| 国产精品久久久久久人妻精品电影| 最近视频中文字幕2019在线8| 亚洲激情在线av| 亚洲激情在线av| 美女高潮喷水抽搐中文字幕| 日韩欧美 国产精品| 亚洲人成网站在线播放欧美日韩| 麻豆一二三区av精品| 丁香六月欧美| 夜夜躁狠狠躁天天躁| 男女那种视频在线观看| 免费在线观看成人毛片| 欧美日韩福利视频一区二区| 国产淫片久久久久久久久 | 精品久久蜜臀av无| 成年人黄色毛片网站| 亚洲成人久久性| 老汉色∧v一级毛片| 人妻夜夜爽99麻豆av| 成人特级黄色片久久久久久久| 国产一级毛片七仙女欲春2| 日韩欧美 国产精品| 最好的美女福利视频网| 午夜免费成人在线视频| 免费看a级黄色片| 国产精品久久久久久亚洲av鲁大| 日本成人三级电影网站| 国产精品综合久久久久久久免费| 国产亚洲精品久久久久久毛片| www日本在线高清视频| 老熟妇乱子伦视频在线观看| 国产精品乱码一区二三区的特点| 国内精品一区二区在线观看| 亚洲成人免费电影在线观看| 黄色 视频免费看| 午夜福利在线在线| 一级a爱片免费观看的视频| 国产精品久久久人人做人人爽| 午夜免费观看网址| 国产高清视频在线观看网站| 精品久久久久久久毛片微露脸| 国产伦人伦偷精品视频| 天天添夜夜摸| 最近最新中文字幕大全免费视频| 久久精品91无色码中文字幕| 欧美日韩一级在线毛片| 亚洲人与动物交配视频| 国产麻豆成人av免费视频| 午夜激情福利司机影院| 成人三级做爰电影| 高清在线国产一区| 可以在线观看毛片的网站| 在线国产一区二区在线| 亚洲国产精品久久男人天堂| 99热6这里只有精品| av女优亚洲男人天堂 | 日本黄大片高清| 国产一区二区三区视频了| 国产精品久久久久久亚洲av鲁大| 女人高潮潮喷娇喘18禁视频| 五月伊人婷婷丁香| 久久久成人免费电影| 国产蜜桃级精品一区二区三区| 国产免费av片在线观看野外av| 国产91精品成人一区二区三区| 19禁男女啪啪无遮挡网站| 日日干狠狠操夜夜爽| 久久天躁狠狠躁夜夜2o2o| 成人性生交大片免费视频hd| 国产日本99.免费观看| 老司机午夜十八禁免费视频| 免费在线观看亚洲国产| www.www免费av| av片东京热男人的天堂| 亚洲欧洲精品一区二区精品久久久| 最新美女视频免费是黄的| 日本黄色片子视频| 天堂影院成人在线观看| 国产精品一区二区免费欧美| 美女被艹到高潮喷水动态| www日本在线高清视频| 亚洲中文字幕日韩| 午夜福利高清视频| 天天躁狠狠躁夜夜躁狠狠躁| 99久久精品热视频| 亚洲精品美女久久久久99蜜臀| 18禁美女被吸乳视频| 国产麻豆成人av免费视频| 窝窝影院91人妻| 国产精品国产高清国产av| 不卡一级毛片| 少妇人妻一区二区三区视频| 国产欧美日韩一区二区三| 一二三四社区在线视频社区8| 露出奶头的视频| 夜夜爽天天搞| 成人无遮挡网站| bbb黄色大片| 国产激情久久老熟女| 欧美高清成人免费视频www| 网址你懂的国产日韩在线| 1000部很黄的大片| 日韩成人在线观看一区二区三区| 在线免费观看的www视频| 噜噜噜噜噜久久久久久91| 啪啪无遮挡十八禁网站| 国产欧美日韩一区二区精品| 中出人妻视频一区二区| 日韩欧美在线二视频| 国产视频内射| 久久热在线av| 国产人伦9x9x在线观看| 熟女少妇亚洲综合色aaa.| 免费在线观看成人毛片| 青草久久国产| 国产亚洲欧美98| or卡值多少钱| 香蕉丝袜av| 毛片女人毛片| 人妻久久中文字幕网| 91在线精品国自产拍蜜月 | 中文字幕熟女人妻在线| 亚洲精华国产精华精| 最新在线观看一区二区三区| 午夜成年电影在线免费观看| 日韩欧美国产在线观看| netflix在线观看网站| 亚洲午夜精品一区,二区,三区| 一区二区三区高清视频在线| 午夜免费成人在线视频| 国产精品久久久人人做人人爽| 免费大片18禁| 美女cb高潮喷水在线观看 | av天堂在线播放| 在线永久观看黄色视频| 亚洲欧美一区二区三区黑人| 女警被强在线播放| 日韩欧美在线二视频| 看黄色毛片网站| av福利片在线观看| 此物有八面人人有两片| 亚洲激情在线av| 91久久精品国产一区二区成人 | av视频在线观看入口| 成人性生交大片免费视频hd| 特大巨黑吊av在线直播| 成人一区二区视频在线观看| 国产精品一区二区三区四区免费观看 | 不卡一级毛片| 18禁黄网站禁片免费观看直播| 长腿黑丝高跟| 嫩草影院入口| 可以在线观看的亚洲视频| 伦理电影免费视频| 免费在线观看视频国产中文字幕亚洲| 麻豆一二三区av精品| 少妇熟女aⅴ在线视频| 亚洲成人久久性| 精品国产三级普通话版| 香蕉丝袜av| aaaaa片日本免费| 可以在线观看毛片的网站| 黄色成人免费大全| 日本与韩国留学比较| 日韩三级视频一区二区三区| 中国美女看黄片| 亚洲欧美精品综合久久99| 9191精品国产免费久久| 一进一出抽搐gif免费好疼| 国内揄拍国产精品人妻在线| 欧美日韩中文字幕国产精品一区二区三区| 18美女黄网站色大片免费观看| 日本撒尿小便嘘嘘汇集6| 美女被艹到高潮喷水动态| 中文亚洲av片在线观看爽| 成人三级黄色视频| 亚洲无线在线观看| 毛片女人毛片| 黄色丝袜av网址大全| 久久久久免费精品人妻一区二区| 亚洲中文字幕一区二区三区有码在线看 | 亚洲国产欧洲综合997久久,| 国产伦人伦偷精品视频| 欧美色视频一区免费| xxxwww97欧美| 国产欧美日韩精品一区二区| 小说图片视频综合网站| 国产成人系列免费观看| 欧美一区二区国产精品久久精品| 99riav亚洲国产免费| 成年女人毛片免费观看观看9| 国产探花在线观看一区二区| av天堂中文字幕网| 精品国产三级普通话版| 亚洲av电影在线进入| 久9热在线精品视频| 99久久成人亚洲精品观看| 熟妇人妻久久中文字幕3abv| www.自偷自拍.com| 十八禁网站免费在线| 高清毛片免费观看视频网站| av片东京热男人的天堂| 国产欧美日韩精品一区二区| 成年女人看的毛片在线观看| 在线永久观看黄色视频| 91在线精品国自产拍蜜月 | 很黄的视频免费| 国产人伦9x9x在线观看| 欧美精品啪啪一区二区三区| 欧美日本亚洲视频在线播放| 久久精品综合一区二区三区| 国产淫片久久久久久久久 | 精品电影一区二区在线| 床上黄色一级片| 欧美色视频一区免费| 久久伊人香网站| 激情在线观看视频在线高清| 在线观看一区二区三区| 成在线人永久免费视频| 99久久无色码亚洲精品果冻| 午夜激情欧美在线| 黄色丝袜av网址大全| 变态另类成人亚洲欧美熟女| 他把我摸到了高潮在线观看| 久久天躁狠狠躁夜夜2o2o| 丰满人妻熟妇乱又伦精品不卡| 少妇熟女aⅴ在线视频| 少妇人妻一区二区三区视频| av在线天堂中文字幕| 久99久视频精品免费| 久久人妻av系列| 亚洲欧美精品综合一区二区三区| 亚洲美女黄片视频| 日韩欧美免费精品| av视频在线观看入口| 午夜激情欧美在线| 精品国内亚洲2022精品成人| 免费在线观看影片大全网站| 色综合亚洲欧美另类图片| 精品久久久久久久末码| 成人亚洲精品av一区二区| 91在线观看av| 91字幕亚洲| 久久久国产精品麻豆| 亚洲人与动物交配视频| 美女被艹到高潮喷水动态| 我的老师免费观看完整版| 亚洲国产欧洲综合997久久,| 欧美乱妇无乱码| 日韩欧美国产在线观看| 久久国产精品影院| 最好的美女福利视频网| 制服丝袜大香蕉在线| 国产亚洲欧美98| 亚洲最大成人中文| 久久欧美精品欧美久久欧美| 亚洲av电影在线进入| 女人被狂操c到高潮| 99久久99久久久精品蜜桃| 亚洲精品在线观看二区| 欧美性猛交╳xxx乱大交人| 成人鲁丝片一二三区免费| 丁香六月欧美| 伊人久久大香线蕉亚洲五| 淫秽高清视频在线观看| 99精品久久久久人妻精品| 人妻丰满熟妇av一区二区三区| 亚洲一区二区三区色噜噜| 精品国产美女av久久久久小说| 88av欧美| 亚洲欧美日韩高清专用| 高潮久久久久久久久久久不卡| 1000部很黄的大片| 琪琪午夜伦伦电影理论片6080| 香蕉国产在线看| 亚洲av成人精品一区久久| 1000部很黄的大片| 99在线人妻在线中文字幕| 黄色片一级片一级黄色片| 一级毛片女人18水好多| 成人特级黄色片久久久久久久| 宅男免费午夜| 久久久色成人| 99久久精品一区二区三区| av中文乱码字幕在线| 久久中文字幕一级| 亚洲精品456在线播放app | 久久久久国产精品人妻aⅴ院| 午夜福利18| 俄罗斯特黄特色一大片| 国产v大片淫在线免费观看| 老司机深夜福利视频在线观看| 亚洲自拍偷在线| 免费大片18禁| 熟女少妇亚洲综合色aaa.| 黄色日韩在线| 国内精品美女久久久久久| 久久香蕉精品热| 蜜桃久久精品国产亚洲av| 久久久久久九九精品二区国产| 欧美日韩中文字幕国产精品一区二区三区| 黄片大片在线免费观看| 精品欧美国产一区二区三| 少妇的丰满在线观看| 亚洲va日本ⅴa欧美va伊人久久| 18禁黄网站禁片免费观看直播| 母亲3免费完整高清在线观看| 久久午夜综合久久蜜桃| 欧美三级亚洲精品| 天堂√8在线中文| 在线免费观看不下载黄p国产 | 婷婷精品国产亚洲av| 丰满的人妻完整版| 99在线视频只有这里精品首页| 丁香六月欧美| 女人高潮潮喷娇喘18禁视频| 岛国在线免费视频观看| 最近最新中文字幕大全电影3| 久久久久久九九精品二区国产| 嫩草影院精品99| 狂野欧美激情性xxxx| 在线a可以看的网站| 午夜免费观看网址| 成人性生交大片免费视频hd| 香蕉久久夜色| 久久久国产欧美日韩av| 国产精品一区二区三区四区久久| 可以在线观看的亚洲视频| 亚洲av成人一区二区三| 国产不卡一卡二| 亚洲av电影在线进入| 在线免费观看不下载黄p国产 | 麻豆一二三区av精品| 韩国av一区二区三区四区| 日韩人妻高清精品专区| 亚洲av第一区精品v没综合| 国产精品 欧美亚洲| 99久久久亚洲精品蜜臀av| 男女床上黄色一级片免费看| 日本撒尿小便嘘嘘汇集6| 在线观看免费视频日本深夜| 91麻豆精品激情在线观看国产| aaaaa片日本免费| 搞女人的毛片| 97超视频在线观看视频| 国产精品美女特级片免费视频播放器 | 亚洲专区字幕在线| 亚洲片人在线观看| 国产精华一区二区三区| 亚洲午夜理论影院| 免费av毛片视频| 精品一区二区三区四区五区乱码| 欧美高清成人免费视频www| 欧美在线黄色| 麻豆成人午夜福利视频| 老司机深夜福利视频在线观看| 18禁黄网站禁片免费观看直播| 麻豆av在线久日| 国产成人精品久久二区二区免费| 国产一区二区在线观看日韩 | 国产欧美日韩一区二区三| 一本一本综合久久| 搞女人的毛片| 美女黄网站色视频| 欧美色欧美亚洲另类二区| 黄色日韩在线| 色综合站精品国产| 免费看日本二区| 亚洲 欧美 日韩 在线 免费| 听说在线观看完整版免费高清| 久久这里只有精品19| 国产精品99久久99久久久不卡| 亚洲av成人av| 亚洲欧美激情综合另类| 女同久久另类99精品国产91| 亚洲精品美女久久av网站| 国产成人欧美在线观看| 成年女人看的毛片在线观看| 叶爱在线成人免费视频播放| 午夜成年电影在线免费观看| 嫩草影视91久久| 搡老妇女老女人老熟妇| 亚洲男人的天堂狠狠| 午夜福利在线观看免费完整高清在 | 综合色av麻豆| 国内久久婷婷六月综合欲色啪| 国内少妇人妻偷人精品xxx网站 | 国产精品乱码一区二三区的特点| 91麻豆精品激情在线观看国产| 在线免费观看不下载黄p国产 | 亚洲专区中文字幕在线| 国产精品av久久久久免费| 欧洲精品卡2卡3卡4卡5卡区| 好男人电影高清在线观看| cao死你这个sao货| 国产探花在线观看一区二区| 五月伊人婷婷丁香| 亚洲人成电影免费在线| 国产精品99久久久久久久久| 国产高清激情床上av| 精品一区二区三区视频在线 | 不卡av一区二区三区| 日本精品一区二区三区蜜桃| 美女高潮的动态| 不卡一级毛片| 91在线精品国自产拍蜜月 | 一本综合久久免费| 久久中文看片网| 首页视频小说图片口味搜索| 亚洲中文字幕一区二区三区有码在线看 | 欧美乱妇无乱码| 国产亚洲精品一区二区www| 在线免费观看的www视频| 国产成人欧美在线观看| 亚洲国产高清在线一区二区三| 午夜视频精品福利| 美女黄网站色视频| 亚洲成人久久爱视频| 久久国产精品影院| 国产精品精品国产色婷婷| 国产久久久一区二区三区| 国产av在哪里看| 这个男人来自地球电影免费观看| 搡老熟女国产l中国老女人| 久久精品国产亚洲av香蕉五月| 国产免费av片在线观看野外av| 18禁黄网站禁片午夜丰满| 久久国产精品影院| 狠狠狠狠99中文字幕| 精品国内亚洲2022精品成人| 日本 av在线| 亚洲人成电影免费在线| 女同久久另类99精品国产91| 亚洲七黄色美女视频| 人人妻人人看人人澡| 岛国视频午夜一区免费看| 老司机午夜福利在线观看视频| av在线蜜桃| 禁无遮挡网站| 亚洲精品一卡2卡三卡4卡5卡| 黄色视频,在线免费观看| 可以在线观看毛片的网站| 啦啦啦免费观看视频1| aaaaa片日本免费| 人妻夜夜爽99麻豆av| 99riav亚洲国产免费| 亚洲国产精品合色在线| av在线天堂中文字幕| 精品国内亚洲2022精品成人| 久久精品夜夜夜夜夜久久蜜豆| 99久久精品国产亚洲精品| 国产亚洲精品久久久久久毛片| 日韩av在线大香蕉| 亚洲国产欧美网| 深夜精品福利| 观看免费一级毛片| 国产精品av视频在线免费观看| 美女高潮的动态| 国产av在哪里看| 18禁黄网站禁片午夜丰满| 精品一区二区三区视频在线观看免费| 搡老妇女老女人老熟妇| 国产午夜精品论理片| 欧美日韩中文字幕国产精品一区二区三区| 久久国产精品人妻蜜桃| av欧美777| 欧美黄色淫秽网站| 国产av在哪里看| 国产精品美女特级片免费视频播放器 | 国产av在哪里看| 18禁黄网站禁片午夜丰满| 动漫黄色视频在线观看| 午夜免费激情av| 女同久久另类99精品国产91| 国产高清有码在线观看视频| 欧美乱色亚洲激情| 成在线人永久免费视频| 免费一级毛片在线播放高清视频| 欧美黄色片欧美黄色片| 在线播放国产精品三级| 最新中文字幕久久久久 | 熟妇人妻久久中文字幕3abv| 亚洲av电影在线进入| 一级毛片女人18水好多| 18禁国产床啪视频网站| 国产高清videossex| 日本 av在线| 一卡2卡三卡四卡精品乱码亚洲| 国产精品影院久久| 三级毛片av免费| 大型黄色视频在线免费观看| 久久久国产成人免费| 日韩欧美 国产精品| 好男人在线观看高清免费视频| 国产99白浆流出| 久久九九热精品免费| 国产黄片美女视频| 国产精品久久久久久人妻精品电影| 欧美日韩瑟瑟在线播放| 免费观看人在逋| 亚洲一区二区三区不卡视频| 午夜福利免费观看在线| 99久久精品一区二区三区| 久久香蕉国产精品| 中文字幕久久专区| 国产91精品成人一区二区三区| 伦理电影免费视频| 亚洲片人在线观看| 色综合欧美亚洲国产小说| 18禁黄网站禁片免费观看直播| 国产亚洲欧美98| 2021天堂中文幕一二区在线观| 午夜激情福利司机影院| 大型黄色视频在线免费观看| 国产淫片久久久久久久久 | 亚洲九九香蕉| 啦啦啦韩国在线观看视频| 色吧在线观看| 一本精品99久久精品77| 国产91精品成人一区二区三区| 亚洲天堂国产精品一区在线| 91麻豆精品激情在线观看国产| 国产av一区在线观看免费| 亚洲美女视频黄频| 法律面前人人平等表现在哪些方面| 在线观看一区二区三区| 欧美日韩亚洲国产一区二区在线观看| 亚洲国产精品sss在线观看| www国产在线视频色| 午夜a级毛片| 国产成人啪精品午夜网站| 久久亚洲精品不卡| 久久久国产成人精品二区| 一级a爱片免费观看的视频| 欧美中文日本在线观看视频| 美女大奶头视频| 熟女少妇亚洲综合色aaa.| 美女午夜性视频免费| 人妻久久中文字幕网| 国产一区二区在线观看日韩 | 色播亚洲综合网| 在线观看免费视频日本深夜| 亚洲aⅴ乱码一区二区在线播放| 欧美日韩精品网址| 免费看十八禁软件| 精品一区二区三区视频在线观看免费| 真人一进一出gif抽搐免费| 日韩免费av在线播放| 国产成人aa在线观看| 此物有八面人人有两片| 国产亚洲欧美98| 中文字幕人成人乱码亚洲影| 亚洲男人的天堂狠狠| 久久婷婷人人爽人人干人人爱| 久久热在线av| 国产av不卡久久| 免费观看精品视频网站| 成年女人永久免费观看视频| 欧美日本视频| 黄色视频,在线免费观看| 国产精品野战在线观看| 噜噜噜噜噜久久久久久91| 久久久久久久久中文| 中文字幕熟女人妻在线| 一本综合久久免费| 两个人视频免费观看高清| 亚洲欧美精品综合一区二区三区| 亚洲av熟女| 日本成人三级电影网站| 亚洲欧美日韩高清专用| www.自偷自拍.com| www国产在线视频色| 久久这里只有精品中国| 国产在线精品亚洲第一网站| 岛国视频午夜一区免费看| 啦啦啦观看免费观看视频高清| 淫秽高清视频在线观看| 成人永久免费在线观看视频| 琪琪午夜伦伦电影理论片6080| 亚洲午夜理论影院| 51午夜福利影视在线观看| 国产精品1区2区在线观看.| 一边摸一边抽搐一进一小说| 国产午夜福利久久久久久| 日本一二三区视频观看| 黄色 视频免费看| 老司机午夜十八禁免费视频| 91av网一区二区| 亚洲男人的天堂狠狠| 香蕉av资源在线| 啦啦啦韩国在线观看视频| 成在线人永久免费视频| 色老头精品视频在线观看| 男人的好看免费观看在线视频| 日韩欧美 国产精品| 很黄的视频免费| 美女午夜性视频免费| 高清在线国产一区| 五月玫瑰六月丁香| 午夜免费成人在线视频| 最新在线观看一区二区三区| 色综合亚洲欧美另类图片| 人妻丰满熟妇av一区二区三区| 综合色av麻豆| 国产精品一区二区三区四区免费观看 | 一级毛片精品| 国产伦人伦偷精品视频|