• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    感官評價小組及成員排序能力評估的一般導(dǎo)則

    2014-01-21 02:32:35史波林汪厚銀支瑞聰蘇玉芳張璐璐
    食品科學(xué) 2014年17期
    關(guān)鍵詞:重復(fù)性排序感官

    史波林,趙 鐳,*,奐 暢,汪厚銀,支瑞聰,蘇玉芳,解 楠,李 志,張璐璐

    感官評價小組及成員排序能力評估的一般導(dǎo)則

    史波林1,趙 鐳1,*,奐 暢2,汪厚銀1,支瑞聰1,蘇玉芳3,解 楠1,李 志1,張璐璐1

    (1.中國標(biāo)準(zhǔn)化研究院食品與農(nóng)業(yè)標(biāo)準(zhǔn)化研究所,北京 100191;2.上海大學(xué)計算機工程與科學(xué)學(xué)院,上海 200444;3.內(nèi)蒙古伊利實業(yè)集團股份有限公司技術(shù)中心,內(nèi)蒙古 呼和浩特 010110)

    針對感官評價小組及成員排序能力的評估,提出重復(fù)性、再現(xiàn)性與一致性的評估指標(biāo)。分析了排序?qū)嶒灅悠贩N類、樣品間差異程度及樣品個數(shù)對感官分析儀器性能評估的重要性。確定了以樣品間的排列秩次作為能力評估統(tǒng)計的基礎(chǔ)數(shù)據(jù)形式。排序能力評估中,對于無理論順序樣品,通過剔除重復(fù)性與再現(xiàn)性異常評價員結(jié)果后,采用Friedman檢驗結(jié)合最小顯著性差(least significant difference,LSD)確定實驗樣品的最優(yōu)估計順序。文章重點分析用于雙變量的Spearman秩相關(guān)及用于多變量的Kendall和諧系數(shù),在評價小組及評價員的重復(fù)性、再現(xiàn)性與一致性等性能評估中的具體技術(shù)應(yīng)用方法與理論分析。為感官評價小組及成員排序能力評估提出了良好操作示范,也為不同感官實驗室評價小組間比對提供了理論基礎(chǔ)。既有利于評價小組及成員的長期監(jiān)測,也有利于感官分析實驗室的良好管理能力。

    感官分析;排序法;評價小組及評價員;能力評估

    感官分析是一門測量技術(shù),其評價活動可分成有無差別、差別程度與差別方向這3個層次,分別對應(yīng)差別檢驗、標(biāo)度與類別、描述性分析這3 類客觀性感官分析測量方法[1]。測量中按其精度從低到高可分為定類、定序、定距和定比測量這4 個層次,分別對應(yīng)感官分析中的名義標(biāo)度、順序標(biāo)度、等距標(biāo)度、等比標(biāo)度[2-3]。

    排序法屬于標(biāo)度和類別檢驗方法,為檢驗時給評價員同時提供3 個或以上樣品,要求評價員將樣品按某種感官特性的強弱或?qū)悠氛w印象的好壞進行排列的分類方法[4]??捎糜诖_定不同原料、加工、處理、包裝和貯藏等條件對產(chǎn)品一個或多個感官指標(biāo)強度水平的影響,或進行精細(xì)感官分析(如描述性分析)前的預(yù)篩,也可用于篩選、培訓(xùn)評價員。排序法體現(xiàn)為感官分析中的順序標(biāo)度,是典型的定序測量。排序法是以名義標(biāo)度為代表的差別檢驗與以等距或等比標(biāo)度為代表的描述性分析的橋梁。也就是,若評價員或評價小組對樣品間差異感覺不出其強度順序,則他們只適合進行差別檢驗活動;而對于排序能力好的評價小組及成員就有可能通過進一步培訓(xùn)而成為描述性分析小組。因此,排序能力的好壞對感官評價小組的能力提高與發(fā)展起到舉足輕重的作用,其感官評價小組及成員排序能力的評估技術(shù)方法意義非凡。而國內(nèi)外有關(guān)此方面研究的文獻報道只出現(xiàn)于2003年,為McEwan等[5]專門研究了感官排序檢測的實驗室比對,是目前唯一系統(tǒng)介紹評價小組排序性能比對的研究;該研究重點形成了這類能力比對的技術(shù)流程與每個環(huán)節(jié)的判別標(biāo)準(zhǔn),但只是排序表現(xiàn)評估中的能力比對方面。

    對于優(yōu)秀的評價員和評價小組來講,排序同一系列樣品的多次結(jié)果間理應(yīng)具有很好的重復(fù)性、再現(xiàn)性和一致性,有時甚至隨著能力的提高,其排序結(jié)果逐漸接近實際理論順序。由此,感官評價小組及成員排序能力評估重點是分析排序檢驗結(jié)果的重復(fù)性、再現(xiàn)性與一致性問題[6]。重復(fù)性為評價小組或評價員對同一系列樣品在不同時間中多次排序結(jié)果之間的一致程度。再現(xiàn)性為同一評價小組內(nèi)部不同評價員之間或不同評價小組之間對同一系列樣品排序結(jié)果之間的一致程度。一致性為同一系列樣品,評價小組或評價員每次排序結(jié)果與理論順序或最優(yōu)估計順序之間的一致程度。對于評價小組及其成員的感官排序能力評估,需要借助系列參比樣品、通過排序?qū)嶒炘O(shè)計,采用合適的統(tǒng)計分析方法才能獲得針對重復(fù)性、再現(xiàn)性和一致性的評估,這些同樣也構(gòu)成了感官評價小組及成員排序能力評估技術(shù)的理論體系。

    1 排序能力評估技術(shù)中樣品因素的影響分析

    感官評價是“被試樣品”與“評價小組(評價員)”博弈的體現(xiàn),它既可以通過合格的評價小組來分析樣品感官品質(zhì),也可以通過已知的樣品性能來考察評價小組及其成員的能力[7]。被試樣品間的差異性難度把握對于評價員及評價小組的表現(xiàn)評估至關(guān)重要。若樣品難度過低,所有評價小組及成員的每次評價結(jié)果一致并正確,但未真正達到性能考察的作用;若樣品難度過大,幾乎所有評價小組及成員的每次評價結(jié)果一致卻不正確,也同樣失去性能評估的意義。

    排序能力面對的樣品是系列樣品,對于樣品的選擇需要考慮3 個問題:1)選擇什么種類的樣品用于排序能力的表現(xiàn)評估;2)系列樣品中兩兩之間的多少差異程度比較合適;3)采用多少個系列樣品用于評估測試效率較高。

    對于第1個樣品選擇問題,也就是對于樣品種類來講,在通用實驗室可以采用基本味、嗅、視等樣品;在具體產(chǎn)品的生產(chǎn)公司可采用本公司的實際產(chǎn)品或相應(yīng)的模擬體系物質(zhì)。

    對于第2個樣品難度問題,每次評估的結(jié)果都一樣(要么每次都排對,要么每次都排的很亂),也就沒有評估的意義,則對于各基本感覺都有個門檻值。至少是優(yōu)選評價員所用排序樣品的濃度GB/T 16291.1—2012《感官分析選拔、培訓(xùn)與管理評價員一般導(dǎo)則第1部分:優(yōu)選評價員》[8],并結(jié)合排序法Spearman系數(shù)臨界值確定的數(shù)學(xué)依據(jù),來設(shè)計樣品濃度難度。結(jié)合評價小組成員的實際敏感度,建議相鄰樣品間的差異在差別閾值的1~1.5 倍之間選擇。

    對于第3個樣品個數(shù)問題,需要分析對4、5、6、7 個樣品分別排序的難度,以及Spearman系數(shù)臨界值確定背后的數(shù)學(xué)依據(jù),這個難度的把握類似于理化檢測中誤差限的確定,誤差限范圍越小難度就越大,反之難度降低。一般建議評估用樣品數(shù)為5或6 個。

    2 評估技術(shù)統(tǒng)計原理及感官數(shù)據(jù)表現(xiàn)形式

    排序檢驗的結(jié)果是每個評價員對樣品的排列秩序,其中每個樣品都有各自的序位,即秩;樣品間差異只代表強度的前后順序,而不能代表差異大小。這類定序數(shù)據(jù)內(nèi)部不可以加減乘除處理,而序列之間數(shù)據(jù)只可以加減處理,但不可以進行乘除運算,由此可以計算同一樣品多次排序的秩和[9]。

    排序能力評估就是考察定序數(shù)據(jù)間的一致性,也就是排序結(jié)果之間的離散性或相關(guān)性,即秩相關(guān)或等級相關(guān)(rank correlation)。它是用雙變量或多變量等級/排序數(shù)據(jù)作相關(guān)分析,即是一種先將x、y或多變量分別按由小到大的次序編上排序,或者變量本身就是排序資料,然后分析兩變量或多變量排序間是否相關(guān)的一種非參數(shù)相關(guān)分析法[10]。此法適用于以下特征的數(shù)據(jù):1)不服從正態(tài)分布,因而不宜作一般直線相關(guān)分析;2)總體分布性未知;3)用等級表示的原始數(shù)據(jù)。

    秩相關(guān)程度的大小及性質(zhì)用秩相關(guān)系數(shù)表示,取值為-1~+1。常用的秩相關(guān)分析方法有Spearman秩相關(guān)和Kendall秩相關(guān)。Spearman秩相關(guān)用于兩個變量的情形,Kendall和諧系數(shù)(Kendall一致性系數(shù))用于多個變量的情形。

    3 排序檢驗樣品最優(yōu)估計順序確定

    在評價小組及評價員排序能力評估時,需要在已知樣品排序前提下,通過樣品來考察感官分析“儀器”的好壞。一般自制的模擬樣品,都有已知順序。但在真實樣品測試中,往往很難直接知道樣品某屬性或整體感官品質(zhì)的排列,如系列酸奶樣品的酸度、系列煙葉樣品的油分等。它們的最優(yōu)估計排序需要通過某評價小組或多個評價小組來確定。當(dāng)進行感官分析實驗室間比對時,需要多個評價小組來確定;而對于特定實驗室評價小組及其成員的維護,就只需該小組來確定最優(yōu)估計順序。

    3.1 通過單個評價小組確定最優(yōu)估計排序

    3.1.1 評價員異常排序結(jié)果分析與剔除

    確定系列樣品的最優(yōu)估計順序一般需要評價小組的多次重復(fù),對于每位評價員個體也同樣經(jīng)歷了多次重復(fù)排序?qū)嶒?。在此基礎(chǔ)上剔除評價員個體自身重復(fù)性比較差的排序結(jié)果,接著剔除評價小組單次排序中小組內(nèi)部再現(xiàn)性較差的評價員排序結(jié)果,然后就可以根據(jù)剩下的多次重復(fù)排序結(jié)果計算最優(yōu)估計排序。

    3.1.1.1 重復(fù)性異常評價員排序剔除

    肯德爾(Kendall)和諧系數(shù)是分析兩個以上順序變量之間的相關(guān)性(一致性或等效性)問題,即可用于評價員的重復(fù)性判別[11]。按照公式(1)計算Kendall和諧系數(shù)。

    式中:rw為Kendall和諧系數(shù);K表示重復(fù)次數(shù);n表示被試樣品個數(shù);Ri表示K個評價次數(shù)在第i個樣品上所排秩次之和。

    對于評價員個體,若多次排序結(jié)果間的重復(fù)性良好,也就是每次排序結(jié)果穩(wěn)定、等效,無某次排序異?,F(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好,也就是每次排序結(jié)果無穩(wěn)定、較離散,必然有一些排序結(jié)果比較偏離整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。通過舍一法(舍去任意一次排序結(jié)果j),計算對應(yīng)剩余排序之間的重復(fù)性r’wj,并與所有重復(fù)排序后的rw進行比較。若舍去的排序結(jié)果與整體多次排序比較等效,其剩余排序間的r’wj≤rw;若舍去的排序結(jié)果與整體多次排序間重復(fù)性不好,其剩余排序間的r’wj≥rw。由此,將所有r’wj按照降序排列,然后逐一從r’wj大到小所對應(yīng)舍去的排序結(jié)果進行分析,結(jié)合Kendall和諧系數(shù)的顯著性檢驗,考察某次重復(fù)排序結(jié)果與整體多次排序的離散性。

    3.1.1.2 再現(xiàn)性異常評價員排序剔除

    對于評價小組的某次排序?qū)嶒?,若小組成員中所有評價員排序結(jié)果間的再現(xiàn)性良好,也就是評價小組排序結(jié)果內(nèi)部對系列樣品特征排列認(rèn)識統(tǒng)一、觀點一致,無某評價員排序異?,F(xiàn)象。若評價小組內(nèi)部不同評價員排序結(jié)果再現(xiàn)性不好,也就是評價小組結(jié)果不穩(wěn)定、內(nèi)部成員較離散,必然有一些評價員排序結(jié)果比較偏離小組整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。

    Friedman檢驗?zāi)茏畲笙薅鹊娘@示評價小組對樣品間差異的識別能力[12]。按照公式(2)計算Friedman檢驗系數(shù)Ftest。

    式中:Ri為第i個樣品上所排秩次之和;p為評價員個數(shù);n表示被試樣品個數(shù)。

    通過舍一法(舍去任意一個評價員排序結(jié)果k),計算對應(yīng)剩余評價員組成的評價小組Friedman檢驗結(jié)果F’test,并與整體Ftest進行比較。若舍去的評價員結(jié)果與小組整體排序比較等效,其剩余小組的F’test≤Ftest;若舍去的評價員結(jié)果與小組整體等效性不好,其剩余排序間的F’test≥Ftest。由此,將所有F’test按照降序排列,然后逐一從F’test大到小所對應(yīng)舍去的評價員進行分析,結(jié)合Ftest的顯著性檢驗,考察再現(xiàn)性不佳的評價員。

    3.1.2 確定評價小組對樣品的排序

    將自身重復(fù)性不好的評價員排序結(jié)果與小組內(nèi)再現(xiàn)性不好的評價員排序結(jié)果一起剔除后,計算各樣品的秩和,并根據(jù)升序排列,其各樣品秩和大小的前后順序說明了評價小組對被試樣品的評價排序。通過Friedman檢驗(如無理論順序)判斷是否有顯著差異樣品,若有顯著差異,則可通過在選定的風(fēng)險α下,計算最小顯著性差(least significant difference,LSD),通過兩兩樣品的秩和之差,并與LSD值比較,來確定哪些樣品與其他樣品存在顯著性差異(α=0.05或α=0.01)[13]。按照公式(3)計算LSD。

    式中:z為比較風(fēng)險;p為評價員個數(shù);n表示被試樣品個數(shù)。當(dāng)雙尾正概率α=0.05時,z值為1.96;α=0.01時,z值為2.58。

    若秩和之差等于或者大于LSD值,則這兩個樣品之間存在顯著性差異,即排序檢驗時,已區(qū)分出這兩個樣品之間的差異。反之,若秩和之差小于LSD值,則這兩個樣品之間不存在顯著性差異,即排序檢驗時,未區(qū)分出這兩個樣品之間的差異。即結(jié)合LSD值能反映評價小組對哪些樣品間排序無顯著差異,也就是可以歸成一類,即可排成同一秩次,由此確定評價小組多次重復(fù)排序后的系列樣品最優(yōu)估計順序。

    3.2 通過多個評價小組確定最優(yōu)估計排序

    當(dāng)進行不同感官實驗室的評價小組能力比對時,首選需要確定系列樣品的最優(yōu)估計順序,在此不以某個實驗室評價小組的排序結(jié)果為參考,而是需要所有評價小組共同認(rèn)可的排列順序。首先根據(jù)3.1節(jié)內(nèi)容確定各評價小組對特定系列產(chǎn)品的排序結(jié)果,并代表該小組的一次排序結(jié)果,n 個評價小組就有n 個排序結(jié)果,然后類似

    3.1.1 節(jié)中評價員再現(xiàn)性分析方法考察不同評價小組間的再現(xiàn)性,并剔除再現(xiàn)性差的評價小組結(jié)果,把剩余的評價小組結(jié)果根據(jù)3.1.2節(jié)的方式確定由多個評價小組獲得的系列樣品最優(yōu)估計順序。

    4 評價員個體排序能力表現(xiàn)評估技術(shù)方法

    4.1 評價員個體重復(fù)性評估

    4.1.1 評價員重復(fù)性能評估方法

    對于評價員首先要考察其重復(fù)性,也就是測量的精密性或穩(wěn)定性,不然其結(jié)果就不可信。重復(fù)性為同一評價員對同一組被試樣品在不同時間多次排序重復(fù)結(jié)果間的等效性,可通過分析Kendall(肯德爾)和諧系數(shù)(rw)的顯著性而獲得。按照公式(4)計算rw卡方檢驗值。

    式中:χ2為卡方檢驗值;K表示重復(fù)次數(shù);n表示被試樣品個數(shù);df為自由度。

    通過風(fēng)險水平α與自由度確定卡方檢驗臨界值,若大于臨界值,則表示多次排序結(jié)果具有等效性。

    4.1.2 評價員重復(fù)性動態(tài)監(jiān)控方法

    若多次排序結(jié)果間的重復(fù)性良好,也就是每次排序結(jié)果穩(wěn)定、等效,無某次排序異常現(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好,也就是每次排序結(jié)果無穩(wěn)定、較離散,必然有一些排序結(jié)果比較偏離整體,也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。假設(shè)每周固定一天做1 輪含5 次重復(fù)的排序評估實驗,連續(xù)12 周(3 個月),共計12 輪60 次排序結(jié)果。就可以得出周重復(fù)、月重復(fù)、季重復(fù)這3 個系列rw值。而rw的顯著性檢驗統(tǒng)計量只能從整體上評估評價員的重復(fù)性能,體現(xiàn)某個時間段后的唯一性能值;但不能直觀看到評價員每次排序效果,及多次排序之間的動態(tài)監(jiān)測情況。

    根據(jù)前面的假設(shè),同時可以計算評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的Spearman秩相關(guān)系數(shù)rs值,則可動態(tài)的、直觀的觀察評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的接近程度,也在一定程度上說明了評價員的重復(fù)性。按照公式(5)計算rs[14]。

    式中:di為樣品i某次重復(fù)秩次與理論秩次的差;n表示被試樣品個數(shù)。

    在評價員多次排序中,rs相等的排列順序不一定完全重復(fù)。比如在系列樣品(正確順序為A、B、C、D、E)的某兩次排序中,第一次將最前面2 個樣品順序顛倒了(B、A、C、D、E),而第二次將最后2 個樣品顛倒了(A、B、C、E、D)。因此,在動態(tài)監(jiān)測評價員排序重復(fù)性時,需要同時參考rw與rs值。并且對于感官評價結(jié)果來講,是以評價小組結(jié)果為依據(jù),而非具體某個評價員的排序結(jié)果。這是因為評價員個體本身存在內(nèi)在差異性,也是在一定程度允許rs一致但不完全重復(fù)的現(xiàn)象存在。通過實驗發(fā)現(xiàn)多次排序的rs一致而Spearman檢驗顯著但排列順序不同的重復(fù)性rw檢驗也顯著。

    4.2 評價員個體一致性評估

    這里的一致性體現(xiàn)為評價員每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的吻合度。則可以通過計算每次排序結(jié)果與最優(yōu)估計順序(或已知的理論順序)的Spearman秩相關(guān)系數(shù)rs值來體現(xiàn)。

    4.3 評價員個體再現(xiàn)性評估

    評價員個體的再現(xiàn)性主要體現(xiàn)在同一評價小組內(nèi)不同評價員排序結(jié)果之間的相關(guān)性、統(tǒng)一性,其實也由此體現(xiàn)評價小組的內(nèi)部穩(wěn)定性,具體參考3.1.1節(jié)中的再現(xiàn)性異常評價員分析方法。而從另一個角度分析,其實評價員的再現(xiàn)性體現(xiàn)了評價員自身與評價小組結(jié)果之間的吻合性,其實在一定程度上是與評價小組結(jié)果一致性的體現(xiàn)。

    5 評價小組排序能力表現(xiàn)評估技術(shù)方法

    5.1 評價小組排序結(jié)果表征方式

    計算整體評價小組對各樣品的秩和,并根據(jù)升序排列,其各樣品秩和的前后順序說明了評價小組對被試樣品的評價排序。通過Friedman檢驗(如無理論順序)或Page檢驗(若有理論順序)判斷是否有顯著差異樣品,則可通過在選定的風(fēng)險α下,計算LSD來確定哪些產(chǎn)品與其他產(chǎn)品存在無顯著性差異(α=0.05或α=0.01),也就是可以歸成一類,即可排成同一秩次,由此確定評價小組所獲得的系列樣品排序結(jié)果。按照公式(6)計算Page檢驗系數(shù)L[15]。

    式中:R1是已知樣品順序中排序為第一的樣品的秩和,依次類推,Rn就是排序為最后的樣品的秩和;n表示被試樣品個數(shù)。

    5.2 評價小組重復(fù)性評估

    同4.1節(jié)中的評價員排序重復(fù)性方法,其中評價小組某次排序結(jié)果等同于評價員某次評價排序,并通過Kendall(肯德爾)和諧系數(shù)(rw)的顯著性檢驗確定重復(fù)性。也同樣通過rw與Spearman秩相關(guān)系數(shù)rs相結(jié)合的方式動態(tài)監(jiān)測評價小組每次排序結(jié)果的重復(fù)效果。

    5.3 評價小組一致性評估

    同4.2節(jié)評價員一致性分析方法,只是將評價小組某次排序結(jié)果等同于評價員某次評價排序來處理。

    5.4 評價小組再現(xiàn)性評估

    對于具體某一評價小組再現(xiàn)性的好壞來評估該評價小組性能的作用不是很大。評價小組再現(xiàn)性主要應(yīng)用于感官分析實驗室間不同評價小組的能力比對中,特別是比對所用系列樣品沒有理論順序時,通過小組間的再現(xiàn)性剔除異常評價小組結(jié)果后獲得最優(yōu)估計順序。

    6 結(jié) 語

    在感官評價中,被測樣品與測量儀器“評價小組及成員”是一把雙刃劍,也是任何測量的博弈對立面。既需要通過已知樣品考察評價小組及其成員的性能,也可以通過性能合格“儀器”來檢測被試樣品。而被測樣品難度過高或過低都不能很好監(jiān)控“儀器”性能的細(xì)微變化,尋找適合感官評價小組表現(xiàn)評估的系列樣品至關(guān)重要。同時類似于理化檢測儀器性能評估,也需要對感官分析儀器評估指標(biāo)提出具體的量值化閾值(標(biāo)準(zhǔn)值)及相應(yīng)的允許誤差。對于特定感官分析實驗室,可以通過長期監(jiān)控確定一項適合自己實驗室的閾值與允差。對于實驗室比對來講,也需要一定實驗周期與一定數(shù)量感官分析實驗室評價小組的表現(xiàn)評估數(shù)據(jù)積累,獲得能代表現(xiàn)階段國內(nèi)評價小組整體水平的表現(xiàn)評估閾值與允差。

    [1] 趙鐳, 劉文. 感官分析技術(shù)應(yīng)用指南[M]. 北京: 中國輕工業(yè)出版社, 2011.

    [2] 張水華, 徐樹來, 王永華. 食品感官分析與實驗[M]. 北京: 化學(xué)工業(yè)出版社, 2006.

    [3] 游正林. 社會統(tǒng)計學(xué)[M]. 北京: 社會科學(xué)文獻出版社, 2010.

    [4] 中國標(biāo)準(zhǔn)化研究院, 北京工商大學(xué), 中國人民解放軍總后勤部軍需裝備研究所, 等. GB/T 12315—2008 感官分析方法學(xué)排序法[S]. 北京: 中國標(biāo)準(zhǔn)出版社, 2008.

    [5] MCEWAN J A, HEINIO R L, HUNTER E A, et al. Profi ciency testing for sensory ranking panels: measuring panel performance[J]. Food Quality and Preference, 2003, 14: 247-256.

    [6] BI J, KUESTEN C. Intraclass Correlation Coefficient (ICC): a framework for monitoring and assessing performance of trained sensory panels and panelists[J]. Journal of Sensory Studies, 2012, 27: 352-364.

    [7] 趙鐳, 劉文, 牛麗影, 等. 食品感官科學(xué)技術(shù): 發(fā)展的機遇和挑戰(zhàn)[J].中國食品學(xué)報, 2009, 9(6): 138-143.

    [8] 中國農(nóng)業(yè)科學(xué)院質(zhì)量標(biāo)準(zhǔn)與檢測技術(shù)研究所, 農(nóng)業(yè)部蔬菜水果質(zhì)量監(jiān)督檢驗測試中心(廣州). GB/T 16291.1—2012 感官分析選拔、培訓(xùn)與管理評價員一般導(dǎo)則第1部分: 優(yōu)選評價員[S]. 北京: 中國標(biāo)準(zhǔn)出版社, 2012.

    [9] STONE H, SIDEL J L. 感官評定實踐[M]. 北京: 化學(xué)工業(yè)出版社, 2007.

    [10] 邵志芳. 心理統(tǒng)計學(xué)[M]. 北京: 中國輕工業(yè)出版社, 2012.

    [11] 甘怡群, 張軼文, 鄒玲. 心理與行為科學(xué)統(tǒng)計[M]. 北京: 北京大學(xué)出版社, 2009.

    [12] International Organization for Standardization. ISO/DIS 8587—2006 Sensory Analysis-Methodology-Ranking[S]. United States: Information Handling Services, 2006.

    [13] 生慶海, 張愛霞, 馬蕊. 乳與乳制品感官品評[M]. 北京: 中國輕工業(yè)出版社, 2009.

    [14] LAWLESS H T, HEYMANN H. 食品感官評價原理與技術(shù)[M]. 北京: 中國輕工業(yè)出版社, 2001.

    [15] 王靜龍. 非參數(shù)統(tǒng)計分析[M]. 北京: 高等教育出版社, 2012.

    General Guidance for Performance Evaluation of Sensory Ranking Panels and Panelists

    SHI Bo-lin1, ZHAO Lei1,*, HUAN Chang2, WANG Hou-yin1, ZHI Rui-cong1, SU Yu-fang3, XIE Nan1, LI Zhi1, ZHANG Lu-lu1
    (1. Food and Agriculture Standardization Institute, China National Institute of Standardization, Beijing 100191, China; 2. School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China; 3. Technology Center, Inner Mongolia YiLi Industrial Group Co. Ltd., Hohhot 010110, China)

    Repeatability, reproducibility and consistency are considered as the indexes for the ranking capability of panels and panelists for sensory evaluation. The type, difference and number of samples are very important in ranking performance measurement. Rank is identified as the basic data style to evaluate the ranking capability. If the order of samples is unknown, the optimal evaluation order should be firstly confirmed by the methods combining Friedman test and least significant difference (LSD) after unsuitable panelists who have less repeatability and reproducibility are rejected. This paper was focused on the application approach of the two-variable Spearman rank correlation and Kendall coefficient of concordance for multiple variables in evaluating the repeatability, reproducibility, consistency of panels and panelists. Meanwhile, a good manufacturing practice to evaluate the ranking capability of panels and panelists has been established, which will provide a theoretical foundation for proficiency testing of sensory ranking panels from different laboratories. It is not only helpful for monitoring the performance of panels and panelists, but also for improving management capacity of sensory evaluation laboratories.

    sensory analysis; ranking; panels and panelists; performance evaluation

    TS207.3

    A

    1002-6630(2014)17-0346-05

    10.7506/spkx1002-6630-201417064

    2014-04-03

    中國標(biāo)準(zhǔn)化研究院院長基金項目(562013Y-3079);質(zhì)檢公益性行業(yè)科研專項(201410006)

    史波林(1981—),男,副研究員,博士,研究方向為食品感官評價與智能感官分析。E-mail:shibl@cnis.gov.cn

    *通信作者:趙鐳(1968—),女,副研究員,博士,研究方向為食品感官分析標(biāo)準(zhǔn)化。E-mail:zhaolei@cnis.gov.cn

    猜你喜歡
    重復(fù)性排序感官
    排序不等式
    化學(xué)分析方法重復(fù)性限和再現(xiàn)性限的確定
    昆鋼科技(2021年2期)2021-07-22 07:46:56
    恐怖排序
    節(jié)日排序
    刻舟求劍
    兒童繪本(2018年5期)2018-04-12 16:45:32
    感官訓(xùn)練紙模
    論重復(fù)性供述排除規(guī)則
    翻斗式雨量傳感器重復(fù)性試驗統(tǒng)計處理方法
    水利信息化(2017年4期)2017-09-15 12:01:21
    感官并用,形象飽滿
    感官訓(xùn)練紙膜
    国产91精品成人一区二区三区| 伦理电影大哥的女人| 国产精品久久电影中文字幕| 成人午夜高清在线视频| 18禁黄网站禁片免费观看直播| 又黄又爽又免费观看的视频| 又爽又黄a免费视频| 国产真实乱freesex| 日日摸夜夜添夜夜添小说| a级毛片免费高清观看在线播放| 亚洲中文字幕一区二区三区有码在线看| 淫妇啪啪啪对白视频| 亚洲av免费高清在线观看| 有码 亚洲区| 亚洲精品日韩av片在线观看| 国产精品不卡视频一区二区| 国产精品永久免费网站| 久久久久久久久大av| avwww免费| 草草在线视频免费看| 亚洲中文字幕一区二区三区有码在线看| 国内精品一区二区在线观看| av在线观看视频网站免费| 久久精品国产清高在天天线| 婷婷精品国产亚洲av| 看片在线看免费视频| 人妻久久中文字幕网| 午夜福利视频1000在线观看| 国产精品日韩av在线免费观看| www.色视频.com| 亚洲18禁久久av| 亚洲av第一区精品v没综合| 国模一区二区三区四区视频| 国模一区二区三区四区视频| 国产一区二区三区在线臀色熟女| 我要搜黄色片| 亚洲精品影视一区二区三区av| 亚洲国产欧美人成| 久久久久久伊人网av| 小说图片视频综合网站| 国产乱人伦免费视频| av专区在线播放| 联通29元200g的流量卡| 熟女人妻精品中文字幕| 欧美色视频一区免费| 18禁在线播放成人免费| 国产一区二区激情短视频| 免费高清视频大片| 国产真实伦视频高清在线观看 | av在线蜜桃| 一个人看视频在线观看www免费| 亚洲成av人片在线播放无| 一本精品99久久精品77| 男插女下体视频免费在线播放| a级毛片a级免费在线| 免费观看在线日韩| 在线天堂最新版资源| 免费观看在线日韩| av在线亚洲专区| 18+在线观看网站| 别揉我奶头 嗯啊视频| 搡老妇女老女人老熟妇| 亚洲美女视频黄频| 亚洲最大成人中文| 日韩欧美在线二视频| 国产精品一区www在线观看 | 国产在视频线在精品| 精品久久久久久久久av| 国产探花极品一区二区| 国产精品一区二区免费欧美| 亚洲va在线va天堂va国产| 国内毛片毛片毛片毛片毛片| 国产一区二区三区在线臀色熟女| 亚洲黑人精品在线| 一进一出抽搐动态| 最近最新中文字幕大全电影3| 国产伦一二天堂av在线观看| 啦啦啦韩国在线观看视频| 国内精品一区二区在线观看| 自拍偷自拍亚洲精品老妇| 长腿黑丝高跟| 18禁裸乳无遮挡免费网站照片| 亚洲欧美精品综合久久99| 亚洲精品乱码久久久v下载方式| 免费在线观看日本一区| 黄色一级大片看看| 在线a可以看的网站| 国产三级中文精品| h日本视频在线播放| 国产三级在线视频| 欧美又色又爽又黄视频| 亚洲专区中文字幕在线| 一区福利在线观看| 国产成人一区二区在线| 白带黄色成豆腐渣| 99视频精品全部免费 在线| 免费av不卡在线播放| 一区二区三区高清视频在线| 久久精品国产自在天天线| 最新中文字幕久久久久| 国产成年人精品一区二区| 香蕉av资源在线| 日韩欧美一区二区三区在线观看| 一进一出好大好爽视频| 尤物成人国产欧美一区二区三区| 中国美女看黄片| avwww免费| 搞女人的毛片| 精品久久久久久久久久久久久| 日本 欧美在线| 国产伦精品一区二区三区视频9| h日本视频在线播放| 国产精品久久电影中文字幕| 欧美性猛交╳xxx乱大交人| 国产精品一区二区性色av| 色综合婷婷激情| 91狼人影院| 人妻制服诱惑在线中文字幕| 夜夜看夜夜爽夜夜摸| 神马国产精品三级电影在线观看| 久久精品人妻少妇| 少妇丰满av| 久久精品国产亚洲av香蕉五月| 久久精品夜夜夜夜夜久久蜜豆| 免费av毛片视频| 88av欧美| 亚洲精品成人久久久久久| 久久久久久国产a免费观看| 亚洲欧美清纯卡通| 亚洲精品乱码久久久v下载方式| 亚洲,欧美,日韩| 亚洲av中文av极速乱 | 国内久久婷婷六月综合欲色啪| 国产伦在线观看视频一区| 中文字幕人妻熟人妻熟丝袜美| bbb黄色大片| 国产精品精品国产色婷婷| 丰满的人妻完整版| 午夜日韩欧美国产| 精品日产1卡2卡| 精品人妻熟女av久视频| 精品午夜福利在线看| 亚洲精品亚洲一区二区| 欧美日韩瑟瑟在线播放| 免费观看精品视频网站| 成年免费大片在线观看| 成人午夜高清在线视频| 99在线视频只有这里精品首页| 欧美3d第一页| 欧美一级a爱片免费观看看| 看黄色毛片网站| 亚洲经典国产精华液单| 不卡一级毛片| 男人舔女人下体高潮全视频| 免费电影在线观看免费观看| 九九久久精品国产亚洲av麻豆| 一进一出抽搐gif免费好疼| 精品久久久久久,| 最近视频中文字幕2019在线8| 亚洲成人久久爱视频| 国内精品久久久久精免费| 中文亚洲av片在线观看爽| 精品一区二区免费观看| 少妇猛男粗大的猛烈进出视频 | 国产成人一区二区在线| 又紧又爽又黄一区二区| 国产午夜精品久久久久久一区二区三区 | 亚洲最大成人手机在线| 欧美3d第一页| 男女那种视频在线观看| 99久久九九国产精品国产免费| 又粗又爽又猛毛片免费看| 色噜噜av男人的天堂激情| 亚洲精品成人久久久久久| eeuss影院久久| 深夜精品福利| 少妇被粗大猛烈的视频| 国产熟女欧美一区二区| 欧美潮喷喷水| 中国美白少妇内射xxxbb| 精品不卡国产一区二区三区| 一进一出抽搐gif免费好疼| АⅤ资源中文在线天堂| 欧美色视频一区免费| 亚洲在线自拍视频| 欧美日韩黄片免| 97超视频在线观看视频| 极品教师在线免费播放| 热99在线观看视频| 人妻夜夜爽99麻豆av| 成年女人看的毛片在线观看| 99视频精品全部免费 在线| 少妇熟女aⅴ在线视频| 日日摸夜夜添夜夜添av毛片 | 亚洲精品亚洲一区二区| 精品一区二区三区视频在线观看免费| 日本黄色视频三级网站网址| 亚洲欧美日韩无卡精品| 成人特级av手机在线观看| 国产精品一区www在线观看 | 亚洲中文字幕日韩| 99国产极品粉嫩在线观看| 在线观看一区二区三区| 亚洲专区中文字幕在线| 99视频精品全部免费 在线| 欧美日韩瑟瑟在线播放| 国产伦在线观看视频一区| 亚洲国产高清在线一区二区三| 久久久久久久久大av| 春色校园在线视频观看| 成人美女网站在线观看视频| 人妻夜夜爽99麻豆av| 日本与韩国留学比较| 两个人的视频大全免费| 国产精品久久久久久久电影| 在线观看免费视频日本深夜| av福利片在线观看| 精品福利观看| 老熟妇乱子伦视频在线观看| 黄色配什么色好看| 亚洲成av人片在线播放无| 看黄色毛片网站| 午夜免费男女啪啪视频观看 | 成人国产一区最新在线观看| 五月玫瑰六月丁香| 午夜精品久久久久久毛片777| 国产av一区在线观看免费| 日韩大尺度精品在线看网址| 国产精品亚洲美女久久久| 久久精品91蜜桃| 国产老妇女一区| 婷婷精品国产亚洲av| 99视频精品全部免费 在线| 国产视频一区二区在线看| 天天一区二区日本电影三级| av国产免费在线观看| 性插视频无遮挡在线免费观看| 老师上课跳d突然被开到最大视频| 夜夜看夜夜爽夜夜摸| 国产黄a三级三级三级人| 中文字幕精品亚洲无线码一区| 久久久久久久久久成人| 麻豆成人av在线观看| 亚洲国产高清在线一区二区三| 成人毛片a级毛片在线播放| 丰满乱子伦码专区| 亚洲欧美清纯卡通| 欧美日韩亚洲国产一区二区在线观看| 中文字幕av在线有码专区| 亚洲人成网站在线播放欧美日韩| 18禁黄网站禁片免费观看直播| 国产亚洲91精品色在线| 中国美女看黄片| 人妻久久中文字幕网| 天堂av国产一区二区熟女人妻| 人妻夜夜爽99麻豆av| 精品一区二区免费观看| 91在线精品国自产拍蜜月| 免费看日本二区| 成人永久免费在线观看视频| 久久精品国产自在天天线| 精品久久久久久久末码| 看免费成人av毛片| 免费观看人在逋| 日日摸夜夜添夜夜添小说| 高清日韩中文字幕在线| 久久草成人影院| 日韩一本色道免费dvd| 高清毛片免费观看视频网站| 免费av不卡在线播放| 免费观看人在逋| 国产伦精品一区二区三区四那| 香蕉av资源在线| 欧美精品啪啪一区二区三区| 欧美性感艳星| 在线播放无遮挡| 88av欧美| 亚洲美女搞黄在线观看 | 成人特级av手机在线观看| 国产精品一区二区免费欧美| 我的女老师完整版在线观看| 黄色丝袜av网址大全| 日本色播在线视频| 两人在一起打扑克的视频| 91久久精品电影网| 久9热在线精品视频| av福利片在线观看| 日本 欧美在线| 日韩国内少妇激情av| a级毛片a级免费在线| 日本一本二区三区精品| 亚洲成人中文字幕在线播放| videossex国产| 精品一区二区三区av网在线观看| 国产乱人伦免费视频| 久久香蕉精品热| 18禁黄网站禁片免费观看直播| 欧美性猛交╳xxx乱大交人| av女优亚洲男人天堂| 十八禁国产超污无遮挡网站| 午夜日韩欧美国产| 亚洲国产精品合色在线| 国产高清不卡午夜福利| 日本黄大片高清| eeuss影院久久| 亚洲av日韩精品久久久久久密| 国国产精品蜜臀av免费| 久久精品国产99精品国产亚洲性色| 老熟妇乱子伦视频在线观看| 天堂动漫精品| 桃色一区二区三区在线观看| 伊人久久精品亚洲午夜| 91av网一区二区| 免费人成视频x8x8入口观看| 精品99又大又爽又粗少妇毛片 | 丰满乱子伦码专区| 在线免费十八禁| 日韩一区二区视频免费看| 全区人妻精品视频| 丰满的人妻完整版| 亚洲熟妇熟女久久| 亚洲性夜色夜夜综合| 夜夜爽天天搞| 99精品久久久久人妻精品| 国产在视频线在精品| 永久网站在线| 日本免费a在线| 淫妇啪啪啪对白视频| 深夜a级毛片| 亚洲av免费高清在线观看| 久久久久久久久久久丰满 | 成年女人看的毛片在线观看| 97碰自拍视频| 一区福利在线观看| 乱人视频在线观看| 男人的好看免费观看在线视频| 91精品国产九色| 国产av麻豆久久久久久久| 麻豆久久精品国产亚洲av| 午夜福利欧美成人| 最近视频中文字幕2019在线8| 中亚洲国语对白在线视频| 欧美潮喷喷水| 久久精品久久久久久噜噜老黄 | 热99re8久久精品国产| 精品一区二区三区av网在线观看| 成年女人看的毛片在线观看| 久久人人爽人人爽人人片va| 久久午夜亚洲精品久久| 午夜精品一区二区三区免费看| 国产白丝娇喘喷水9色精品| 人妻夜夜爽99麻豆av| 久久婷婷人人爽人人干人人爱| a级毛片免费高清观看在线播放| 丝袜美腿在线中文| 性欧美人与动物交配| 欧美区成人在线视频| 日韩欧美免费精品| 精品久久久噜噜| avwww免费| 精品无人区乱码1区二区| 久久久久久久久中文| 动漫黄色视频在线观看| 国产免费av片在线观看野外av| 两个人视频免费观看高清| 国产日本99.免费观看| 九色国产91popny在线| 色5月婷婷丁香| 国产女主播在线喷水免费视频网站 | 中国美女看黄片| 中文字幕免费在线视频6| 国产乱人视频| 午夜福利在线观看吧| 成人一区二区视频在线观看| 国产精品久久久久久亚洲av鲁大| 日本a在线网址| 99热这里只有是精品50| 99热只有精品国产| 一进一出抽搐动态| 国产亚洲精品综合一区在线观看| 成年女人看的毛片在线观看| 国产av不卡久久| 久久久久九九精品影院| 成人亚洲精品av一区二区| 天天一区二区日本电影三级| 搡老岳熟女国产| 18禁在线播放成人免费| 午夜精品久久久久久毛片777| 特级一级黄色大片| 久久人人爽人人爽人人片va| 亚洲图色成人| 日韩欧美精品v在线| 18禁黄网站禁片午夜丰满| 全区人妻精品视频| 久久6这里有精品| 99热这里只有精品一区| 国产免费男女视频| 亚洲精品亚洲一区二区| 九色成人免费人妻av| 麻豆国产av国片精品| 欧美一级a爱片免费观看看| 国产精品人妻久久久影院| 男人狂女人下面高潮的视频| 精品不卡国产一区二区三区| 亚洲成人精品中文字幕电影| 成人特级av手机在线观看| 麻豆成人午夜福利视频| 最近最新中文字幕大全电影3| 国产精品久久久久久久电影| 一进一出好大好爽视频| 午夜福利在线观看吧| 天堂网av新在线| 国产精品综合久久久久久久免费| 超碰av人人做人人爽久久| 九色国产91popny在线| 色在线成人网| 日韩欧美精品免费久久| 亚洲中文日韩欧美视频| 国产蜜桃级精品一区二区三区| 美女cb高潮喷水在线观看| 日韩在线高清观看一区二区三区 | 国产精品av视频在线免费观看| 在线免费十八禁| 日日摸夜夜添夜夜添小说| 亚洲成人久久性| 国产一区二区激情短视频| 麻豆精品久久久久久蜜桃| 色5月婷婷丁香| 久久久成人免费电影| 韩国av在线不卡| 亚洲精品一卡2卡三卡4卡5卡| 色吧在线观看| 午夜激情福利司机影院| 久久久久免费精品人妻一区二区| 午夜a级毛片| 99热6这里只有精品| 国产成人一区二区在线| 国产伦精品一区二区三区视频9| 亚洲国产色片| 伦精品一区二区三区| 日韩欧美一区二区三区在线观看| 日韩高清综合在线| 午夜日韩欧美国产| 男女做爰动态图高潮gif福利片| 老司机福利观看| av在线观看视频网站免费| 热99re8久久精品国产| 久久香蕉精品热| 99九九线精品视频在线观看视频| 欧美国产日韩亚洲一区| 男女啪啪激烈高潮av片| 久久6这里有精品| 免费人成在线观看视频色| eeuss影院久久| 午夜精品久久久久久毛片777| 欧美精品啪啪一区二区三区| 国产精品一区二区三区四区久久| 欧美中文日本在线观看视频| 亚洲第一区二区三区不卡| 熟女人妻精品中文字幕| 亚洲无线观看免费| 国产精品免费一区二区三区在线| av黄色大香蕉| 91久久精品电影网| 国产精品久久久久久av不卡| 国产白丝娇喘喷水9色精品| 波多野结衣高清作品| 级片在线观看| 亚洲综合色惰| 亚洲avbb在线观看| 国产男靠女视频免费网站| 18禁黄网站禁片午夜丰满| 日本-黄色视频高清免费观看| 久久亚洲真实| 国内精品一区二区在线观看| 欧美一区二区亚洲| 午夜免费男女啪啪视频观看 | 我要看日韩黄色一级片| 日日摸夜夜添夜夜添小说| 亚洲国产欧洲综合997久久,| 最近最新中文字幕大全电影3| 久久久久久伊人网av| 色尼玛亚洲综合影院| 国产高清激情床上av| 亚洲男人的天堂狠狠| 婷婷色综合大香蕉| 久久草成人影院| 精品人妻视频免费看| 蜜桃久久精品国产亚洲av| 国产亚洲91精品色在线| 两性午夜刺激爽爽歪歪视频在线观看| 日本一二三区视频观看| 亚洲av中文av极速乱 | 天堂√8在线中文| 欧美+日韩+精品| 久久久久国内视频| 亚洲精品在线观看二区| 色尼玛亚洲综合影院| 亚洲国产欧美人成| 国产毛片a区久久久久| 久久久色成人| 亚洲精品日韩av片在线观看| 久久久久久久亚洲中文字幕| 一级毛片久久久久久久久女| 日韩中文字幕欧美一区二区| x7x7x7水蜜桃| 他把我摸到了高潮在线观看| 免费av观看视频| 免费搜索国产男女视频| 午夜福利高清视频| 亚洲男人的天堂狠狠| 99在线人妻在线中文字幕| 不卡视频在线观看欧美| 真人一进一出gif抽搐免费| 无遮挡黄片免费观看| 观看免费一级毛片| 国内毛片毛片毛片毛片毛片| 亚洲国产高清在线一区二区三| 99热这里只有是精品在线观看| 一进一出好大好爽视频| 国产亚洲精品av在线| 欧美成人一区二区免费高清观看| 午夜福利在线在线| 午夜久久久久精精品| 亚洲无线在线观看| 三级男女做爰猛烈吃奶摸视频| 三级毛片av免费| 婷婷六月久久综合丁香| 人人妻人人看人人澡| 久久午夜福利片| 神马国产精品三级电影在线观看| 黄色丝袜av网址大全| 国产精品爽爽va在线观看网站| av福利片在线观看| aaaaa片日本免费| 久久精品国产清高在天天线| 久久久久免费精品人妻一区二区| 午夜免费激情av| 午夜福利18| 亚洲在线自拍视频| 搡老妇女老女人老熟妇| 免费在线观看影片大全网站| 亚洲avbb在线观看| 色综合站精品国产| 三级男女做爰猛烈吃奶摸视频| 精品无人区乱码1区二区| 丰满的人妻完整版| 尾随美女入室| 久久久久九九精品影院| 亚洲欧美日韩无卡精品| 免费观看精品视频网站| 免费人成视频x8x8入口观看| 成人国产一区最新在线观看| 级片在线观看| 在线观看美女被高潮喷水网站| 国产一区二区三区视频了| 亚洲欧美精品综合久久99| 精品久久久久久久久av| 国产精品1区2区在线观看.| 国内精品久久久久久久电影| 国产精品国产三级国产av玫瑰| 久久久久久久久久成人| 99在线视频只有这里精品首页| 男女下面进入的视频免费午夜| 日韩一区二区视频免费看| 性插视频无遮挡在线免费观看| 久久久午夜欧美精品| 久久人妻av系列| 亚洲av第一区精品v没综合| 国产高清视频在线播放一区| 日本三级黄在线观看| 欧美性猛交黑人性爽| 熟女电影av网| 国产v大片淫在线免费观看| 色哟哟·www| 日本成人三级电影网站| 又爽又黄无遮挡网站| 九色成人免费人妻av| 免费av不卡在线播放| 日本黄色片子视频| 长腿黑丝高跟| 国产精品1区2区在线观看.| 成年免费大片在线观看| 亚洲av成人av| 亚洲av二区三区四区| aaaaa片日本免费| 亚洲自偷自拍三级| 老熟妇乱子伦视频在线观看| 韩国av在线不卡| 高清毛片免费观看视频网站| 少妇人妻一区二区三区视频| av专区在线播放| 性色avwww在线观看| 美女免费视频网站| 小蜜桃在线观看免费完整版高清| 一本久久中文字幕| eeuss影院久久| 欧美高清成人免费视频www| 国内精品宾馆在线| 久久精品夜夜夜夜夜久久蜜豆| 大又大粗又爽又黄少妇毛片口| 噜噜噜噜噜久久久久久91| 又黄又爽又免费观看的视频| 色吧在线观看| 美女cb高潮喷水在线观看| 国产乱人视频| 最新在线观看一区二区三区| 99久久精品热视频| 欧美潮喷喷水| 国产伦人伦偷精品视频| 夜夜看夜夜爽夜夜摸| 国产中年淑女户外野战色| 免费av毛片视频| 中国美白少妇内射xxxbb| a在线观看视频网站|