• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于主成分分析和層次分析法的科技創(chuàng)新量化考核算法

    2024-07-17 00:00:00冉黎瓊陳金勇高林宋海權(quán)王邦平于泳劉洋喬少杰
    無線電工程 2024年4期
    關(guān)鍵詞:評價指標體系主成分分析科技創(chuàng)新

    摘 要:企業(yè)科技成果作為國家科技創(chuàng)新的重要組成部分,是科技創(chuàng)新的重要體現(xiàn)。如何科學評價新時期企業(yè)科技成果創(chuàng)新是一個普遍存在的問題,針對傳統(tǒng)層次分析法(Analytical Hierarchy Process,AHP) 在確定權(quán)重系數(shù)方面存在的不足,以國有企業(yè)科技創(chuàng)新評價為落腳點,提出一種基于主成分分析法(Principal Component Analysis,PCA) 和AHP 的科技創(chuàng)新量化考核方法,建立了國有企業(yè)科技創(chuàng)新量化考核指標要素信息庫,構(gòu)建新型科研平臺科技創(chuàng)新能力考核指標體系。綜合考慮了主客觀因素,利用PCA 得到指標層中各指標的重要度,通過AHP 得到判斷矩陣,提高判斷矩陣的準確性和合理性。實驗結(jié)果表明,采用基于PCA 和AHP 的科技創(chuàng)新量化考核算法得到的國有企業(yè)科技創(chuàng)新量化考核評估結(jié)果更加客觀合理,并通過人機交互系統(tǒng)展示考核的分析結(jié)果。

    關(guān)鍵詞:層次分析法;主成分分析;科技創(chuàng)新;評價指標體系;人機交互系統(tǒng)

    中圖分類號:TP315 文獻標志碼:A 開放科學(資源服務(wù))標識碼(OSID):

    文章編號:1003-3106(2024)04-0998-11

    0 引言

    新時代國家發(fā)展戰(zhàn)略是以科技自主自強為支撐,科技創(chuàng)新是國家發(fā)展的第一要務(wù),科技成果作為國家科技創(chuàng)新的重要組成部分,是衡量一個國家在國際競爭中的綜合實力和國家全面發(fā)展的第一生產(chǎn)力。為加快打造世界創(chuàng)新高地,需盡快構(gòu)建針對不同級別實驗室、研究所的科技創(chuàng)新成果評價體系,完善國家資源分配。目前對于新時期科技創(chuàng)新的理論研究十分有限,如何對科技創(chuàng)新成果進行評價,已成為科技創(chuàng)新成果轉(zhuǎn)化的重要內(nèi)容。

    張敏等[1]提出了一種改進的層次分析法(Analytical Hierarchy Process,AHP),采用模糊綜合評判和生成比較的方法建立評判矩陣。羅齊彬等[2]利用主成分分析法(Principal Component Analysis,PCA)來分析地氣測量元素間的異常信息,將原始數(shù)據(jù)轉(zhuǎn)化為主成分,克服了主觀因素的影響。Fortunato 等[3]指出創(chuàng)新是基于對現(xiàn)有成果的傳統(tǒng)組合,但同時需要具有獨特性。馮立杰等[4]提出可以通過TextRankIDF 新穎性度量來評估科技創(chuàng)新并對其創(chuàng)新性進行排序、測量創(chuàng)新帶來的價值。沈律等[5]提出將技術(shù)成果的重復率和技術(shù)成果的引用率納入技術(shù)成果創(chuàng)新程度評價的指標體系,提出了技術(shù)創(chuàng)新一般均衡理論。易雪媛等[6]提出了科技成果創(chuàng)新的有效性評價模式,強調(diào)新的科技創(chuàng)新成果考核評價應(yīng)該增加預設(shè)倫理評價、新穎性評價、需求度評價與成果采納、經(jīng)濟性評價、成果的發(fā)表引用獲獎等評價指標,揭示了成果創(chuàng)新會隨著時間推移而衰減,但創(chuàng)新有效性反而得到明顯增強的特殊現(xiàn)象。譚春輝等[7]通過將科技成果劃分為4 類,對劃分后的4 類成果分別構(gòu)建評價指標。

    現(xiàn)有的評價方法根據(jù)權(quán)重可以大致區(qū)分為客觀賦權(quán)和主觀賦權(quán)2 類。前者是根據(jù)現(xiàn)有存在的數(shù)據(jù)進行分析,根據(jù)所分析的數(shù)據(jù)關(guān)系對其屬性進行分配權(quán)值,較強依賴于數(shù)學理論依據(jù),具有較強的客觀性,但一定程度上會因為其客觀性,無法將實際情況和人們主觀意向相結(jié)合。后者是相關(guān)領(lǐng)域的專家根據(jù)現(xiàn)有存在的決策問題,結(jié)合專家本身的知識儲備和處理經(jīng)驗,科學合理地對屬性進行權(quán)重賦值和排序,一定程度上降低了屬性權(quán)重和屬性重要性不一致的現(xiàn)象,該方法很大程度上依賴于決策專家們的判斷,造成對決策專家的負擔,難免會受到個人主觀的影響,從而存在一定的主觀隨意性。

    針對現(xiàn)有科技評價方法的不足,本文結(jié)合PCA的客觀分析法和基于AHP 的主觀賦權(quán)法,設(shè)計一種適用于國有企業(yè)的科技創(chuàng)新量化考核算法,既解決了主觀因素的影響,又客觀地反映了樣本之間的真實關(guān)系,同時充分利用了數(shù)據(jù)信息。以國有企業(yè)科技成果創(chuàng)新評價為落腳點,構(gòu)建了實驗室科技成果評價標準指標數(shù)據(jù)庫,建立了多維度、多層次的全方位指標評價體系。針對每個維度,采用不同的方法從通用數(shù)據(jù)庫中提取相關(guān)指標集,對其計算權(quán)重,構(gòu)建唯一的指標體系,最終對實驗室科技創(chuàng)新成果進行多層次、多角度的差異化評價。

    1 考核評價模型與方法

    1. 1 基于PCA 的指標體系

    當考核體系中的指標類型冗雜眾多時,每個指標元素所提供的有效信息并非具有同等價值,若對所有考核對象的指標元素都進行參考并最終得出考核結(jié)果,往往會耗費大量不必要的時間,且從考核結(jié)果中并不能體現(xiàn)指標元素之間的關(guān)聯(lián)性[8]。若僅簡單直觀地選取部分指標元素,雖然比較簡單,但很可能會損失許多有效信息[9]。故對指標元素采用PCA 解決上述問題。

    定義1(PCA)利用現(xiàn)有的n 個指標元素:X1 ,X2 ,X3 ,…,Xn 構(gòu)建樣本矩陣,計算出相關(guān)系數(shù)矩陣,得出各指標元素的方差貢獻率,采用方差貢獻率較高的指標元素,最終將n 個指標綜合簡化為相對重要的k 個(k<n)指標元素。

    ① 構(gòu)建樣本矩陣:假設(shè)采?。?個考核對象,p 個考核指標,考核對象i 對考核指標j 的原始數(shù)據(jù)為xij,其中,i = 1,2,…,n;j = 1,2,…,p,構(gòu)成大小為n×p 的樣本矩陣x:

    ② 樣本矩陣標準化:采用ZScore 法解決原始變量尺寸和數(shù)量級不同所造成的影響,使每個變量標準化,得到標準化矩陣X:

    ③ 計算標準化樣本的協(xié)方差矩陣:根據(jù)步驟②得出的標準化數(shù)據(jù)Xij 計算出樣本相關(guān)系數(shù)cij =Σnk = 1(Xki -Xi)(Xkj -Xj)/ (n-1)=Σnk = 1Xki·Xkj / (n-1),得出x 矩陣的樣本相關(guān)系數(shù)矩陣CovX = (cij)p ×p:

    ④ 計算協(xié)方差矩陣CovX 的特征值和特征向量:根據(jù)步驟③所得的協(xié)方差矩陣CovX,通過方程|CovX-λ·E|= 0 計算得出CovX 矩陣的特征值λi(i = 1,2,3,…,p),并按照降序?qū)⑻卣髦颠M行排序,然后對排序后的特征值λi 計算其對應(yīng)的特征向量ei。

    ⑤ 方程解排序后的特征值:λ1 >λ2 >…>λp,對應(yīng)的特征向量ei = (e1i,e2i,…,epi) T ,其中i = 1,2,3,…,p。

    ⑦ 主成分表示:簡化的m 個主成分表示為Fi(i = 1,2,3,…,k),根據(jù)步驟④的特征向量得出第i 個主成分為:

    Fi = e1i ·X1 + e2i ·X2 + … + epi ·Xp 。(7)

    根據(jù)步驟⑥得出的對應(yīng)方差貢獻率wi 作為每個指標元素的權(quán)值,則主成分模型:

    F = F1 ·w1 + F2 ·w2 + … + Fm ·wm 。(8)

    1. 2 基于AHP 的指標賦權(quán)及評價

    在考核評價指標數(shù)量較多時,僅僅采用傳統(tǒng)的主觀賦值法來確定考核評價指標的權(quán)重,會對部分考核評價指標的重要程度產(chǎn)生一定的偏差,進而導致實際考核評價數(shù)據(jù)難以反映客觀實際情況,而采用客觀賦權(quán)法來確定評價指標的權(quán)重能避免主觀因素的影響。國家級和省部級重點實驗室的考核規(guī)則中均設(shè)置了各個考核指標的具體權(quán)重,項目單位可直接采用有關(guān)的權(quán)值進行計算。如果需要對有關(guān)權(quán)值進行調(diào)整或新增考核指標,項目單位可根據(jù)實際情況直接設(shè)置各指標的權(quán)值,也可以采用如下的AHP 設(shè)置和檢驗考核指標權(quán)重是否合理。

    本文采取的AHP 方法步驟如下所示,具體考核指標和分級方法以具體情況確定。

    (1)建立層次結(jié)構(gòu)模型

    科技創(chuàng)新量化考核指標體系是一個典型的層次結(jié)構(gòu)模型。

    例1 圖1 所示為一個簡化的實驗室考核層次結(jié)構(gòu)模型,僅用于說明AHP 的計算過程。將考核規(guī)則中的1 ~ 3 級指標分別對應(yīng)于目標層(H)、準則層(L1 ~ L3)和方案層(Y1 ~ Y6)。

    (2)構(gòu)造各層次的判斷(成對比較)矩陣

    根據(jù)Saaty[10-11]提出的一致矩陣法,將所有因素兩兩比較,并采用相對尺度提高準確性。如圖1所示,為了設(shè)置目標層H 下的n 個準則層的權(quán)重,將H 層下的準則層L1、L2、L3 參照重要性程度評定等級表進行兩兩互相對比,參考表1 比例度量。例如,在圖1 中,L1 相對于L2、L3 的重要性分別為3和7,L2 相對于L3 的重要性為5。

    權(quán)重計算和一致性檢驗過程如下:

    ① 參考表1 得出所有因素比較結(jié)果aij 組成比較矩陣A,A = (aij)n×n 為n 階方陣,將A 按列向量歸一化得到矩陣B = (bij ),其中bij = aij /Σni = 1 aij (n = 1,2,3,…,n),即將每一個元素除以其所在列元素的和。

    ② 對B = (bij )按行求和得C = (C1 ,C2 ,C3 ,…,Cn) T ,其中,Ci =Σnj = 1 bij。

    ③ 將C 歸一化W = (W1 ,W2 ,W3 ,…,Wn) T ,其中Wi = Ci /Σni = 1 Ci,即Σni = 1 Wi = 1。

    ④ 計算λmax = (A·W)i / (n·Wi ),表示最大特征值的近似值,其中(A·W)i 表示A·W 的第i 個分量。

    ⑤ 將CI 作為一致性指標計算CI = (λ-n)/ (n-1),當CI = 0 時,表示完全一致;當CI 越接近于0,則一致性越高,反之CI 越大,則一致性就越低。

    ⑥ 將CR 作為一致性比率,計算CR = CI / RI,其中,RI 表示平均隨機一致性指標,當一致性比率CR<0. 1 時,通常認為A 的不一致性在容許范圍之內(nèi)可以被接受,通過一致性檢驗;反之則需要重新從比較矩陣A 構(gòu)建,對aij 進行調(diào)整。

    2 科技創(chuàng)新評價指標體系構(gòu)建

    2. 1 考核指標選擇

    本文參考《中國大學科技創(chuàng)新力指數(shù)報告(2017)》《中國區(qū)域科技創(chuàng)新評價報告(2021)》《全國科技創(chuàng)新百強指數(shù)報告2022—企業(yè)、高校及研究機構(gòu)篇》考核信息要求,并參考本文依托項目單位自身定位和現(xiàn)有的有關(guān)指標,建立科研機構(gòu)科技創(chuàng)新量化考核指標要素信息庫,將指標庫收集的指標大致分為15 種類型,如表2 所示。

    2. 2 基于PCA 的評價指標體系構(gòu)建

    同上文考核指標選擇所借鑒相關(guān)報告相同,并參考項目單位自身定位和現(xiàn)有的有關(guān)指標,基于指標體系構(gòu)建理論,在對科技成果進行多維度、多層次、多元化解讀的基礎(chǔ)上,對科技成果創(chuàng)新評價進行深入研究,構(gòu)建如表3 所示的指標體系。

    根據(jù)項目單位自身定位,以及下屬各實驗室的等級和考核需求,參考各主管單位的考核規(guī)則,制定考核指標時的基本原則如下:

    ① 考核指標體系總體框架見表3,考核目標分解為1 ~ 3 級,與現(xiàn)行的國家級、省部級和各研究院自定的考核方案框架一致,便于與現(xiàn)有考核規(guī)則對接[12]。表3 中的37 個三級指標是根據(jù)考核指標要素信息庫的15 種數(shù)據(jù)類型信息提取而來。

    ② 對于有外部考核要求的創(chuàng)新實體,如國家級和省部級實驗室,考核標準主要參考對應(yīng)主管部門制定的考核規(guī)則,保證國家級或省級重點實驗室能順利通過主管部門的考核,重點實驗室的發(fā)展和建設(shè)符合國家的科技創(chuàng)新導向,保證重點實驗室地位的延續(xù)性[13]。

    ③ 對于項目單位沒有外部考核規(guī)則的實驗室,如院級研發(fā)中心和創(chuàng)新團隊,以項目的單位制定的考核方案為主[14]。

    ④ 在考核上述指標的同時,適當增加一些考核的“動態(tài)指標”,為實現(xiàn)國有企業(yè)發(fā)展、科技創(chuàng)新而建立新的考核指標,或根據(jù)上年度的考核結(jié)果新增的考核指標,其目的是保證考核指標的與時俱進,與企業(yè)的發(fā)展規(guī)劃相適應(yīng)[15]。

    2. 3 基于AHP 的指標權(quán)重設(shè)定

    首先,將評價考核指標體系的部分數(shù)據(jù)(表3中標記為加粗的指標),根據(jù)是否進一步區(qū)分的等級乘以不同的權(quán)重,其相對權(quán)重主要是通過主觀人為確定的,計算方式如下。

    ① 高級人才綜合得分值S1 :

    S1 = Σ51(人才類型數(shù)目× 人才權(quán)重)。(9)

    ② 科研項目分值:ai = 項目權(quán)重×等級權(quán)重,表示第i 個科研項目分值;A =Σn21 ai,表示科研項目總分值,n2 為科研項目數(shù)目。

    ③ 論文分值:bi = 論文類型權(quán)重×期刊分區(qū)×排名次序,表示第i 篇論文分值;B =Σn31 bi 表示論文總分值,n3 為論文總數(shù);人均論文分值= 論文分值/ 總?cè)藬?shù)。

    ④ 專利綜合分值:ci = 專利類型權(quán)重×專利狀態(tài)權(quán)重×排名權(quán)重,表示第i 篇專利分值;C =Σn41 ci 表示專利綜合分值,n4 為專利總數(shù)。

    ⑤ 標準綜合分值:di = 標準等級權(quán)重×排名權(quán)重,表示每件標準分值;D =Σn51 di 表示標準綜合分值,n5 為標準總數(shù)。

    ⑥ 科技學技術(shù)獎項分值:gi = 獎項權(quán)重×等級權(quán)重×排名權(quán)重,表示單個獎項分值;E =Σn61 gi 表示獎項綜合分值,n6 為獎項個數(shù)。

    ⑦ 成果鑒定分值:fi = 成果等級權(quán)重× 排名權(quán)重,表示單個成果分值;F =Σn71 fi 表示成果綜合分值,n7 為成果總數(shù)。

    最后,通過AHP 方法計算該科研平臺科技創(chuàng)新能力考核指標體系的三級指標權(quán)重,并按照由下到上的順序?qū)⒏鲗蛹壘€性相加,逐步得到二級指標和一級指標的權(quán)重[16],其各級指標權(quán)重占比如表4 所示。

    3 實驗結(jié)果與分析

    本節(jié)將介紹實驗數(shù)據(jù)和實驗設(shè)置,并討論分析在真實數(shù)據(jù)集上的實驗結(jié)果。

    3. 1 數(shù)據(jù)集描述。

    為了評估本系統(tǒng)所提出基于PCA 和AHP 算法的準確性,以及運行時間的提升,分別選取了通信軟件與專用集成電路設(shè)計國家工程研究中心(D1)、河北省光子信息重點實驗室(D2)和光通信研發(fā)中心(D3)的工作人員信息,作為國家級重點實驗室、省企業(yè)重點實驗室和院級研發(fā)中心的不同級別實驗室的真實數(shù)據(jù)集。3 個數(shù)據(jù)集分別包含了326、283、176 名工作人員信息,3 個數(shù)據(jù)集均按照7 ∶ 3 的比例隨機劃分成訓練集和驗證集。

    3. 2 實驗環(huán)境

    實驗軟硬件環(huán)境包括:操作系統(tǒng)為Ubuntu 20. 04,JAVA 開發(fā)環(huán)境為jdk1. 6. 0_26,Web 服務(wù)器為Tomcat9. 0,數(shù)據(jù)庫為SQLServer 2008 R2(RTM);硬件環(huán)境為NVIDIA GeForce RTX 3080 Ti,CPU 內(nèi)存為32 GB。

    3. 3 評價標準

    通過對比相同實驗下的傳統(tǒng)方法、基于AHP、基于PCA 和基于PCA+AHP 四種不同算法對各級實驗室單位的科技創(chuàng)新水平進行量化考核,選擇運行時間、準確率(Accuracy)、精確率(Precision)和召回率(Recall)4 項指標進行實驗。準確率指所有被納入系統(tǒng)的指標占所有指標的比重(式(10));精確率指被正確納入系統(tǒng)的指標占所有被納入系統(tǒng)的比重(式(11));召回率指被正確納入系統(tǒng)的指標占實際所有應(yīng)該被納入系統(tǒng)的指標(式(12)),對應(yīng)公式如下:

    Accuracy = (TP + TN)/ (TP + TN + FP + FN),(10)

    Precision = TP / (TP + FP), (11)

    Recall = TP / (TP + FN), (12)

    式中:TP 表示被成功納入系統(tǒng)并賦予合理權(quán)重的指標,TN 表示未被系統(tǒng)采納的多余指標,FP 表示被系統(tǒng)納入的多余指標,FN 表示被系統(tǒng)遺漏的考核指標。

    3. 4 消融實驗

    在使用相同數(shù)據(jù)集和訓練環(huán)境的前提下,分別在傳統(tǒng)算法、基于AHP、基于PCA、基于PCA+AHP四種算法上訓練,得到圖2 所示4 種算法的運行時間,結(jié)果表明傳統(tǒng)方法所需的運行時間最長,在省部級的數(shù)據(jù)集(D1)中高達276 ms,而省部級中基于PCA + AHP 的運行時間可以縮短至104 ms。圖3 給出了4 種算法分別在不同數(shù)據(jù)集的準確率,從圖中可以看出,本文提出的基于PCA+AHP 明顯高于其他方法,因為通過PCA 相對于傳統(tǒng)方法可以分析出指標間的關(guān)系,然后通過AHP 合理地賦予權(quán)值,PCA + AHP 的組合模式下算法準確率最高。

    圖4 展示了4 種算法的PR 曲線對比,發(fā)現(xiàn)基于PCA+AHP 算法的曲線所占面積最大,曲線下降趨勢劇烈,說明其檢測精度相比其他算法更高。

    4 人機交互系統(tǒng)和創(chuàng)新能力評價

    綜合考慮到創(chuàng)新實驗室差異化評估的特點并適應(yīng)不斷深化的改進需求,本文開發(fā)了一個科技創(chuàng)新量化考核系統(tǒng),基于B / S 模式,采用J2EE 架構(gòu),JAVA 集成開發(fā)工具選擇MyEclipse 10. 0,開源Web框架選擇Struts2. 0,開源數(shù)據(jù)庫框架選擇Hibernate3. 3,Ajax 框架選擇JQuery1. 7,選用Microsoft SQL Server2008 數(shù)據(jù)庫,以實現(xiàn)海量數(shù)據(jù)高效管理,并具有較強的擴展性和高可用性。本節(jié)將從系統(tǒng)6 個組成模塊和創(chuàng)新性體現(xiàn)兩方面來進行介紹。

    4. 1 人機交互系統(tǒng)功能模塊

    建立考核組織體系首先需要成立實驗室考核辦公室或委員會,專門負責企業(yè)下屬各級實驗室的考核工作,形成系統(tǒng)的考核組織體系,以增強考核的獨立性及結(jié)果的準確性[17]。實驗室考核辦公室負責制定考核方案,出臺具體的考核步驟與要點,規(guī)定考核的性質(zhì)和內(nèi)容,明確考核指標、權(quán)值。在進行下一年度考核前,考核辦公室可對現(xiàn)行的方案、方式和指標進行修訂,對考核方案進行調(diào)整[18]。

    考核方案確定后,根據(jù)考核方案的內(nèi)容設(shè)計考核系統(tǒng)的功能及各個子模塊。實驗室考核平臺在功能上不但要求能夠?qū)Ω鲗蛹墝嶒炇疫M行差異化考核,同時平臺也應(yīng)滿足考核過程的便捷性,能對實驗室信息和考核所需的數(shù)據(jù)進行標準化、模塊化管理[19]。將實驗室考核系統(tǒng)分為6 個功能模塊:實驗室基本信息、年度目標、年度數(shù)據(jù)、評價指標、評價輸出和評價總結(jié),如圖5 所示。

    實驗室基本信息模塊:用于統(tǒng)計實驗室項目和人員情況,包括實驗室簡介、人員列表、項目統(tǒng)計和文章統(tǒng)計等。點擊相應(yīng)的子模塊可以查看每項的具體信息,可對相關(guān)的信息進行維護、修改或添加。

    年度目標設(shè)定模塊:年度目標是進行實驗室考核的重要依據(jù),考核辦公室根據(jù)各實驗室的具體情況設(shè)置差異化目標。目標設(shè)定后將相關(guān)數(shù)據(jù)導入考核系統(tǒng),方便各實驗室人員查看,同時保存用于年底考核時進行指標比對。

    實驗室年度數(shù)據(jù):實驗室年度數(shù)據(jù)指本實驗室一年來運行所有的數(shù)據(jù)統(tǒng)計,包括人員、獎項、國家級項目、省部級項目、文章專利和新增儀器等。這些數(shù)據(jù)并非最終都會用作考核指標,將這些數(shù)據(jù)的存儲備用,提高實驗室管理效率。

    評價指標模塊:本文績效考核指標體系采用三級指標體系。三級指標共同構(gòu)成二級指標,二級指標共同組成一級指標。評價指標模塊用于對評價指標和權(quán)值進行設(shè)置或修訂。

    評價輸出模塊:評價指標輸出模塊用于根據(jù)統(tǒng)計的考核指標和實驗室的年度成果,統(tǒng)計考核數(shù)據(jù)是否完整,對完整數(shù)據(jù)計算評價考核,并將其評價結(jié)果進行展示。

    評價總結(jié):對考核結(jié)果進行分析與總結(jié),包括與本年度其他實驗室的比較、與之前年度考核成績的比較,在哪些方面取得了進步,哪些方面需要進一步改進。

    4. 2 科技創(chuàng)新能力分析

    錄入信息后,檢驗其數(shù)據(jù)完整性,進行年度數(shù)據(jù)統(tǒng)計分析。根據(jù)指標權(quán)重,計算研究所和下屬各考核對象的創(chuàng)新能力值,進行比較分析,從不同維度展示被考核對象的科技創(chuàng)新能力及變化趨勢。

    4. 2. 1 考核指標元素分析

    由指標權(quán)重計算得出后的結(jié)果,對各考核對象的具體考核指標元素進行如下分析:

    ① 分析項目單位的整體數(shù)據(jù)指標。對全所年度數(shù)據(jù)進行統(tǒng)計和展示。對表2 考核指標要素信息庫中15 個類別的指標元素進行統(tǒng)計和展示。

    ② 分析企業(yè)下屬各考核對象的數(shù)據(jù)指標,計算各考核對象對研究所總年度指標的貢獻率,計算各考核對象對上述15 個類別的指標分別的貢獻度,并分別展示15 個類型指標其考核對象排名貢獻度前五的主要貢獻對象。

    ③ 分析各類指標的人均貢獻度,如人均論文數(shù)、人均專利數(shù)等。

    本文從各考核對象之間和歷年歷史數(shù)據(jù)兩個維度進行比較,并展示研究所和各考核單位的指標元素變化。

    4. 2. 2 創(chuàng)新能力分析

    由系統(tǒng)計算得出的創(chuàng)新能力值,對各考核對象進行如下創(chuàng)新能力分析:

    ① 計算并展示項目單位整體創(chuàng)新分值,以及各級考核指標的創(chuàng)新分值,包括表3 中的一級指標、二級指標和三級指標。

    ② 計算并展示各考核對象的創(chuàng)新分值,以及各考核對象的各級指標創(chuàng)新分值。

    ③ 計算展示各考核對象創(chuàng)新能力對整個項目單位創(chuàng)新分值的貢獻度,各級考核指標的貢獻排名前五的單位。

    ④ 計算展示各考核對象的人均創(chuàng)新指數(shù)I1 ,I1 = 創(chuàng)新分值/ 總?cè)藬?shù),考慮考核對象的部門的大小,以及研發(fā)人員數(shù)目。

    ⑤ 計算展示各考核對象的人才創(chuàng)新指數(shù)I2 ,I2 = 創(chuàng)新分值/ 人才綜合分值,考慮部門所擁有的各級人才數(shù),包括國家級人才、省部級人才等,人才綜合分值計算如式(9)所述。

    ⑥ 計算全所平均創(chuàng)新分值,比較各考核對象與平均分值的差距,找出差異的具體指標,篩選出各考核對象需要提升的指標。

    從各考核對象之間和歷年歷史數(shù)據(jù)2 個維度比較展示各指標的變化趨勢,展示各創(chuàng)新考核指標的改善情況。

    4. 3 人機交互系統(tǒng)

    良好的用戶體驗能幫助其快速熟悉系統(tǒng),通過終端操作與服務(wù)器進行會話以完成指標輸入、評價計算結(jié)構(gòu)輸出等任務(wù)。此外,良好的用戶體驗對于實驗室差異化評估系統(tǒng)的推廣起到很大作用,用戶體驗改善方案的主要策略如圖6 所示。

    為了提高評價體系的實用性,方便考核對象的參與和使用,體現(xiàn)評價過程的科學性、公正性和準確性,系統(tǒng)提供了各類實時查詢和統(tǒng)計功能,并提供了表格、曲線、條形圖、餅圖等多種顯示和輸出方式,方便考核對象從橫向和縱向比較。

    以論文為例,圖7 展示了歷年論文情況,系統(tǒng)左側(cè)通過曲線圖呈現(xiàn)企業(yè)近5 年論文各類期刊的發(fā)表數(shù)量,當鼠標放置于所屬年份列時,將通過上方餅狀圖反映對應(yīng)年份的期刊占比情況,系統(tǒng)右側(cè)通過六邊形分析圖展示近3 年論文署名情況。

    歷年論文分析后選擇“論文得分情況”,得到如圖8 所示論文得分情況,系統(tǒng)左下側(cè)通過柱狀圖計算展示近5 年論文得分情況,將所有年份的論文得分進行求和后得出論文總得分并在系統(tǒng)左上角進行展示。系統(tǒng)右側(cè)展示了近5 年論文各類期刊的得分情況。

    可根據(jù)需要打印各類圖表,根據(jù)項目需要歸檔成果、專利單位業(yè)績、個人業(yè)績和發(fā)表論文等內(nèi)容。以個人論文模塊為例,個人總覽圖如圖9 所示,展示了該員工的身份、近3 個月成果、待辦事項以及全部成果,其中全部成果模塊會將其成果相關(guān)情況進行完整展示,成果類型分為論文、專利和科研項目三大類。

    統(tǒng)計模塊采用分層設(shè)計方法,對于每一級單位,系統(tǒng)提供相應(yīng)的查詢、比對和統(tǒng)計功能,使系統(tǒng)可以應(yīng)用于各種規(guī)模的業(yè)務(wù)和技術(shù)單位。

    5 結(jié)束語

    本文結(jié)合PCA 和AHP 構(gòu)建了國有企業(yè)科技創(chuàng)新量化考核指標體系,綜合主客觀2 種分析角度,參考現(xiàn)有國家級實驗室、高校和企業(yè)等創(chuàng)新指數(shù)報告,根據(jù)項目單位自身定位,以及下屬各實驗室的等級和考核需求,制定考核指標時的基本原則,構(gòu)建科技創(chuàng)新量化考核體系。所提方法有利于各種科技和物質(zhì)資源的合理分配,促進各單位自我建設(shè)和良性競爭,動態(tài)反映科研團隊的科研發(fā)展趨勢和重點發(fā)展內(nèi)容,引導團隊人才的合理分配和資金的正確支配。

    參考文獻

    [1] 張敏,廖畢文,肖峰. 層次分析法的模糊綜合評判模型在維修質(zhì)量評判中的應(yīng)用[J]. 江西電力職業(yè)技術(shù)學院學報,2020,33(7):21-22.

    [2] 羅齊彬,楊亞新,金和海,等. 主成分分析法解析地氣測量元素異常信息[J]. 核電子學與探測技術(shù),2021,41(2):214-220.

    [3] FORTUNATO S,BERGSTROM C T,BORNER K,et al.Science of Science [J ]. Science,2018,359 (6379 ):eaao0185.

    [4] 馮立杰,尤鴻宇,王金鳳. 專利技術(shù)創(chuàng)新路徑識別及其新穎性評價研究[J]. 情報學報,2021,40(5):513-522.

    [5] 沈律,沈豪. 科技創(chuàng)新一般均衡理論及其應(yīng)用研究[J]. 中國科技期刊數(shù)據(jù)庫科研,2015,10(25):51.

    [6] 易雪媛,劉衛(wèi)華,彭云,等. 科技成果創(chuàng)新的有效性評價模式研究———以醫(yī)學為例[J]. 中華醫(yī)學科研管理雜志,2016,29(2):113-119.

    [7] 譚春輝,李思佳,程凡. 創(chuàng)新武漢市科技成果評價指標研究[J]. 科研管理,2016,37(增刊1):607-613.

    [8] BRO R,SMILDE A K. Principal Component Analysis[J].Analytical Methods,2014,6(9):2812-2831.

    [9] JOLLIFFE I T,CADIMA J. Principal Component Analysis:A Review and Recent Developments [J ]. Philosophical Transactions of the Royal Society A:Mathematical,Physical and Engineering Sciences,2016,374(2065):20150202.

    [10] SAATY T L. How to Make a Decision:The Analytic Hierarchy Process [J]. European Journal of Operational Research,1990,48(1):9-26.

    [11] SAATY T L. Decision Making with the Analytic Hierarchy Process[J]. International Journal of Services Sciences,2008(1):83-98.

    [12] 王婉娟,危懷安. 協(xié)同創(chuàng)新能力評價指標體系構(gòu)建———基于國家重點實驗室的實證研究[J]. 科學學研究,2016,34(3):471-480.

    [13] 李陽,李北偉. 國家重點實驗室運行驅(qū)動力及對策研究[J]. 科技管理研究,2021,41(21):47-53.

    [14] 劉滿君. 主成分分析在人事考核中的應(yīng)用[J]. 中國科技信息,2011(12):136.

    [15] 李健,王小蒙. 主成分分析法在企業(yè)經(jīng)濟效益考核中的應(yīng)用[J]. 內(nèi)蒙古科技與經(jīng)濟,2017(4):49-50.

    [16] 張瑩,王志浩. 基于層次分析法的科技項目同行評議專家綜合評價體系構(gòu)建研究[J]. 昆明理工大學學報(社會科學版),2021,21(5):88-96.

    [17] 李新貞. 企業(yè)績效考核評價管理中存在的不足與應(yīng)對措施[J]. 投資與創(chuàng)業(yè),2022,33(23):110-112.

    [18] 葛小雷. 企業(yè)績效考核體系的設(shè)計原則[J]. 中國有色金屬,2022(11):64-65.

    [19] 劉新民. 高??冃Э己说南到y(tǒng)設(shè)計與實施[J]. 天津理工大學學報,2022,38(2):52-57.

    作者簡介

    冉黎瓊 女,(1998—),碩士研究生。主要研究方向:數(shù)據(jù)挖掘、云計算。

    陳金勇 男,(1970—),碩士,研究員,博士生導師。

    高 林 男,(1984—),碩士,高級工程師。

    宋海權(quán) 男,(1981—),博士,博士后(在站),講師。主要研究方向:計算機網(wǎng)絡(luò)、物聯(lián)網(wǎng)技術(shù)。

    王邦平 男,(1973—),博士,講師。主要研究方向:人工智能、模式識別、機器視覺測量。

    于 泳 男,(1998—),碩士研究生。主要研究方向:知識圖譜。

    劉 洋 男,(1997—),碩士研究生。主要研究方向:人工智能。

    (*通信作者)喬少杰 男,(1981—),博士后,教授。主要研究方向:人工智能數(shù)據(jù)庫、時空數(shù)據(jù)庫。

    基金項目:國家自然科學基金(62272066,61962006 );四川省科技計劃(2021JDJQ0021,2022YFG0186,2022NSFSC0511,2023YFG0027,2022YFG0325,2021YFG0029);教育部人文社會科學研究規(guī)劃基金(22YJAZH088);宜賓市引進高層次人才項目(2022YG02);成都市“揭榜掛帥”科技項目(2022-JB00-00002-GX,2021-JB00-00025-GX);成都市重大科技創(chuàng)新項目(2021-YF08-00156-GX);中國電子科技集團公司第五十四研究所高校合作課題(SKX212010057);成都信息工程大學國家智能社會治理實驗基地開放課題(ZNZL2023B05);四川省教育廳人文社科重點研究基地四川網(wǎng)絡(luò)文化研究中心資助科研項目(WLWH22-1);成都信息工程大學科技創(chuàng)新能力提升計劃(KYTD202222)

    猜你喜歡
    評價指標體系主成分分析科技創(chuàng)新
    山東科技創(chuàng)新與農(nóng)業(yè)國際化戰(zhàn)略發(fā)展研究
    構(gòu)建推進科技創(chuàng)新的資金模式的研究
    東方教育(2016年17期)2016-11-23 11:02:07
    民辦高職院校評價指標體系研究
    職教論壇(2016年22期)2016-11-19 09:09:04
    主成分分析法在大學英語寫作評價中的應(yīng)用
    大學教育(2016年11期)2016-11-16 20:33:18
    江蘇省客源市場影響因素研究
    工程咨詢企業(yè)可持續(xù)競爭力評價指標體系研究
    中國市場(2016年38期)2016-11-15 00:23:34
    新常態(tài)下大型煤炭企業(yè)生態(tài)競爭力實證分析
    價值工程(2016年29期)2016-11-14 03:05:32
    SPSS在環(huán)境地球化學中的應(yīng)用
    考試周刊(2016年84期)2016-11-11 23:57:34
    長沙建設(shè)國家中心城市的瓶頸及其解決路徑
    關(guān)于三江源生態(tài)移民創(chuàng)業(yè)能力評價指標體系構(gòu)建的研究
    一级毛片aaaaaa免费看小| 少妇精品久久久久久久| 久久久久久久久久久丰满| 丝瓜视频免费看黄片| 少妇的逼水好多| 亚洲精品一二三| 午夜视频国产福利| 少妇 在线观看| 国产黄片视频在线免费观看| 免费不卡的大黄色大毛片视频在线观看| 黑丝袜美女国产一区| 亚洲久久久国产精品| tube8黄色片| 亚洲av免费高清在线观看| 嫩草影院入口| 精品一区二区免费观看| 哪个播放器可以免费观看大片| 两个人的视频大全免费| 成人亚洲精品一区在线观看 | 日韩电影二区| 国产久久久一区二区三区| 国产美女午夜福利| 一区二区三区免费毛片| av一本久久久久| 亚洲精品日韩在线中文字幕| 国产成人精品福利久久| 青春草视频在线免费观看| 新久久久久国产一级毛片| 高清不卡的av网站| 九色成人免费人妻av| 国产精品国产三级国产av玫瑰| 国产高清国产精品国产三级 | 亚洲,一卡二卡三卡| 麻豆成人午夜福利视频| 国产v大片淫在线免费观看| a 毛片基地| 亚洲aⅴ乱码一区二区在线播放| 777米奇影视久久| 美女主播在线视频| 日韩人妻高清精品专区| 波野结衣二区三区在线| 80岁老熟妇乱子伦牲交| 国产深夜福利视频在线观看| 亚洲国产精品一区三区| 男女边吃奶边做爰视频| 久久99热这里只有精品18| 只有这里有精品99| 少妇人妻一区二区三区视频| 在线观看一区二区三区| 高清黄色对白视频在线免费看 | 欧美 日韩 精品 国产| 亚洲内射少妇av| 国产免费一级a男人的天堂| 大陆偷拍与自拍| 一个人看视频在线观看www免费| 97超碰精品成人国产| 亚洲,欧美,日韩| 亚洲av成人精品一区久久| 欧美最新免费一区二区三区| 日韩一本色道免费dvd| 黄片无遮挡物在线观看| 久久久久精品久久久久真实原创| 97在线视频观看| 久久99热这里只频精品6学生| 久久国内精品自在自线图片| 欧美成人精品欧美一级黄| 成人美女网站在线观看视频| 伦理电影大哥的女人| 夫妻性生交免费视频一级片| 国产黄色免费在线视频| av免费在线看不卡| av国产精品久久久久影院| 在现免费观看毛片| 亚洲精品乱码久久久v下载方式| 一级毛片aaaaaa免费看小| 黄色一级大片看看| 日日啪夜夜撸| 在线观看三级黄色| 99久久综合免费| 最近2019中文字幕mv第一页| 国产高清三级在线| 国产一区二区三区综合在线观看 | 国产精品三级大全| 国内揄拍国产精品人妻在线| 午夜福利网站1000一区二区三区| 黄色日韩在线| 高清视频免费观看一区二区| 成年女人在线观看亚洲视频| 午夜激情福利司机影院| av在线播放精品| 又粗又硬又长又爽又黄的视频| 午夜福利在线观看免费完整高清在| 尤物成人国产欧美一区二区三区| 最近的中文字幕免费完整| 久久国内精品自在自线图片| 精品亚洲乱码少妇综合久久| 伦精品一区二区三区| 一个人看的www免费观看视频| 亚洲欧洲日产国产| 午夜福利视频精品| 99久久综合免费| 最近2019中文字幕mv第一页| 国产成人a区在线观看| 国产伦理片在线播放av一区| 永久网站在线| 欧美日韩在线观看h| www.色视频.com| 在线观看美女被高潮喷水网站| 久久6这里有精品| 久久精品夜色国产| 亚洲第一av免费看| 久久女婷五月综合色啪小说| 国产爱豆传媒在线观看| 亚洲国产欧美在线一区| 男男h啪啪无遮挡| 我要看黄色一级片免费的| 99热全是精品| 老师上课跳d突然被开到最大视频| 久久这里有精品视频免费| www.av在线官网国产| 久久鲁丝午夜福利片| 久久精品熟女亚洲av麻豆精品| 国产精品不卡视频一区二区| 亚洲欧美精品自产自拍| 亚洲精品乱久久久久久| 免费观看无遮挡的男女| 久久精品夜色国产| 日韩电影二区| 亚洲av二区三区四区| 国产免费一级a男人的天堂| 看非洲黑人一级黄片| 少妇的逼好多水| 91久久精品国产一区二区成人| 国产人妻一区二区三区在| 成年av动漫网址| av视频免费观看在线观看| 精品国产一区二区三区久久久樱花 | av女优亚洲男人天堂| 欧美极品一区二区三区四区| 久久毛片免费看一区二区三区| av福利片在线观看| 少妇人妻 视频| 国产国拍精品亚洲av在线观看| 亚洲,一卡二卡三卡| 精品一区二区三区视频在线| 高清欧美精品videossex| 国产精品久久久久久精品古装| 黄色欧美视频在线观看| 永久网站在线| 日韩中文字幕视频在线看片 | 内地一区二区视频在线| 亚洲在久久综合| 两个人的视频大全免费| 亚洲欧洲国产日韩| 一级二级三级毛片免费看| 高清欧美精品videossex| 熟妇人妻不卡中文字幕| 亚洲精品一二三| 免费观看av网站的网址| 视频区图区小说| 欧美一区二区亚洲| 五月天丁香电影| av线在线观看网站| 免费av不卡在线播放| 久久热精品热| 日本av手机在线免费观看| av不卡在线播放| 18+在线观看网站| 国产免费一级a男人的天堂| 国产乱人视频| 国产精品免费大片| 2021少妇久久久久久久久久久| 精品视频人人做人人爽| 永久网站在线| 色哟哟·www| 99久久精品国产国产毛片| 熟妇人妻不卡中文字幕| 亚洲av二区三区四区| 亚洲精品亚洲一区二区| 亚洲精品视频女| 久久久久人妻精品一区果冻| 久久久久精品性色| 观看免费一级毛片| 国产熟女欧美一区二区| 亚洲av男天堂| 99久久综合免费| 久久国内精品自在自线图片| 狠狠精品人妻久久久久久综合| 欧美+日韩+精品| 欧美亚洲 丝袜 人妻 在线| 一级毛片电影观看| 国产乱来视频区| 久热这里只有精品99| 男女免费视频国产| 日韩三级伦理在线观看| 国产精品久久久久久久久免| 精品酒店卫生间| 国产一区二区三区av在线| 91久久精品国产一区二区三区| 一级毛片久久久久久久久女| 免费黄网站久久成人精品| 成人高潮视频无遮挡免费网站| 亚洲av国产av综合av卡| 亚洲精品乱久久久久久| 下体分泌物呈黄色| 免费黄频网站在线观看国产| 日本黄大片高清| 亚洲精品色激情综合| 欧美成人a在线观看| 国产爽快片一区二区三区| 精品亚洲成a人片在线观看 | 国产伦精品一区二区三区视频9| 18禁在线播放成人免费| 干丝袜人妻中文字幕| 国产成人一区二区在线| av国产免费在线观看| 五月伊人婷婷丁香| 蜜臀久久99精品久久宅男| 国产精品一及| 能在线免费看毛片的网站| 国产中年淑女户外野战色| h日本视频在线播放| 又大又黄又爽视频免费| 亚洲国产最新在线播放| 国产日韩欧美在线精品| 亚洲激情五月婷婷啪啪| 亚洲国产欧美在线一区| 大香蕉97超碰在线| 久久精品国产亚洲av涩爱| 高清日韩中文字幕在线| 免费看av在线观看网站| 精品人妻偷拍中文字幕| 亚洲综合精品二区| 欧美日本视频| 精品人妻视频免费看| 中文字幕精品免费在线观看视频 | 国产精品爽爽va在线观看网站| 国产深夜福利视频在线观看| 午夜日本视频在线| 精品久久久精品久久久| 免费看不卡的av| 日韩不卡一区二区三区视频在线| 麻豆乱淫一区二区| 亚洲中文av在线| 中文天堂在线官网| 亚洲精品色激情综合| 欧美成人一区二区免费高清观看| 国产日韩欧美亚洲二区| 亚洲国产日韩一区二区| 亚洲真实伦在线观看| 久久久精品94久久精品| 最近2019中文字幕mv第一页| 日韩一区二区视频免费看| 永久免费av网站大全| 免费不卡的大黄色大毛片视频在线观看| 一级毛片我不卡| 涩涩av久久男人的天堂| 老司机影院毛片| 亚洲av成人精品一二三区| 国产成人免费无遮挡视频| 亚洲国产成人一精品久久久| 色综合色国产| av国产免费在线观看| 一级二级三级毛片免费看| 丝袜喷水一区| 成人黄色视频免费在线看| 一二三四中文在线观看免费高清| 在线观看人妻少妇| 亚洲,欧美,日韩| 中文欧美无线码| 亚洲,一卡二卡三卡| 亚洲图色成人| 天堂中文最新版在线下载| 久久国内精品自在自线图片| 天堂俺去俺来也www色官网| 人人妻人人看人人澡| 日韩av在线免费看完整版不卡| 成人18禁高潮啪啪吃奶动态图 | 成人二区视频| 免费av不卡在线播放| 亚洲伊人久久精品综合| 97热精品久久久久久| 国产久久久一区二区三区| 久久久久久久久久久免费av| 日韩伦理黄色片| 免费观看无遮挡的男女| 国产 一区 欧美 日韩| 大话2 男鬼变身卡| 91久久精品国产一区二区三区| 午夜激情福利司机影院| 黄色一级大片看看| 又粗又硬又长又爽又黄的视频| 在线免费观看不下载黄p国产| 国产精品国产av在线观看| 欧美亚洲 丝袜 人妻 在线| 久久久久久久精品精品| 直男gayav资源| 国产高清不卡午夜福利| 欧美少妇被猛烈插入视频| 免费黄色在线免费观看| 亚洲国产精品999| 婷婷色综合大香蕉| 国语对白做爰xxxⅹ性视频网站| 最近最新中文字幕大全电影3| 日本免费在线观看一区| 有码 亚洲区| 建设人人有责人人尽责人人享有的 | 99热这里只有是精品在线观看| 免费看不卡的av| 久久人妻熟女aⅴ| 久久久国产一区二区| 水蜜桃什么品种好| 成人高潮视频无遮挡免费网站| 纵有疾风起免费观看全集完整版| 深爱激情五月婷婷| 亚洲一级一片aⅴ在线观看| 我要看黄色一级片免费的| 久久精品国产亚洲网站| 97超碰精品成人国产| 国产白丝娇喘喷水9色精品| 美女主播在线视频| 亚洲精品国产成人久久av| 麻豆精品久久久久久蜜桃| 亚洲,欧美,日韩| 亚洲欧洲国产日韩| 国产淫片久久久久久久久| 80岁老熟妇乱子伦牲交| 亚洲精品日韩在线中文字幕| 亚洲,一卡二卡三卡| 一个人免费看片子| 亚洲av国产av综合av卡| 天美传媒精品一区二区| 一个人免费看片子| 亚洲一区二区三区欧美精品| 久久97久久精品| 亚洲国产精品国产精品| 日本免费在线观看一区| 久久久久精品久久久久真实原创| 日韩免费高清中文字幕av| tube8黄色片| 国产爱豆传媒在线观看| 精品少妇久久久久久888优播| 欧美 日韩 精品 国产| 最近中文字幕2019免费版| 777米奇影视久久| 男人爽女人下面视频在线观看| 男女无遮挡免费网站观看| 日本免费在线观看一区| 免费播放大片免费观看视频在线观看| av不卡在线播放| 欧美日本视频| 最近最新中文字幕免费大全7| 国产精品一区www在线观看| 伊人久久精品亚洲午夜| 一级毛片电影观看| 内地一区二区视频在线| 亚洲成人中文字幕在线播放| 国产 精品1| 不卡视频在线观看欧美| 噜噜噜噜噜久久久久久91| 亚洲国产精品国产精品| 亚洲一区二区三区欧美精品| 精品久久久精品久久久| 伊人久久国产一区二区| 美女主播在线视频| 国产老妇伦熟女老妇高清| 在线精品无人区一区二区三 | 亚洲精品日韩在线中文字幕| 99久久综合免费| 性高湖久久久久久久久免费观看| 在线观看三级黄色| 九九爱精品视频在线观看| 日韩av不卡免费在线播放| 嫩草影院新地址| 亚洲av不卡在线观看| 国产精品成人在线| 一级毛片我不卡| 久久毛片免费看一区二区三区| 国产精品av视频在线免费观看| 水蜜桃什么品种好| 看十八女毛片水多多多| 亚洲aⅴ乱码一区二区在线播放| 亚洲最大成人中文| 啦啦啦中文免费视频观看日本| 亚洲国产精品999| 舔av片在线| 亚洲精华国产精华液的使用体验| 国产视频首页在线观看| 亚洲无线观看免费| 青青草视频在线视频观看| 18+在线观看网站| 91久久精品国产一区二区三区| 国产在线男女| 一级二级三级毛片免费看| 在线播放无遮挡| 成人特级av手机在线观看| 一级毛片aaaaaa免费看小| 一边亲一边摸免费视频| 欧美变态另类bdsm刘玥| 国产精品爽爽va在线观看网站| 国产在线一区二区三区精| 成人毛片60女人毛片免费| 欧美成人a在线观看| 久久久欧美国产精品| 一级毛片 在线播放| 美女高潮的动态| 亚洲国产高清在线一区二区三| 国产视频首页在线观看| 精品亚洲成a人片在线观看 | 一级av片app| 夜夜看夜夜爽夜夜摸| 午夜免费鲁丝| 久久精品熟女亚洲av麻豆精品| 婷婷色综合大香蕉| 99久久精品国产国产毛片| 国产高清不卡午夜福利| 女人十人毛片免费观看3o分钟| 国产伦精品一区二区三区四那| 最新中文字幕久久久久| 久久久久网色| 岛国毛片在线播放| 搡老乐熟女国产| 在线观看一区二区三区激情| 少妇丰满av| 中文字幕免费在线视频6| 免费高清在线观看视频在线观看| 在线 av 中文字幕| 亚洲丝袜综合中文字幕| 色哟哟·www| 丝袜喷水一区| 日韩不卡一区二区三区视频在线| 最近2019中文字幕mv第一页| 亚洲国产高清在线一区二区三| 97热精品久久久久久| 伦精品一区二区三区| 亚洲精品乱久久久久久| av线在线观看网站| 看非洲黑人一级黄片| 国产成人aa在线观看| av福利片在线观看| 免费观看性生交大片5| 国产日韩欧美亚洲二区| 色综合色国产| 亚洲欧洲日产国产| 国产一级毛片在线| 国产在线免费精品| 777米奇影视久久| 亚洲欧美一区二区三区国产| 在线观看免费视频网站a站| 免费人妻精品一区二区三区视频| 在线观看美女被高潮喷水网站| 蜜桃久久精品国产亚洲av| 国产av码专区亚洲av| 国产精品三级大全| 国产精品久久久久久精品古装| 久久女婷五月综合色啪小说| 国产精品免费大片| 成人二区视频| 国产av精品麻豆| 我的女老师完整版在线观看| 最近手机中文字幕大全| 伦精品一区二区三区| 七月丁香在线播放| 久久精品夜色国产| 精品酒店卫生间| 各种免费的搞黄视频| 99热全是精品| 日韩av不卡免费在线播放| 热99国产精品久久久久久7| 日韩欧美一区视频在线观看 | 大码成人一级视频| 国产在视频线精品| .国产精品久久| 一本一本综合久久| 网址你懂的国产日韩在线| 美女xxoo啪啪120秒动态图| 国产淫语在线视频| 我要看日韩黄色一级片| 免费人成在线观看视频色| 男女边摸边吃奶| 国语对白做爰xxxⅹ性视频网站| 大陆偷拍与自拍| 亚洲高清免费不卡视频| 国产日韩欧美亚洲二区| 亚洲欧洲日产国产| 男女无遮挡免费网站观看| 日韩制服骚丝袜av| 新久久久久国产一级毛片| 久久99热这里只有精品18| 色视频www国产| 26uuu在线亚洲综合色| 欧美成人精品欧美一级黄| 国产黄频视频在线观看| 精品亚洲乱码少妇综合久久| 国产精品av视频在线免费观看| av在线老鸭窝| 九九久久精品国产亚洲av麻豆| 亚洲精品456在线播放app| freevideosex欧美| 蜜桃亚洲精品一区二区三区| 久久久久久九九精品二区国产| 美女福利国产在线 | 久久久久国产网址| 亚洲国产精品专区欧美| 人妻系列 视频| av播播在线观看一区| 秋霞在线观看毛片| freevideosex欧美| 精品一区二区三区视频在线| av播播在线观看一区| 欧美丝袜亚洲另类| 欧美精品一区二区大全| 少妇裸体淫交视频免费看高清| www.av在线官网国产| 免费大片18禁| 熟女av电影| 欧美另类一区| 成人美女网站在线观看视频| 欧美性感艳星| 亚洲性久久影院| 男女国产视频网站| 网址你懂的国产日韩在线| 午夜免费鲁丝| 国产成人freesex在线| 免费久久久久久久精品成人欧美视频 | 国产 一区精品| 国产视频内射| 婷婷色麻豆天堂久久| 亚洲av综合色区一区| 国产极品天堂在线| 国产乱来视频区| 欧美精品人与动牲交sv欧美| 香蕉精品网在线| 欧美日韩视频精品一区| 一级av片app| 22中文网久久字幕| 超碰97精品在线观看| 日本av免费视频播放| 婷婷色av中文字幕| 自拍偷自拍亚洲精品老妇| 久久精品国产亚洲av天美| 国产精品av视频在线免费观看| 亚洲精品乱码久久久v下载方式| 视频区图区小说| 久久精品国产亚洲av天美| 精品午夜福利在线看| 成人综合一区亚洲| 免费久久久久久久精品成人欧美视频 | 亚洲真实伦在线观看| av线在线观看网站| 亚洲精品国产成人久久av| 日韩成人伦理影院| 美女国产视频在线观看| 一区二区三区四区激情视频| 亚洲精品456在线播放app| 久久精品久久久久久噜噜老黄| 国产成人aa在线观看| a级一级毛片免费在线观看| 亚洲美女黄色视频免费看| 国产成人aa在线观看| 插逼视频在线观看| 国产视频首页在线观看| 久久久久久久亚洲中文字幕| 日韩人妻高清精品专区| 国产免费视频播放在线视频| 成人美女网站在线观看视频| 街头女战士在线观看网站| 国产亚洲精品久久久com| 肉色欧美久久久久久久蜜桃| 热99国产精品久久久久久7| 亚洲美女搞黄在线观看| 亚洲精品乱码久久久久久按摩| 国产 精品1| av在线蜜桃| 97精品久久久久久久久久精品| 免费高清在线观看视频在线观看| 91精品国产九色| 九九久久精品国产亚洲av麻豆| 又黄又爽又刺激的免费视频.| 一级a做视频免费观看| 日韩成人伦理影院| 卡戴珊不雅视频在线播放| 色网站视频免费| 国产精品熟女久久久久浪| 亚洲一区二区三区欧美精品| 嘟嘟电影网在线观看| 一区二区av电影网| 久久国产精品男人的天堂亚洲 | 亚洲怡红院男人天堂| 最近最新中文字幕大全电影3| 麻豆国产97在线/欧美| 国产av一区二区精品久久 | 亚洲av不卡在线观看| 我的女老师完整版在线观看| 午夜免费观看性视频| 国产精品女同一区二区软件| 亚洲经典国产精华液单| 最近手机中文字幕大全| 日韩av在线免费看完整版不卡| 久热久热在线精品观看| 一级毛片 在线播放| 久热这里只有精品99| 最近中文字幕高清免费大全6| 国产av码专区亚洲av| 99热全是精品| 亚洲av福利一区| 国产成人精品福利久久| 免费在线观看成人毛片| 在线观看三级黄色| 人人妻人人澡人人爽人人夜夜| 99热全是精品| 国产亚洲91精品色在线| 成人免费观看视频高清| 少妇熟女欧美另类| 国产成人免费观看mmmm|