• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    改進的DEA在研發(fā)項目績效評價中的應用
    ——以山東省自然科學基金為例

    2018-05-25 01:57:17王紀順
    山東財政學院學報 2018年3期
    關鍵詞:基金項目績效評價山東省

    張 新,王紀順,張 戈,2

    (1.山東財經大學管理科學與工程學院,山東 濟南 250014;2.首都經濟貿易大學 信息學院,北京 100700)

    一、引 言

    研發(fā)項目績效的評價對資源分配與優(yōu)化、決策的制定等至關重要。由于不同項目的影響因素、復雜程度不同,導致評價項目績效的方法也不同。較常用的方法為數據包絡分析法(Data Envelopment Analysis,簡稱DEA),其中的CCR模型是由Charnes等[1]于1978年提出。該方法是一種非參數績效評價方法,能夠有效的評價有多輸入多輸出特點的決策單元,并且應用領域廣,受到很多學者的青睞。

    國內外學者對DEA方法及應用的研究大多采用傳統(tǒng)的投入和產出框架,較少考慮權重或僅采用自動權重,忽略服務狀態(tài)對最終績效的影響。對于某些評價對象,其評價過程并非都是投入——產出兩個階段,某些變量會擔任投入和產出兩種角色,此時決策單元存在中間結構。若不考慮中間結構的狀態(tài)會對績效評價具有較大影響[2]。以山東省研發(fā)項目績效為例,其中間的服務狀態(tài)既是投入階段的產出又是產出階段的投入,考慮服務狀態(tài)能夠深層次地挖掘評價對象中存在的問題,也使得最終系統(tǒng)的績效評價更為合理。隨著山東省政府對基礎研究的投入不斷增加,自然科學基金對人才培養(yǎng)、科技創(chuàng)新和社會發(fā)展的影響作用究竟有多大,如何合理安排資源的投入才能使自然科學基金項目發(fā)揮最大的作用,服務過程對最終的產出有多大影響,指標權重對DEA模型的結果是否有影響以及有多大影響,目前學術界仍缺乏相關研究。

    二、文獻綜述

    研究者在應用DEA模型解決實際問題的過程中從不同的視角提出了不同的DEA模型,如:Banker等[3]提出的BCC模型、Andersen等[4]提出的超效率DEA模型等。國外學者運用DEA模型開展研究較早,如:Abbott等[5]為分析澳大利亞大學的規(guī)模效率和技術效率,運用DEA模型展開研究,結果顯示澳大利亞大學整體效率較高。Sharma等[6]利用DEA方法對22個發(fā)達和發(fā)展中國家的R&D過程的相對效率進行了檢驗。結果表明在規(guī)模報酬不變的情況下,日本、韓國和中國是有效的;在規(guī)模報酬可變的情況下,日本、韓國、中國、印度、匈牙利等是有效的。José等[7]提出一種評價信息不對稱對組織效率影響的DEA分析模型,該模型不僅適用于分析盈利性還適用于非營利性組織,通過比較委托人的目標和代理人的目標來估計道德風險的程度。

    梳理文獻發(fā)現國內學者對DEA方法應用的研究主要集中在以下兩類:

    (1)傳統(tǒng)的DEA方法及應用的研究。學者通常采用模型較為成熟,應用范圍較為廣泛的傳統(tǒng)DEA方法進行效率評價研究。陳文俊等[8]以湖南省R&D投入產出活動為研究對象,采用DEA的BBC模型,對2013年湖南省R&D投入產出效率進行比較分析,并根據實證結果提出了對策及建議。趙樹寬等[9]通過構建高技術企業(yè)創(chuàng)新效率評價指標體系與模型,運用DEA方法從效率、有效性、規(guī)模收益及投影分析四個方面對吉林省151家高技術企業(yè)創(chuàng)新活動進行了評價與分析。王小寧等[10]以教育部直屬的55所高校作為研究對象,采用傳統(tǒng)的DEA方法對固定資產管理績效評價進行實證研究。李祺等[11]使用非參數估計的DEA方法對京津冀地區(qū)2003—2012年城市五大基礎設施投資效率進行分析,同時對DEA結果進行投影分析,找出影響區(qū)域整體發(fā)展的影響因素。此外,有學者將傳統(tǒng)DEA方法與其他方法相結合進行相關研究。張友棠等[12]基于“產出/投入”的績效評價二維結構模型,運用傳統(tǒng)DEA方法提出了一種新的大學預算績效撥款模式。鄧洪波和陸林[13]以2005年和2010年安徽省17個城市旅游資源為評價對象,采用傳統(tǒng)DEA方法測算其綜合效率、技術效率和規(guī)模效率,同時采用Malmquist生產率指數模型計算各城市的旅游效率變動情況。

    (2)改進的DEA方法及應用的研究。在傳統(tǒng)DEA方法的基礎上,有學者考慮待評價對象的中間結構采用兩階段甚至三階段DEA方法,宇文晶等[2]通過采用兩階段串連DEA模型,在規(guī)模報酬不變(CRS)和可變(VRS)情況下分別測度東、中、西部各省區(qū)高技術企業(yè)效率值,并構建Tobit回歸模型對影響各階段效率的外部環(huán)境因素進行實證研究。董艷梅等[14]構建兩階段動態(tài)網絡DEA模型,知識創(chuàng)新階段采用投入導向BCC模型,科技成果商業(yè)化階段采用產出導向BCC模型,對中國高技術產業(yè)創(chuàng)新效率進行了評價。黃德春等[15]根據2009年中國29個省市的能源效率運用三階段DEA模型得出了東部地區(qū)的能源效率最高,西部地區(qū)最低的結論。劉偉[16]以中國高新技術產業(yè)的行業(yè)面板數據,基于三階段DEA模型,在控制環(huán)境因素的基礎上測算了我國高新技術產業(yè)的研發(fā)創(chuàng)新效率。部分學者利用改進后的雙前沿面、可變權重、優(yōu)先級權重的DEA模型研究問題,代明等[17]利用雙前沿面DEA方法,將評價單元分別同“最優(yōu)”和“最差”的決策單元相比,對中國高技術產業(yè)的樂觀效率和悲觀效率進行測算。楊峰等[18]引入可變權重DEA模型,將要素權重用分段線性函數表示,揭示要素折扣是企業(yè)生產規(guī)模效率的一種原因,并測量了要素折扣對于規(guī)模效率的貢獻。宛劍業(yè)等[19]提出應用含有優(yōu)先級權重的DEA模型,通過實例分析,應用層次分析法將決策者需要考慮的綜合因素加入到供應商選擇的定量計算中,驗證了該方法在解決生產企業(yè)供應商選擇問題中的適用性和有效性。也有學者引入滯后期改進DEA模型,如范德成等[20]為評價我國的產業(yè)結構演化效率,構建了我國產業(yè)結構演化評價指標體系,引入復相關系數為基準的滯后期,建立了更加有效的DEA改進模型。

    先前學者的研究成果給本文諸多啟示和借鑒,但對比先前學者運用的傳統(tǒng)DEA方法和改進的DEA方法發(fā)現,鮮有學者同時考慮評價對象的指標權重和中間狀態(tài),而通過基于指標權重和考慮狀態(tài)的DEA評價模型可以解決傳統(tǒng)DEA方法所存在的不足。所以,本文擬以山東省自然科學基金項目為研究對象,基于投入—狀態(tài)—產出視角,建立績效評價概念模型,并以此為基礎建立指標體系,運用考慮指標權重和狀態(tài)的DEA模型進行實證研究與分析。

    三、績效評價指標體系構建

    (一)概念模型構建

    山東省自然科學基金項目的績效評價是一個動態(tài)的系統(tǒng)。借鑒先前學者所使用的指標以及山東省自然科學基金項目的特點,最終確定投入系統(tǒng)包括人力投入、經費投入、物力投入等;產出系統(tǒng)包括科研成果、人才培養(yǎng)、爭取高級項目等;實施過程系統(tǒng)包括人員活動情況、經費使用、計劃執(zhí)行和實施形式等。大多學者認為投入系統(tǒng)對產出水平和最終績效有直接的影響,但根據系統(tǒng)動力學理論,投入系統(tǒng)是通過影響實施過程間接影響產出水平的。投入系統(tǒng)通過人員、資金和設備等的投入對實施過程中的人員活動、經費使用、設備利用等各項指標產生直接作用,實施過程的優(yōu)劣直接影響最終的產出績效。同時,產出系統(tǒng)對實施過程和投入系統(tǒng)均存在著反饋作用。因此,本文認為科技研發(fā)項目是一個具有投入—過程—產出特征的動態(tài)系統(tǒng)。基于以上分析,給出山東省自然科學基金績效評價概念模型,如圖1所示。

    圖1 山東省自然科學基金項目績效評價概念模型

    (二)績效評價指標體系構建

    績效評價指標體系的構建原則有多種,本研究基于以上績效評價指標體系的構建原則,建立投入—過程—產出視角下的多層次績效評價指標體系,如表1所示,指標體系共包括3個一級指標和10個二級指標。

    山東省自然科學基金作為省級科技計劃項目的重要組成部分,致力于推動原始性創(chuàng)新,主要是以資助的方式管理其支持的基礎研究和應用基礎研究,發(fā)現、培養(yǎng)和引進高層次創(chuàng)新人才,培育自主知識產權,增加科技與人才儲備,為增強科技持續(xù)創(chuàng)新發(fā)揮積極作用?;诖?,在構建績效評價指標體系時要充分考慮山東省自然科學基金項目的發(fā)展宗旨和發(fā)展意義。因此在投入指標方面,選取具有代表性的研究人員投入、研究經費投入和儀器設備投入作為自然科學基金項目績效評價的投入指標。而自然科學基金項目在發(fā)展過程中受到人員活動情況、經費使用情況、合作方式等多方面的影響,故在過程指標方面采用人員活動情況(參與課題研究的時間、精力等)、經費使用情況(是否存在違規(guī)使用)、產學研聯合項目、按時結題情況(是否有延期項目)等四個方面的指標。而在產出方面則充分考慮自然科學基金項目的發(fā)展目標,即采用人才數、論文數、科學研究等指標來衡量。

    表1 山東省自然科學基金項目績效評價指標體系

    (三)績效評價指標權重方法選擇

    在綜合評價系統(tǒng)中,由于各評價對象之間的差別主要是由于相對變化量較大的指標引起的,所以相對變化量較大的指標對應的權重也應該較大。因此,合理確定指標權重對整個評價過程起著至關重要的作用[21]??冃гu價權重的確定方法通常采用客觀賦權法,該方法包括熵權法、標準離差法、差異系數法等。其中的差異系數法不僅可以綜合考慮各指標之間的相互聯系,而且不受平均數不同的影響[22]。本研究采用差異系數法確定最終權重。

    四、績效評價方法

    (一)無量綱化處理

    在多層次績效評價指標體系下,原始數據量綱不同,并且在構成相似性變量時,其所占的優(yōu)勢差距比較大[23],故本研究對原始數據進行標準化處理,使原始數據轉化為無量綱的數值,消除了不同指標之間的差異,解決指標之間由于量綱不同而無法進行比較、匯總的問題。標準化處理的步驟如下:

    (1)當指標值為正向指標時,采用的單指標評價公式為:

    (2)當指標值為負向指標時,采用的單指標評價公式為:

    其中,xij為第i個評價對象的第j項指標值,xmaxj和xminj為第j項指標值中的最大值和最小值。根據以往的經驗以及各專家的意見,本文取c=1。

    (二)模型選擇與優(yōu)化

    DEA方法早已被廣泛應用于多投入多產出的績效評價中,并且它能夠簡化運算、減少誤差,具有很強的客觀性,根據假設不同,DEA模型分為CCR和BCC等多種模型,但是傳統(tǒng)的DEA方法只未考慮不同指標之間的重要程度。因此,本研究擬對傳統(tǒng)的DEA模型進行優(yōu)化,優(yōu)化后的模型如下:

    根據上述的優(yōu)化模型,將實施過程作為一個獨立的系統(tǒng),運用MaxDEA 6.5軟件,通過BCC模型將綜合效率分解為純技術效率和規(guī)模效率,判斷評價對象是處于規(guī)模報酬不變、遞增還是遞減階段,通過CCR模型判定決策單元是否同時達到效率有效性和技術有效性。其動態(tài)研究模型如圖2所示:

    圖2 自然科學基金項目績效評價動態(tài)研究模型

    考慮過程的自然科學基金項目績效評價兩階段動態(tài)DEA模型的兩個階段分別為科技服務階段和知識轉化階段。第一階段以服務水平和服務質量為主,使用項目的人、財、物作為DEA模型的投入量,以按時結題和產學研聯合兩個指標作為服務過程的產出指標。在第二階段以第一階段的產出為投入量,以培養(yǎng)人才數,發(fā)表論文數以及項目成果的獲獎數量作為產出量進行績效的評價。

    五、山東省自然科學基金績效評價定量分析

    為更好的評價山東省自然科學基金項目,提高基金項目的管理和服務水平,本研究根據評價對象的不同,主要進行兩個方面的績效評價:一是按項目類別不同,分為青年基金、面上項目、杰青基金和博士基金;二是按學科不同,分為數理、化學、生命科學、地球科學、工程與材料、信息、管理、醫(yī)學等8個學科。

    (一)數據的采集和處理

    本文選取山東省自然科學基金項目作為評價對象,過程指標數據主要來源于山東省科學技術廳提供的《山東省自然科學基金資助項目結題工作匯報》和對各高等院校、各科研機構所做的問卷調查數據,對所得數據進行整理分析,投入和產出指標數據主要來源于山東省科技廳的省基金項目信息管理系統(tǒng)。

    (二)指標權重的分析

    按照項目類別和學科類別的不同,根據差異系數法確定山東省自然科學基金項目績效評價指標的權重值,如表2所示。

    表2 山東省自然科學基金項目績效評價指標的權重值

    由表2的投入指標權重可以發(fā)現,無論是按學科類別劃分還是按項目類別劃分碩士研究人員的權重都較大,這是因為碩士研究人員群體的規(guī)模較博士研究人員大,其數據的相對變化量也較大,權重較大符合實際。國家政府部門要求高校加大產學研聯合的政策使得高校注重產學研合項目的研究,自然科學基金項目評價中的狀態(tài)指標產學研聯合項目數的權重均較大也反映了這一實際。在產出指標中,按學科類別劃分的類型中三大檢索收錄期刊論文數的權重較大,而按項目類別劃分類型中中文核心期刊論文數的權重較大。

    (三)改進的DEA模型結果分析

    運用MaxDEA 6.5評價各項目類別、各學科類別的規(guī)模有效性、技術有效性和綜合有效性,基于投入—產出DEA分析和考慮服務狀態(tài)DEA分析,結果如表3所示。

    表4 不同類別、學科之間DEA分析結果

    由表3可知,在投入—產出視角下,按學科類別劃分八個學科的綜合效率的平均得分為0.812,純技術效率的平均得分為0.929,規(guī)模效率的平均得分為0.881,表明山東省自然科學基金項目的綜合水平較高,但尚存在不合理之處,并且不同學科之間的差距較大,還需進一步提高。其中,工程與材料和信息科學兩個學科的綜合效率值為1,表明了這兩個決策單元的投入和產出是有效的,即同時達到了技術有效和規(guī)模有效,規(guī)模報酬保持穩(wěn)定,這也說明兩個決策單元的產出水平較理想。數理、生物和地球科學的規(guī)模效率分別為0.836、0.68和0.846,純技術效率為1。因此,綜合效率小于1是由規(guī)模效率較低引起的,表明在目前的技術水平下,數理、生物和地球科學的投入資源是有效的,尚未達到綜合有效的根本原因是規(guī)模無效。數理和生物科學的邊際產出小于邊際投入,故兩者的規(guī)模效益處于遞減狀態(tài)。而地球科學處于規(guī)模報酬遞增狀態(tài),說明產出的增加比例大于各種生產要素增加的比例?;瘜W、管理和醫(yī)學科學的純技術效率、規(guī)模效率均小于1,故導致其綜合效率小于1,且三者均處于規(guī)模效益遞增狀態(tài),表明三者在投入要素的生產效率、資源的合理配置、資源使用效率等方面都存在著不足,尚需要進一步改進。按項目類別劃分,四類項目的綜合效率的平均得分為0.997,表明各類項目的整體水平較好。青年基金、重點項目和面上項目的綜合效率為1,表明三者的資源配置能力、資源使用等比較合理。博士基金的綜合效率值為0.986,純技術效率為1,規(guī)模效益處于遞增狀態(tài),表明博士基金資源配置能力是有效的,但由于發(fā)展規(guī)模不當導致了綜合效率小于1,因此在日后的發(fā)展中,應擴大規(guī)模,發(fā)揮規(guī)模經濟和區(qū)域經濟,提升博士基金的總體效率。

    在考慮服務過程的DEA方法分析中,兩種類別中的綜合效率平均值均高于投入—產出視角下的平均值,處于較高的水平。按學科類別劃分時,數理、生物、工程與材料、信息科學四個學科的綜合效率均為1,表明了在目前的科技條件和資源投入情況下,服務過程中參與評價的各項指標已達到最優(yōu)的狀態(tài)。化學、地球和管理科學這三個學科的純技術效率為1,但規(guī)模效率均小于1,故導致綜合效率小于1,表明了服務過程中存在著資源浪費、配置不合理等問題,改進服務過程存在的問題會使得最終績效更好。醫(yī)學的綜合效率為0.576,且技術效率和規(guī)模效率均小于1,表明了在服務過程中,存在著經費使用不合理、人員管理不善等問題,故需要加強對經費、人員等的管理,同時還需要合理配置資源,優(yōu)化資源的結構。

    六、結論與對策建議

    (一)結論

    本文根據國內外相關研究,建立適合山東省特殊情況的自然科學基金項目概念模型,并據此建立績效評價指標體系,考慮指標權重對績效的影響,基于投入—過程—產出視角和考慮服務狀態(tài)指標的DEA方法進行分析,按照學科、項目類別不同,對山東省自然科學基金項目進行了實證研究。通過研究得出以下結論:

    (1)從學科類別劃分的層面來看,八類項目中信息科學和工程與材料科學綜合效率最高,資源配置和資源使用效率合理;信息科學和工程與材料科學綜合效率值為1,表明在目前的科技水平下,資源的配置和資源的使用效率是合理的。結合服務過程指標數據,上述兩個學科按時結題率較高,獨立完成項目能力較強。生物和數理學科的綜合效率值小于1,但純技術效率為1,服務狀態(tài)指標達到較優(yōu)的狀態(tài),邊際產出小于邊際投入,故規(guī)模收益為遞減。醫(yī)學科學在資源投入與配置方面存在不足。

    (2)從項目類別劃分的層面來看,面上項目、青年基金和重點項目DEA分析的綜合效率均為1,結合三種類型的服務過程指標數據可知,三者的項目結題率分別為63.7%、73.4%、81.3%,項目的結題率較高,服務狀態(tài)較好,三者的綜合水平相對較高。四類項目中的博士基金DEA分析綜合效率得分為0.986,純技術效率為1,屬于DEA無效,但服務狀態(tài)的綜合得分為1,說明博士基金的資源配置能力是有效的,但存在著不合理的發(fā)展規(guī)模。博士基金項目之所以綜合效率得分較低,一個重要的原因在于博士基金項目是山東省近幾年剛剛設立的,故在人力、財力、物力等資源投入數量、質量和結構方面尚存在一定的不足,在后期應該給于博士基金項目更多的關注。

    (二)對策建議

    根據上述結論,為提高山東省研發(fā)項目的績效,建議從以下幾個方面進行:

    (1)持續(xù)穩(wěn)定地增加政府財政科技投入,提高資助強度。科技投入的力度直接制約著科技發(fā)展戰(zhàn)略的執(zhí)行。在現階段,應遵循基礎研究持續(xù)投入以及人才階段性成長的客觀規(guī)律,在競爭擇優(yōu)的基礎上,對基礎研究和應用基礎研究項目進行持續(xù)支持,推動學科均衡、交叉和融合,為產業(yè)轉型升級提供科技支撐和保障,形成持續(xù)支持態(tài)勢。同時應有區(qū)別的針對不同項目采取不同的支持力度。

    (2)加大產學研合作力度,積極推動基礎研究成果的市場轉化。政府亦應采取適當的財政引導、金融支持和產權激勵等優(yōu)惠政策,完善面向自主創(chuàng)新企業(yè)的基礎研究投入結構和投入機制,引導企業(yè)參加產學研聯盟,優(yōu)化資源配置。切實把加大基礎研究的投入、引導企業(yè)積極參與基礎研究、利用好部屬院校和科研單位的輻射帶動效應這三方面的工作落到實處,通過產學研用合作機制,加強基礎研究成果的市場轉化。

    (3)引入績效評價機制,提高政府資金使用效率。財政科技投入績效評價是優(yōu)化科技資源配置、提高科技投入管理水平和決策水平的重要手段。采用定性和定量的評價方法,將事前、事中、事后進行定性的績效評價作為決策依據;同時利用定量的績效評價分析財政科技投入的使用效率,提高科技撥款使用效率,合理匹配資金,引入后補助、獎勵等方式,提升研究成果的質量,提高基金使用效能。

    參考文獻:

    [1]CHARNES A,COOPER W W,RHODES E.Measuring the Efficiency of Decision Making Units[J].European Journal of Operational Research,1978,2(6):429-444.

    [2]宇文晶,馬麗華,李海霞.基于兩階段串連DEA的區(qū)域高技術產業(yè)創(chuàng)新效率及影響因素研究[J].研究與發(fā)展管理,2015(3):137-146.

    [3]BANKER R D,CHARNES A,COOPER W W.Some Models for Estimating Technical and Scale in Efficiencies in Data Envelopment Analysis[J].Management Science,1984,30(9):1078-1092.

    [4]ANDERSEN P,PETERSEN N C.A Procedure for Ranking Efficient Units in DEA[J].Management Science,1993,39(10):1261-1264.

    [5]ABBOTT M,DOUCOULIAGOS C.The Efficiency of Australian Universities:A Data Envelopment Analysis[J].Economics of Education Review,2003,22(1):89-97.

    [6]SHARMA S,THOMAS V.Inter-country R&D Efficiency Analysis:An Application of Data Envelopment Analysis[J].Scientometrics,2008,76(3):483-501.

    [7]JOSé M F D F,JO?O N D F,JAIR D S L.A DEA Methodology to Evaluate the Impact of Information Asymmetry on the Efficiency of Not-for-profit Organizations With An Application to Higher Education in Brazil[J].Annals of Operations Research,2010,173(1):39-56.

    [8]陳文俊,李涵,劉執(zhí)圭,等.湖南省R&D投入產出效率研究[J].經濟數學,2015(4):47-53.

    [9]趙樹寬,余海晴,鞏順龍.基于DEA方法的吉林省高技術企業(yè)創(chuàng)新效率研究[J].科研管理,2013(2):36-43.

    [10]王小寧,王起彤,都靈.基于DEA技術的高校固定資產管理績效評價——以教育部直屬高校為例[J].會計之友,2015(24):79-83.

    [11]李祺,孫鈺,崔寅.基于DEA方法的京津冀城市基礎設施投資效率評價[J].干旱區(qū)資源與環(huán)境,2016(2):26-30.

    [12]張友棠,李思呈,曾芝紅.基于DEA的大學預算績效撥款模式創(chuàng)新設計[J].會計研究,2014(1):64-70.

    [13]鄧洪波,陸林.基于DEA模型的安徽省城市旅游效率研究[J].自然資源學報,2014(2):313-323.

    [14]董艷梅,朱英明.中國高技術產業(yè)創(chuàng)新效率評價—基于兩階段動態(tài)網絡DEA模型[J].科技進步與對策,2015(24):106-113.

    [15]黃德春,董宇怡,劉炳勝.基于三階段DEA模型中國區(qū)域能源效率分析[J].資源科學,2012(4):688-695.

    [16]劉偉.中國高新技術產業(yè)研發(fā)創(chuàng)新效率測算—基于三階段DEA模型[J].數理統(tǒng)計與管理,2015(1):17-28.

    [17]代明,劉可新,陳俊.中國高技術產業(yè)研發(fā)創(chuàng)新效率研究[J].中國科技論壇,2016(1):5-10.

    [18]楊峰,夏瓊,梁樑,等.測量要素折扣對企業(yè)規(guī)模效率的貢獻:基于DEA的研究[J].中國管理科學,2010(4):140-144.

    [19]宛劍業(yè),高麗媛,趙靜.基于WPDEA方法的供應商選擇[J].遼寧工業(yè)大學學報(自然科學版),2012(2):105-108.

    [20]范德成,李昊,劉赟.基于改進DEA-以復相關系數為基準的滯后期的我國產業(yè)結構演化效率評價[J].運籌與管理,2016(3):195-203.

    [21]龐彥軍,劉開第,張博文.綜合評價系統(tǒng)客觀性指標權重的確定方法[J].系統(tǒng)工程理論與實踐,2001(8):37-42.

    [22]喻登科.基于分支定界組合權的綜合評價方法[J].數學的實踐與認識,2012(22):64-70.

    [23]程立諾,于學強,王寶剛.小城鎮(zhèn)人居環(huán)境質量評價方法研究[J].山東科技大學學報,2008(4):104-108.

    猜你喜歡
    基金項目績效評價山東省
    山東省交通運輸研究會正式成立
    RCEP對山東省高質量對外開放的影響
    眷 戀
    ——山東省濟寧市老年大學之歌
    常見基金項目的英文名稱(二)
    常見基金項目的英文名稱(一)
    山東省即墨市
    基于BSC的KPI績效評價體系探析
    中國商論(2016年33期)2016-03-01 01:59:53
    非營利組織績效評價體系的構建
    氣象部門財政支出績效評價初探
    基金項目
    中文字幕制服av| 免费在线观看完整版高清| 欧美av亚洲av综合av国产av| 国产精品国产av在线观看| 视频区欧美日本亚洲| 日韩人妻精品一区2区三区| 丝袜人妻中文字幕| 超色免费av| 91av网站免费观看| 午夜精品在线福利| 视频在线观看一区二区三区| 成在线人永久免费视频| 麻豆乱淫一区二区| 国产成人欧美| 老司机亚洲免费影院| 手机成人av网站| 窝窝影院91人妻| 亚洲成人手机| 午夜91福利影院| 好看av亚洲va欧美ⅴa在| 男男h啪啪无遮挡| 国产激情欧美一区二区| 搡老乐熟女国产| 99香蕉大伊视频| 久久久久久久精品吃奶| 午夜福利在线免费观看网站| 久久精品人人爽人人爽视色| 视频区欧美日本亚洲| 91麻豆精品激情在线观看国产 | 国产成人欧美在线观看 | 欧美亚洲日本最大视频资源| 成年人午夜在线观看视频| 亚洲自偷自拍图片 自拍| 不卡av一区二区三区| 国产无遮挡羞羞视频在线观看| 一级a爱片免费观看的视频| 99国产精品免费福利视频| 人成视频在线观看免费观看| 成人三级做爰电影| 久久精品亚洲精品国产色婷小说| 国产在线一区二区三区精| 在线观看免费视频网站a站| 国产高清激情床上av| 丰满的人妻完整版| 久久精品aⅴ一区二区三区四区| 亚洲全国av大片| 飞空精品影院首页| 色在线成人网| 高清视频免费观看一区二区| 免费女性裸体啪啪无遮挡网站| 久久久久久久久久久久大奶| 夜夜爽天天搞| 久久99一区二区三区| 91成年电影在线观看| 午夜免费观看网址| 91精品三级在线观看| 欧美激情 高清一区二区三区| 日韩精品免费视频一区二区三区| 国产精品久久久av美女十八| 亚洲国产毛片av蜜桃av| 免费在线观看完整版高清| 亚洲黑人精品在线| 免费不卡黄色视频| 久久午夜综合久久蜜桃| 麻豆成人av在线观看| 午夜免费成人在线视频| 精品国产一区二区三区久久久樱花| 久久天躁狠狠躁夜夜2o2o| 国产精品亚洲av一区麻豆| 国产99久久九九免费精品| 亚洲va日本ⅴa欧美va伊人久久| 亚洲欧美激情在线| 日韩免费av在线播放| 国产日韩欧美亚洲二区| 精品久久久久久,| 国产野战对白在线观看| avwww免费| 他把我摸到了高潮在线观看| 人妻 亚洲 视频| 亚洲久久久国产精品| 午夜福利一区二区在线看| 亚洲成人国产一区在线观看| 高清视频免费观看一区二区| 国产午夜精品久久久久久| 国产欧美日韩精品亚洲av| 国产精品香港三级国产av潘金莲| 日韩精品免费视频一区二区三区| 中文字幕人妻丝袜一区二区| 国产91精品成人一区二区三区| 久久天堂一区二区三区四区| 人妻 亚洲 视频| 丰满的人妻完整版| 国产欧美日韩精品亚洲av| 久久久国产精品麻豆| 日本a在线网址| 男人操女人黄网站| 欧美日韩一级在线毛片| 亚洲人成伊人成综合网2020| 久久这里只有精品19| 亚洲精品乱久久久久久| 免费av中文字幕在线| 日韩欧美在线二视频 | 热99国产精品久久久久久7| 超碰成人久久| 日韩免费高清中文字幕av| 女性被躁到高潮视频| 一级a爱视频在线免费观看| 黄色 视频免费看| 新久久久久国产一级毛片| 国产精品.久久久| 亚洲av电影在线进入| 搡老熟女国产l中国老女人| 丰满人妻熟妇乱又伦精品不卡| 淫妇啪啪啪对白视频| 在线播放国产精品三级| 黄色丝袜av网址大全| 免费日韩欧美在线观看| 国产深夜福利视频在线观看| 精品人妻在线不人妻| 色94色欧美一区二区| 国产91精品成人一区二区三区| 亚洲精品久久成人aⅴ小说| 人人妻人人澡人人看| 国产精品亚洲av一区麻豆| 欧美丝袜亚洲另类 | 国产在线精品亚洲第一网站| www.精华液| 精品一区二区三区av网在线观看| 日日夜夜操网爽| 91九色精品人成在线观看| 老司机亚洲免费影院| 热99国产精品久久久久久7| 欧美国产精品va在线观看不卡| 久久香蕉精品热| 纯流量卡能插随身wifi吗| 韩国精品一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 80岁老熟妇乱子伦牲交| 国产一区二区激情短视频| 交换朋友夫妻互换小说| 欧美日韩视频精品一区| 黄色毛片三级朝国网站| 亚洲专区中文字幕在线| 亚洲五月天丁香| 亚洲avbb在线观看| 9热在线视频观看99| 午夜福利欧美成人| cao死你这个sao货| 黑人猛操日本美女一级片| 777久久人妻少妇嫩草av网站| 丁香欧美五月| 高清黄色对白视频在线免费看| 女人被狂操c到高潮| 韩国av一区二区三区四区| 成人国产一区最新在线观看| 久久国产精品大桥未久av| 午夜老司机福利片| 亚洲va日本ⅴa欧美va伊人久久| 亚洲欧美色中文字幕在线| 免费高清在线观看日韩| 国产亚洲欧美精品永久| 老司机靠b影院| 国产精品.久久久| 极品人妻少妇av视频| 黑人操中国人逼视频| 亚洲中文字幕日韩| 国产精品免费一区二区三区在线 | 精品高清国产在线一区| 亚洲成人免费电影在线观看| 国产真人三级小视频在线观看| 男女下面插进去视频免费观看| 国产欧美日韩综合在线一区二区| 国产精品久久久久成人av| 久久精品国产a三级三级三级| 国产精品一区二区在线观看99| 日本wwww免费看| 女人爽到高潮嗷嗷叫在线视频| av线在线观看网站| 男女免费视频国产| 校园春色视频在线观看| 亚洲三区欧美一区| 99国产综合亚洲精品| 首页视频小说图片口味搜索| 久久精品亚洲精品国产色婷小说| 一区福利在线观看| 久久久久国内视频| xxxhd国产人妻xxx| 纯流量卡能插随身wifi吗| 捣出白浆h1v1| 性少妇av在线| 国产激情欧美一区二区| 999精品在线视频| 久久精品aⅴ一区二区三区四区| 国产日韩一区二区三区精品不卡| 99热只有精品国产| 美女高潮喷水抽搐中文字幕| 精品久久久久久久毛片微露脸| 天堂√8在线中文| 国产亚洲欧美在线一区二区| 久久久久久久国产电影| av线在线观看网站| 日韩 欧美 亚洲 中文字幕| 岛国毛片在线播放| 免费看十八禁软件| 老司机午夜福利在线观看视频| 啦啦啦在线免费观看视频4| 久久久久国产精品人妻aⅴ院 | 亚洲美女黄片视频| 久久久精品免费免费高清| 亚洲av美国av| 成人免费观看视频高清| 亚洲一区二区三区欧美精品| 在线观看日韩欧美| 在线观看舔阴道视频| 天天躁日日躁夜夜躁夜夜| 手机成人av网站| 国产又爽黄色视频| 亚洲一码二码三码区别大吗| 大片电影免费在线观看免费| 黄色 视频免费看| 精品人妻熟女毛片av久久网站| 亚洲色图 男人天堂 中文字幕| 法律面前人人平等表现在哪些方面| 午夜两性在线视频| 欧美老熟妇乱子伦牲交| x7x7x7水蜜桃| 亚洲精品一卡2卡三卡4卡5卡| 99re6热这里在线精品视频| 日本a在线网址| 人妻久久中文字幕网| 热re99久久精品国产66热6| 久久久久久久午夜电影 | 黄色丝袜av网址大全| 妹子高潮喷水视频| 国产一区二区三区在线臀色熟女 | 女人久久www免费人成看片| 久久性视频一级片| 一区福利在线观看| 久久人人97超碰香蕉20202| 亚洲成人国产一区在线观看| 丝袜美腿诱惑在线| 成人手机av| 人人澡人人妻人| 国产无遮挡羞羞视频在线观看| 国产av一区二区精品久久| 人人妻人人澡人人爽人人夜夜| 99热国产这里只有精品6| 国产人伦9x9x在线观看| 日本黄色视频三级网站网址 | 中文字幕人妻熟女乱码| 国产成人av激情在线播放| 精品国产亚洲在线| 欧美黄色片欧美黄色片| 免费看十八禁软件| 夫妻午夜视频| 亚洲国产精品合色在线| 国产精品香港三级国产av潘金莲| 亚洲精品粉嫩美女一区| 视频在线观看一区二区三区| 久久久精品国产亚洲av高清涩受| 韩国av一区二区三区四区| 免费看a级黄色片| 黄色视频不卡| 国产精品成人在线| 成人国语在线视频| 亚洲中文日韩欧美视频| a级毛片黄视频| 乱人伦中国视频| 欧美午夜高清在线| 欧美在线一区亚洲| 日韩一卡2卡3卡4卡2021年| 亚洲色图综合在线观看| 精品国产超薄肉色丝袜足j| 80岁老熟妇乱子伦牲交| 国产男女超爽视频在线观看| 一级作爱视频免费观看| 久久久久久久久免费视频了| 又紧又爽又黄一区二区| 国产真人三级小视频在线观看| 日韩欧美三级三区| 国产精品成人在线| 久久国产精品人妻蜜桃| 少妇 在线观看| 国产又爽黄色视频| 黄频高清免费视频| 18禁裸乳无遮挡动漫免费视频| 看片在线看免费视频| 久久精品国产a三级三级三级| 免费黄频网站在线观看国产| 亚洲色图 男人天堂 中文字幕| 免费在线观看视频国产中文字幕亚洲| 人妻一区二区av| bbb黄色大片| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av日韩精品久久久久久密| 国产成人啪精品午夜网站| 老熟妇仑乱视频hdxx| 美女高潮到喷水免费观看| 亚洲第一欧美日韩一区二区三区| 91字幕亚洲| 黄色视频,在线免费观看| av一本久久久久| 好男人电影高清在线观看| 久久久久久久午夜电影 | 亚洲国产中文字幕在线视频| 午夜两性在线视频| 大型av网站在线播放| 久久 成人 亚洲| 日本欧美视频一区| 成年人黄色毛片网站| 一级a爱视频在线免费观看| 久久久水蜜桃国产精品网| 国产男女内射视频| 一边摸一边做爽爽视频免费| 香蕉丝袜av| 国产激情欧美一区二区| 大香蕉久久网| 黄色毛片三级朝国网站| 亚洲av日韩精品久久久久久密| xxxhd国产人妻xxx| 99国产精品免费福利视频| 国产精品一区二区在线不卡| 宅男免费午夜| 久久人人爽av亚洲精品天堂| 久久中文看片网| 在线播放国产精品三级| 91麻豆精品激情在线观看国产 | 精品高清国产在线一区| 国产成人精品在线电影| 久久国产亚洲av麻豆专区| 欧美日本中文国产一区发布| 亚洲色图综合在线观看| 女性生殖器流出的白浆| 亚洲av成人一区二区三| 99国产综合亚洲精品| 王馨瑶露胸无遮挡在线观看| 天天添夜夜摸| 无限看片的www在线观看| 国产精品av久久久久免费| 看黄色毛片网站| 久久久久久久午夜电影 | 久久精品国产a三级三级三级| 别揉我奶头~嗯~啊~动态视频| 不卡一级毛片| 啪啪无遮挡十八禁网站| 国产成+人综合+亚洲专区| 日韩精品免费视频一区二区三区| 国产成人一区二区三区免费视频网站| 国产精品一区二区精品视频观看| 视频在线观看一区二区三区| 亚洲一区二区三区不卡视频| 欧美老熟妇乱子伦牲交| 777米奇影视久久| 天天躁狠狠躁夜夜躁狠狠躁| 久99久视频精品免费| 777久久人妻少妇嫩草av网站| 黑丝袜美女国产一区| 9色porny在线观看| 久久精品熟女亚洲av麻豆精品| 午夜福利在线观看吧| 在线国产一区二区在线| 欧美午夜高清在线| 搡老乐熟女国产| 国产成人系列免费观看| 很黄的视频免费| 少妇 在线观看| 日韩欧美免费精品| 91老司机精品| 国产主播在线观看一区二区| e午夜精品久久久久久久| 黄色 视频免费看| 免费看十八禁软件| 欧美精品亚洲一区二区| 免费女性裸体啪啪无遮挡网站| 国产亚洲精品一区二区www | 夜夜躁狠狠躁天天躁| 99re在线观看精品视频| 欧美人与性动交α欧美精品济南到| 97人妻天天添夜夜摸| 中文字幕另类日韩欧美亚洲嫩草| 精品高清国产在线一区| 国产亚洲欧美在线一区二区| 亚洲精品久久午夜乱码| 高清视频免费观看一区二区| 国产精品一区二区在线不卡| 精品一区二区三卡| 久久午夜亚洲精品久久| 国产乱人伦免费视频| 性色av乱码一区二区三区2| 日日摸夜夜添夜夜添小说| 日韩三级视频一区二区三区| 久久人人爽av亚洲精品天堂| 亚洲国产精品sss在线观看 | 亚洲人成77777在线视频| 国产成人av激情在线播放| 在线永久观看黄色视频| 亚洲精品国产一区二区精华液| 国产真人三级小视频在线观看| 日本vs欧美在线观看视频| 成人特级黄色片久久久久久久| 电影成人av| 欧美日韩瑟瑟在线播放| 国产亚洲欧美在线一区二区| 亚洲精品av麻豆狂野| 国产精品免费视频内射| tube8黄色片| 久久香蕉精品热| 日韩欧美三级三区| 免费女性裸体啪啪无遮挡网站| 极品人妻少妇av视频| 国产精品99久久99久久久不卡| 欧美激情 高清一区二区三区| 久久精品亚洲av国产电影网| 成人影院久久| 18禁观看日本| 在线看a的网站| 人妻丰满熟妇av一区二区三区 | 真人做人爱边吃奶动态| 韩国精品一区二区三区| 国内毛片毛片毛片毛片毛片| 亚洲精品乱久久久久久| 老司机深夜福利视频在线观看| 日韩欧美一区二区三区在线观看 | 一级,二级,三级黄色视频| 久久影院123| 国产欧美日韩一区二区三区在线| 久久精品人人爽人人爽视色| 免费不卡黄色视频| 下体分泌物呈黄色| 大香蕉久久网| 多毛熟女@视频| 国产精品久久久久久精品古装| 亚洲精品国产精品久久久不卡| 久久性视频一级片| 午夜91福利影院| 在线观看一区二区三区激情| 18在线观看网站| 夜夜躁狠狠躁天天躁| 欧美日韩亚洲高清精品| 亚洲性夜色夜夜综合| 高清在线国产一区| av线在线观看网站| 俄罗斯特黄特色一大片| 制服人妻中文乱码| 飞空精品影院首页| 欧美日韩中文字幕国产精品一区二区三区 | 成人三级做爰电影| 色尼玛亚洲综合影院| av不卡在线播放| 日本黄色日本黄色录像| 亚洲第一欧美日韩一区二区三区| 搡老乐熟女国产| 12—13女人毛片做爰片一| 人人妻人人澡人人爽人人夜夜| av片东京热男人的天堂| 久久精品亚洲熟妇少妇任你| 国产精品国产av在线观看| av超薄肉色丝袜交足视频| 热99re8久久精品国产| 国产激情欧美一区二区| 国产欧美日韩一区二区三| 女人被狂操c到高潮| 国产成人系列免费观看| 亚洲美女黄片视频| 51午夜福利影视在线观看| 欧美最黄视频在线播放免费 | 国产欧美亚洲国产| 亚洲国产中文字幕在线视频| 亚洲自偷自拍图片 自拍| 欧美午夜高清在线| 国产97色在线日韩免费| 亚洲精品国产区一区二| 亚洲七黄色美女视频| 国产激情欧美一区二区| 丝瓜视频免费看黄片| 免费看十八禁软件| 脱女人内裤的视频| 国产精品香港三级国产av潘金莲| 18禁黄网站禁片午夜丰满| 丰满饥渴人妻一区二区三| 麻豆av在线久日| 亚洲五月天丁香| 免费观看人在逋| 国产精品久久久久成人av| а√天堂www在线а√下载 | 一本一本久久a久久精品综合妖精| 久久人人爽av亚洲精品天堂| 精品人妻熟女毛片av久久网站| 人人妻人人添人人爽欧美一区卜| 亚洲成av片中文字幕在线观看| 看免费av毛片| 视频区欧美日本亚洲| 91九色精品人成在线观看| 久久中文字幕一级| 香蕉久久夜色| 高清黄色对白视频在线免费看| 高清欧美精品videossex| 亚洲aⅴ乱码一区二区在线播放 | 久久久久国产精品人妻aⅴ院 | 黄色成人免费大全| 中亚洲国语对白在线视频| 久久国产精品影院| 1024视频免费在线观看| 亚洲精品一卡2卡三卡4卡5卡| 18在线观看网站| 悠悠久久av| 亚洲人成伊人成综合网2020| 午夜福利视频在线观看免费| 久久久久国产一级毛片高清牌| 国产一区在线观看成人免费| 大码成人一级视频| 久久国产精品男人的天堂亚洲| 亚洲精品国产一区二区精华液| 一区二区日韩欧美中文字幕| av一本久久久久| 亚洲精品一二三| 国产精品免费大片| 亚洲第一av免费看| 91麻豆av在线| 欧美在线黄色| 国产激情久久老熟女| 精品人妻在线不人妻| 法律面前人人平等表现在哪些方面| 80岁老熟妇乱子伦牲交| 久久热在线av| 日本黄色日本黄色录像| 99精品在免费线老司机午夜| 国产一区二区激情短视频| 亚洲成av片中文字幕在线观看| 波多野结衣av一区二区av| 国产单亲对白刺激| av电影中文网址| 国产成人精品无人区| xxxhd国产人妻xxx| 久久精品人人爽人人爽视色| 亚洲成人手机| 丝袜美腿诱惑在线| 欧美激情久久久久久爽电影 | 亚洲中文字幕日韩| 欧美人与性动交α欧美精品济南到| 91字幕亚洲| 在线av久久热| 午夜福利乱码中文字幕| 免费久久久久久久精品成人欧美视频| 欧美午夜高清在线| xxx96com| 日韩三级视频一区二区三区| 日日爽夜夜爽网站| 五月开心婷婷网| 精品久久久精品久久久| 亚洲七黄色美女视频| av免费在线观看网站| 色精品久久人妻99蜜桃| 侵犯人妻中文字幕一二三四区| 男人的好看免费观看在线视频 | 亚洲av成人一区二区三| 性色av乱码一区二区三区2| 精品福利观看| 中亚洲国语对白在线视频| 热re99久久精品国产66热6| 99热国产这里只有精品6| 极品少妇高潮喷水抽搐| 自拍欧美九色日韩亚洲蝌蚪91| 国产av一区二区精品久久| 9色porny在线观看| 国产亚洲欧美在线一区二区| 亚洲一区二区三区不卡视频| 国产精品久久久久久人妻精品电影| 黑人巨大精品欧美一区二区mp4| 成年人黄色毛片网站| 日韩制服丝袜自拍偷拍| 久久精品国产99精品国产亚洲性色 | 久久久久久久午夜电影 | 可以免费在线观看a视频的电影网站| 999精品在线视频| 女警被强在线播放| 国产精品影院久久| 亚洲国产中文字幕在线视频| 国产成人系列免费观看| 自拍欧美九色日韩亚洲蝌蚪91| 在线免费观看的www视频| 丝袜美足系列| 人妻一区二区av| 精品少妇久久久久久888优播| 久久人人97超碰香蕉20202| 国产亚洲欧美精品永久| 国产又爽黄色视频| 我的亚洲天堂| 欧美日韩亚洲综合一区二区三区_| 亚洲精品成人av观看孕妇| 欧美日韩成人在线一区二区| 免费看a级黄色片| 亚洲精品国产色婷婷电影| 国产欧美亚洲国产| 女性被躁到高潮视频| 久久午夜亚洲精品久久| 涩涩av久久男人的天堂| 亚洲人成伊人成综合网2020| 久久精品国产亚洲av香蕉五月 | 天堂√8在线中文| 免费日韩欧美在线观看| 制服诱惑二区| 亚洲第一av免费看| 一级毛片女人18水好多| 亚洲av第一区精品v没综合| 建设人人有责人人尽责人人享有的| 亚洲人成电影免费在线| 国产xxxxx性猛交| av天堂久久9| 国产一区二区三区综合在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲av第一区精品v没综合| 99久久99久久久精品蜜桃| 51午夜福利影视在线观看| 在线观看66精品国产|