• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學(xué)術(shù)會議質(zhì)量評價方法文獻綜述與研究展望

    2022-05-05 00:02:44耿祎楠吳杰郭詩園李彤
    學(xué)會 2022年4期
    關(guān)鍵詞:學(xué)術(shù)會議會議論文

    耿祎楠 吳杰 郭詩園 李彤

    [摘要]學(xué)術(shù)會議是學(xué)術(shù)交流的重要方式,具有推動學(xué)科發(fā)展、促進知識共享和轉(zhuǎn)化等功能。對學(xué)術(shù)會議質(zhì)量進行評價能夠歸納高質(zhì)量會議的特征和經(jīng)驗,為科技工作者提供必要的參會指引。該文系統(tǒng)梳理了學(xué)術(shù)會議質(zhì)量評價方法相關(guān)研究文獻,將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)、基于多指標(biāo)綜合性的評價方法和基于組織管理學(xué)理論模型的評價三類,分析了各類評價方法的特征,并提出了研究展望:一是在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系;二是將科技成果轉(zhuǎn)化作為重要維度納入學(xué)術(shù)會議質(zhì)量評價體系;三是積極開展學(xué)術(shù)會議質(zhì)量評價的實證研究;四是采用定性與定量相結(jié)合的方式對學(xué)術(shù)會議質(zhì)量進行評價。

    [關(guān)鍵詞]學(xué)術(shù)會議會議質(zhì)量評價文獻計量學(xué)

    [中圖分類號]N94516[文獻標(biāo)識碼]A[文章編號]10019596(2022)040026-05

    一、引言

    當(dāng)前,對于學(xué)術(shù)會議質(zhì)量的評價引起了社會各界的廣泛關(guān)注。對于參會者來說,在一個高質(zhì)量的會議上發(fā)表論文可以作為論文質(zhì)量和潛在影響的標(biāo)志。隨著科技發(fā)展和社會進步,我國各領(lǐng)域的學(xué)術(shù)會議數(shù)量逐漸增多。《中國科協(xié)全國學(xué)會發(fā)展報告(2020)》顯示,2019年全國學(xué)會組織的國內(nèi)學(xué)術(shù)會議4362場,參會人數(shù)達到170萬人次。為了給廣大師生和科技工作者提供參會指引,不少大學(xué)和社會組織都推出了針對學(xué)科領(lǐng)域的學(xué)術(shù)會議推薦目錄。學(xué)術(shù)界對學(xué)術(shù)會議質(zhì)量評價方法的探索和實踐研究也越來越多。

    目前學(xué)界對于學(xué)術(shù)會議質(zhì)量評價方法的研究主要分為計算機科學(xué)領(lǐng)域?qū)W術(shù)會議評價和基于多學(xué)科的綜合性學(xué)術(shù)會議的評價這兩種思路。計算機學(xué)科領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以文獻計量學(xué)指標(biāo)為主,以論文的質(zhì)量反映會議總體的質(zhì)量?;诙鄬W(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價研究從不同的維度和視角出發(fā),構(gòu)建了各類評價指標(biāo)框架和體系,但都尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。

    本文通過對近年來國內(nèi)外學(xué)者對學(xué)術(shù)會議質(zhì)量評價方法相關(guān)文獻進行梳理,將學(xué)術(shù)會議質(zhì)量評價方法分為基于文獻計量學(xué)指標(biāo)的評價、基于多指標(biāo)綜合性學(xué)術(shù)會議指標(biāo)評價和基于組織管理學(xué)理論模型的方法等三種類型,詳細(xì)剖析了每一類學(xué)術(shù)會議質(zhì)量評價方法的特征,識別了研究中存在的優(yōu)勢和不足,最后對學(xué)術(shù)會議質(zhì)量評價方法研究提出了意見和建議。

    二、基于文獻計量學(xué)指標(biāo)的學(xué)術(shù)會議質(zhì)量評價方法

    此類評價方法多集中于計算機科學(xué)和人工智能相關(guān)領(lǐng)域。由于該領(lǐng)域發(fā)展迅速,為了更短的傳播周期,該領(lǐng)域很多成果都是通過會議論文的形式發(fā)表,會議論文與期刊論文的比例為249篇[1]。因此該領(lǐng)域中會議論文的文獻計量指標(biāo)可有效反映會議的質(zhì)量、聲譽和影響力水平。此類方法中主要應(yīng)用的文獻計量學(xué)指標(biāo)有論文接受率(Paper Acceptance Ratio,AR)、論文引用率(Citations Frequencies,CF)、論文影響力(PImpact)、同儕聲望(Peer Reputation,PR)、H指數(shù)(H|index)和G指數(shù)等。XUEHUI學(xué)會2022年第4期2022年第4期學(xué)術(shù)會議質(zhì)量評價方法文獻綜述與研究展望XUEHUI

    論文接受率(AR)指的是收錄論文的數(shù)量與論文投稿總量之比,AR值越低,說明學(xué)術(shù)會議的質(zhì)量越高,該指標(biāo)已成為衡量學(xué)術(shù)會議質(zhì)量的普遍性指標(biāo)。但有研究發(fā)現(xiàn),由于作者自過濾或缺乏嚴(yán)格的審稿過程等原因,經(jīng)常存在AR值低的學(xué)術(shù)會議比AR值高的被引次數(shù)少的情況[2]。論文引用率(CF)是指科學(xué)論文對文獻的引用次數(shù),會議論文引用率是衡量一個會議影響力的重要依據(jù)。Martins等基于會議論文的引用率提出了會議影響因子(CIF)、會議引文影響(CCI)等作為文獻計量指標(biāo)來評價學(xué)術(shù)會議的質(zhì)量[3]。但也有研究表明,許多引用至少要追溯到5年前[4]。由于會議規(guī)模不同,不同會議的被引量或相同會議不同年份的被引量不能直接比較,在進行會議評價時經(jīng)常將引文數(shù)量進行歸一化處理產(chǎn)生的論文影響力[5](PImpact)來進行評價。由于AR值的缺陷和論文引用率對于時間的要求,Nelakuditi等提出了利用論文第一作者的機構(gòu)在各類大學(xué)/機構(gòu)排行榜中的位置的同儕聲望值(PR)來評價學(xué)術(shù)會議的質(zhì)量的方法[6]。具體來說,PR<1/3,20>則表示會議中1/3的論文來自于排名前20%的大學(xué)。PR對AR作出了改進,但也存在僅針對美國大學(xué)排名進行研究和僅考慮第一作者所在機構(gòu)等問題。此外,也有學(xué)者探索了利用H指數(shù)[7]、G指數(shù)[8]評估學(xué)術(shù)會議的質(zhì)量并進行了實踐驗證。這些指標(biāo)的提出豐富了以文獻計量學(xué)為基礎(chǔ)的學(xué)術(shù)會議質(zhì)量評價的指標(biāo)與方法,但也存在僅利用一類指標(biāo)進行質(zhì)量評價結(jié)果過于單一和因會議樣本量少而存在偶然性的問題。因此不少學(xué)者提出綜合利用各類文獻計量學(xué)指標(biāo)構(gòu)建評價體系,對學(xué)術(shù)會議進行分檔評級或排序。

    Küngas等提出了一種會議論文的踴躍程度與過往會議論文引用量相結(jié)合的計算機學(xué)科學(xué)術(shù)會議質(zhì)量評價方法[9]。Loizides等基于12個計算機科學(xué)領(lǐng)域3000篇論文數(shù)據(jù),提出了一種綜合考慮PR值、論文影響力和作者H指數(shù)的學(xué)術(shù)會議分類方法(CCA)[10]。張洋等通過PR值、H-index、Plmpact、零被引率等四類7個指標(biāo)的綜合,應(yīng)用TOPSIS模型建立了學(xué)術(shù)會議質(zhì)量動態(tài)評價方法[11]。此外,不少機構(gòu)也嘗試構(gòu)建基于文獻計量指標(biāo)的學(xué)術(shù)會議評價指標(biāo)體系,并對學(xué)術(shù)會議進行分檔評級或排序。解決了單一指標(biāo)對于會議評價的客觀影響問題,更全面真實地反映了學(xué)術(shù)會議的質(zhì)量。

    文獻計量學(xué)指標(biāo)評價方法可以客觀、定量地衡量學(xué)術(shù)會議的質(zhì)量。其局限在于僅用反映論文水平的文獻計量學(xué)指標(biāo)來評估會議的質(zhì)量。但學(xué)術(shù)會議質(zhì)量的評價并非文獻計量的產(chǎn)出、交流過程以及會務(wù)組織情況等個別、零散方面可完整表征。對于學(xué)術(shù)會議質(zhì)量的評價應(yīng)更加全面和綜合。

    三、基于多指標(biāo)的綜合性評價方法

    這一類評價方法試圖通過歸納、分析學(xué)術(shù)會議的核心環(huán)節(jié)和關(guān)鍵要素,進而構(gòu)建復(fù)雜、完整的適用于多學(xué)科的綜合性學(xué)術(shù)會議質(zhì)量評價體系,主要分為以下三類。

    (一)基于會議全流程的多指標(biāo)綜合評價方法

    此類方法認(rèn)為,對于學(xué)術(shù)會議的評價應(yīng)貫穿于會議提出、準(zhǔn)備、進行和結(jié)束的全過程,體現(xiàn)在會前、會中、會后等各個方面。一些學(xué)者通過學(xué)術(shù)會議的特征分析以及不同階段的要點,構(gòu)建了與學(xué)術(shù)會議完整過程相適應(yīng)的多指標(biāo)綜合性學(xué)術(shù)會議質(zhì)量評價體系,認(rèn)為學(xué)術(shù)會議發(fā)生階段反映了會議主題設(shè)置的水平,準(zhǔn)備階段反映了論文總體水平,進行階段反映了會議交流研討水平和會務(wù)水平,會后反映了綜合效益和與會者反響[12-14]。此類方法多是依靠辦會經(jīng)驗和對會議發(fā)生過程中的各類影響要素進行歸納總結(jié),構(gòu)建初步的學(xué)術(shù)會議質(zhì)量評價體系框架,存在評價結(jié)果受評價者主觀意愿影響大、指標(biāo)的合理性和內(nèi)在邏輯性需要進一步驗證、缺少實證研究等問題。

    (二)基于學(xué)術(shù)影響力的多指標(biāo)綜合評價方法

    此類方法關(guān)注學(xué)術(shù)會議的學(xué)術(shù)性內(nèi)涵,根據(jù)學(xué)術(shù)影響力的生成階段、擴散階段和傳播階段來構(gòu)建多指標(biāo)評價體系。唐家蕙等基于學(xué)術(shù)性影響力生成的過程性測度、結(jié)果性測度和影響性測度等構(gòu)建了學(xué)術(shù)會議質(zhì)量綜合評價基本框架[15]。也有學(xué)者提出了學(xué)術(shù)會議質(zhì)量評價要兼顧遠期效益影響,關(guān)注參會者會后是否會將在會議上學(xué)到的新知識應(yīng)用到實際中去[16]。2017年,中國科協(xié)立足學(xué)術(shù)會議“學(xué)術(shù)性”本質(zhì)特征,構(gòu)建了以學(xué)術(shù)吸引力、交流互動力和成果傳播力為一級測度的學(xué)術(shù)會議質(zhì)量評估指標(biāo)體系,并設(shè)立了特邀報告人學(xué)術(shù)水平、會議論文/摘要的接受率、學(xué)術(shù)成果的表現(xiàn)形式等10個二級指標(biāo)[17]。此類方法把握了學(xué)術(shù)會議的本質(zhì)特征,但未考慮到會議組織流程等方面的評價。

    (三)基于全維度的多指標(biāo)綜合評價方法

    此類方法致力于對會議形成綜合評價,全面、系統(tǒng)地反映學(xué)術(shù)會議的質(zhì)量。孫澤厚等由表及里、由淺入深地分析了影響學(xué)術(shù)會議質(zhì)量的要素指標(biāo)。將學(xué)術(shù)會議質(zhì)量評價為學(xué)術(shù)、交流、會議三個構(gòu)面,形成包括辦會動機、會議主題、會議論文、會議人員、會議氛圍、會議組織形式及流程、參會成本、會議組織等8個維度的學(xué)術(shù)會議質(zhì)量評價體系[18]。游媛通過對以往學(xué)術(shù)會議質(zhì)量評價指標(biāo)的總結(jié)歸納,設(shè)計了包括組織、交流、學(xué)術(shù)、成果、影響五個層面的學(xué)術(shù)會議質(zhì)量交流評價指標(biāo)體系[19]。此類評價體系較為全面地反映了學(xué)術(shù)會議質(zhì)量的各個方面,但評價結(jié)果過于依賴參會者主觀認(rèn)識。

    此類評價方法形成了關(guān)于學(xué)術(shù)會議學(xué)術(shù)影響、研討交流和會議組織等基本評價指標(biāo)的共識,對于評價指標(biāo)體系的實操驗證和實踐應(yīng)用則需要進一步探討。

    四、基于組織管理學(xué)理論模型的評價方法

    在此類方法中,學(xué)者從不同視角如參會代表滿意度、會議利益相關(guān)者目標(biāo)以及新組織結(jié)構(gòu)等出發(fā),對學(xué)術(shù)會議的內(nèi)涵做出了新的解讀,并通過借鑒組織管理學(xué)中顧客滿意度指數(shù)模式、平衡計分卡、差距分析等模型,結(jié)合學(xué)術(shù)會議本身特點的基礎(chǔ),對模型作出改進,形成了學(xué)術(shù)會議質(zhì)量評價框架和方法。

    例如,李新杰等將學(xué)術(shù)會議看作為參會者提供服務(wù)的過程,基于與會代表滿意度對學(xué)術(shù)會議質(zhì)量進行評價,借鑒顧客滿意度指數(shù)(ACSI)模型構(gòu)建與會代表滿意度模型,將參會者對整體會議質(zhì)量、會議主題、學(xué)術(shù)論文遴選和會議組織過程等的感知作為與會代表滿意度評價指標(biāo),探索了與會代表滿意度與感知期望、感知質(zhì)量、感知價值變量之間的關(guān)系[20]。中國科協(xié)課題組從服務(wù)質(zhì)量管理的角度出發(fā),將學(xué)術(shù)會議質(zhì)量感知分為總體感知、主要維度感知和亞維度感知三個層次,并借鑒“差距分析理論”構(gòu)建了學(xué)術(shù)會議質(zhì)量評價“差距分析”模型[21]。肖建華從目標(biāo)管理的角度出發(fā),借鑒平衡計分卡模型,通過總結(jié)梳理學(xué)術(shù)會議不同利益相關(guān)者的目標(biāo),形成了包含學(xué)術(shù)會議目標(biāo)層、用戶層、流程層三個維度共40項指標(biāo)的學(xué)術(shù)會議評價指標(biāo)框架,為統(tǒng)一各類學(xué)術(shù)會議效果評價標(biāo)準(zhǔn)提供了一個新思路[22]。鄭毅將學(xué)術(shù)會議看作一類組織,從新組織結(jié)構(gòu)學(xué)派視角出發(fā),明確了學(xué)術(shù)會議的組織結(jié)構(gòu)模塊及分工特征,厘清了學(xué)術(shù)會議組織的績效內(nèi)涵及組織績效的生成步驟,形成了學(xué)術(shù)會議績效評價管理框架,為會議要素在交互過程中有效支撐學(xué)術(shù)會議目標(biāo)的達成提供了指導(dǎo)[23]。

    將組織管理學(xué)的理論方法模型引入學(xué)術(shù)會議評價管理研究中,豐富了學(xué)術(shù)會議質(zhì)量評價體系和方法,為解決學(xué)術(shù)會議質(zhì)量評價研究提供了新思路和方法。但也存在相互獨立,不能形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系的問題。此外,此類方法僅提出了學(xué)術(shù)會議質(zhì)量評價的框架,對評價框架的實證和實踐應(yīng)用還需要進一步探討。五、研究展望

    整體來看,目前關(guān)于學(xué)術(shù)會議質(zhì)量評價方法的研究還存在以下問題:一是尚未形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)界對學(xué)術(shù)會議評價的內(nèi)涵、過程、特征等并未形成一致的認(rèn)知,在特定學(xué)科領(lǐng)域沒有形成統(tǒng)一的、被廣泛認(rèn)可的評價方法體系。二是并未將科技成果轉(zhuǎn)化作為一項重點指標(biāo)納入學(xué)術(shù)會議質(zhì)量評價體系。三是對學(xué)術(shù)會議評價方法體系的實證研究較少。大多數(shù)研究致力于學(xué)術(shù)會議質(zhì)量評價方法體系的構(gòu)建,僅有少數(shù)學(xué)者利用層次分析法、模糊集合理論等對評價指標(biāo)體系進行驗證和權(quán)重賦值[19,24]。四是定性與定量相互分離。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價以定量為主,其他學(xué)科領(lǐng)域以定性為主。

    基于本文分析,提出以下研究展望。

    一是在不同的學(xué)科領(lǐng)域內(nèi)形成相應(yīng)的學(xué)術(shù)會議質(zhì)量評價體系。學(xué)術(shù)會議質(zhì)量的評估評價只有在相同學(xué)科條件下進行才有意義[25]。目前,學(xué)界對學(xué)術(shù)會議質(zhì)量評價維度的劃分和指標(biāo)選取建立了基本共識,但在相同的學(xué)科領(lǐng)域內(nèi),學(xué)術(shù)會議質(zhì)量評價框架體系的構(gòu)建和測量方法并不統(tǒng)一。這也導(dǎo)致通過不同的方法對學(xué)術(shù)會議進行評價結(jié)果不一致的問題,容易對參會者形成困擾。在相同學(xué)科條件下形成統(tǒng)一的學(xué)術(shù)會議質(zhì)量評價體系有利于對學(xué)術(shù)會議質(zhì)量形成統(tǒng)一評估,為廣大科技工作者提供指引。

    二是將科技成果轉(zhuǎn)化作為重要的學(xué)術(shù)會議質(zhì)量評價維度??萍汲晒D(zhuǎn)化對于創(chuàng)新驅(qū)動發(fā)展具有重要作用。學(xué)術(shù)會議作為展示學(xué)術(shù)科研成果的重要平臺,為學(xué)術(shù)界和產(chǎn)業(yè)界搭建了科技成果轉(zhuǎn)化的橋梁。雖已有研究提出成果轉(zhuǎn)化率作為學(xué)術(shù)會議影響力的指標(biāo)[19],但僅作為影響力維度之一,其重要性并未充分體現(xiàn)。此外,對于這一指標(biāo)的內(nèi)涵的論證以及具體測量還需進一步探討。

    三是積極探索學(xué)術(shù)會議質(zhì)量評價的實證研究。加強對學(xué)術(shù)會議質(zhì)量評價框架的實證檢驗,對學(xué)術(shù)會議質(zhì)量評估結(jié)果與權(quán)威排行的重合率以及是否符合科技工作者預(yù)期進行驗證;探索學(xué)術(shù)會議質(zhì)量評價方法實踐研究,分析我國學(xué)術(shù)會議存在的問題,助力學(xué)術(shù)會議質(zhì)量提升。

    四是采用定性與定量相結(jié)合的方式開展學(xué)術(shù)會議質(zhì)量評價。計算機科學(xué)領(lǐng)域的學(xué)術(shù)會議質(zhì)量評價方法以文獻計量指標(biāo)為基礎(chǔ),以定量為主。其他學(xué)科領(lǐng)域?qū)W術(shù)會議質(zhì)量評價多以問卷調(diào)查形式開展,以定性為主。兩類方式應(yīng)相互借鑒,尤其是基于多指標(biāo)綜合性評價和借鑒組織管理學(xué)模型所構(gòu)建的評價框架體系中,針對會議論文質(zhì)量的評價多引入文獻計量學(xué)指標(biāo),形成定量和定性評價相結(jié)合的評價方式,從而更加客觀地評價學(xué)術(shù)會議整體質(zhì)量。

    參考文獻

    [1]LAENDER A H F,LUCENA C J P D,MALDONADO J C,et al.Assessing the research and education quality of the top Brazilian Computer Science graduate programs[J].Acm Sigcse Bulletin,2008,40(2):135-145.

    [2]CHEN J,KONSTAN J A.Conference paper selectivity and impact[J].Communications of the Acm,2015,53(6):79-83.

    [3]MARTINS W S,MARCOS ANDR GONALVES,LAENDER A H F,et al.Assessing the quality of scientific conferences based on bibliographic citations[J].Scientometrics,2010, 83(1):133-155.

    [4]RAHM E,THOR A.Citation analysis of database publications[J].Acm Sigmod Record, 2005,34(4):48-53.

    [5]張洋,葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇,2018(7):37-44.

    [6]NELAKUDITI S,GRAY C,CHOUDHURY R R.Snap judgement of publication quality:how to convince a dean that you are a good researcher[J].Acm Sigmobile Mobile Computing & Communications Review,2011,15(2):20-23.

    [7]王倩.h指數(shù)及其衍生指數(shù)在評價學(xué)術(shù)會議中的應(yīng)用研究[J].科技情報開發(fā)與經(jīng)濟, 2015(15):135-139.

    [8]EGGHE L.Theory and practice of the g-index[J].Scientometrics, 2006, 69(1).131-152

    [9]PEEP KNGAS,KARUS S,VAKULENKO S,et al.Reverse-engineering conference rankings: what does it take to make a reputable conference?[J].Scientometrics, 2013, 96(2).651-665.

    [10]LOIZIDES O S,KOUTSAKIS P.On evaluating the quality of a computer science/computer engineering conference[J].Journal of Informetrics, 2017, 11(2):541-552.

    [11]張洋,葉月.基于多指標(biāo)的學(xué)術(shù)會議動態(tài)評價研究[J].數(shù)字圖書館論壇,2018(7):37-44.

    [12]劉國衛(wèi).學(xué)術(shù)會議質(zhì)量評價探討[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,1991(4):23-25.

    [13]楊文志.論多學(xué)科綜合性學(xué)術(shù)會議的質(zhì)量評價[J].學(xué)會,1992(Z1):79-82.

    [14]楊民,畢小敬.學(xué)術(shù)會議質(zhì)量評估方法的可行性[J].中國現(xiàn)代醫(yī)學(xué)雜志,1994(4):74-75.

    [15]唐家蕙,李曉軒,鄭毅,等.學(xué)術(shù)會議質(zhì)量綜合評價研究及實踐[J].科技導(dǎo)報,2021,39(17):106-114.

    [16]馬敬安.探索和建立學(xué)術(shù)會議的質(zhì)量評估體系[J].學(xué)會,1996(9):13.

    [17]學(xué)術(shù)會議質(zhì)量評估報告(2017)[M].北京:中國科協(xié),2018.

    [18]《學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究》課題組.學(xué)術(shù)會議質(zhì)量國內(nèi)外比較研究[C]//學(xué)術(shù)交流質(zhì)量與科技研發(fā)創(chuàng)新研究,2009:10,12-105.

    [19]游媛.學(xué)術(shù)交流質(zhì)量評價指標(biāo)體系的構(gòu)建研究[D].重慶:重慶大學(xué),2012.

    [20]李新杰.基于改進的ACSI模型的學(xué)術(shù)會議質(zhì)量評價實證研究[J].中原工學(xué)院學(xué)報,2017,28(2):66-72.

    [21]中國科學(xué)技術(shù)協(xié)會學(xué)會學(xué)術(shù)部.學(xué)術(shù)會議過程與使用語言研究[M].中國科學(xué)技術(shù)出版社,2008.

    [22]肖建華,霍國慶,董帥,等.基于平衡計分卡的學(xué)術(shù)會議效果評價指標(biāo)體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2009,30(12):48-54.

    [23]鄭毅,劉文斌,宋澤寧.組織結(jié)構(gòu)視角下我國學(xué)術(shù)會議績效評價管理研究[J].科研管理,2020,41(3):194-204.

    [24]向河,沈賀.基于層次分析法的學(xué)術(shù)交流質(zhì)量評估與機制創(chuàng)新研究[C]//中國科協(xié)學(xué)術(shù)交流理論研討會,2008:181-192.

    [25]孫樂民,謝永強,施燕斌.用ISTP統(tǒng)計評估國際學(xué)術(shù)會議的等級[J].高校圖書館工作,2008(5):44-45.

    猜你喜歡
    學(xué)術(shù)會議會議論文
    《八七會議》
    黨員文摘(2022年15期)2022-08-04 09:15:52
    會議通知
    會議通知
    關(guān)于召開第18屆24省(市、自治區(qū))4市鑄造學(xué)術(shù)會議的(第一輪)通知
    ISO/TC8/SC8 期間會議在滬召開
    學(xué)術(shù)會議通訊
    廣州文博(2016年0期)2016-02-27 12:49:26
    下期論文摘要預(yù)登
    下期論文摘要預(yù)登
    下期論文摘要預(yù)登
    2013年5—12月最佳論文
    新聞前哨(2014年1期)2014-03-12 22:10:06
    亚洲美女视频黄频| 99精品久久久久人妻精品| 又爽又黄无遮挡网站| 国产99久久九九免费精品| 日本成人三级电影网站| 日韩欧美一区二区三区在线观看| 最近最新中文字幕大全免费视频| 狂野欧美激情性xxxx| 波多野结衣巨乳人妻| 黑人巨大精品欧美一区二区mp4| 搡老岳熟女国产| 国产精品爽爽va在线观看网站| 99riav亚洲国产免费| 亚洲avbb在线观看| 亚洲国产中文字幕在线视频| 欧美中文综合在线视频| 久久伊人香网站| 亚洲av成人精品一区久久| 怎么达到女性高潮| 可以在线观看毛片的网站| 久久久精品大字幕| 好看av亚洲va欧美ⅴa在| 国产免费男女视频| 99国产精品一区二区三区| 搞女人的毛片| 在线a可以看的网站| 男人舔女人的私密视频| 免费无遮挡裸体视频| 国产黄片美女视频| 亚洲一区二区三区色噜噜| 日韩中文字幕欧美一区二区| 久久婷婷成人综合色麻豆| 成人特级黄色片久久久久久久| 女同久久另类99精品国产91| 999久久久精品免费观看国产| 每晚都被弄得嗷嗷叫到高潮| 亚洲成人久久性| 日韩精品青青久久久久久| 老司机靠b影院| 波多野结衣高清无吗| 2021天堂中文幕一二区在线观| 五月伊人婷婷丁香| 国产成年人精品一区二区| 亚洲欧美日韩东京热| 婷婷精品国产亚洲av在线| 亚洲精品国产精品久久久不卡| 成人手机av| 女人被狂操c到高潮| 国产av麻豆久久久久久久| 老汉色∧v一级毛片| 丰满人妻一区二区三区视频av | 午夜日韩欧美国产| 欧美日韩黄片免| 巨乳人妻的诱惑在线观看| 久久中文字幕一级| 一卡2卡三卡四卡精品乱码亚洲| 搞女人的毛片| 国产精品久久久av美女十八| 长腿黑丝高跟| 99精品久久久久人妻精品| 亚洲 欧美一区二区三区| 亚洲精品中文字幕在线视频| av有码第一页| 久久久久国产一级毛片高清牌| 一本大道久久a久久精品| 男女午夜视频在线观看| 日本 欧美在线| 色尼玛亚洲综合影院| 在线十欧美十亚洲十日本专区| 成人三级黄色视频| 中国美女看黄片| 制服人妻中文乱码| 波多野结衣高清无吗| 俄罗斯特黄特色一大片| 亚洲欧美精品综合久久99| 国产精品乱码一区二三区的特点| 日韩欧美精品v在线| 国产精品一区二区三区四区久久| 18禁黄网站禁片午夜丰满| 亚洲中文日韩欧美视频| 97人妻精品一区二区三区麻豆| 在线观看美女被高潮喷水网站 | 久久精品人妻少妇| 日韩欧美免费精品| 熟女少妇亚洲综合色aaa.| 在线十欧美十亚洲十日本专区| av在线播放免费不卡| 啪啪无遮挡十八禁网站| 久久久久久久久免费视频了| 欧美+亚洲+日韩+国产| 九九热线精品视视频播放| 精品无人区乱码1区二区| 99久久99久久久精品蜜桃| 亚洲国产高清在线一区二区三| 1024香蕉在线观看| 国产精品美女特级片免费视频播放器 | 成人亚洲精品av一区二区| 久久久久国产精品人妻aⅴ院| 色噜噜av男人的天堂激情| 69av精品久久久久久| 国产精品久久电影中文字幕| 亚洲中文字幕日韩| 久久久久久大精品| 亚洲avbb在线观看| 成人av一区二区三区在线看| videosex国产| 99热这里只有精品一区 | 大型黄色视频在线免费观看| 午夜亚洲福利在线播放| svipshipincom国产片| 亚洲色图av天堂| 日韩欧美一区二区三区在线观看| 91国产中文字幕| 窝窝影院91人妻| 国产三级中文精品| 99久久无色码亚洲精品果冻| 啦啦啦观看免费观看视频高清| 国产爱豆传媒在线观看 | 国产探花在线观看一区二区| 久热爱精品视频在线9| 18禁国产床啪视频网站| 99久久精品国产亚洲精品| 亚洲va日本ⅴa欧美va伊人久久| 中文字幕人成人乱码亚洲影| 好男人在线观看高清免费视频| 国产激情欧美一区二区| 美女免费视频网站| 最近最新免费中文字幕在线| 亚洲人成网站高清观看| 国产爱豆传媒在线观看 | 亚洲人成网站在线播放欧美日韩| 欧美黑人欧美精品刺激| 亚洲免费av在线视频| 国产午夜精品论理片| 午夜日韩欧美国产| 欧美日本视频| 国产成人精品无人区| 成人av在线播放网站| 午夜福利在线观看吧| 欧美黄色淫秽网站| 亚洲人成电影免费在线| 久久这里只有精品19| 亚洲黑人精品在线| 亚洲av第一区精品v没综合| 精品无人区乱码1区二区| 亚洲第一欧美日韩一区二区三区| www.精华液| 精品国内亚洲2022精品成人| 白带黄色成豆腐渣| 午夜免费成人在线视频| 特级一级黄色大片| 一a级毛片在线观看| 啪啪无遮挡十八禁网站| 99热这里只有精品一区 | 久久精品成人免费网站| 国产69精品久久久久777片 | 亚洲欧美日韩高清在线视频| netflix在线观看网站| 淫妇啪啪啪对白视频| 国产精品亚洲美女久久久| 国产高清视频在线播放一区| 亚洲精品美女久久久久99蜜臀| 日本一二三区视频观看| 国产97色在线日韩免费| 日本熟妇午夜| 美女午夜性视频免费| 免费看十八禁软件| 最新美女视频免费是黄的| 777久久人妻少妇嫩草av网站| 久久精品aⅴ一区二区三区四区| 中国美女看黄片| 99热这里只有是精品50| 久久久久久久久中文| 波多野结衣高清无吗| 亚洲人成77777在线视频| 午夜老司机福利片| 一级毛片女人18水好多| 久久久久久人人人人人| 麻豆国产97在线/欧美 | 男男h啪啪无遮挡| 午夜视频精品福利| 亚洲国产看品久久| 大型av网站在线播放| 最近最新中文字幕大全电影3| 欧美日本视频| 精品少妇一区二区三区视频日本电影| 国产精品久久久av美女十八| av视频在线观看入口| 成人亚洲精品av一区二区| 成人永久免费在线观看视频| 久久这里只有精品中国| 99国产综合亚洲精品| 可以在线观看的亚洲视频| 国产av一区在线观看免费| 久久国产精品影院| 国产av一区二区精品久久| 午夜福利免费观看在线| 久久性视频一级片| 亚洲av成人精品一区久久| 国产精品免费视频内射| 美女午夜性视频免费| 久久人妻福利社区极品人妻图片| 久久久久国内视频| 色尼玛亚洲综合影院| 久久精品91蜜桃| 男人舔女人下体高潮全视频| 日韩av在线大香蕉| 国产精品美女特级片免费视频播放器 | 一区福利在线观看| 欧美黑人巨大hd| 国产v大片淫在线免费观看| 久久久久久久久中文| av中文乱码字幕在线| 在线免费观看的www视频| 亚洲国产看品久久| 美女高潮喷水抽搐中文字幕| 亚洲人成77777在线视频| av福利片在线| xxx96com| 91在线观看av| 又紧又爽又黄一区二区| 99re在线观看精品视频| 亚洲中文av在线| 九色成人免费人妻av| 俺也久久电影网| 欧美一级毛片孕妇| 亚洲成av人片在线播放无| 久热爱精品视频在线9| 少妇被粗大的猛进出69影院| 精品久久久久久久毛片微露脸| 午夜福利视频1000在线观看| 正在播放国产对白刺激| 亚洲av成人一区二区三| 每晚都被弄得嗷嗷叫到高潮| 久久天堂一区二区三区四区| 日本 欧美在线| 久久国产精品人妻蜜桃| 在线观看66精品国产| 一区二区三区高清视频在线| 国产av不卡久久| 真人一进一出gif抽搐免费| 国产高清videossex| 韩国av一区二区三区四区| 日本免费一区二区三区高清不卡| 国产高清视频在线观看网站| 一边摸一边抽搐一进一小说| 欧美久久黑人一区二区| 色哟哟哟哟哟哟| 国产伦人伦偷精品视频| 9191精品国产免费久久| 国产精品免费一区二区三区在线| 亚洲av电影不卡..在线观看| 国产精品影院久久| 一本一本综合久久| 国产精品久久久久久久电影 | 欧美黄色片欧美黄色片| 亚洲av电影不卡..在线观看| 在线视频色国产色| 99精品久久久久人妻精品| 亚洲精品一卡2卡三卡4卡5卡| 嫩草影院精品99| 午夜久久久久精精品| 国产精品久久久av美女十八| 99久久99久久久精品蜜桃| 欧美日韩黄片免| 啪啪无遮挡十八禁网站| 欧美日韩瑟瑟在线播放| 精品久久久久久久毛片微露脸| 国产在线精品亚洲第一网站| 亚洲精品久久成人aⅴ小说| xxxwww97欧美| ponron亚洲| 1024视频免费在线观看| 婷婷亚洲欧美| 性色av乱码一区二区三区2| 黄色毛片三级朝国网站| 91麻豆精品激情在线观看国产| 夜夜夜夜夜久久久久| 在线观看www视频免费| 成人午夜高清在线视频| 欧美日韩国产亚洲二区| a级毛片a级免费在线| 亚洲在线自拍视频| 精品国产美女av久久久久小说| 两人在一起打扑克的视频| 亚洲成人久久性| 日韩大码丰满熟妇| 色综合婷婷激情| 草草在线视频免费看| 麻豆成人午夜福利视频| 国产精品久久久久久久电影 | 别揉我奶头~嗯~啊~动态视频| 亚洲专区国产一区二区| a级毛片在线看网站| 欧美乱码精品一区二区三区| 国产精品九九99| 午夜久久久久精精品| 美女午夜性视频免费| av片东京热男人的天堂| av中文乱码字幕在线| av福利片在线| 色哟哟哟哟哟哟| 日韩高清综合在线| 亚洲精品一卡2卡三卡4卡5卡| 国产黄色小视频在线观看| 人人妻人人看人人澡| 亚洲18禁久久av| 天堂影院成人在线观看| 美女大奶头视频| 一级作爱视频免费观看| 欧美成人午夜精品| 中国美女看黄片| 成人国产综合亚洲| 国产黄色小视频在线观看| 午夜日韩欧美国产| 国产一区二区三区在线臀色熟女| 亚洲av片天天在线观看| 亚洲av日韩精品久久久久久密| 久久久精品大字幕| 波多野结衣高清作品| 国产人伦9x9x在线观看| 亚洲av成人不卡在线观看播放网| 丝袜人妻中文字幕| 又紧又爽又黄一区二区| 在线观看美女被高潮喷水网站 | 美女免费视频网站| 亚洲欧美精品综合久久99| 2021天堂中文幕一二区在线观| 亚洲成人久久爱视频| 亚洲精品在线美女| 一本久久中文字幕| 精品国产超薄肉色丝袜足j| 又大又爽又粗| 黑人操中国人逼视频| 免费在线观看完整版高清| 校园春色视频在线观看| 久久精品aⅴ一区二区三区四区| 欧美成人免费av一区二区三区| 无遮挡黄片免费观看| 国产成人aa在线观看| 亚洲一区二区三区色噜噜| 日本一二三区视频观看| 日本黄大片高清| 青草久久国产| 国产一级毛片七仙女欲春2| 高清毛片免费观看视频网站| 精品国产亚洲在线| 久久久国产成人免费| 精品少妇一区二区三区视频日本电影| 天天添夜夜摸| 久久这里只有精品19| 亚洲精品粉嫩美女一区| 国内久久婷婷六月综合欲色啪| 日本黄色视频三级网站网址| 亚洲av熟女| xxx96com| av在线播放免费不卡| 亚洲欧美日韩高清专用| 超碰成人久久| 男女做爰动态图高潮gif福利片| 免费在线观看完整版高清| 亚洲五月婷婷丁香| 国产黄片美女视频| 91av网站免费观看| 日日爽夜夜爽网站| 亚洲,欧美精品.| √禁漫天堂资源中文www| 亚洲欧美日韩无卡精品| 久久午夜亚洲精品久久| 老司机在亚洲福利影院| 欧美日韩亚洲综合一区二区三区_| 黑人欧美特级aaaaaa片| 午夜视频精品福利| 成人午夜高清在线视频| 又黄又粗又硬又大视频| 淫秽高清视频在线观看| 丰满人妻熟妇乱又伦精品不卡| 亚洲专区国产一区二区| 国产精品自产拍在线观看55亚洲| 欧美大码av| 一级a爱片免费观看的视频| 女警被强在线播放| 午夜激情av网站| 久久精品影院6| svipshipincom国产片| 亚洲真实伦在线观看| 一本一本综合久久| 777久久人妻少妇嫩草av网站| 国产精品自产拍在线观看55亚洲| 男女那种视频在线观看| 在线观看一区二区三区| av福利片在线| 国产亚洲av高清不卡| 精品免费久久久久久久清纯| 免费一级毛片在线播放高清视频| 精品国产美女av久久久久小说| 97超级碰碰碰精品色视频在线观看| 国产99白浆流出| 欧美在线一区亚洲| 国产熟女xx| 麻豆国产97在线/欧美 | 色综合婷婷激情| 亚洲男人天堂网一区| 成年女人毛片免费观看观看9| 91字幕亚洲| 日韩大码丰满熟妇| 又黄又爽又免费观看的视频| 琪琪午夜伦伦电影理论片6080| 久久国产精品人妻蜜桃| 国产不卡一卡二| 首页视频小说图片口味搜索| 少妇粗大呻吟视频| 欧美日韩亚洲综合一区二区三区_| 精品国内亚洲2022精品成人| 黄色女人牲交| 日韩有码中文字幕| 在线观看免费视频日本深夜| 天天添夜夜摸| 精品一区二区三区av网在线观看| 国产真人三级小视频在线观看| 久99久视频精品免费| 亚洲欧美精品综合一区二区三区| 亚洲精品美女久久av网站| 老司机午夜福利在线观看视频| 日韩欧美 国产精品| 久久天躁狠狠躁夜夜2o2o| 成人永久免费在线观看视频| 久久香蕉国产精品| 国产久久久一区二区三区| 女人高潮潮喷娇喘18禁视频| 制服诱惑二区| 不卡av一区二区三区| 露出奶头的视频| 欧美成人免费av一区二区三区| 国产精品久久久久久亚洲av鲁大| 久久九九热精品免费| 日韩国内少妇激情av| 婷婷六月久久综合丁香| 成人国语在线视频| 国产一区二区三区视频了| 国产成人影院久久av| 亚洲欧美精品综合一区二区三区| 日韩欧美免费精品| 亚洲av成人一区二区三| 亚洲精品粉嫩美女一区| 最新美女视频免费是黄的| 亚洲国产精品999在线| 狂野欧美白嫩少妇大欣赏| 免费在线观看影片大全网站| 男人的好看免费观看在线视频 | 久久中文字幕一级| 可以在线观看毛片的网站| 18禁国产床啪视频网站| 亚洲国产精品久久男人天堂| 国产一区二区在线观看日韩 | 99精品在免费线老司机午夜| 天天添夜夜摸| 欧美日韩亚洲国产一区二区在线观看| 欧美又色又爽又黄视频| 最近在线观看免费完整版| 日韩精品中文字幕看吧| 听说在线观看完整版免费高清| 久久久久久久久免费视频了| 婷婷六月久久综合丁香| 少妇的丰满在线观看| 大型黄色视频在线免费观看| 青草久久国产| 夜夜看夜夜爽夜夜摸| 国模一区二区三区四区视频 | 国产男靠女视频免费网站| 欧美日韩亚洲国产一区二区在线观看| 99精品欧美一区二区三区四区| 亚洲av中文字字幕乱码综合| 午夜亚洲福利在线播放| 日韩中文字幕欧美一区二区| aaaaa片日本免费| 欧美在线黄色| 欧美一级a爱片免费观看看 | 全区人妻精品视频| 免费在线观看亚洲国产| 国产又色又爽无遮挡免费看| 久久人妻av系列| 国产精品一区二区三区四区久久| 50天的宝宝边吃奶边哭怎么回事| 国产av不卡久久| 亚洲专区字幕在线| 男插女下体视频免费在线播放| 嫩草影视91久久| 亚洲欧美激情综合另类| 村上凉子中文字幕在线| 午夜成年电影在线免费观看| 床上黄色一级片| 99国产精品一区二区三区| 一本久久中文字幕| 亚洲真实伦在线观看| svipshipincom国产片| 九色成人免费人妻av| 超碰成人久久| 国产av又大| 亚洲精品一区av在线观看| 在线播放国产精品三级| 91成年电影在线观看| 欧美日韩瑟瑟在线播放| 久9热在线精品视频| 成人三级黄色视频| 久久国产精品人妻蜜桃| 国内毛片毛片毛片毛片毛片| 又紧又爽又黄一区二区| 久久久久性生活片| 男女做爰动态图高潮gif福利片| 日日夜夜操网爽| 国产高清有码在线观看视频 | 麻豆av在线久日| 又粗又爽又猛毛片免费看| 99热这里只有精品一区 | 日本精品一区二区三区蜜桃| 亚洲中文日韩欧美视频| 国产精品久久视频播放| 欧美又色又爽又黄视频| 亚洲欧洲精品一区二区精品久久久| videosex国产| 亚洲专区国产一区二区| 免费在线观看亚洲国产| 久久天堂一区二区三区四区| 国产亚洲精品av在线| 日韩高清综合在线| 国产野战对白在线观看| 黑人欧美特级aaaaaa片| 黄频高清免费视频| 人妻夜夜爽99麻豆av| 亚洲欧美精品综合久久99| 亚洲av成人av| 婷婷亚洲欧美| 国产成人av教育| 久久精品国产亚洲av香蕉五月| 亚洲av中文字字幕乱码综合| 日本 欧美在线| 亚洲av成人不卡在线观看播放网| 国产高清videossex| 中文字幕熟女人妻在线| 全区人妻精品视频| 狂野欧美激情性xxxx| 亚洲男人天堂网一区| 欧美 亚洲 国产 日韩一| tocl精华| 男女下面进入的视频免费午夜| 日日摸夜夜添夜夜添小说| 母亲3免费完整高清在线观看| 我的老师免费观看完整版| 久久草成人影院| 精品国产美女av久久久久小说| 欧美久久黑人一区二区| 床上黄色一级片| 91在线观看av| 性色av乱码一区二区三区2| 亚洲一区中文字幕在线| 久久亚洲真实| 色老头精品视频在线观看| 天天添夜夜摸| 天天一区二区日本电影三级| 亚洲七黄色美女视频| 天天一区二区日本电影三级| 高清毛片免费观看视频网站| 18禁观看日本| 狂野欧美白嫩少妇大欣赏| 亚洲自拍偷在线| 成年女人毛片免费观看观看9| 久久久久亚洲av毛片大全| 91麻豆av在线| 男女下面进入的视频免费午夜| 久久人妻av系列| 国产免费av片在线观看野外av| 国产精品永久免费网站| 精品国产美女av久久久久小说| 99精品在免费线老司机午夜| 国产黄a三级三级三级人| 熟妇人妻久久中文字幕3abv| 国产精品 国内视频| 亚洲精品在线美女| 一进一出抽搐动态| 五月伊人婷婷丁香| 正在播放国产对白刺激| 国产av不卡久久| 久久精品亚洲精品国产色婷小说| 久久久久久久精品吃奶| 在线观看66精品国产| 国产成人aa在线观看| 国产亚洲精品第一综合不卡| 欧美日韩亚洲国产一区二区在线观看| 欧美午夜高清在线| 日日爽夜夜爽网站| 露出奶头的视频| 亚洲va日本ⅴa欧美va伊人久久| 午夜精品在线福利| 国产高清激情床上av| 亚洲中文日韩欧美视频| 青草久久国产| 国产高清激情床上av| 欧美日韩国产亚洲二区| 欧美日韩一级在线毛片| 91麻豆精品激情在线观看国产| 亚洲va日本ⅴa欧美va伊人久久| 日本一区二区免费在线视频| 国产免费av片在线观看野外av| 又黄又粗又硬又大视频| 免费在线观看黄色视频的| 色综合亚洲欧美另类图片| 超碰成人久久| 美女 人体艺术 gogo| 在线免费观看的www视频| 成人国产综合亚洲| 两人在一起打扑克的视频| 九色成人免费人妻av| 午夜两性在线视频| 亚洲精品国产一区二区精华液|