科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系構(gòu)建及實(shí)證研究

王 輝，黃曉林，蔣欣宏

(湖南省科學(xué)技術(shù)信息研究所，湖南 長(zhǎng)沙 410001)

1 引言

科技報(bào)告是科學(xué)技術(shù)報(bào)告的簡(jiǎn)稱(chēng)。我國(guó)國(guó)家標(biāo)準(zhǔn)《科技報(bào)告編寫(xiě)規(guī)則》將科技報(bào)告定義為：科技人員為了描述其從事的科研、設(shè)計(jì)、工程、試驗(yàn)和鑒定等活動(dòng)的過(guò)程、進(jìn)展和結(jié)果，按照規(guī)定的標(biāo)準(zhǔn)格式編寫(xiě)而成的特種文獻(xiàn)。[1]452-458。在我國(guó)，科技報(bào)告一般由政府財(cái)政資金支持的科技項(xiàng)目產(chǎn)出，是科技項(xiàng)目研究?jī)?nèi)容學(xué)術(shù)性的完整表述，具有科研管理和學(xué)術(shù)參考的雙重價(jià)值，是國(guó)家重要的基礎(chǔ)性、戰(zhàn)略性科技信息資源。[2]788-792

我國(guó)的科技報(bào)告起源于1984年國(guó)防科技報(bào)告體系建設(shè)工作的開(kāi)展。2014年國(guó)家全面推進(jìn)部門(mén)、地方科技報(bào)告工作，除國(guó)防科技項(xiàng)目，科技部、國(guó)家自科基金委、交通運(yùn)輸部以及各省(市)主管的科技項(xiàng)目均開(kāi)始陸續(xù)提交科技報(bào)告，我國(guó)科技報(bào)告數(shù)量迅速增長(zhǎng)。截至2019年1月，國(guó)家科技報(bào)告服務(wù)系統(tǒng)已收藏各類(lèi)科技報(bào)告17萬(wàn)余份。由于我國(guó)科技報(bào)告的管理和運(yùn)行機(jī)制尚處于探索階段，隨著科技報(bào)告數(shù)量的激增，科技報(bào)告質(zhì)量參差不齊的問(wèn)題日益顯現(xiàn)。從國(guó)家到各省，雖然已有一些關(guān)于科技報(bào)告質(zhì)量控制與評(píng)價(jià)方面的研究，但多集中在宏觀層面或質(zhì)量評(píng)價(jià)全體系指標(biāo)構(gòu)建層面，且提出的部分指標(biāo)概念抽象、在實(shí)際操作中定量評(píng)價(jià)困難，需加強(qiáng)包括文獻(xiàn)質(zhì)量控制與評(píng)價(jià)在內(nèi)的微觀層面研究，以進(jìn)一步對(duì)二級(jí)指標(biāo)進(jìn)行細(xì)化，明晰三級(jí)指標(biāo)并確定有關(guān)權(quán)重，才能更好地應(yīng)用于實(shí)際工作中科技報(bào)告質(zhì)量的初步評(píng)判，準(zhǔn)確評(píng)價(jià)科技報(bào)告文獻(xiàn)質(zhì)量，有效引導(dǎo)科技報(bào)告質(zhì)量提升。為此，本文結(jié)合科技報(bào)告管理工作實(shí)際，借鑒國(guó)內(nèi)外科技報(bào)告質(zhì)量評(píng)價(jià)已有研究，運(yùn)用頭腦風(fēng)暴法、層次分析法等方法和工具，構(gòu)建了一套包括3個(gè)二級(jí)指標(biāo)、14個(gè)三級(jí)指標(biāo)的科技報(bào)告的文獻(xiàn)質(zhì)量評(píng)價(jià)體系，以期為專(zhuān)家進(jìn)行科技報(bào)告專(zhuān)業(yè)質(zhì)量和效益質(zhì)量評(píng)價(jià)提供參考，為科技報(bào)告的綜合評(píng)價(jià)實(shí)踐提供決策參考，為本省推進(jìn)科技報(bào)告資源體系建設(shè)提供一定支撐。

2 國(guó)內(nèi)外科技報(bào)告質(zhì)量評(píng)價(jià)體系研究現(xiàn)狀

科技報(bào)告制度起源于美國(guó)，科技報(bào)告質(zhì)量的控制與評(píng)價(jià)研究最早也開(kāi)始于美國(guó)。在美國(guó)，政府資助的科技報(bào)告被認(rèn)為是一種典型的政府信息。因而，美國(guó)信息質(zhì)量評(píng)價(jià)體系從總體上代表了美國(guó)科技報(bào)告質(zhì)量評(píng)價(jià)體系的要素要求。1996年，美國(guó)學(xué)者Wang即提出了信息質(zhì)量IQ四維評(píng)價(jià)體系[3]5-33，隨后美國(guó)政府對(duì)其加以利用頒布了《信息質(zhì)量法案》，提出了包括客觀性、實(shí)用性和完整性的三級(jí)信息質(zhì)量控制體系，對(duì)包括科技報(bào)告在內(nèi)的政府信息質(zhì)量作出了原則性的要求。[4]12-18

在我國(guó)，劉冠偉等最早描述了層次分析法在國(guó)防科技報(bào)告評(píng)價(jià)指標(biāo)體系研究中的應(yīng)用，其中的國(guó)防科技報(bào)告評(píng)價(jià)指標(biāo)體系包括報(bào)告撰寫(xiě)水平、技術(shù)內(nèi)容和應(yīng)用價(jià)值3個(gè)二級(jí)指標(biāo)，含報(bào)告正文撰寫(xiě)綜合文字水平等9個(gè)三級(jí)指標(biāo)，并分別確定了其權(quán)重。[5]381-385南京大學(xué)裴雷等最早開(kāi)始民口科技報(bào)告質(zhì)量控制與評(píng)價(jià)研究，提出了科技報(bào)告質(zhì)量評(píng)價(jià)指標(biāo)體系設(shè)計(jì)的原則、方法、描述框架和參考體系，將科技報(bào)告質(zhì)量分為文獻(xiàn)質(zhì)量、專(zhuān)業(yè)質(zhì)量和效益質(zhì)量3個(gè)層次，其中文獻(xiàn)質(zhì)量評(píng)價(jià)參考指標(biāo)包括語(yǔ)法質(zhì)量、形式質(zhì)量2個(gè)二級(jí)指標(biāo)，下含4個(gè)三級(jí)指標(biāo)。[6]813-823朱麗波、陸海燕等分別建立了一套包括報(bào)告編撰水平、技術(shù)屬性、實(shí)用價(jià)值3個(gè)二級(jí)指標(biāo)的科技報(bào)告質(zhì)量評(píng)價(jià)指標(biāo)體系，其中前者包括9個(gè)三級(jí)指標(biāo)[7]80-84[8]57；后者構(gòu)建的農(nóng)業(yè)領(lǐng)域?qū)I(yè)研究所科技報(bào)告質(zhì)量控制評(píng)價(jià)體系共計(jì)包括18個(gè)指標(biāo)，報(bào)告編撰水平包括報(bào)告記錄內(nèi)容完整性等9個(gè)指標(biāo)。[9]353-356任惠超等參考借鑒國(guó)防科技報(bào)告評(píng)價(jià)經(jīng)驗(yàn)，將科技報(bào)告質(zhì)量分為科學(xué)價(jià)值、編制質(zhì)量和使用價(jià)值3個(gè)方面，將科技報(bào)告質(zhì)量評(píng)價(jià)分為驗(yàn)收階段和收錄1～2年后兩個(gè)階段，并分別賦予不同的評(píng)價(jià)指標(biāo)及其權(quán)重。[10]42-49。喬振等從科技報(bào)告質(zhì)量控制與評(píng)價(jià)標(biāo)準(zhǔn)、評(píng)價(jià)指標(biāo)體系、控制與評(píng)價(jià)方法3個(gè)方面，對(duì)當(dāng)前國(guó)內(nèi)科技報(bào)告質(zhì)量控制研究現(xiàn)狀進(jìn)行了闡述與總結(jié)，并對(duì)山東省在科技報(bào)告質(zhì)量控制與評(píng)價(jià)中的做法進(jìn)行了梳理。[11]124-127杜薇薇從科技報(bào)告撰寫(xiě)各要素(引言、研究過(guò)程、結(jié)論等)的完整性與準(zhǔn)確性角度設(shè)計(jì)了最終科技報(bào)告文本質(zhì)量評(píng)價(jià)指標(biāo)和質(zhì)量評(píng)價(jià)參考標(biāo)準(zhǔn)。[12]96-100陳潔基于全面質(zhì)量管理理論，結(jié)合科技報(bào)告形成過(guò)程，構(gòu)建了包括報(bào)告文本格式和技術(shù)內(nèi)容2個(gè)一級(jí)指標(biāo)，其中文本格式評(píng)價(jià)包括元數(shù)據(jù)規(guī)范性等5個(gè)指標(biāo)的科技報(bào)告質(zhì)量評(píng)價(jià)體系。[13]55-60

從上可知，由于我國(guó)民口的科技報(bào)告制度建設(shè)啟動(dòng)較晚，國(guó)內(nèi)有關(guān)科技報(bào)告質(zhì)量評(píng)價(jià)體系研究方面的文獻(xiàn)相對(duì)較少，且多集中在科技報(bào)告質(zhì)量宏觀層面分析或全體系指標(biāo)構(gòu)建方面。大部分學(xué)者認(rèn)為，科技報(bào)告的質(zhì)量可分為文獻(xiàn)質(zhì)量(撰寫(xiě)水平、編制質(zhì)量)、專(zhuān)業(yè)質(zhì)量(技術(shù)內(nèi)容、科學(xué)價(jià)值)和效益質(zhì)量(應(yīng)用價(jià)值、使用價(jià)值)3個(gè)層次，文獻(xiàn)質(zhì)量是指科技報(bào)告的各個(gè)要素的完備性、格式的規(guī)范性和語(yǔ)言組織水平等，也即科技報(bào)告的編輯水平及規(guī)范性。在科技報(bào)告3個(gè)質(zhì)量層次中，文獻(xiàn)質(zhì)量為最基本的層次，是整個(gè)科技報(bào)告質(zhì)量的基礎(chǔ)，專(zhuān)業(yè)質(zhì)量和效益質(zhì)量均需以文獻(xiàn)質(zhì)量為前提。關(guān)于科技報(bào)告文獻(xiàn)質(zhì)量的評(píng)價(jià)，國(guó)內(nèi)學(xué)者從不同的角度提出了多個(gè)指標(biāo)體系，包含的二級(jí)指標(biāo)2～9個(gè)不等。研究組在上述研究基礎(chǔ)上，從分層次進(jìn)行質(zhì)量控制的角度出發(fā)，結(jié)合工作實(shí)際，將科技報(bào)告質(zhì)量評(píng)價(jià)體系分為文獻(xiàn)質(zhì)量、專(zhuān)業(yè)質(zhì)量和效益質(zhì)量3個(gè)一級(jí)指標(biāo)和與之相關(guān)的8個(gè)二級(jí)指標(biāo)，具體如表1所示。

表1 科技報(bào)告質(zhì)量評(píng)價(jià)體系

3 科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系構(gòu)建

科技報(bào)告文獻(xiàn)質(zhì)量的影響因素作用于科技報(bào)告形成的全過(guò)程，進(jìn)而影響科技報(bào)告文獻(xiàn)質(zhì)量，同樣，這些影響因素也影響著科技報(bào)告文獻(xiàn)質(zhì)量的所有構(gòu)成要素。對(duì)科技報(bào)告文獻(xiàn)質(zhì)量的構(gòu)成要素進(jìn)行整理并建立評(píng)價(jià)體系，可以有效地對(duì)科技報(bào)告文獻(xiàn)質(zhì)量進(jìn)行定量的評(píng)判。適宜的科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系也是國(guó)家和省級(jí)科技報(bào)告管理服務(wù)機(jī)構(gòu)對(duì)科技報(bào)告文獻(xiàn)質(zhì)量加強(qiáng)控制的重要工具。

(1)評(píng)價(jià)體系構(gòu)建原則

在科技報(bào)告質(zhì)量評(píng)價(jià)指標(biāo)體系的構(gòu)建原則上，裴雷[6]813-823認(rèn)為應(yīng)包括：最低質(zhì)量標(biāo)準(zhǔn)與自由裁量原則，一致性原則，成本效益原則，多元評(píng)價(jià)原則，評(píng)價(jià)激勵(lì)原則。文獻(xiàn)質(zhì)量是科技報(bào)告質(zhì)量的一部分，本研究認(rèn)為，科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建在不違背上述總體原則的基礎(chǔ)上，重點(diǎn)應(yīng)遵循如下3個(gè)原則：(1)一致性。評(píng)價(jià)標(biāo)準(zhǔn)必須與現(xiàn)有的科技報(bào)告標(biāo)準(zhǔn)規(guī)范和相關(guān)的制度規(guī)范保持一致，如GB/T15416-2014、GB/T7713.3-2014、GB/T3034-2014、GB/T3035-2014、《國(guó)家科技報(bào)告管理辦法》等規(guī)范對(duì)科技報(bào)告編寫(xiě)的具體要求。(2)完備性。一份規(guī)范完整的科技報(bào)告由基本信息頁(yè)、目次、引言、主體、結(jié)論、參考文獻(xiàn)和附錄等部分組成，評(píng)價(jià)指標(biāo)體系應(yīng)盡可能覆蓋所有構(gòu)成元素。(3)可操作性。過(guò)于模糊籠統(tǒng)或復(fù)雜的指標(biāo)設(shè)計(jì)，都會(huì)使評(píng)價(jià)不準(zhǔn)確或因成本高昂而變得不可行，適量地選擇與科技報(bào)告實(shí)體對(duì)應(yīng)關(guān)系明了、易于判斷操作的指標(biāo)，是指標(biāo)體系具有實(shí)用價(jià)值的前提。

(2)各級(jí)評(píng)價(jià)指標(biāo)的篩選

遵循上述指標(biāo)體系構(gòu)建原則，首先收集原始指標(biāo)。本文基于前人的研究、作者工作經(jīng)驗(yàn)，收集得到所有與科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)相關(guān)的原始指標(biāo)63個(gè)，其中包括《科技報(bào)告編寫(xiě)規(guī)則》(GB/T7713.3-2014)中的科技報(bào)告構(gòu)成元素19個(gè)，裴雷、朱麗波等前人的科技報(bào)告文獻(xiàn)質(zhì)量設(shè)計(jì)指標(biāo)27個(gè)[6]-[13]，科技報(bào)告編寫(xiě)常見(jiàn)問(wèn)題17個(gè)[14]142-147。然后采用研究小組頭腦風(fēng)暴法進(jìn)行多輪討論，并征詢(xún)行業(yè)專(zhuān)家意見(jiàn)，對(duì)指標(biāo)篩選和歸并。最終形成了對(duì)應(yīng)科技報(bào)告輯要頁(yè)表格的基本信息質(zhì)量，對(duì)科技報(bào)告篇章行文語(yǔ)法的結(jié)構(gòu)布局質(zhì)量，對(duì)科技報(bào)告文檔格式的正文格式質(zhì)量3個(gè)二級(jí)指標(biāo)，下含14個(gè)三級(jí)指標(biāo)的科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)指標(biāo)體系。同時(shí)還制定了評(píng)判指標(biāo)完成情況的評(píng)分標(biāo)準(zhǔn)，以便指標(biāo)體系應(yīng)用于實(shí)際工作中。評(píng)價(jià)指標(biāo)體系層次結(jié)構(gòu)關(guān)系、指標(biāo)說(shuō)明及評(píng)分標(biāo)準(zhǔn)如表2。

表2 科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)指標(biāo)體系及其說(shuō)明

(3)構(gòu)造判斷矩陣

按照層次分析法(AHP)計(jì)算評(píng)價(jià)指標(biāo)體系權(quán)重的基本步驟，首先對(duì)評(píng)價(jià)指標(biāo)進(jìn)行標(biāo)度，構(gòu)造判斷矩陣。本文采用專(zhuān)家調(diào)研法，讓研究組成員及2名專(zhuān)家共5人，對(duì)準(zhǔn)則層基本信息質(zhì)量(B1)、結(jié)構(gòu)布局質(zhì)量(B2)和正文格式質(zhì)量(B3)，采用1～9標(biāo)度法[15]39-44分別進(jìn)行兩兩標(biāo)度，并構(gòu)造判斷矩陣。然后對(duì)標(biāo)度結(jié)果進(jìn)行整理，對(duì)標(biāo)度不一致的地方進(jìn)行研究小組討論，重新標(biāo)度，直至結(jié)果完全統(tǒng)一。最終的準(zhǔn)則層判斷矩陣如下：

采用同樣的方法，對(duì)指標(biāo)層的各指標(biāo)標(biāo)度并構(gòu)造判斷矩陣，對(duì)應(yīng)的3個(gè)判斷矩陣如下：

(4)計(jì)算評(píng)價(jià)指標(biāo)相對(duì)權(quán)重和矩陣一致性檢驗(yàn)

在層次分析法中，各個(gè)指標(biāo)在評(píng)價(jià)體系中所占的權(quán)重，被轉(zhuǎn)化為求指標(biāo)所屬判斷矩陣最大特征根λmax對(duì)應(yīng)的歸一化特征向量W。本文采用方根法[11]求得準(zhǔn)則層判斷矩陣A1最大特征根λmax為3，對(duì)應(yīng)的特征向量經(jīng)歸一化處理之后為WA=(0.1，0.6，0.3)T,也即準(zhǔn)則層3個(gè)指標(biāo)的相對(duì)權(quán)重分別為WB1=0.1，WB2=0.6，WB3=0.3。

同理，可求得指標(biāo)層各判斷矩陣B1、B2、B3的最大特征根λmax和各個(gè)指標(biāo)相對(duì)權(quán)重對(duì)應(yīng)的歸一化特征向量W。計(jì)算結(jié)果如下：

λB1=4.00，λB2=4.00，λB3=6.00

WB1=(0.5238，0.2708，0.1354，0.0700)T

WB2=(0.2215，0.6265，0.0760，0.0760)T

WB3=(0.1336，0.0736，0.2428，0.4413，0.0386，0.0701)T

在層次分析法中，判斷矩陣是否構(gòu)造得合理，需要對(duì)其一致性進(jìn)行檢驗(yàn)。避免判斷矩陣構(gòu)造的不合理而造成指標(biāo)權(quán)重計(jì)算的失真。

一致性檢驗(yàn)時(shí)引入一致性檢驗(yàn)指標(biāo)CI

其中λ為最大特征根，n為矩陣階數(shù)。

同時(shí)查找矩陣階數(shù)對(duì)應(yīng)的隨機(jī)一致性指標(biāo)RI，計(jì)算檢驗(yàn)系數(shù)CR

一般的，當(dāng)CI=0時(shí)，判斷矩陣有完全的一致性，CI越大，判斷矩陣一致性越差。當(dāng)CR<0.1時(shí)，可認(rèn)為判斷矩陣具有一致性，計(jì)算的權(quán)重值可以接受。否則需要調(diào)整判斷矩陣指標(biāo)標(biāo)度，直至符合條件。

本文對(duì)以上判斷矩陣A1，B1、B2、B3的一致性進(jìn)行檢驗(yàn)計(jì)算，得到的CR分別為0、0.0008、0.0006、0.0051，表明各判斷矩陣均有很好的一致性。

(5)計(jì)算評(píng)價(jià)指標(biāo)綜合權(quán)重

將上述計(jì)算得到的各指標(biāo)相對(duì)權(quán)重與對(duì)應(yīng)準(zhǔn)則層的相對(duì)權(quán)重相乘，得到各指標(biāo)對(duì)目標(biāo)層的加權(quán)權(quán)重，計(jì)算結(jié)果如表3所示：

在求得科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系各個(gè)指標(biāo)的綜合權(quán)重后，即可以參照表2給出的評(píng)分標(biāo)準(zhǔn)，對(duì)某一份科技報(bào)告文獻(xiàn)質(zhì)量的各個(gè)指標(biāo)進(jìn)行評(píng)分，再對(duì)評(píng)分結(jié)果進(jìn)行歸一化處理之后，乘以各指標(biāo)的綜合權(quán)重。經(jīng)過(guò)歸一化和加權(quán)處理的評(píng)分之和，即為該份科技報(bào)告文獻(xiàn)質(zhì)量的評(píng)價(jià)得分結(jié)果。

4 實(shí)證分析

為驗(yàn)證上述評(píng)價(jià)體系的科學(xué)性和合理性，我們將上述科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系用于真實(shí)科技報(bào)告評(píng)價(jià)，并將上述評(píng)價(jià)體系的評(píng)價(jià)結(jié)果與專(zhuān)家評(píng)價(jià)法的結(jié)果進(jìn)行了對(duì)比?？紤]到評(píng)價(jià)結(jié)果的代表性，本文以國(guó)家科技報(bào)告服務(wù)系統(tǒng)(http://www.nstrs.cn)中科學(xué)技術(shù)部“國(guó)家科技支撐計(jì)劃”類(lèi)目下的科技報(bào)告為研究對(duì)象，抽取其中最新、公開(kāi)的45份科技報(bào)告作為樣本，進(jìn)行實(shí)證評(píng)價(jià)。

對(duì)選取的科技報(bào)告，按照表2評(píng)分標(biāo)準(zhǔn)制作的打分表進(jìn)行逐一打分，將每個(gè)單項(xiàng)的打分結(jié)果除以該項(xiàng)滿(mǎn)分，進(jìn)行歸一化處理，再乘以表3中該項(xiàng)的綜合權(quán)重，最后轉(zhuǎn)換為百分制，即得最終評(píng)分結(jié)果。與科技報(bào)告文獻(xiàn)質(zhì)量相關(guān)的各評(píng)價(jià)指標(biāo)單項(xiàng)得分、綜合得分和得分排序如表4。

表4 科技報(bào)告文獻(xiàn)質(zhì)量評(píng)分結(jié)果(部分)

由表可知，國(guó)家科技報(bào)告服務(wù)系統(tǒng)收錄的“國(guó)家科技支撐計(jì)劃”科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)得分大部分在50～90分之間，樣本文獻(xiàn)質(zhì)量平均得分72.30分，總體處于良好的狀態(tài)。從表4和表5中可知，3個(gè)二級(jí)指標(biāo)中，(1)基本信息質(zhì)量的評(píng)分變異系數(shù)最小，得分率最高，各三級(jí)指標(biāo)的評(píng)分較也為穩(wěn)定，可能是由于這部分內(nèi)容在科技報(bào)告中是以表格形式展現(xiàn)的，作者只需要根據(jù)表格要求正確填寫(xiě)，不容易出現(xiàn)文獻(xiàn)質(zhì)量問(wèn)題。(2)結(jié)構(gòu)布局質(zhì)量變異系數(shù)最大，而其中正文內(nèi)容指標(biāo)的變異系數(shù)較高，得分率組內(nèi)最低?？梢?jiàn)科技報(bào)告的文獻(xiàn)質(zhì)量在結(jié)構(gòu)布局方面的差異較大，這可能是由于這部分文獻(xiàn)質(zhì)量與科技報(bào)告的專(zhuān)業(yè)質(zhì)量聯(lián)系緊密，結(jié)構(gòu)布局質(zhì)量不僅是形式上的正確表達(dá)，更涉及研究?jī)?nèi)容本身是否完成，正確的形式表達(dá)是以完整的研究?jī)?nèi)容為前提。(3)正文格式質(zhì)量得分率最低，其中參考文獻(xiàn)指標(biāo)的變異系數(shù)最高，得分率最低。查看具體的科技報(bào)告可發(fā)現(xiàn)這是由于許多研究者不太重視參考文獻(xiàn)的規(guī)范編寫(xiě)，甚至沒(méi)有參考文獻(xiàn)而導(dǎo)致的。

表5 評(píng)分結(jié)果統(tǒng)計(jì)分析

目前，我國(guó)的科技項(xiàng)目每年有數(shù)萬(wàn)份科技報(bào)告產(chǎn)生，標(biāo)準(zhǔn)化、程序化的科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)，其目的之一是輔助高成本、非程序化的專(zhuān)家評(píng)價(jià)，減少專(zhuān)家評(píng)價(jià)的工作量。因此該評(píng)價(jià)體系的評(píng)價(jià)結(jié)果與專(zhuān)家評(píng)價(jià)結(jié)果的符合度，是該評(píng)價(jià)體系科學(xué)性和合理性的重要參考。

本文從湖南省科技報(bào)告管理中心及有關(guān)市州科技報(bào)告管理機(jī)構(gòu)共邀請(qǐng)9名資深科技報(bào)告審核人員組成專(zhuān)家評(píng)價(jià)組，抽取前10份報(bào)告進(jìn)行專(zhuān)家評(píng)價(jià)。由于專(zhuān)家之間并沒(méi)有統(tǒng)一的打分標(biāo)準(zhǔn)，只是對(duì)科技報(bào)告文獻(xiàn)質(zhì)量的總體評(píng)價(jià)，因此只要求專(zhuān)家按科技報(bào)告文獻(xiàn)質(zhì)量?jī)?yōu)劣進(jìn)行排序，最后綜合各位專(zhuān)家的排序結(jié)果，進(jìn)行平均、取整，形成專(zhuān)家評(píng)價(jià)排名。將專(zhuān)家評(píng)價(jià)排序結(jié)果與應(yīng)用本文評(píng)價(jià)指標(biāo)體系的評(píng)價(jià)排序結(jié)果進(jìn)行比較，如表6。

表6 專(zhuān)家評(píng)價(jià)與本文方法評(píng)價(jià)結(jié)果比較

由表可知，本文構(gòu)建的指標(biāo)體系評(píng)分排序結(jié)果與專(zhuān)家排序的結(jié)果誤差均未超過(guò)1位，其中有6份報(bào)告的排序結(jié)果完全一致，另外4份報(bào)告的排序結(jié)果存在1位誤差。造成誤差的原因可能有二：一是由于參與排序評(píng)價(jià)的報(bào)告較多，而部分報(bào)告文獻(xiàn)質(zhì)量差距不大，造成專(zhuān)家評(píng)價(jià)排序不準(zhǔn)確。二是專(zhuān)家對(duì)科技報(bào)告文獻(xiàn)質(zhì)量概念認(rèn)知是定性的、總體的，而本文對(duì)科技報(bào)告文獻(xiàn)質(zhì)量已經(jīng)過(guò)充分討論并量化分解，因此，兩者可能存在細(xì)微的差異，造成評(píng)價(jià)排序結(jié)果誤差。從總體來(lái)看，排序結(jié)果并未出現(xiàn)大于2位的誤差，由此可知，本文構(gòu)建的評(píng)價(jià)指標(biāo)體系的打分排序結(jié)果和專(zhuān)家排序的結(jié)果重合度較高，評(píng)價(jià)結(jié)果較理想。

5 結(jié)論與討論

質(zhì)量是科技報(bào)告的生命，科技報(bào)告內(nèi)容伴隨科技項(xiàng)目管理全過(guò)程而產(chǎn)生，由于項(xiàng)目管理的環(huán)節(jié)多、周期長(zhǎng)等特點(diǎn)，加之部分科研人員的科研記錄不詳盡、不完整習(xí)慣問(wèn)題，因此，如何完整、規(guī)范表述整個(gè)科技項(xiàng)目的研究?jī)?nèi)容，有效進(jìn)行質(zhì)量管理控制一直是科技報(bào)告研究的重要方面。開(kāi)展科技報(bào)告質(zhì)量評(píng)價(jià)，是規(guī)范科技報(bào)告管理，促進(jìn)科技報(bào)告質(zhì)量提升的有效措施?？萍紙?bào)告質(zhì)量按層次可分為文獻(xiàn)質(zhì)量、專(zhuān)業(yè)質(zhì)量和效益質(zhì)量，其中文獻(xiàn)質(zhì)量是基礎(chǔ)質(zhì)量，開(kāi)展科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)是對(duì)科技報(bào)告質(zhì)量的初步評(píng)判。科技報(bào)告文獻(xiàn)質(zhì)量的好壞可以在一定程度上反映科研人員的科研態(tài)度、科技項(xiàng)目執(zhí)行情況和文獻(xiàn)組織能力，是科技報(bào)告質(zhì)量的重要組成部分。

本文構(gòu)建了一套基于實(shí)際需求、直觀、可操作性強(qiáng)的科技報(bào)告文獻(xiàn)質(zhì)量評(píng)價(jià)體系，在面對(duì)海量科技報(bào)告時(shí)，能較高效地對(duì)科技報(bào)告文獻(xiàn)質(zhì)量作出評(píng)價(jià)，有效縮小專(zhuān)家進(jìn)行專(zhuān)業(yè)質(zhì)量、效益質(zhì)量評(píng)價(jià)的報(bào)告范圍，為科技報(bào)告總體質(zhì)量的評(píng)估、評(píng)選優(yōu)秀科技報(bào)告等提供了參考依據(jù)和實(shí)用工具。

本文的兩點(diǎn)不足之處：其一，本文僅僅只是就科技報(bào)告文獻(xiàn)質(zhì)量構(gòu)建了可與實(shí)操層面直接對(duì)接的評(píng)價(jià)指標(biāo)體系，而對(duì)科技報(bào)告的專(zhuān)業(yè)質(zhì)量和效益質(zhì)量尚未進(jìn)行類(lèi)似的研究，這是今后應(yīng)加強(qiáng)研究的方向之一。其二，開(kāi)展科技報(bào)告質(zhì)量評(píng)價(jià)只是科技報(bào)告質(zhì)量控制的措施之一，要做好科技報(bào)告質(zhì)量控制研究和工作，還應(yīng)同時(shí)加強(qiáng)宣傳培訓(xùn)，優(yōu)化審核流程，落實(shí)考核和激勵(lì)機(jī)制等工作[11],[12]，共同推進(jìn)科技報(bào)告質(zhì)量的穩(wěn)步提升，這也是今后研究和工作需要注意的方面。