張九星,張 偉,李緒志,韓 培,王 翀,劉 艷,韓樾夏
(1.中國(guó)科學(xué)院空間應(yīng)用工程與技術(shù)中心;2.中國(guó)科學(xué)院太空應(yīng)用重點(diǎn)實(shí)驗(yàn)室,北京 100094)
我國(guó)空間科學(xué)與應(yīng)用在2000 年前主要是利用科學(xué)氣球開(kāi)展空間科學(xué)研究,利用氣象探測(cè)和對(duì)地觀測(cè)等領(lǐng)域的衛(wèi)星開(kāi)展空間應(yīng)用[1];2000 年到2010年主要利用載人飛船和無(wú)人飛船開(kāi)展微重力科學(xué)實(shí)驗(yàn),突破了大量空間技術(shù)領(lǐng)域的關(guān)鍵技術(shù),逐步形成系列分支領(lǐng)域[2];2010 年后利用天宮一號(hào)目標(biāo)飛行器、神舟八號(hào)載人飛船、天宮二號(hào)空間實(shí)驗(yàn)室、天舟一號(hào)貨運(yùn)飛船等開(kāi)展了較大規(guī)模的空間科學(xué)與應(yīng)用研究,成果大量涌現(xiàn),同時(shí)通過(guò)空間科學(xué)先導(dǎo)專項(xiàng)任務(wù)成功發(fā)射了“悟空號(hào)”“實(shí)踐十號(hào)”“墨子號(hào)”“慧眼號(hào)”“太極一號(hào)”“懷柔一號(hào)”等空間科學(xué)衛(wèi)星。此外,我國(guó)空間科學(xué)微小和微納衛(wèi)星也得到發(fā)展。隨著我國(guó)載人空間站的建成,我國(guó)將進(jìn)入大規(guī)??臻g科學(xué)與應(yīng)用成果產(chǎn)出激增和國(guó)際影響力不斷提升的新階段[3]。
空間科學(xué)與應(yīng)用成果是通過(guò)空間科學(xué)或空間應(yīng)用相關(guān)的科學(xué)實(shí)驗(yàn)、技術(shù)試驗(yàn)、應(yīng)用研究以及工程研制或產(chǎn)品開(kāi)發(fā)等活動(dòng)所產(chǎn)生的,具有科學(xué)與應(yīng)用、經(jīng)濟(jì)與社會(huì)等多方面價(jià)值或效益的成果,相關(guān)過(guò)程包括地面研究與研制、空間在軌實(shí)驗(yàn)/試驗(yàn)、利用實(shí)驗(yàn)樣品或科學(xué)與應(yīng)用數(shù)據(jù)進(jìn)行分析研究與應(yīng)用等。空間科學(xué)注重論文產(chǎn)出[4],空間應(yīng)用強(qiáng)調(diào)在此基礎(chǔ)上產(chǎn)生的應(yīng)用效益,二者之間密切相關(guān)[5]。國(guó)際空間站(International Space Station,ISS)[6]已經(jīng)開(kāi)展了大規(guī)??臻g科學(xué)與應(yīng)用,100 多個(gè)國(guó)家和地區(qū)參與研究和教育活動(dòng)。從1999 年到2021 年10 月,ISS 共發(fā)表了3 285 篇文章,PRO 研究成果管理團(tuán)隊(duì)PRO RRM(Program Research Office ResearchResultsManagement)按照特征因子(Eigenfactor)方法的期刊排序來(lái)統(tǒng)計(jì)發(fā)表在前100 位(Top 100)和前10 位(Top 10)的論文[7],并分析和比較每年的變化情況,由此可以獲得階段性評(píng)估情況,結(jié)果顯示,從2007年到2021 年10 月共有377 篇文章發(fā)表在了Top 100期刊[8]。
空間科學(xué)與應(yīng)用成果產(chǎn)出需要加強(qiáng)理論、實(shí)驗(yàn)與技術(shù)的深度結(jié)合[9]。科技成果評(píng)估是在科技成果產(chǎn)出、管理、轉(zhuǎn)移轉(zhuǎn)化或推廣應(yīng)用等過(guò)程中對(duì)成果開(kāi)展的各類專業(yè)化評(píng)價(jià)與咨詢活動(dòng)??臻g科學(xué)與應(yīng)用成果評(píng)估是工程任務(wù)全價(jià)值鏈管理和產(chǎn)出評(píng)估的一部分,是我國(guó)與國(guó)際相關(guān)領(lǐng)域進(jìn)行水平比較,促進(jìn)發(fā)揮價(jià)值、效益和影響力的重要手段[10]。為了加強(qiáng)和規(guī)范成果評(píng)估,我國(guó)制定了一系列科技成果評(píng)價(jià)和轉(zhuǎn)移轉(zhuǎn)化等方面的政策措施和指導(dǎo)意見(jiàn),發(fā)布了一系列科技成果評(píng)估相關(guān)的國(guó)家標(biāo)準(zhǔn)。
2015 年以來(lái),我國(guó)重視和加強(qiáng)了科技成果評(píng)估相關(guān)工作,針對(duì)科技成果評(píng)估、科技成果轉(zhuǎn)移轉(zhuǎn)化等發(fā)布了一系列指導(dǎo)意見(jiàn)、實(shí)施措施、管理辦法等。其中,國(guó)家頂層政策包括《關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見(jiàn)》《關(guān)于進(jìn)一步弘揚(yáng)科學(xué)家精神加強(qiáng)作風(fēng)和學(xué)風(fēng)建設(shè)的意見(jiàn)》《優(yōu)化科研管理提升科研績(jī)效若干措施》《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》《全面加強(qiáng)基礎(chǔ)科學(xué)研究的若干意見(jiàn)》《國(guó)家技術(shù)轉(zhuǎn)移體系建設(shè)方案》《促進(jìn)科技成果轉(zhuǎn)移轉(zhuǎn)化行動(dòng)方案》《國(guó)家科技重大專項(xiàng)組織實(shí)施工作規(guī)則》等。為了加強(qiáng)對(duì)國(guó)家重大專項(xiàng)的管理,國(guó)家頂層和部委層面均專門發(fā)布了相關(guān)管理辦法,其中有涉及成果管理與評(píng)估的相關(guān)內(nèi)容,如科技部、發(fā)展改革委、教育部、財(cái)政部、中國(guó)科學(xué)院、自然科學(xué)基金委等部門發(fā)布了《國(guó)家科技成果轉(zhuǎn)化引導(dǎo)基金管理暫行辦法》《科學(xué)技術(shù)活動(dòng)評(píng)審工作中請(qǐng)托行為處理規(guī)定(試行)》《加強(qiáng)“從0 到1”基礎(chǔ)研究工作方案》《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》《科學(xué)技術(shù)活動(dòng)違規(guī)行為處理暫行規(guī)定》《科研誠(chéng)信案件調(diào)查處理規(guī)則(試行)》《科技監(jiān)督和評(píng)估體系建設(shè)工作方案》等。在這些政策和指導(dǎo)意見(jiàn)的基礎(chǔ)上,空間科學(xué)與應(yīng)用相關(guān)的專項(xiàng)任務(wù)或衛(wèi)星工程,結(jié)合工程任務(wù)特點(diǎn),制定工程任務(wù)內(nèi)部的管理要求,但主要是研制任務(wù)相關(guān)的技術(shù)評(píng)估和成果管理等,對(duì)空間科學(xué)與應(yīng)用成果進(jìn)行規(guī)范化和體系化的評(píng)估成為研究重點(diǎn)。由此可見(jiàn),與空間科學(xué)與應(yīng)用成果評(píng)估相關(guān)的法律法規(guī)、國(guó)家頂層政策、部委政策和工程管理政策形成4 個(gè)層次結(jié)構(gòu),如圖1 所示。
圖1 我國(guó)空間科學(xué)與應(yīng)用成果評(píng)估相關(guān)政策
我國(guó)僅極少數(shù)行業(yè)和專業(yè)領(lǐng)域發(fā)布了專門針對(duì)成果評(píng)估方面的國(guó)家標(biāo)準(zhǔn),例如農(nóng)業(yè)領(lǐng)域發(fā)布了GB/T 32225—2015《農(nóng)業(yè)科技成果評(píng)價(jià)技術(shù)規(guī)范》,但在國(guó)家政策的推動(dòng)下,我國(guó)制定和發(fā)布了科技評(píng)估方面的一系列國(guó)家標(biāo)準(zhǔn),為空間科學(xué)與應(yīng)用成果評(píng)估提供了參考標(biāo)準(zhǔn),如表1 所列。我國(guó)空間科學(xué)與應(yīng)用領(lǐng)域重視科技成果管理和評(píng)估方面的標(biāo)準(zhǔn)規(guī)范,并提出了相關(guān)規(guī)劃,例如,提出構(gòu)建空間科學(xué)衛(wèi)星工程標(biāo)準(zhǔn)體系[11],啟動(dòng)實(shí)施的科學(xué)數(shù)據(jù)與應(yīng)用服務(wù)系列標(biāo)準(zhǔn)涵蓋了評(píng)估評(píng)價(jià)標(biāo)準(zhǔn)。
表1 我國(guó)空間科學(xué)與應(yīng)用成果評(píng)估相關(guān)國(guó)家標(biāo)準(zhǔn)
空間科學(xué)與應(yīng)用成果評(píng)估既區(qū)別于空間科學(xué)與應(yīng)用工程任務(wù)實(shí)施進(jìn)展中針對(duì)具體工程研制進(jìn)度或關(guān)鍵技術(shù)的評(píng)估[12],也區(qū)別于嚴(yán)格按照項(xiàng)目立項(xiàng)或開(kāi)題時(shí)的要求、目標(biāo)和預(yù)期成果等,針對(duì)完成情況開(kāi)展的項(xiàng)目評(píng)估,同時(shí)與評(píng)價(jià)科研人員自身而進(jìn)行的科技成果評(píng)價(jià)也不同。空間科學(xué)與應(yīng)用任務(wù)面向世界科技前沿、面向經(jīng)濟(jì)主戰(zhàn)場(chǎng)、面向國(guó)家重大需求、面向人民生命健康,對(duì)相關(guān)科技成果評(píng)估的目的是評(píng)估成果的科學(xué)與應(yīng)用價(jià)值、經(jīng)濟(jì)和社會(huì)效益等,在國(guó)際和國(guó)內(nèi)相關(guān)領(lǐng)域的自主性、創(chuàng)新性和先進(jìn)性水平,對(duì)國(guó)家投入的反饋情況和在社會(huì)公眾的影響力等方面[13],也是對(duì)工程和應(yīng)用任務(wù)的反饋和產(chǎn)出評(píng)估,有利于促進(jìn)科學(xué)、應(yīng)用、技術(shù)、工程和管理等多領(lǐng)域、多層次、多維度地協(xié)調(diào)發(fā)展;同時(shí),按照國(guó)家《關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見(jiàn)》,通過(guò)評(píng)價(jià)激發(fā)科技人員積極性,推動(dòng)產(chǎn)出高質(zhì)量成果、營(yíng)造良好創(chuàng)新生態(tài)。
科技成果評(píng)估是科技評(píng)估的一種,空間科學(xué)與應(yīng)用成果評(píng)估符合科技評(píng)估活動(dòng)的基本準(zhǔn)則,客觀公正、專業(yè)可信??臻g科學(xué)與應(yīng)用成果評(píng)估的特點(diǎn)主要包括如下幾個(gè)方面:
(1)基于空間科學(xué)與應(yīng)用任務(wù)的分層分類分階段評(píng)估。根據(jù)空間科學(xué)與應(yīng)用、工程及其應(yīng)用任務(wù)和成果的特點(diǎn),可以按照所屬的應(yīng)用任務(wù)進(jìn)行多層次成果評(píng)估,按照所屬的項(xiàng)目類型進(jìn)行分類成果評(píng)估,按照所處工程任務(wù)的階段進(jìn)行分階段成果評(píng)估。此外,根據(jù)《科技評(píng)估基本術(shù)語(yǔ)》(GB/T 40148—2021)國(guó)家標(biāo)準(zhǔn),按照成果評(píng)估的委托情況,也可以分為無(wú)委托評(píng)估和委托評(píng)估。
(2)基于空間科學(xué)與應(yīng)用成果價(jià)值的多領(lǐng)域多要素多指標(biāo)綜合評(píng)估??臻g科學(xué)與應(yīng)用具有學(xué)科領(lǐng)域廣、研究方向眾多、交叉性強(qiáng)、前沿探索性強(qiáng)等特點(diǎn),空間科學(xué)與應(yīng)用可能涉及多個(gè)學(xué)科的成果,涉及科學(xué)價(jià)值、應(yīng)用價(jià)值、經(jīng)濟(jì)與社會(huì)效益等一個(gè)或多個(gè)方面,每個(gè)方面可能有多種評(píng)估要素以及多個(gè)評(píng)估指標(biāo),因此需要開(kāi)展多領(lǐng)域多要素多指標(biāo)的綜合評(píng)估。
(3)突出國(guó)際前沿比較和應(yīng)用用戶評(píng)價(jià)。空間科學(xué)與應(yīng)用成果評(píng)估一般委托專業(yè)評(píng)價(jià)機(jī)構(gòu)或評(píng)價(jià)專家對(duì)成果進(jìn)行同行評(píng)議。空間科學(xué)基礎(chǔ)研究的成果一般在國(guó)際上具有一定影響力,邀請(qǐng)相關(guān)領(lǐng)域國(guó)內(nèi)外同行進(jìn)行評(píng)估,突出其在國(guó)際上的前沿性和先進(jìn)性以及對(duì)科學(xué)認(rèn)知和學(xué)科發(fā)展的作用;空間應(yīng)用的成果主要由應(yīng)用用戶和同行專家進(jìn)行評(píng)估,突出其應(yīng)用效益。此外,相關(guān)國(guó)際合作(如國(guó)際聯(lián)合載荷研制、國(guó)際科學(xué)團(tuán)隊(duì)聯(lián)合科學(xué)研究等)獲得的成果,一般需要邀請(qǐng)國(guó)際同行專家進(jìn)行評(píng)估。
(4)全面反映成果評(píng)估內(nèi)容的定性與定量相結(jié)合。定性與定量相結(jié)合是全面反映空間科學(xué)與應(yīng)用成果評(píng)估多要素內(nèi)容和綜合評(píng)估的有效手段,有利于充分發(fā)揮成果評(píng)估的作用。針對(duì)空間科學(xué)前沿研究成果的代表性學(xué)術(shù)論文,一般參考在學(xué)科領(lǐng)域內(nèi)比較成熟或認(rèn)可度較高的指標(biāo),例如利用期刊影響因子(impact factor,IF)、H 指數(shù)(H-index)等進(jìn)行定量評(píng)價(jià)[14],被引用情況是評(píng)價(jià)的重要因素之一;針對(duì)創(chuàng)新性、先進(jìn)性、成熟度等進(jìn)行量化分級(jí);針對(duì)經(jīng)濟(jì)效益和應(yīng)用效益,可以量化效益規(guī)模。而綜合評(píng)估結(jié)果一般采用定性評(píng)價(jià)或者定性描述,例如突破了具體關(guān)鍵技術(shù)或解決了具體問(wèn)題等。
3.3.1 按任務(wù)層次評(píng)估
將空間科學(xué)與應(yīng)用成果評(píng)估按照評(píng)估目標(biāo)和關(guān)注的任務(wù)范圍,可以分為工程、任務(wù)、飛行器、載荷、項(xiàng)目等,以及具體的關(guān)鍵技術(shù)或研究?jī)?nèi)容等不同層次的評(píng)估,評(píng)估目標(biāo)分別是各層次范圍的價(jià)值和效益。以載人航天工程空間應(yīng)用成果為例,空間科學(xué)與應(yīng)用成果的多層次結(jié)構(gòu)示意如圖2 所示。
圖2 我國(guó)載人航天空間科學(xué)與應(yīng)用成果的多層次結(jié)構(gòu)
其中,工程級(jí)成果評(píng)估主要是對(duì)國(guó)家或部委批準(zhǔn)的專項(xiàng)工程的實(shí)施過(guò)程取得的重大成果或效益進(jìn)行評(píng)估,例如,載人航天工程、月球與深空探測(cè),以及中國(guó)科學(xué)院空間科學(xué)戰(zhàn)略性先導(dǎo)科技專項(xiàng)、高分辨率對(duì)地觀測(cè)系統(tǒng)重大專項(xiàng)等;任務(wù)級(jí)成果評(píng)估主要是對(duì)工程的某項(xiàng)具體任務(wù)或某個(gè)任務(wù)階段取得的成果進(jìn)行評(píng)估,例如,載人航天工程第三步空間站任務(wù)、探月工程的“繞、落、回”三階段任務(wù)、首次火星探測(cè)任務(wù)等;在每個(gè)任務(wù)或階段可能由多個(gè)飛行器的科學(xué)與應(yīng)用任務(wù)構(gòu)成,飛行器級(jí)成果評(píng)估主要是對(duì)基于飛行器任務(wù)或階段取得的成果進(jìn)行評(píng)估,例如載人空間站任務(wù)的核心艙、實(shí)驗(yàn)艙I、實(shí)驗(yàn)艙Ⅱ、中國(guó)巡天空間望遠(yuǎn)鏡(CSST)、神舟載人飛船、天舟貨運(yùn)飛船等,空間科學(xué)戰(zhàn)略性先導(dǎo)科技專項(xiàng)的暗物質(zhì)粒子探測(cè)衛(wèi)星、實(shí)踐十號(hào)科學(xué)衛(wèi)星等,嫦娥五號(hào)任務(wù)的軌道器、返回器、上升器、著陸器等;載荷級(jí)成果評(píng)估主要是對(duì)飛行器上安裝的某個(gè)或多個(gè)探測(cè)器取得成果進(jìn)行評(píng)估,例如,天宮一號(hào)目標(biāo)飛行器的高光譜成像儀、天宮二號(hào)空間實(shí)驗(yàn)室的綜合材料實(shí)驗(yàn)平臺(tái)等;項(xiàng)目級(jí)成果評(píng)估主要針對(duì)研制的載荷裝置、利用載荷實(shí)施的科學(xué)實(shí)驗(yàn)、利用在軌獲取的數(shù)據(jù)產(chǎn)品開(kāi)展科學(xué)與應(yīng)用研究等活動(dòng)取得的成果進(jìn)行評(píng)估,例如,利用天宮一號(hào)高光譜成像儀開(kāi)展的民用試應(yīng)用項(xiàng)目等,對(duì)項(xiàng)目研究?jī)?nèi)容或關(guān)鍵技術(shù)的成果評(píng)估;以及對(duì)具體的科學(xué)研究或突破關(guān)鍵技術(shù)取得的成果進(jìn)行評(píng)估,例如,對(duì)天宮一號(hào)或天宮二號(hào)對(duì)地觀測(cè)民用應(yīng)用的某項(xiàng)具體應(yīng)用的成果評(píng)估。
3.3.2 按項(xiàng)目類型分類評(píng)估
基于空間科學(xué)與應(yīng)用的特點(diǎn),根據(jù)《載人航天空間科學(xué)與應(yīng)用項(xiàng)目遴選要求》(GB/T 42048—2022)國(guó)家標(biāo)準(zhǔn),按照研制、實(shí)驗(yàn)和研究等屬性可以分為3 類,并可以在此基礎(chǔ)上進(jìn)一步細(xì)化分類。一是獨(dú)立載荷項(xiàng)目成果評(píng)估,對(duì)空間飛行器搭載的獨(dú)立載荷或?qū)嶒?yàn)裝置的成果進(jìn)行評(píng)估,例如,天宮二號(hào)上的空間冷原子鐘和伽馬暴偏振探測(cè)儀等,硬X 射線探測(cè)衛(wèi)星安裝的高能、中能和低能X 射線望遠(yuǎn)鏡等,空間站實(shí)驗(yàn)艙內(nèi)的實(shí)驗(yàn)柜、艙外的空間天文觀測(cè)載荷等。二是基于獨(dú)立載荷的科學(xué)實(shí)驗(yàn)項(xiàng)目成果評(píng)估,對(duì)基于獨(dú)立載荷開(kāi)展的實(shí)驗(yàn)項(xiàng)目,通過(guò)更換實(shí)驗(yàn)?zāi)K、實(shí)驗(yàn)單元或?qū)嶒?yàn)樣品等開(kāi)展的實(shí)驗(yàn)項(xiàng)目等進(jìn)行評(píng)估,例如,通過(guò)航天員在軌更換空間站核心艙無(wú)容器實(shí)驗(yàn)柜的不同材料實(shí)驗(yàn)樣品,開(kāi)展不同的材料科學(xué)實(shí)驗(yàn)項(xiàng)目,這類項(xiàng)目的典型例子是載人航天空間應(yīng)用任務(wù)的科學(xué)實(shí)驗(yàn)項(xiàng)目。三是科學(xué)與應(yīng)用研究項(xiàng)目成果評(píng)估,對(duì)利用空間科學(xué)與應(yīng)用數(shù)據(jù)開(kāi)展的科學(xué)研究或應(yīng)用項(xiàng)目的評(píng)估,例如,利用天宮二號(hào)伽馬暴偏振探測(cè)儀的天文觀測(cè)數(shù)據(jù)開(kāi)展前沿科學(xué)研究的成果評(píng)估,利用天宮二號(hào)寬波段成像儀、三維成像微波高度計(jì)、多波段紫外臨邊成像光譜儀等數(shù)據(jù)開(kāi)展應(yīng)用研究的成果評(píng)估。
3.3.3 按工程階段評(píng)估
對(duì)于分步分階段實(shí)施的空間科學(xué)與應(yīng)用任務(wù),可以按照任務(wù)實(shí)施的階段進(jìn)行評(píng)估,例如,載人航天工程第一步、工程第二步第一階段、工程第二步第二階段、工程第三步等,以及空間站任務(wù)建造階段和空間站應(yīng)用發(fā)展階段等,如圖2 所示。一般情況下,空間科學(xué)與應(yīng)用任務(wù)的項(xiàng)目實(shí)施是一個(gè)論證、研究及研制、在軌運(yùn)行、處理分析的過(guò)程,尤其載荷或?qū)嶒?yàn)類項(xiàng)目,每個(gè)階段過(guò)程也可以進(jìn)一步細(xì)分,空間科學(xué)與應(yīng)用成果產(chǎn)出隨著項(xiàng)目實(shí)施是一個(gè)動(dòng)態(tài)過(guò)程,因此也可以在項(xiàng)目實(shí)施過(guò)程中進(jìn)行動(dòng)態(tài)成果評(píng)估。
空間科學(xué)與應(yīng)用任務(wù)和項(xiàng)目實(shí)施的主要目標(biāo)之一是成果產(chǎn)出和發(fā)揮效益的最大化,并在創(chuàng)新性先進(jìn)性等方面達(dá)到國(guó)際領(lǐng)先水平,通過(guò)相關(guān)科技成果評(píng)估可以對(duì)任務(wù)和項(xiàng)目實(shí)施反饋評(píng)估情況,改進(jìn)項(xiàng)目管理的策略、科學(xué)與應(yīng)用研究方向的組織實(shí)施、成果產(chǎn)出的措施等。對(duì)于長(zhǎng)期在軌運(yùn)行的項(xiàng)目,一般隨成果產(chǎn)出情況,按年度或若干年分階段進(jìn)行成果評(píng)估。例如,國(guó)際空間站上的阿爾法磁譜儀(alpha magnetic spectrometer,AMS)-02 每隔若干年進(jìn)行成果總結(jié)和評(píng)估分析,為成果評(píng)估和研究方向提供重要參考;空間科學(xué)衛(wèi)星按照壽命運(yùn)行階段和延壽階段等進(jìn)行總結(jié)和評(píng)估,并且延壽和評(píng)估是一個(gè)迭代的過(guò)程,隨著延壽的持續(xù),不斷進(jìn)行總結(jié)和評(píng)估[10]。因此,空間科學(xué)與應(yīng)用全周期過(guò)程的成果評(píng)估是成果水平評(píng)價(jià)、任務(wù)或項(xiàng)目實(shí)施改進(jìn)提升、是否繼續(xù)延壽運(yùn)行的重要依據(jù)。
雖然空間科學(xué)與應(yīng)用成果產(chǎn)出主要在空間在軌運(yùn)行后,尤其載荷在軌調(diào)試和物理標(biāo)定完成后,或微重力科學(xué)實(shí)驗(yàn)樣品返回后,成果產(chǎn)出比較集中,甚至爆發(fā)時(shí)大量涌現(xiàn),但空間科學(xué)與應(yīng)用領(lǐng)域具有項(xiàng)目實(shí)施周期長(zhǎng)且成果動(dòng)態(tài)產(chǎn)出的特點(diǎn),從項(xiàng)目開(kāi)始論證或立項(xiàng)實(shí)施后便開(kāi)始逐漸產(chǎn)出各種形式的成果,因此,為了全面評(píng)估成果情況,空間科學(xué)與應(yīng)用領(lǐng)域的成果評(píng)估應(yīng)該在項(xiàng)目或任務(wù)實(shí)施的全周期生命過(guò)程中,隨著成果產(chǎn)出過(guò)程進(jìn)行動(dòng)態(tài)評(píng)估,評(píng)估的具體時(shí)間需要結(jié)合論證、預(yù)研、研制、發(fā)射、在軌運(yùn)行、延壽運(yùn)行等,根據(jù)關(guān)鍵技術(shù)攻關(guān)、實(shí)驗(yàn)/試驗(yàn)結(jié)果和成果產(chǎn)出的具體情況確定。按照空間科學(xué)實(shí)驗(yàn)項(xiàng)目實(shí)施流程和通用要求的標(biāo)準(zhǔn)規(guī)范,空間科學(xué)實(shí)驗(yàn)項(xiàng)目原則上應(yīng)覆蓋4 個(gè)階段:立項(xiàng)階段、地面研究及研制階段、空間實(shí)驗(yàn)階段、處理分析階段,其中處理分析階段主要進(jìn)行空間科學(xué)實(shí)驗(yàn)結(jié)果(實(shí)驗(yàn)樣品、實(shí)驗(yàn)數(shù)據(jù)、工程數(shù)據(jù))的分析和研究、編制空間科學(xué)實(shí)驗(yàn)總結(jié)報(bào)告、成果發(fā)布和管理、項(xiàng)目驗(yàn)收和結(jié)題等工作。綜合空間科學(xué)實(shí)驗(yàn)、空間新技術(shù)試驗(yàn)、空間科學(xué)與空間應(yīng)用研究等,按照流程階段梳理空間科學(xué)與應(yīng)用成果產(chǎn)出和評(píng)估相關(guān)工作以及成果的具體形式,如表2 所示。
表2 空間科學(xué)與應(yīng)用項(xiàng)目實(shí)施全周期過(guò)程中的成果產(chǎn)出
空間科學(xué)與應(yīng)用領(lǐng)域的項(xiàng)目結(jié)束或驗(yàn)收后,仍然可能產(chǎn)生創(chuàng)新成果,尤其空間探測(cè)類項(xiàng)目在壽命結(jié)束或在軌運(yùn)行結(jié)束后,科學(xué)數(shù)據(jù)仍然可以長(zhǎng)期使用,甚至通過(guò)最新的數(shù)據(jù)處理或分析方法提高數(shù)據(jù)的精度和質(zhì)量,如果有重要的創(chuàng)新成果產(chǎn)出,仍然可以根據(jù)需要進(jìn)行評(píng)估。例如,空間天文與天體物理領(lǐng)域有些幾十年前的歷史觀測(cè)數(shù)據(jù)仍然具有科學(xué)價(jià)值甚至被廣泛使用,并可能不斷產(chǎn)出新的成果。
空間科學(xué)與應(yīng)用成果評(píng)估的流程主要包括構(gòu)建評(píng)估模型、形式審查、組建評(píng)估專家組、成果評(píng)估、評(píng)估結(jié)果分析與反饋等,詳細(xì)內(nèi)容如圖3 所示,開(kāi)展具體評(píng)估時(shí)可以根據(jù)實(shí)際需要進(jìn)行簡(jiǎn)化。
圖3 空間科學(xué)與應(yīng)用成果評(píng)估主要流程
(1)構(gòu)建評(píng)估模型。根據(jù)空間科學(xué)與應(yīng)用成果的特點(diǎn)、屬性或分類等提煉評(píng)估要素,并進(jìn)一步分解和優(yōu)化指標(biāo),說(shuō)明指標(biāo)內(nèi)涵,設(shè)計(jì)指標(biāo)權(quán)重或分?jǐn)?shù),建立評(píng)估指標(biāo)體系,并在此基礎(chǔ)上建立評(píng)估模型。
(2)評(píng)估材料形式審查。對(duì)評(píng)估相關(guān)的成果材料或證明材料等進(jìn)行審查,必要時(shí)采集更多與成果相關(guān)的信息,對(duì)不符合要求的申請(qǐng)進(jìn)行退回補(bǔ)充或修改、取消評(píng)估申請(qǐng)等處理。
(3)組建評(píng)估專家組。根據(jù)空間科學(xué)與應(yīng)用成果所屬領(lǐng)域、研究方向和成果評(píng)估的類型等,遴選專家,并組建評(píng)估專家組。載荷研制類成果或突破關(guān)鍵技術(shù)相關(guān)的成果評(píng)估,一般需要涵蓋相關(guān)領(lǐng)域方向的工程技術(shù)專家;空間科學(xué)實(shí)驗(yàn)或前沿探索相關(guān)的成果評(píng)估,一般需要涵蓋相關(guān)領(lǐng)域方向的科學(xué)家;應(yīng)用類成果評(píng)估,一般需要涵蓋相關(guān)領(lǐng)域方向的應(yīng)用專家和應(yīng)用用戶。國(guó)際前沿的空間科學(xué)研究或者國(guó)際合作項(xiàng)目,一般成果評(píng)估專家包括相關(guān)領(lǐng)域研究方向的國(guó)際專家,甚至專門組建國(guó)際評(píng)估專家組進(jìn)行國(guó)際評(píng)估。
(4)成果評(píng)估。由專家組對(duì)成果材料進(jìn)行評(píng)議,給出專家組的評(píng)估結(jié)果和意見(jiàn)。通常由專家組成員按照評(píng)估指標(biāo)體系進(jìn)行打分,按照計(jì)算方法得到專家組評(píng)估結(jié)果,必要時(shí)可以對(duì)評(píng)估材料或相關(guān)內(nèi)容(例如載荷研制和測(cè)試現(xiàn)場(chǎng))進(jìn)行實(shí)地考察。
(5)評(píng)估結(jié)果分析與反饋。影響空間科學(xué)與應(yīng)用成果水平和評(píng)估的因素較多,包括載荷儀器和科學(xué)實(shí)驗(yàn)的方案創(chuàng)新性、性能指標(biāo)的先進(jìn)性、在軌標(biāo)定和運(yùn)行情況、數(shù)據(jù)質(zhì)量與共享推廣等,成果評(píng)估并分析結(jié)果后,反饋成果評(píng)估結(jié)果。成果評(píng)估是現(xiàn)有成果水平、項(xiàng)目實(shí)施與改進(jìn)、進(jìn)一步提升成果產(chǎn)出等方面的重要參考依據(jù),包括獲得專家組評(píng)估的國(guó)內(nèi)外水平或總體評(píng)價(jià),作為成果水平的依據(jù);掌握與國(guó)際國(guó)內(nèi)領(lǐng)先水平的差距,為進(jìn)一步改進(jìn)和提升提供參考,作為促進(jìn)科學(xué)或技術(shù)發(fā)展的依據(jù)。委托第三方評(píng)估時(shí),一般需要對(duì)評(píng)估報(bào)告進(jìn)行審核,根據(jù)情況進(jìn)行解釋說(shuō)明、修改補(bǔ)充、重新評(píng)估等,如果必要還需提供后續(xù)服務(wù)或進(jìn)行后續(xù)跟蹤調(diào)查等。
空間科學(xué)與應(yīng)用的成果產(chǎn)出是一個(gè)多元復(fù)雜的過(guò)程,價(jià)值和效益的內(nèi)涵豐富,成果形式多樣,為了統(tǒng)一規(guī)范和客觀科學(xué)地開(kāi)展成果評(píng)估工作,針對(duì)不同類型的成果提出和提煉相對(duì)應(yīng)的評(píng)估要素,并進(jìn)一步分解成具體的評(píng)估指標(biāo),細(xì)化評(píng)估要求,形成成果評(píng)估的指標(biāo)體系。根據(jù)空間科學(xué)與應(yīng)用任務(wù)及其成果的特點(diǎn),在按項(xiàng)目類型分類的基礎(chǔ)上,可以將空間科學(xué)與應(yīng)用成果分為載荷研制類、科學(xué)實(shí)驗(yàn)類、科學(xué)研究類(或基礎(chǔ)研究類)、應(yīng)用研究類4 類成果,在突出重點(diǎn)的前提下多視角考慮、覆蓋多維度評(píng)估目標(biāo),分別提出對(duì)應(yīng)的成果評(píng)估指標(biāo)體系的主要要素,如表3 所示。由評(píng)估要素可知,空間科學(xué)與應(yīng)用成果評(píng)估突出創(chuàng)新性、先進(jìn)性,強(qiáng)調(diào)在國(guó)內(nèi)外前沿領(lǐng)域所處的水平,在科學(xué)技術(shù)和經(jīng)濟(jì)社會(huì)領(lǐng)域產(chǎn)生的應(yīng)用效益,同時(shí)根據(jù)具體情況考慮自主知識(shí)產(chǎn)權(quán)的程度。通過(guò)對(duì)評(píng)估要素進(jìn)行多層次分解和說(shuō)明,進(jìn)一步設(shè)置評(píng)估要素和指標(biāo)元素的權(quán)重與分?jǐn)?shù),形成用于專家組成果評(píng)估的指標(biāo)體系。
表3 空間科學(xué)與應(yīng)用成果評(píng)估的主要要素和成果主要形式
在同行評(píng)議基礎(chǔ)上,常用的空間科學(xué)與應(yīng)用成果評(píng)估方法主要包括定性程度比較高的統(tǒng)計(jì)調(diào)查法、定量程度比較高的文獻(xiàn)計(jì)量法,以及定量與定性相結(jié)合的方法。
(1)統(tǒng)計(jì)調(diào)查法。統(tǒng)計(jì)調(diào)查主要通過(guò)相關(guān)領(lǐng)域和方向的專家咨詢、問(wèn)卷調(diào)查等方式獲得調(diào)查結(jié)果。例如,采用廣泛應(yīng)用的德?tīng)柗品ǎ―elphi method)[15],可以反映調(diào)查專家對(duì)相關(guān)成果在國(guó)內(nèi)外水平的認(rèn)可程度。評(píng)價(jià)指標(biāo)體系中指標(biāo)權(quán)重的確定也經(jīng)常使用德?tīng)柗品ǎㄟ^(guò)調(diào)查統(tǒng)計(jì)來(lái)獲得指標(biāo)的權(quán)重。
(2)科學(xué)計(jì)量法。空間科學(xué)與應(yīng)用成果產(chǎn)出的主要形式之一是學(xué)術(shù)論文,因此文獻(xiàn)計(jì)量法以及針對(duì)學(xué)術(shù)論文的評(píng)價(jià)是成果評(píng)估和產(chǎn)出對(duì)比的常用方法[16],包括各類代表性論文(同行評(píng)議和非同行評(píng)議的期刊和會(huì)議論文等)的發(fā)表情況、引用情況和高被引論文、高影響因子期刊發(fā)表論文情況等。在高質(zhì)量期刊發(fā)表的,經(jīng)過(guò)同行評(píng)議且在其他重要期刊得到廣泛引用的成果,有可能在科學(xué)界產(chǎn)生重大影響[8],論文發(fā)表期刊也是被空間科學(xué)與應(yīng)用領(lǐng)域國(guó)際同行認(rèn)可的一種有效方法,特征因子(Eigenfactor)既反映了期刊的相對(duì)重要性,又避免了期刊自引[7]。
(3)定量與定性相結(jié)合的評(píng)估方法。定性方法缺少量化分析,定量方法難以全面評(píng)價(jià),因此定量與定性評(píng)估相結(jié)合成為常用方式。在空間科學(xué)與應(yīng)用成果評(píng)估中,通常在使用文獻(xiàn)計(jì)量法等定量化評(píng)估(例如,論文及其水平的計(jì)量指標(biāo)等)的基礎(chǔ)上,使用定性要素和指標(biāo)進(jìn)行全面評(píng)價(jià)(例如,經(jīng)濟(jì)與社會(huì)效益等)。層次分析法(analytical hierarchy process,AHP)是一種可以將定性與定量相結(jié)合的評(píng)估方法[17],已經(jīng)用于空間科學(xué)與應(yīng)用領(lǐng)域[18],同樣可以用于空間科學(xué)與應(yīng)用成果評(píng)估的指標(biāo)權(quán)重計(jì)算和構(gòu)建指標(biāo)體系等。在項(xiàng)目評(píng)價(jià)(按照國(guó)家標(biāo)準(zhǔn)的基礎(chǔ)研究、應(yīng)用研究和開(kāi)發(fā)研究項(xiàng)目)中,常用的多維指數(shù)評(píng)價(jià)法是構(gòu)建多層次指標(biāo)體系、選擇計(jì)算方法、進(jìn)行指標(biāo)量化度量的評(píng)價(jià)方法,在能夠獲得廣泛認(rèn)可的前提下,將可能量化的定性要素進(jìn)一步量化是值得研究的。
我國(guó)空間科學(xué)與應(yīng)用成果評(píng)估方面尚存在的問(wèn)題主要包括以下幾個(gè)方面:第一,缺少專門針對(duì)空間科學(xué)與應(yīng)用領(lǐng)域的科技成果管理與成果評(píng)估方面的國(guó)家標(biāo)準(zhǔn);第二,定量評(píng)估主要是學(xué)術(shù)文獻(xiàn)計(jì)量和學(xué)術(shù)影響力評(píng)估,其他相關(guān)成果尚難以定量化描述,缺少綜合性的定量化評(píng)估;第三,地面研制和預(yù)研階段的成果產(chǎn)出評(píng)估未充分得到重視,同時(shí),對(duì)于長(zhǎng)期在軌運(yùn)行的空間科學(xué)與應(yīng)用項(xiàng)目成果評(píng)估主要集中在重大或重要成果,階段性、體系化的成果評(píng)估尚待進(jìn)一步完善;第四,空間科學(xué)與應(yīng)用成果在經(jīng)濟(jì)效益和社會(huì)效益方面的定量化評(píng)估不夠,缺少準(zhǔn)確比較,影響成果轉(zhuǎn)移轉(zhuǎn)化的效率。
針對(duì)上述存在問(wèn)題,提出以下發(fā)展建議:一是建立空間科學(xué)與應(yīng)用成果產(chǎn)出、管理與評(píng)估的國(guó)家標(biāo)準(zhǔn)體系,細(xì)化工程任務(wù)內(nèi)的規(guī)范體系,同時(shí),探索建立適合我國(guó)國(guó)情的空間科學(xué)與應(yīng)用成果國(guó)際評(píng)估方法。二是按照國(guó)務(wù)院辦公廳印發(fā)的《關(guān)于完善科技成果評(píng)價(jià)機(jī)制的指導(dǎo)意見(jiàn)》以及科技部《關(guān)于破除科技評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干措施(試行)》等政策,實(shí)施分類考核評(píng)價(jià),注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響。三是進(jìn)一步加強(qiáng)在地面方案研究、關(guān)鍵技術(shù)攻關(guān)、載荷初樣和正樣研制、科學(xué)課題預(yù)研和前沿研究等各階段全過(guò)程的成果產(chǎn)出動(dòng)態(tài)評(píng)估。四是在科學(xué)價(jià)值和應(yīng)用效益評(píng)估的基礎(chǔ)上,加強(qiáng)對(duì)成果在社會(huì)影響力、直接或間接經(jīng)濟(jì)效益、技術(shù)轉(zhuǎn)移轉(zhuǎn)化,以及解決社會(huì)民生相關(guān)各種問(wèn)題、促進(jìn)經(jīng)濟(jì)社會(huì)發(fā)展進(jìn)步等方面的評(píng)估,將對(duì)科技發(fā)展的引領(lǐng)帶動(dòng)作用具體化。五是探索并加強(qiáng)第三方評(píng)估、多方參與、多元化監(jiān)督的評(píng)估機(jī)制。六是進(jìn)一步加強(qiáng)空間科學(xué)與應(yīng)用成果的國(guó)際同行評(píng)估,提升國(guó)際同行參與比例,形成國(guó)際評(píng)估機(jī)制。
我國(guó)空間科學(xué)與應(yīng)用領(lǐng)域通過(guò)載人航天工程等國(guó)家重大專項(xiàng)的實(shí)施、空間科學(xué)衛(wèi)星的發(fā)射和運(yùn)行、大量空間應(yīng)用業(yè)務(wù)衛(wèi)星的建設(shè)和部署,已經(jīng)取得一大批重要成果,在國(guó)際相關(guān)領(lǐng)域的影響力顯著提升,對(duì)相關(guān)科技成果評(píng)估的作用越發(fā)重要和突出??臻g科學(xué)與應(yīng)用涉及航天工程、空間科學(xué)、空間技術(shù)和空間應(yīng)用,具有多學(xué)科領(lǐng)域、多研究方向、交叉融合等特點(diǎn),且成果產(chǎn)出與評(píng)估動(dòng)態(tài)性較強(qiáng)、周期較長(zhǎng),雖然成果評(píng)估已經(jīng)形成初步的流程和形式,但與航天強(qiáng)國(guó)和科技強(qiáng)國(guó)的水平尚存在很大差距。在近年國(guó)家不斷加強(qiáng)科技成果評(píng)價(jià)的良好形勢(shì)下,在載人空間站建成和運(yùn)行的重大機(jī)遇期,我國(guó)亟須進(jìn)一步改革和完善空間科學(xué)與應(yīng)用成果評(píng)估的體制機(jī)制,形成系列標(biāo)準(zhǔn)規(guī)范,進(jìn)一步重視和加強(qiáng)成果轉(zhuǎn)移轉(zhuǎn)化,滿足大規(guī)模空間科學(xué)與應(yīng)用成果產(chǎn)出與評(píng)估的迫切需求,促進(jìn)高水平、高質(zhì)量成果的可持續(xù)產(chǎn)出,取得更多重大原創(chuàng)成果,發(fā)揮在科學(xué)、應(yīng)用與經(jīng)濟(jì)社會(huì)等價(jià)值基礎(chǔ)上的綜合效益,全面服務(wù)國(guó)家創(chuàng)新驅(qū)動(dòng)發(fā)展。