博士研究生“申請-考核”評價指標體系的建構研究

饒武元　劉華

關鍵詞：申請-考核制度;人才選拔;評價指標體系

中圖分類號：G643 文獻標識碼：A 文章編號：1009 — 2234（2022）01 — 0153 — 08

博士研究生教育處于我國國民教育體系的頂端位置，承擔著高端人才供給和科學技術創(chuàng)新等多重使命，既是實現(xiàn)我國創(chuàng)新驅(qū)動發(fā)展和提升經(jīng)濟增長效益的重要支撐，也是推進實現(xiàn)國家治理體系和治理能力現(xiàn)代化的重要動力源泉。當前，我國博士生教育已經(jīng)進入以質(zhì)量為核心的發(fā)展階段，而影響博士研究生教育質(zhì)量的首要環(huán)節(jié)就是博士研究生招生。健全“申請-考核”招生選拔機制是教育部等政府部門一直以來的改革目標。博士生“申請-考核”制是我國博士研究生招生形式上的一次積極探索，其首要目標是選拔具有科研潛力的創(chuàng)新型人才，偏向于對考生個人素質(zhì)和科研潛力的綜合考查，但是很多高校在實施“申請-考核”制時存在資料審核和面試環(huán)節(jié)考核標準模糊、評分方式不清的問題〔1〕。因此，開展博士生“申請-考核”選拔評價指標體系的相關研究，對招生單位選拔優(yōu)秀生源、推動博士生招生制度改革具有重要價值。

國內(nèi)學者對研究生招生考核評價的相關研究主要包括以下三個方面：一是對國外研究生考核評價體系的經(jīng)驗介紹。洪茜等學者對澳大利亞博士生教育的入學準備評價體系從認知、申請、適應和基礎四個維度作了詳細的介紹和分析，并總結到質(zhì)量評價時要注重以學生發(fā)展作為核心〔2〕，而郭培榮等學者在考察美英兩國設立專門的招生委員會考查候選人是否具備研究生學習勝任力的方式后，提出國內(nèi)各高校要知識基礎、專業(yè)技能、思想品質(zhì)和職業(yè)價值觀等多個方面對申請者進行嚴格評估〔3〕二是從理論上探討“申請-考核”的人才考核評價方式。趙紅軍等人從”精英化教育”角度證明了“申請-考核”制能夠較好考查學生學習、科研、語言等能力，這種招生方式為教育精英化的評價與選拔模式指明了方向〔4〕。張熙等學者從組織社會學角度出發(fā)，認為“申請-考核”制的實施過程實際上是一種政治博弈，在學校、院系、導師之間存在個體偏好、機會主義和不規(guī)范操作的風險，導致人才選拔的價值評判充滿了極大的不確定性〔5〕。三是博士生“申請-考核”人才選拔評價體系的建構。學者陳謙針對“申請-考核”人才選拔科學性不足的問題借鑒了管理學中的人才測評理論，在《一級學科博士、碩士學位基本要求》的基礎上圍繞知識、素質(zhì)、能力構建了與學科相適的博士生人才選拔的科研勝任力三級指標體系〔6〕。趙仁玲從個人信息角度對研究生考生有關的綜合素質(zhì)評價有關問題作出解答，構建了品德素質(zhì)與價值觀、情緒素質(zhì)、能力素質(zhì)、知識素質(zhì)、科研及實踐為指標的研究生考生評價模型〔7〕。

已有關于“申請-考核”選拔評價的研究為本研究的開展奠定了良好的理論和實踐基礎，但是我國現(xiàn)有研究依舊還存在一些不足。一是針對博士生“申請-考核”的考核評價環(huán)節(jié)進行系統(tǒng)分析的研究比較少，且對于眾多高校存在評價標準模糊問題的相關研究還不夠深入;二是現(xiàn)有研究中關于博士生人才選拔評價指標設計多為籠統(tǒng)的框架設計，關于指標量化、計算及應用的說明較少;三是已有研究的評價指標呈現(xiàn)多強調(diào)知識和能力的重要性而忽視考生學術道德品質(zhì)和非認知能力的傾向，為進一步優(yōu)化招生單位對考生的評價指標體系，文章將在已有研究的基礎上，運用德爾菲法和層次分析法，從知識、能力、品德、業(yè)績和貢獻五個維度著手構建勝任力視角下博士生“申請-考核”的科學評價體系，力圖實現(xiàn)對申請人博士學習階段表現(xiàn)的科學預測。

博士生“申請-考核”制度雖然是現(xiàn)階段解決博士研究生統(tǒng)一招考制度所面臨問題的一劑“良方”，但是，仍舊存在信度較低的問題。這主要是由于部分招生單位對考核標準和評分方式的規(guī)定模糊，增加了評價結果的主觀性和隨意性〔8〕。博士招生本質(zhì)上是招生單位完成對申請考生的考核遴選過程，因此可借鑒管理學中的勝任力理論，從而將博士看作“職位”，勝任力反映了從事某職位的人為順利履行職責需具備的各技能、能力與動機，在研究職業(yè)匹配能力應用廣泛、本研究擬構建的勝任力視角下評價指標體系的最終評價目標就是實現(xiàn)對考生是否具備勝任博士職位的綜合素質(zhì)能力的科學評估。

為達到錄取學生與博士生職位之間的職能匹配的目的，招生選拔出的人才要符合博士生人才培養(yǎng)基本要求。2018年中共中央辦公廳、國務院辦公廳印發(fā)的《關于分類推進人才評價機制改革的指導意見》指出，對科研人才的評價要從品德、知識、能力、業(yè)績和貢獻五個方面展開，并著重強調(diào)了品德與學術道德的重要性。博士生作為我國重要的創(chuàng)新科技高層次人才，故也適用于科技人才評價五要素并以這五要素作為博士招生評價指標體系的一級指標、評價指標體系的二級和三級指標是在文獻研究。專家訪談和2013年教育部出臺的《一級學科博士、碩士學位基本要求》的基礎上設計的，初步構建的評價指標體系如表1所示，包括5項一級指標、12項二級指標和39項三級指標。

表1 博士生“申請-考核”人才選拔評價指標體系（初步）

為了驗證二三級指標科學與合理性，本研究采用德爾菲法對初步擬定的13項二級指標和39項三級指標進行驗證。第一步，研究設計了李克特五級調(diào)查量表，讓專家對二級和三級指標進行“非常不合理、不合理、一般、合理、非常合理”1-5的打分，分數(shù)越高表示該指標越合理，將制作完成的調(diào)查表以郵件方式發(fā)送給10位專家填寫并回收，并征求專家對評價指標劃分和語言表述的意見？第二步，歸納專家的反饋意見，具體意見為：將“組織協(xié)作能力”移到科研實踐能力的三級指標中，并刪除“協(xié)作能力”和“組織能力”;修改“道德品質(zhì)”為“學術道德品質(zhì)”;修改“成果”為“學術成果”，使表述更清晰明確;修改“理論”為“理論貢獻”;修改“實踐”為“實踐貢獻”;刪除“記憶能力”，該指標不易測量;修改“非學術誠信”為“學術規(guī)范”。第三步，對收集好的數(shù)據(jù)進行意見集中度、變異系數(shù)和綜合指數(shù)的數(shù)據(jù)分析。意見集中度與得分均值和滿分比有關;變異系數(shù)是標準差與均值的比值，變異值越小，專家的協(xié)調(diào)程度越高;綜合指數(shù)（Y=X·M/CV）表示指標的重要程度和協(xié)調(diào)程度。一個指標的影響力大小既要考慮專家的意見集中度也要考慮指標的變異系數(shù)，而指標的刪減則由綜合指數(shù)與標準值（Z=Y-∑SD）的差值決定。二級指標的第一輪評分數(shù)據(jù)結果如表2所示，經(jīng)計算標準值Z=19.5-7.673=11.827，“組織協(xié)作能力B6”綜合指數(shù)小于Z，該指標需要刪除。按照上述同樣方法也可知道第三級指標體系中需要刪除指標“記憶能力”。第四步，運用德爾菲法開展第二輪專家咨詢，將修改好的調(diào)查量表再次以郵件方式發(fā)送給專家填寫并回收。專家對第二級指標的第二輪調(diào)查統(tǒng)計數(shù)據(jù)如表3所示，經(jīng)計算第二輪調(diào)查中各二級指標的綜合指數(shù)Y都大于Z（Z=10.597），無需刪除，按照上述方法也同樣可知道修改后的第三級指標無需刪除。

表2 第一輪專家調(diào)查數(shù)據(jù)統(tǒng)計表

表3 第二輪專家調(diào)查數(shù)據(jù)統(tǒng)計表

經(jīng)過兩輪的專家意見咨詢后，修訂好的博士生“申請-考核”人才選拔評價體系由5項一級指標，12項二級指標和36項三級指標構成。

為進一步驗證所構評價指標體系的有效性和適用性，研究需對各指標進行信度和效度檢驗。本研究針對第三級指標是否與上一級指標相關而制作了李克特五級調(diào)查表，1～5的含義分別是“非常不相關、不相關、一般、相關、非常相關”，評分越高表示該指標與上一級的關聯(lián)性越強。調(diào)查表制作完成后收集10位專家的調(diào)查數(shù)據(jù)，所有專家均是本專業(yè)研究人員。最后將收集的數(shù)據(jù)歸納整理為相關檢驗做準備。

信度是根據(jù)測驗工具所測得結果的一致性或穩(wěn)定性，也就是用同一種方法多次測量其測量結果的一致性程度。本研究采用α信度檢驗，即內(nèi)在一致性檢驗，α值越大該指標體系的可靠性也越高，α系數(shù)值介于0.7和0.8時意味著信度相當好〔9〕，其計算公式如下：

N指評價體系指標總數(shù)，S2j表示第j個指標的評分方差，S2指總體方差。本研究將10位專家的評分數(shù)據(jù)代入公式對36個指標進行內(nèi)在一致性信度檢驗，α=0.784>0.7，通過一致性檢驗。

效度是指測量工具或手段能夠準確測出被測量事物的程度，效度越高則測量結果與要考察的內(nèi)容越一致。本研究采用內(nèi)容效度的方法對評測指標的有效性進行檢驗，其計算公式如下：

M代表評分專家總?cè)藬?shù)，Mj代表對第j個三級指標評3分、4分或5分的專家人數(shù)。一般要求V≥0.78，否則該指標將被剔除。本研究對36個指標進行效度檢驗后發(fā)現(xiàn)指標“轉(zhuǎn)移經(jīng)驗的能力C17”的V=0.5<0.78，未通過內(nèi)容效度檢驗，因此將指標C17予以剔除。故最終的博士研究生“申請-考核”人才選拔評價指標體系由5項一級指標、12項二級指標和35項三級指標構成。

人才評價是一個復雜的系統(tǒng)工程，確定好博士生“申請-考核”人才選拔評價指標后還需要對各指標賦予權重后才具有實際操作性。本研究采用層次分析法，選取10名專家對各層次指標兩兩比較并對指標重要性打分，并構建判斷矩陣，接著計算出所得矩陣的最大特征值及特征向量并計算一致性指標進行一致性檢驗，最后便可以得到各指標層的相對權重。

根據(jù)層次分析方法原理，本研究基于修訂后的最終博士研究生“申請-考核”人才選拔評價指標體系，利用yaahp軟件構建如圖1所示的層次結構模型，其中博士研究生“申請-考核”人才選拔評價為決策目標層，原一級指標、二級指標和三級指標則分別視作準則層、子準則層和指標層。

圖1 博士生申請-考核評價指標體系層次結構模型

判斷矩陣用來衡量每一層次各要素之間的相對重要性，通過各層次的要素的兩兩比較形成多階矩陣，相對重要性采用Satty的“1-9標度法”，即用1，2，3......9和它們的倒數(shù)對每項指標進行標度，其含義如表4所示。研究整理出了專家1的準則層的判斷矩陣M見表5，同理可得其余矩陣，此處不過多贅述。

表4相對重要性標度及其含義

表5 專家1準則層的判斷矩陣M。注：λmax=5.3621;CR=0.0808<0.1

為了讓判斷矩陣更具合理性，減少專家打分主觀性對最終結果的影響，研究需對專家評分的判斷矩陣進行層次單排序及一致性檢驗和層次總排序及一致性檢驗。根據(jù)10位專家的評議數(shù)據(jù)，利用軟件計算出每位專家的指標權重值，再進行一致性檢驗。檢驗一致性比例公式為CR=CI/RI，若CR<0.1，則通過一致性檢驗，其中CI=λmax-n/（n-1），將有關數(shù)據(jù)代入公式即可得到CI值，而RI值可通過查表得知，采用yaahp軟件對判斷矩陣進行調(diào)整并計算，可得到層次單排序和層次總排序結果完成專家數(shù)據(jù)集結得到最終指標權重，具體結果見表7。

表7 博士生“申請-考核”人才選拔評價綜合指標權重

由表6數(shù)據(jù)可知，博士生“申請-考核”人才選拔評價體系中準則層的各要素權重由大到小依次是能力、業(yè)績、貢獻、知識和品德，從上面數(shù)據(jù)可以看出，在博士研究生人才選拔的考核評測中，申請考生的個人能力是最受專家關注的指標，其中科研創(chuàng)新能力和實踐能力是導師招生的重要考量因素。其次是業(yè)績和貢獻，兩者的權重大致持平，兩者是對申請人的過去經(jīng)歷和成就的綜合考查，這也是在博士招生過程中落實“破五唯”的重要體現(xiàn)，在“申請-考核”中招生單位不能僅僅關注申請考生發(fā)表的論文、專著、專利等科研成果，還要提升對申請考生在理論和實踐中對國家和社會作出重要貢獻的關注度。這一舉措豐富了對申請考生的過去階段性成果的評價標準，允許具有多樣特色的人才進入博士階段的學習，不被評價標準所束縛。權重系數(shù)排在最末的是知識和品德。知識是博士研究生開展科研活動的基礎，可以通過考生申請材料、筆試等途徑達到考查申請考生知識水平的目的。將筆試環(huán)節(jié)有機地融入“申請-考核”中可以發(fā)揮兩種制度優(yōu)勢，不僅考查了申請人員的知識基礎和思維邏輯能力，還可以進一步檢驗考生申請材料與面試的一致性程度。但應當警惕落入“換湯不換藥”的圈套。品德在評價體系中的權重雖然不高，但思想道德素質(zhì)的考核是博士“申請-考核”中必不可少的重要環(huán)節(jié)。思想道德素質(zhì)主要包括思想品質(zhì)和道德品質(zhì)，可結合面試、考生申請材料、心理測試等多種方式考查申請人員。

本研究基于博士研究生的勝任力視角，結合國家有關科學技術人才評價有關政策要求和教育部有關博士生培養(yǎng)要求，從知識、能力、品德、業(yè)績和貢獻五個維度展開一系列相關指標設計，初步構建了博士研究生“申請-考核”評價指標體系，然后通過德爾菲法、指標信效度檢驗和層次分析法對各指標篩選、修訂和量化從而確定了最終的人才選拔評價指標體系。該指標體系由5項一級指標、12項二級指標、35項三級指標共同構成，理論上實現(xiàn)了選拔測評與“申請-考核”評判標準的科學性和有效性。為保證博士生“申請-考核”人才選拔評價指標體系高效實施，特提出以下建議：

導師在博士研究生培養(yǎng)中扮演了“第一責任人”的角色，也是博士招生中重要的利益相關者。教育部在2020年發(fā)布《關于加強博士生導師崗位管理的若干意見》中明確指出要加強對博士導師的相關業(yè)務知識培訓，提升博士導師的選才能力和指導能力，因此各級政府和培養(yǎng)單位要積極開展有關職能培訓，幫助導師熟悉各種必要測評方法（包括但不限于心理測試、筆試、結構化面試），提升導師選拔評測考生的能力。

博士招生是博士研究生教育的首要環(huán)節(jié)，建立嚴格的中期篩選和分流退出機制可以有效彌補“申請-考核”制的考查不足的缺陷。從博士生中期資格考試、開題報告再到論文答辯，將分流退出機制貫穿于整個博士研究生教育過程，這將有效篩除一些打算渾水摸魚的申請考生，還能緩解部分導師因人情關系招收“關系考生”的問題。

對于政府部門來說，可結合博士生“申請-考核”制的特性將人才選拔權力由某一部分高校群體向具體的學科或?qū)I(yè)拓展。政府進一步讓渡博士研究生的招生選拔權力有利于提高基層招生單位的選才主觀能動性，為避免出現(xiàn)濫用權力現(xiàn)象，國家政府部門在做好頂層設計的同時，還要做好監(jiān)督輔助工作，及時修正招生機制改革的方向和原則，將問題消滅在萌芽狀態(tài)。

人才選拔測評是一個復雜過程，既要測量易于觀察的可見的、外顯的知識技能，又要評價測量思維、情感、態(tài)度等深層次特征。當前許多高校在博士生“申請-考核”中對申請考生的測評工具單一，且多是由國外引進未能有效實現(xiàn)本土化易出現(xiàn)“水土不服”。招生高?？筛鶕?jù)各學科專業(yè)要求進一步完善測評體系，開發(fā)多種形式的測評工具。

建構科學的博士研究生“申請-考核”人才選拔評價指標體系是優(yōu)化博士生“申請-考核”制度，提高人才選拔質(zhì)量的重要途徑。本研究所構建的評價指標體系不僅為今后的研究生選拔評價提供了新思路，也為博士生招生改革提供理論指導，但本研究也有一定局限性，一;本研究在向?qū)＜野l(fā)放調(diào)查量表時僅選擇了10人，從數(shù)量上來說略少;二是此評價體系是從理論上設計建構的，還需要在實踐中不斷完善，以發(fā)揮最大的價值，為博士研究生培養(yǎng)質(zhì)量提供有效保障。

〔參 考 文 獻〕

〔1〕周文輝，付鴻飛，賀隨波.博士生招生“申請-考核制的政策現(xiàn)狀、主要問題與完善路徑—基于144所高?！吧暾?考核”制政策文本的分析〔J〕.中國高教研究，2020，（12）：82-88.

〔2〕洪茜，劉路，HamishCoates.澳大利亞博士生教育質(zhì)量評價框架的構建與啟示〔J〕.高校教育管理，2021，14（02）：65-75.

〔3〕郭培榮，寧昕.美英兩國工程博士培養(yǎng)經(jīng)驗及對我國高校的啟示〔J〕.重慶高教研究，2020，（06）：94-102.

〔4〕趙紅軍，陳薇，陳謙明.“精英化教育”語境下博士招生制度的選擇—對博士研究生招生“申請-考核”制的思考與探索〔J〕.研究生教育研究，2015，（05）：31-35.

〔5〕張熙，郭二榕.高水平大學博士生招生的多重制度邏輯—基于組織社會學的視角〔J〕.學位與研究生教育，2020，（02）：39-43.

〔6〕陳謙.博士招生科學性的優(yōu)化探索〔J〕.江蘇高教，2019，（05）：91-96.

〔7〕趙仁鈴.基于個人信息的研究生考生評價模型研究〔D〕.南京大學，2016.

〔8〕劉陽，林榮日.博士生申請考核制招生制度的現(xiàn)狀、問題與改進—基于2017年6所“985高校博士生招生簡章的分析〔J〕.研究生教育研究，2018，（2）：29-35.

〔9〕吳明隆.問卷統(tǒng)計分析實務—SPSS操作與應用〔M〕.重慶：重慶大學出版社，2010.

〔責任編輯：丁 冬〕