基于元評估的武器裝備體系貢獻(xiàn)率評估指標(biāo)優(yōu)化方法研究

蔡卓函，穆歌，馮琦琦，王新宇，賈燁

（1.陸軍裝甲兵學(xué)院，北京 100072；2.66058部隊(duì)，天津 301700；3.軍事科學(xué)院系統(tǒng)工程研究院，北京 100072；4.32290部隊(duì)，山東 濟(jì)南 250002；5.北部戰(zhàn)區(qū)聯(lián)合參謀部，遼寧 沈陽 110001）

0 引言

武器裝備體系貢獻(xiàn)率是我國獨(dú)創(chuàng)[1]的概念，用于全面、科學(xué)地評估武器裝備在體系中發(fā)揮作用的情況，進(jìn)而指導(dǎo)武器裝備成體系建設(shè)，有效提升裝備體系對抗能力。在評估武器裝備體系貢獻(xiàn)率（以下簡稱體系貢獻(xiàn)率）的過程當(dāng)中，建立評估指標(biāo)體系是非常關(guān)鍵的一環(huán)，指標(biāo)體系選取是否合理，將直接決定評估結(jié)論是否科學(xué)可用。

國內(nèi)對體系貢獻(xiàn)率評估指標(biāo)的研究成果較為豐富。文獻(xiàn)[2]提出了指標(biāo)體系構(gòu)建的六點(diǎn)原則，并從體系功能適應(yīng)性、體系結(jié)構(gòu)優(yōu)化、作戰(zhàn)能力提升、體系技術(shù)進(jìn)步四個視角構(gòu)建了多層次的評估指標(biāo)體系。文獻(xiàn)[3]分析了作戰(zhàn)效果、作戰(zhàn)效率、作戰(zhàn)代價與體系作戰(zhàn)能力之間的定性關(guān)系，從增強(qiáng)作戰(zhàn)效果、增強(qiáng)作戰(zhàn)效率和降低作戰(zhàn)代價三個方面構(gòu)建了武器裝備作戰(zhàn)體系貢獻(xiàn)度評估指標(biāo)體系。文獻(xiàn)[4]從功能完備、結(jié)構(gòu)合理、有效、先進(jìn)、經(jīng)濟(jì)、適用6個視角構(gòu)建了具有通用性和可擴(kuò)展性的多維度多層次指標(biāo)體系框架。文獻(xiàn)[5]將能力效能、體系結(jié)構(gòu)、運(yùn)行機(jī)制、型號譜系、經(jīng)濟(jì)成本、支撐技術(shù)六項(xiàng)貢獻(xiàn)類型指標(biāo)和問題階段、評估技術(shù)相結(jié)合，構(gòu)建了三維體系貢獻(xiàn)率評估的總體研究框架。

從上述成果中我們發(fā)現(xiàn)：①目前體系貢獻(xiàn)率評估指標(biāo)體系構(gòu)建主要依靠專家經(jīng)驗(yàn)，從不同視角出發(fā)構(gòu)建的指標(biāo)體系差異較大；②指標(biāo)體系的層次結(jié)構(gòu)和指標(biāo)間的關(guān)系較為復(fù)雜，結(jié)構(gòu)梳理不合理容易導(dǎo)致指標(biāo)遺漏、指標(biāo)重復(fù)、相關(guān)性過大、權(quán)重分散等問題；③綜合性指標(biāo)較多，難以細(xì)化、量化。針對評估指標(biāo)的上述特點(diǎn)，本文提出應(yīng)用元評估理論對體系貢獻(xiàn)率評估指標(biāo)體系進(jìn)行優(yōu)化。建立由評估到元評估，再由元評估到新的評估的迭代過程，使評估指標(biāo)選取盡可能完善、準(zhǔn)確、客觀。

1 基本理論

基元評估的概念最初是由美國評估理論專家Michael Scriven在1969年的教育產(chǎn)品報(bào)告中首次提出[6]，被廣泛應(yīng)用于教育領(lǐng)域[7]。此后，在政府績效評價[8]、服裝設(shè)計(jì)[9]、檔案安全[10]、軍事[11]等領(lǐng)域也有所應(yīng)用。

1.1 內(nèi)容與作用

“元”作為一個詞綴，最初來自希臘前綴“meta-”，取其對本質(zhì)探究之意。元評估“meta-evaluation”則是對評估本質(zhì)的探究。它是元科學(xué)的一個分支，是對原評估科學(xué)性的評估，即將已有的評估活動作為研究對象，對其評估結(jié)構(gòu)、評估過程、評估結(jié)論等方面進(jìn)行反思式思考，以修正、改進(jìn)評估活動的過程，具有調(diào)整原評估的功能。將元評估理論和方法應(yīng)用于體系貢獻(xiàn)率評估過程中的指標(biāo)構(gòu)建環(huán)節(jié)，旨在從多個維度檢驗(yàn)評估指標(biāo)的科學(xué)性并進(jìn)行反饋修正，以優(yōu)化完善指標(biāo)體系。

1.2 設(shè)計(jì)思路與流程

傳統(tǒng)的元評估主要運(yùn)用統(tǒng)計(jì)方法來估計(jì)產(chǎn)生的誤差對評估結(jié)果的影響，但元評估所指的偏差并不局限于統(tǒng)計(jì)性質(zhì)。評估主體的心理認(rèn)知失當(dāng)，對評估問題的理解差異，以及運(yùn)用的評估模型、手段等因素都可能造成評估偏差[12]。所以在研究面向體系貢獻(xiàn)率評估指標(biāo)的元評估方法時，應(yīng)著眼于評估指標(biāo)生成過程中偏差來源的多個環(huán)節(jié)，從多視角進(jìn)行審視，綜合包含統(tǒng)計(jì)在內(nèi)的多種方法，有針對性地做出評估。實(shí)施步驟主要有：①組建元評估專家團(tuán)隊(duì)；②明確元評估目標(biāo)及內(nèi)容；③設(shè)計(jì)元評估量表；④實(shí)施元評估；⑤處理分析元評估數(shù)據(jù)；⑥做出元評估結(jié)論。具體流程設(shè)計(jì)如圖1所示。

圖1 武器裝備體系貢獻(xiàn)率評估指標(biāo)元評估流程圖

1.3 指標(biāo)構(gòu)建與量表設(shè)計(jì)

元評估的標(biāo)準(zhǔn)是元評估主體進(jìn)行評估活動的根本依據(jù)，決定著評估的實(shí)際效果。美國教育評估標(biāo)準(zhǔn)聯(lián)合委員會（Joint Committeeon Standards for Educational Evaluation，簡稱JCSEE）從1974年便開始研究元評估標(biāo)準(zhǔn)和量表，經(jīng)過不斷完善和修正，形成了四個基礎(chǔ)性標(biāo)準(zhǔn)分別是實(shí)用性、可行性、合理性和準(zhǔn)確性[13]。以兩級指標(biāo)體系為例，設(shè)計(jì)量表如表1所示。

表1 元評估量表設(shè)計(jì)

2 應(yīng)用

2.1 設(shè)置初始指標(biāo)體系

本文從完善裝備體系建設(shè)和提升作戰(zhàn)輸出效果兩個視角出發(fā)，分別構(gòu)建了體系結(jié)構(gòu)貢獻(xiàn)率和體系作戰(zhàn)貢獻(xiàn)率，嘗試綜合描述體系貢獻(xiàn)率評估的各項(xiàng)指標(biāo)。共擬定了2項(xiàng)一級指標(biāo)、9項(xiàng)二級指標(biāo)和28項(xiàng)三級指標(biāo)，如圖2所示。并采用層次分析法結(jié)合專家打分法，根據(jù)專家經(jīng)驗(yàn)確定一級、二級、三級指標(biāo)的權(quán)重系數(shù)分別為：W1=[0.31 0.69]T，W2=[0.062 0.069]T，W3=[0.0372 0.0138]T。以上述指標(biāo)體系作為初始指標(biāo)體系，嘗試對其進(jìn)行評估優(yōu)化。

圖2 武器裝備體系貢獻(xiàn)率評估指標(biāo)體系

2.2 設(shè)計(jì)量表實(shí)施評估

共邀請本領(lǐng)域5位專家作為元評估專家實(shí)施評估，在對評估指標(biāo)打分時采用十分制。將評價分為極差、很差、差、不滿意、最低標(biāo)準(zhǔn)線、基本合格、良好、好、很好、非常好十個等級，并依次對應(yīng)1-10分。專家對各層級評估指標(biāo)設(shè)置情況的評分結(jié)果如表2所示。

表2 領(lǐng)域?qū)＜覍υu估指標(biāo)的評分結(jié)果

2.3 處理分析評估數(shù)據(jù)

2.3.1 認(rèn)識一致性元評估

由于體系貢獻(xiàn)率的概念及其內(nèi)涵尚無統(tǒng)一明晰的定義，且專家自身知識結(jié)構(gòu)不同，導(dǎo)致元評估主體存在較大認(rèn)知差異。為避免個人認(rèn)知偏差和思維定勢在元評估中出現(xiàn)過強(qiáng)的主觀傾向。首先應(yīng)對評估主體進(jìn)行認(rèn)識一致性評估。這里采用肯德爾和諧系數(shù)法。以一級指標(biāo)“體系結(jié)構(gòu)貢獻(xiàn)率”為例，將專家對實(shí)用性、可行性、合理性、準(zhǔn)確性的評分結(jié)果進(jìn)行排序（最高分計(jì)為1，第二高分計(jì)為2……），因可能存在多個相同等級分?jǐn)?shù)，需用校正公式計(jì)算肯德爾和諧系數(shù)：

式中W為肯德爾和諧系數(shù)，K為評估者數(shù)量，N為評估對象數(shù)量，Rj為第j個對象獲得全部評估者評估等級數(shù)之和，t為相同等級分?jǐn)?shù)的個數(shù)。上述評估屬于小樣本（K≤20且N≤7），對照“肯德爾和諧系數(shù)臨界值表”，若計(jì)算值大于等于臨界值時，認(rèn)為意見一致，否則認(rèn)為意見不一致[14]。由此得到專家對于“體系結(jié)構(gòu)貢獻(xiàn)率”這一指標(biāo)評價結(jié)果的一致性情況。為檢驗(yàn)整個評估指標(biāo)體系的認(rèn)識一致性，需對全部39項(xiàng)指標(biāo)進(jìn)行驗(yàn)證計(jì)算，如果出現(xiàn)不一致，可進(jìn)一步探究專家意見分歧的原因，專家分歧較大的評估指標(biāo)往往存在含義不清、描述不準(zhǔn)確等問題，應(yīng)給予充分重視。

2.3.2 指標(biāo)體系信度元評估

體系貢獻(xiàn)率評估指標(biāo)眾多且指標(biāo)體系的層次結(jié)構(gòu)和指標(biāo)間的關(guān)系較為復(fù)雜，在元評估過程中，應(yīng)特別關(guān)注指標(biāo)體系的內(nèi)部結(jié)構(gòu)情況，以構(gòu)建獨(dú)立性強(qiáng)、內(nèi)部結(jié)構(gòu)良好、指標(biāo)關(guān)系一致的高信度指標(biāo)體系為目的?？梢圆捎每死拾秃障禂?shù)法進(jìn)行評估。計(jì)算公式為：

式中a為克朗巴赫系數(shù)，K為評估指標(biāo)數(shù)量（當(dāng)評估指標(biāo)體系包含若干個子指標(biāo)層時，K為子指標(biāo)層所含的指標(biāo)總數(shù)），S2i為第i項(xiàng)指標(biāo)得分的方差，S2t為評價總得分的方差。以評估體系貢獻(xiàn)率評估指標(biāo)的實(shí)用性為例，K值為底層指標(biāo)數(shù)量28，S2t為專家對全部28個指標(biāo)實(shí)用性一項(xiàng)評分總分的方差，為專家對每單項(xiàng)指標(biāo)實(shí)用性一項(xiàng)評分的方差，計(jì)算得到a同理可計(jì)算出面向可行性、合理性、準(zhǔn)確性的a值。其值在0～1之間，越大則信度越高。一般認(rèn)為，a需達(dá)到0.8以上，評估指標(biāo)信度較好，否則指標(biāo)需要做調(diào)整；當(dāng)信度低于0.35時，必須予以拒絕。

2.3.3 指標(biāo)體系效度元評估

評估指標(biāo)效度是指評估指標(biāo)可以在多大程度上描述評估對象的特征范疇并反映評估目的[15]。對體系貢獻(xiàn)率評估指標(biāo)體系進(jìn)行效度元評估，是為檢驗(yàn)所設(shè)計(jì)的指標(biāo)體系能否全面客觀反映新研裝備對原有裝備體系的貢獻(xiàn)情況。對評估指標(biāo)效度評定常用內(nèi)容效度比（CVR）來評價，計(jì)算公式為：

式中ne為評估主體中認(rèn)為某指標(biāo)很好地表示了評估對象范疇的評估人數(shù)；N為評估主體的總?cè)藬?shù)。以三級指標(biāo)中“適應(yīng)現(xiàn)有裝備體系”的合理性指標(biāo)為例，假設(shè)認(rèn)為滿足十分制等級中“好”（7分）及以上為主體滿意標(biāo)準(zhǔn)，10為專家中打分大于7的專家人數(shù)為6人，計(jì)算得到CVR=0.2。同理可得到各項(xiàng)指標(biāo)及各層指標(biāo)權(quán)重的CVR數(shù)值。CVR值在-1～1之間，越大則效度越高。當(dāng)CVR<0時，表示認(rèn)為該項(xiàng)指標(biāo)適當(dāng)?shù)膶＜胰藬?shù)不足半數(shù)，需要修正指標(biāo)項(xiàng)。

2.4 反饋評估結(jié)果

武器裝備體系的組成要素與結(jié)構(gòu)關(guān)系本身就十分復(fù)雜，要盡可能選取完善、準(zhǔn)確的貢獻(xiàn)率評估指標(biāo)，需要借鑒元評估思路，構(gòu)建評估反饋回路。將元評估結(jié)果以報(bào)告形式反饋給評估指標(biāo)設(shè)計(jì)人員，進(jìn)行指標(biāo)修正，并投入下一輪元評估。經(jīng)過這樣多次評估，反復(fù)迭代，不斷提高評估指標(biāo)的可信性。

3 結(jié)語

在評估武器裝備體系貢獻(xiàn)率的過程中，評估指標(biāo)選取是非常關(guān)鍵的一環(huán)，決定著評估結(jié)論是否科學(xué)可用。將元評估的思想引入體系貢獻(xiàn)率指標(biāo)選取環(huán)節(jié)，可充分利用專家經(jīng)驗(yàn)，檢驗(yàn)指標(biāo)體系的實(shí)用性、可行性、合理性和準(zhǔn)確性，為指標(biāo)設(shè)計(jì)人員提供有針對性的反饋意見，以優(yōu)化完善指標(biāo)體系，同時為后續(xù)評估工作奠定良好基礎(chǔ)。