物資采購中專家評(píng)標(biāo)一致性的評(píng)價(jià)方法研究

謝先明　楊迎春

摘 要：專家評(píng)標(biāo)意見的不一致是導(dǎo)致招標(biāo)采購風(fēng)險(xiǎn)的主要因素之一。針對(duì)物資采購評(píng)標(biāo)中專家意見的不一致現(xiàn)象，文章給出了一種衡量評(píng)標(biāo)過程中專家意見一致性的評(píng)價(jià)方法。首先，分析了專家在評(píng)標(biāo)過程中給出的評(píng)價(jià)矩陣，獲得專家評(píng)價(jià)的基數(shù)打分和序數(shù)排序。然后，比較專家個(gè)體意見和群體意見得出專家意見的一致程度，并確定專家判斷的相對(duì)可信程度。接著，用方差分析法檢驗(yàn)專家意見的相對(duì)可信程度，進(jìn)一步分析某些專家出現(xiàn)異常意見的可能原因。最后，以湖北電網(wǎng)物資采購評(píng)標(biāo)為例說明了該方法的可行性和有效性。

關(guān)鍵詞：招投標(biāo)管理；評(píng)價(jià)矩陣；一致性；方差分析

中圖分類號(hào)：F253 文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： The inconsistency of experts' bid evaluations is one of the main factors leading to the risk of purchasing by invitation to bid. To avoid the inconsistency of experts' evaluations， this paper provides a method to measure the consistency of experts' evaluations. Specifically， we analyze the evaluation matrix obtained by the processing of bid evaluation， gain the score of cardinal number as well as ordinal arrangement and get the related opinions of the experts' group. Then， comparing the consistency level between the personal opinions and the group opinions. By utilizing analysis of variance to test the relative credibility degree of experts' opinions， the possible reasons caused by the abnormal experts' bid evaluation are analyzed. Finally， we take the materials purchasing bid evaluation of Hubei power grid for example to illustrate the feasibility and availability of this method.

Key words： management of bidding and tendering； evaluation matrix； consistency； analysis of variance

0 引 言

招投標(biāo)是招標(biāo)方事先提出采購需求及條件，邀請(qǐng)必要數(shù)量的投標(biāo)方和專家參加，并按照法定程序選擇交易對(duì)象的一種市場交易行為。物資采購招標(biāo)作為一種公開公正且有效的市場行為，在大中型企業(yè)中非常常見。其中，評(píng)標(biāo)是一個(gè)重要環(huán)節(jié)，是確保公正公平的關(guān)鍵。在評(píng)標(biāo)過程中，專家打分包含主觀因素和客觀因素，其中主觀因素與專家的名望、地位、所屬專業(yè)、對(duì)決策問題的熟悉程度等有關(guān)，而客觀因素則取決于候選方案本身的特點(diǎn)和性質(zhì)。由于評(píng)標(biāo)專家的知識(shí)結(jié)構(gòu)、判斷水平和個(gè)人偏好等眾多主觀因素的影響，專家打分必然有一定的主觀性，從而導(dǎo)致專家意見的不一致。

專家意見一致度評(píng)價(jià)[1]作為一種控制招投標(biāo)風(fēng)險(xiǎn)的重要工具，能夠有效地降低由于專家個(gè)體知識(shí)或經(jīng)驗(yàn)不足而引起的誤差。到目前為止，對(duì)專家意見一致度研究的文章有很多，一致度評(píng)價(jià)屬于多屬性群決策范疇。文獻(xiàn)[2]用專家權(quán)威度衡量專家在研討過程中的發(fā)言質(zhì)量以及意見的權(quán)威性，并建立了專家群體之間的交互結(jié)構(gòu)。但是文獻(xiàn)[2]的結(jié)果可能受到偶然因素的影響，具有一定的隨機(jī)性。而本文的方法直接通過分析專家的客觀打分結(jié)果，建立一致度評(píng)價(jià)模型。因?yàn)閷＜掖蚍值慕Y(jié)果比專家即時(shí)發(fā)言更穩(wěn)定，所以本文的一致度評(píng)價(jià)模型充分避免了文獻(xiàn)[2]中專家即時(shí)發(fā)言對(duì)結(jié)果造成的偶然偏差。

專家評(píng)價(jià)[3，8]模式大致可分為三種，包括0-1型（選或不選）、序數(shù)型、基數(shù)型。文獻(xiàn)[4]提出了三種可信度建模方法，給出了在專家決策[5-7]及評(píng)價(jià)活動(dòng)中可能出現(xiàn)的三種不同評(píng)價(jià)模式下可信度的定量衡量方法。由于在實(shí)際的評(píng)價(jià)活動(dòng)中某個(gè)大型項(xiàng)目的評(píng)標(biāo)可能分為幾個(gè)小的階段，每個(gè)階段模式未必相同；本文的方法整合了基數(shù)打分和序數(shù)排序，充分運(yùn)用了專家打分[9]結(jié)果，對(duì)不同的評(píng)價(jià)模式具有很好的魯棒性。

1 評(píng)標(biāo)專家一致度的計(jì)算

本文提供了基于歐式距離的專家一致度評(píng)價(jià)模型（以下簡稱一致度）。具體地，某個(gè)專家對(duì)所有投標(biāo)方的打分構(gòu)成了該專家的一個(gè)評(píng)分向量，下面從分值和排序兩個(gè)方面合成最終的一致度模型。一方面，由于評(píng)分向量的每個(gè)元素是具體的基數(shù)分值，將專家個(gè)體的評(píng)分向量按照加權(quán)平均得到專家群體的評(píng)分向量，并計(jì)算個(gè)體評(píng)分向量和群體評(píng)分向量的距離得到該專家一致度的基數(shù)部分；另一方面，各專家對(duì)投標(biāo)方的打分可以按從大到小的順序得到專家個(gè)體對(duì)投標(biāo)方的排序，利用Borda法將專家個(gè)體的排序集結(jié)成群體排序，然后將排序轉(zhuǎn)化為序號(hào)向量，并計(jì)算專家個(gè)體序號(hào)向量和群體序號(hào)向量的距離得到專家一致度的序數(shù)部分。最后，再將一致度的基數(shù)部分和序數(shù)部分按投標(biāo)方的偏好加權(quán)平均得到最終的專家一致度值。

假設(shè)某次招投標(biāo)，每個(gè)投標(biāo)方需要提供k個(gè)指標(biāo)，專家i對(duì)投標(biāo)方j(luò)的k個(gè)指標(biāo)的打分為分別為a k。而且各指標(biāo)所占權(quán)值為ω ，ω ，…，ω ，則這個(gè)專家給該投標(biāo)方總的打分p 用下式表示：endprint

假設(shè)一次評(píng)標(biāo)中有n個(gè)專家，分別用M ，M ，…，M 表示；有m個(gè)投標(biāo)方，分別用B ，B ，…，B 表示。并假設(shè)這n個(gè)專家按照相同的評(píng)標(biāo)規(guī)則，獨(dú)立地評(píng)標(biāo)，則某個(gè)專家M 對(duì)m個(gè)投標(biāo)方B ，B ，…，B 的評(píng)價(jià)值構(gòu)成了一個(gè)m維向量記為專家M 的評(píng)分向量p ：

那么，這n個(gè)專家的評(píng)價(jià)構(gòu)成如下的n×m維矩陣P ：

下面，計(jì)算專家一致度的序數(shù)部分。從式（3）專家評(píng)價(jià)矩陣中，顯然能得出各個(gè)專家對(duì)各個(gè)投標(biāo)方的優(yōu)劣排序。就序數(shù)成分而言，專家個(gè)體與專家群體的評(píng)標(biāo)意見均構(gòu)成各投標(biāo)方的多屬性綜合排序。

將專家M 對(duì)各個(gè)投標(biāo)方的打分值p ～p 按從大到小排序，得到各個(gè)投標(biāo)方的序號(hào)值，并用B ～B 表示投標(biāo)方B ～B 的序號(hào)值，例如對(duì)于任意給定的投標(biāo)方j(luò)的分值是p ，則其在評(píng)分向量中對(duì)應(yīng)的序號(hào)為B ，其中B ∈1，2，…，m。

則原專家評(píng)分向量由p 按上述方式映射為序號(hào)向量 ：

由于個(gè)體評(píng)價(jià)結(jié)果與群體評(píng)價(jià)結(jié)果一致度高的專家，其評(píng)價(jià)水平顯然要高于一致度低的專家，對(duì)于排序也是一樣，若某專家排序結(jié)果跟專家群體排序結(jié)果非常接近，就可以認(rèn)定該專家的評(píng)價(jià)結(jié)果一致性非常強(qiáng)。而專家群體的排序結(jié)果可以按border法集結(jié)。得到專家群體的序號(hào)向量 ：

為了反映排序的差別，賦予群體排序的各個(gè)序位不同的順序權(quán)重，例如：在群體排序中，令排到第h位的權(quán)值為w （滿足 w =1）。一般情況下，專家群體對(duì)某個(gè)投標(biāo)方的排序越靠前，其順序權(quán)重越大，即：

比如下文算例中按等差數(shù)列給出4個(gè)投標(biāo)方群體評(píng)價(jià)的序位權(quán)值，則權(quán)值ω ～ω 按順序由大到小依次分配為0.4，0.3，0.2，0.1。

其中，x 表示專家M 的排序結(jié)果與專家群體的排序結(jié)果的偏離程度，這個(gè)偏離程度在一定程度上能夠客觀地反應(yīng)出專家評(píng)價(jià)能力。但通常情況下，個(gè)體專家的評(píng)價(jià)意見會(huì)對(duì)群體評(píng)價(jià)意見的形成發(fā)揮一定作用。若某專家對(duì)投標(biāo)方的排序結(jié)果與專家群體排序結(jié)果相似性大，則該專家一致度高，同時(shí)說明該專家是有一定權(quán)威性的。

下面，計(jì)算專家一致度的基數(shù)部分。分析方法跟計(jì)算一致度的序數(shù)部分類似，由上文已知專家M 對(duì)投標(biāo)方B 的打分是p ，而專家群體對(duì)投標(biāo)方B 的打分利用加權(quán)法得到：

其中， 是專家群體對(duì)投標(biāo)方B 的打分，則專家M 與專家群體評(píng)價(jià)意見之間的評(píng)價(jià)一致度的基數(shù)部分βy 用下式表示：

其中，y 表示專家M 一致度的基數(shù)部分偏離程度，由上式可以看出當(dāng)某專家對(duì)每個(gè)投標(biāo)方的打分值都接近于專家群體的打分值時(shí)，評(píng)價(jià)的偏離程度越小，也說明專家評(píng)價(jià)一致度的基數(shù)部分越大。

最后，引入招標(biāo)方的偏好因子λ來衡量其對(duì)基數(shù)打分和序數(shù)排序的偏好，根據(jù)該偏好綜合專家打分的基數(shù)部分和序數(shù)部分，得到專家一致度的定義。令C 表示專家M 在本次評(píng)價(jià)中的一致度，則：

其中，αx 表示一致度的基數(shù)部分，βy 表示一致度的序數(shù)部分，λ為偏好因子。通常情況下，我們認(rèn)為專家評(píng)價(jià)意見中的基數(shù)打分和排序是同等重要的，例如下文算例中，λ取值為0.5。

2 基于方差分析法的一致度檢驗(yàn)

方差分析（ANOVA）又稱“F檢驗(yàn)”，用于兩個(gè)及兩個(gè)以上樣本的均數(shù)差別的顯著性檢驗(yàn)。方差分析的原理是認(rèn)為不同處理組的均數(shù)間的差別主要來源于隨機(jī)誤差和實(shí)驗(yàn)條件兩個(gè)方面，隨機(jī)誤差又稱為組內(nèi)差異，記為實(shí)驗(yàn)條件引發(fā)的差異為組間差異。本文對(duì)專家評(píng)價(jià)矩陣按專家來分組，即將每個(gè)專家對(duì)各投標(biāo)方的打分看作一個(gè)組。

利用方差分析的思想，分別計(jì)算排除每一個(gè)專家后其余專家的p-value值，并將p-value值變化最大時(shí)所排除的專家，與上文計(jì)算的一致度最小的專家比較，看是不是同一個(gè)人。如果是，則說明上述一致度計(jì)算方法是有效的，并且一致度最小的專家是異常專家。

具體地，將專家的評(píng)分矩陣P 看作是樣本空間，按專家將評(píng)價(jià)矩陣的分值分組。則樣本空間的組間離差平方和S 與組內(nèi)離差平方和S ，計(jì)算如下：

其中， 表示專家M 對(duì)所有投標(biāo)方打分的均值， 表示所有專家對(duì)所有投標(biāo)方打分的均值。則方差分析的統(tǒng)計(jì)量F的可以由下式得出 其中，n表示專家個(gè)數(shù)，m表示投標(biāo)方個(gè)數(shù)。

由于本文采用的方差分析的顯著性水平選擇α=0.05，所以可以將統(tǒng)計(jì)量F在顯著性水平為0.05的情況下轉(zhuǎn)化為

p-value值。p-value值能反映各組樣本之間的顯著性差異，我們通過比較去掉某個(gè)專家之后p-value值的變化大小來分析異常專家。

接下來，對(duì)于評(píng)價(jià)異常的專家要分析出評(píng)價(jià)異常的原因，比較該專家對(duì)各投標(biāo)方的打分和專家群體的打分就可以分析出：該異常專家對(duì)某個(gè)投標(biāo)方打分可能偏高或偏低。

3 算例分析

基于上述模型給出評(píng)審專家的一致度評(píng)價(jià)值，并且通過專家排除法對(duì)專家評(píng)分一致度檢驗(yàn)，對(duì)于一致度高的專家，如果將該專家去掉，最終的得分結(jié)果將不會(huì)有大的變化。假定某次評(píng)標(biāo)活動(dòng)有5位評(píng)標(biāo)專家M ～M ，4個(gè)投標(biāo)方分別為B ～B ，即n=5， m=4，4個(gè)評(píng)價(jià)指標(biāo)k ～k ，要求按照給定的評(píng)標(biāo)指標(biāo)對(duì)各投標(biāo)方打分或排序。

評(píng)價(jià)指標(biāo)分為商務(wù)指標(biāo)和技術(shù)指標(biāo)：某次評(píng)標(biāo)中，其中商務(wù)指標(biāo)包含3項(xiàng)：投標(biāo)價(jià)格、交貨期、售后服務(wù)；技術(shù)指標(biāo)包含4項(xiàng)：技術(shù)規(guī)范、可靠性、設(shè)備質(zhì)量、技術(shù)支持。以專家對(duì)投標(biāo)方B 的各項(xiàng)指標(biāo)打分為例，如表1。

。

假設(shè)群體排序的序數(shù)權(quán)重ω ～ω 分別取0.4，0.3，0.2，0.1，先通過式（7）計(jì)算專家評(píng)價(jià)的偏離度如下：x =0.4×1-1+0.3

×3-2+0.2×2-3+0.1×4-4=0.5；同理，可以得到x =1.3，x =1.1，x =0，x =0。

然后利用式（8）計(jì)算得到專家一致度的序數(shù)部分：

同理，可得αx =0.552，αx =0.621，αx =1.000，αx =1.000。endprint

綜合上述一致度的基數(shù)部分和序數(shù)部分，利用式（12）計(jì)算總的專家一致度。這里同等看待專家評(píng)價(jià)的基數(shù)打分和序數(shù)排序，則取λ=0.5。則專家M 的一致度：

同理，可得C =0.686，C =0.753，C =0.926，C =0.822

比較各個(gè)專家的一致度值C ～C ，可以得出專家個(gè)體評(píng)價(jià)的一致度差異；很顯然，專家M 的一致度最小。下面用方差分析法檢驗(yàn)上述一致度的有效性，并確定異常專家。

具體地，根據(jù)式（14），計(jì)算結(jié)果如表3、表4：

由表3、表4可以看出，去掉專家M 后p-value值變化最大，所以可以確定專家M 為異常專家。為了探討專家M 的評(píng)價(jià)意見出現(xiàn)偏差的原因，下面將對(duì)比分析專家M 和排除專家M 后其余專家群體 的打分，如表5。

由表5可以分析出，專家M 對(duì)于各投標(biāo)方的打分明顯偏低，從而導(dǎo)致專家M 的一致度偏離群體評(píng)價(jià)結(jié)果很遠(yuǎn)。通過以上分析驗(yàn)證，本文提供的方法能有效地分析出評(píng)價(jià)異常的專家，并說明了異?？赡艹霈F(xiàn)的原因。

4 結(jié) 論

本文提出了一種衡量評(píng)標(biāo)過程中專家意見一致度方法，通過計(jì)算評(píng)標(biāo)中各專家意見的一致度，得出了評(píng)分異常的專家，然后，利用專家排除法檢驗(yàn)異常專家是否真的異常。接著，針對(duì)異常專家，分析出了異常專家出現(xiàn)異常的可能原因。最后通過一個(gè)簡單的算例，分別計(jì)算了各個(gè)專家的一致度，并通過方差分析法詳細(xì)地說明了該方法的可行性、有效性和實(shí)用性。其中，基于專家排除模式的方差分析，思想比較新穎、獨(dú)特，一方面驗(yàn)證了本文提出的一致度，另一方面指出了異常專家出現(xiàn)異常的原因。但是，針對(duì)異常專家每次可能不是一個(gè)的情況，還可以做進(jìn)一步的優(yōu)化改進(jìn)。

參考文獻(xiàn)：

[1] 梁樑，熊立，王國華. 一種群決策中確定專家判斷一致度的改進(jìn)方法[J]. 系統(tǒng)工程，2004（6）：91-94.

[2] 李敏花，戴汝為，李耀東. 一種基于即時(shí)發(fā)言評(píng)價(jià)的專家權(quán)威度計(jì)算方法[J]. 模式識(shí)別與人工智能，2008（4）：469-475.

[3] 吳敬業(yè)，湯理. 評(píng)價(jià)專家的可靠性預(yù)分析[J]. 系統(tǒng)工程，1992（5）：52-59.

[4] 徐林生，王執(zhí)銓，戴躍偉. 評(píng)審專家可信度評(píng)價(jià)模型及應(yīng)用[J]. 南京理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2010（1）：30-34.

[5] 宋光興，鄒平. 多屬性群決策中決策者權(quán)重的確定方法[J]. 系統(tǒng)工程，2001（4）：84-89.

[6] 王學(xué)軍. 群體決策中若干問題的理論與方法研究[D]. 沈陽：東北大學(xué)（博士學(xué)位論文），2005.

[7] 楊雷，席酉民. 群體決策的權(quán)力與權(quán)力指數(shù)[J]. 系統(tǒng)工程，1996（2）：10-14.

[8] 梁晶. 加強(qiáng)對(duì)評(píng)標(biāo)專家異常性評(píng)分的判定與監(jiān)管[J]. 建筑經(jīng)濟(jì)，2013（2）：97-99.

[9] 岳超源. 決策理論與方法[M]. 北京：科學(xué)出版社，2003.endprint