信用評級模型的驗證方法探討

摘要：完整的信用風險管理體系不僅包含科學(xué)的違約概率預(yù)測

方法，可靠的驗證程序也是風險管理工作的重要保證。傳統(tǒng)的檢驗方法建立在“50%”臨界點的基礎(chǔ)上，但這并不是一個可靠的選擇。ROC動態(tài)檢驗方法中判斷標準被設(shè)定為動態(tài)變化的，ROC曲線刻畫的是在連續(xù)臨界點取值下，命中率和錯報率的組合情況，呈現(xiàn)的檢驗結(jié)果客觀直接，且不產(chǎn)生指標間的相互矛盾。通過基于真實數(shù)據(jù)的實證分析，ROC動態(tài)檢驗被認為是一個更科學(xué)的檢驗方法。

關(guān)鍵詞：ROC 內(nèi)部評級 違約概率 模型檢驗

1 概述

在巴塞爾委員會2004年6月正式發(fā)布《統(tǒng)一資本計量和資本標準的國際協(xié)議：修訂框架》以來，建立符合自身利益和監(jiān)管要求的信用管理系統(tǒng)已經(jīng)成為各家銀行的共識。然而完整的信用風險管理體系不僅包含科學(xué)的違約概率預(yù)測方法，嚴謹?shù)尿炞C過程也是風險管理工作的保證。巴塞爾委員會要求“銀行必須建立一個健全的體系，驗證評級系統(tǒng)所有風險要素的準確性和一致性”[1]。因此，一個合理的違約預(yù)測結(jié)果檢驗方法和違約預(yù)測方法本身一樣重要。

然而現(xiàn)有的研究工作依然大量地集中在預(yù)測模型本身，對檢驗方法的研究還相對薄弱，目前相關(guān)文獻中采用的預(yù)測模型檢驗方法大多為傳統(tǒng)的“50%”臨界點檢驗

方法①，比如鄒亞寶和梁紅漫（2013）[2]、藍潤榮和程?？。?013）[3]、楊蓬勃等（2009）[4]。但是，正如石曉軍等人指出的（2007）[5]，“這個選擇并沒有堅實的理論依據(jù)”。事實上，50%并不是一個可以被普遍接受的違約概率。在很多情況下，違約概率即便為20%，也被視為是一個不能接受的貸款申請。因此，這一傳統(tǒng)的方法并不十分合理。

由于傳統(tǒng)檢驗方法的局限性，學(xué)者進行了檢驗方法的相關(guān)研究。目前得到業(yè)界和學(xué)術(shù)界較多關(guān)注的方法有KS指標法、CAP曲線法、對數(shù)似然率方法以及ROC曲線法。其中，得到最多關(guān)注和認可的當屬ROC曲線法。然而從可以獲得的研究成果來看，相關(guān)的研究工作均是在進行信用風險預(yù)測模型研究時為了驗證模型的預(yù)測準確性而涉及該方法[6]。這些研究并未對其進行詳盡的理解和介紹，對其檢驗結(jié)果的分析也僅限于ROC面積這一指標，存在極大的片面性。

本文以真實數(shù)據(jù)為基礎(chǔ)，采用ROC動態(tài)檢驗方法，分別對兩種違約預(yù)測模型的預(yù)測能力進行檢驗。研究工作對檢驗結(jié)果進行比較，證明了ROC動態(tài)檢驗方法在模型預(yù)測檢驗上更加全面，在模型選擇上具有更好的識別能力。同時，ROC檢驗方法使得決策者能夠根據(jù)自身對Ⅰ類錯誤率和Ⅱ類錯誤率的偏好傾向而更加靈活地選擇是否違約的判斷標準。這說明ROC動態(tài)檢驗方法在理論上和實踐中都具有更大的優(yōu)勢。

2 ROC動態(tài)檢驗方法簡介

ROC動態(tài)檢驗最先出現(xiàn)在信號探測理論中，是一種科學(xué)的量化檢驗方法，能有效克服傳統(tǒng)檢驗方法在臨界點選擇上的片面性。Sobehart和Keenan第一次將這一方法運用在信用評級模型預(yù)測能力的檢驗研究工作中（2001）[7]。他們對ROC方法進行了介紹，同時對ROC檢驗方法的結(jié)果做了解釋。他們最主要的結(jié)論是：ROC曲線下的面積大小，是對信用評級模型進行評判的重要指標。但是ROC曲線的意義遠不止于此。

■

圖1 違約客戶和履約客戶分布圖

圖1是違約客戶和履約客戶的分布圖，其中兩個半圓分別代表了違約客戶集合和履約客戶集合。對于違約概率預(yù)測模型來說，風險評估人員需要事先設(shè)定一個概率值作為判斷標準，依此對企業(yè)在未來是否違約做出判斷?！癈”即代表了對是否違約的判斷標準：如果模型預(yù)測客戶違約概率大于C標準，我們認為該貸款客戶將會出現(xiàn)違約；反之，則判斷其可能履約。如果“C”能將兩個客戶群體完全區(qū)別開，則是一個完美的模型預(yù)測結(jié)果。但是，實際模型得到的違約群體和履約群體兩個分布一定有重疊部分，這是評判模型的精確程度的重要依據(jù)。重疊部分越大，評判模型對客戶分布的區(qū)分能力越差，模型預(yù)測的精度也就越差。

表1是模型預(yù)測可能得到的四種結(jié)果：

表1 模型預(yù)測四種結(jié)果②

■

hit（C）表示以“C”為判定標準時，“hit”所代表的客戶數(shù)目，即被正確判定為違約的實際違約貸款客戶數(shù)目。ND是實際違約客戶數(shù)目。命中率HR（C）=■表示在判定標準為“C”的時候，被正確判斷為違約的實際違約客戶占全部違約客戶的比例。這一指標是對模型正確判斷違約客戶能力的衡量。

false（C）表示以“C”作為判定標準時，被錯誤判斷為違約的實際履約客戶數(shù)目；NND表示樣本中實際履約客戶的全體數(shù)目。錯報率FAR（C）=■，表示當判定標準為“C”的時候，被錯誤判斷為違約的實際履約樣本數(shù)目占實際履約客戶的比重。這一指標是對模型錯誤預(yù)報違約的程度的描述。

在傳統(tǒng)的檢驗方法中，“C”通常被設(shè)定為“50%”。而ROC動態(tài)檢驗并不拘泥于特定的臨界點標準。在ROC 檢驗中，“C”被設(shè)定為動態(tài)變化的，能夠取從“0%”到“100%”間的任意一個概率值。因此，ROC檢驗方法對違約的判斷結(jié)果是隨著“C”的取值變化而改變的。

在一個坐標系中，以命中率HR（C）作為坐標系的縱坐標變量，錯報率FAR（C）表示坐標系的橫坐標變量。對每個觀測樣本，模型都預(yù)測出對應(yīng)的違約概率。依次將這些概率值作為判定標準“C”，我們能夠計算出每個“C”對應(yīng)的命中率HR（C）和錯報率FAR（C）。在坐標軸上對每一對HR（C）和FAR（C）描點，并將各個點用折線聯(lián)接，因此我們得到的ROC曲線是一條由各個概率值為節(jié)點連接

成的折線。其特別之處在于，ROC曲線并不表示HR（C）隨FAR（C）變化而變化的軌跡。事實上，ROC曲線反映了在不同的判定標準“C”取值下命中率HR（C）和錯報率FAR（C）的配對情況。

ROC曲線必定經(jīng)過點（0，0）和點（1，1）。這是因為當“C”取值最小違約概率值時，我們得到hit（C）=false（C）=0，此時HR（C）=FAR（C）=0；當C取值最大違約概率值時，則有hit（C）=ND，false（C）=NND，HR（C）=FAR（C）=1。

ROC曲線圍成的面積用A表示，即：A=■HR（FAR）d（FAR）。A大小反映了模型的預(yù)測效果。A值越大，說明ROC曲線和坐標軸圍成的面積越大，那么模型的預(yù)測能力越好。為了比較不同模型的預(yù)測效果，我們可以將A的大小轉(zhuǎn)化單一數(shù)字表示的概況統(tǒng)計量AUC。AUC是單位面積的一部分，其值介于“0”和“1”之間。當AUC=0.5時，ROC曲線為一條斜向右上方的直線，這表示模型沒有任何判定預(yù)測能力。如果模型達到最佳預(yù)測效果，ROC曲線和坐標系縱軸及HR（C）=1的橫線相重合。其時，AUC=1。當我們需要對不同模型的預(yù)測能力進行比較時，方便的方法就是比較各個模型對應(yīng)的AUC值。

3 基于二值響應(yīng)面板數(shù)據(jù)模型的實證研究

為了進一步說明新方法的檢驗?zāi)芰Γ覀円哉鎸崝?shù)據(jù)為基礎(chǔ)，建立兩個不同的二值響應(yīng)面板數(shù)據(jù)模型進行模擬估計。為了對模型的預(yù)測能力進行檢驗，我們分別采用傳統(tǒng)“50%”臨界點方法和ROC動態(tài)檢驗方法。比較不同的檢驗結(jié)果，我們就能夠發(fā)現(xiàn)兩者在分析預(yù)測準確程度方面的不同表現(xiàn)，由此導(dǎo)致的在模型選擇上的表現(xiàn)也有所差別。

3.1 樣本選取

本文進行實證分析的數(shù)據(jù)來源是福建省2007年到2011年五年間78家連續(xù)在中國工商銀行獲得貸款的中等規(guī)模企業(yè)③相關(guān)財務(wù)信息和違約情況。由于該銀行規(guī)定客戶進行貸款申請時必須提供近三年的財務(wù)報告，同時銀行也會根據(jù)歷史數(shù)據(jù)對申請貸款的客戶進行過往三年的信用等級評估。為了增加模型估計的樣本數(shù)，我們將過

往信用評級（2005年至2006年）高于BBB級以上（含

BBB）的企業(yè)也視為違約企業(yè)，因此我們實際獲得的數(shù)據(jù)包含了2005年到2011年間相關(guān)信息。在剔除含有異常值和缺失值的觀測對象后，我們實際獲得525個樣本對象，其中，符合本文定義的“違約”含義的個體為43個。我們將全部樣本數(shù)據(jù)分為兩部分，一部分涵蓋了2005年到2009年的時間范圍，作為樣本內(nèi)數(shù)據(jù)，用來實現(xiàn)模型的分析；另一部分取2010年到2011年的樣本信息，視為樣本外數(shù)據(jù)，用來檢驗?zāi)Ｐ偷臉颖就忸A(yù)測能力。

3.2 信用評級模型構(gòu)建

根據(jù)該銀行進行內(nèi)部信用評級所選用的財務(wù)比率的特點，全部財務(wù)指標可以分為四大類（表2）：償債能力狀況比率，財務(wù)效益比率，資產(chǎn)營運狀況比率和發(fā)展能力比率。

表2 模型選用財務(wù)比率

■

為了比較不同檢驗方法在模型選擇上所發(fā)揮的作用，我們借鑒鄭大川（2010）[8]的做法，分別建立含有隨機效應(yīng)和不含有隨機效應(yīng)的二值響應(yīng)面板數(shù)據(jù)模型。因變量Y取值為“0”和“1”，其中“0”表示履約企業(yè)，“1”表示違約企業(yè)。經(jīng)過GLLAMM程序?qū)颖緝?nèi)數(shù)據(jù)進行后向逐步回歸變量選擇后，最終確定模型變量為資產(chǎn)負債率，資本積累率，凈資產(chǎn)收益率，流動資產(chǎn)周轉(zhuǎn)率，主營業(yè)務(wù)現(xiàn)金比率，速動比率，流動比率。經(jīng)過參數(shù)估計，最終得到模型參數(shù)的估計結(jié)果（表3）：

表3 違約預(yù)測模型參數(shù)估計結(jié)果

■

3.3 兩種違約預(yù)測檢驗方法的結(jié)果

本文采用傳統(tǒng)的“50%”臨界點檢驗和ROC動態(tài)檢驗對兩個預(yù)測模型分別進行檢驗。通過對檢驗結(jié)果的不同表現(xiàn)進行深入分析，試圖說明新方法在模型檢驗和模型優(yōu)劣性選擇上所具有的優(yōu)勢。

我們采用傳統(tǒng)檢驗方法，得到并歸納預(yù)測結(jié)果分析如下（表4）：

Ⅰ類錯誤和Ⅱ類錯誤是衡量二值模型預(yù)測能力的兩個重要指標，在這里它們用來衡量模型預(yù)測誤差的傾向性。在違約概率預(yù)測中，Ⅰ類錯誤過大反映模型容易錯誤地將違約企業(yè)視為正常企業(yè)而進行授信工作，從而給銀行帶來更大的信用風險；Ⅱ類錯誤過大則表示銀行傾向

保守，容易將實際正常企業(yè)視為違約企業(yè)，而拒絕貸款發(fā)放，從而使得銀行利潤減少，從某種意義上來說，這也是一種風險。銀行進行貸款發(fā)放時，需要綜合考量兩類錯誤。

我們同時采用ROC動態(tài)檢驗方法對模型預(yù)測結(jié)果進行準確性檢驗。經(jīng)過計算，三條ROC曲線分別如圖2。

為了更清楚地比較不同樣本范圍下兩個模型進行ROC動態(tài)檢驗的結(jié)果，我們將ROC面積整理如下（表5）：

表5 兩個模型在不同樣本區(qū)間的AUC值

■

3.4 兩種檢驗方法結(jié)果的分析

從實證結(jié)果來看，在傳統(tǒng)的檢驗方法下，兩個模型的優(yōu)劣性在不同的指標上出現(xiàn)了相互矛盾的地方。表4顯示，在正確率和Ⅱ類錯誤指標下，含有隨機效應(yīng)的模型在各個樣本區(qū)間都優(yōu)于不含隨機效應(yīng)的模型。但是，在Ⅰ類錯誤率指標下，含有隨機效應(yīng)的模型則呈現(xiàn)了相反的結(jié)果。結(jié)果顯示，樣本內(nèi)區(qū)間上，含隨機效應(yīng)的模型Ⅰ類錯誤率是0.631，不含隨機效應(yīng)的模型則是0.737，含隨機效應(yīng)的模型要優(yōu)于不含隨機效應(yīng)的模型。然而，在樣本外區(qū)間和樣本總體區(qū)間上，我們看到含有隨機效應(yīng)的模型Ⅰ類錯誤率分別為0.875和0.704，均高于不含隨機效應(yīng)的模型。這就表明，在Ⅰ類錯誤率這個指標上含有隨機效應(yīng)的模型反而不如不含隨機效應(yīng)的模型。

我們看到，ROC動態(tài)檢驗和傳統(tǒng)“50%”臨界點檢驗方法最大區(qū)別在于其所具備的全局性。傳統(tǒng)方法以“50%”作為是否違約的判斷依據(jù)，而ROC動態(tài)檢驗則是以出現(xiàn)的每個違約概率為依據(jù)進行ROC曲線的刻畫。因此，ROC檢驗方法更能從整體上對模型的優(yōu)劣進行判斷。我們從圖2可以清楚地看到，代表含隨機效應(yīng)模型的ROC面積均大于不含隨機效應(yīng)模型的ROC面積。表5的結(jié)果也清晰地印證了同樣的結(jié)論。在三個樣本區(qū)間中，含隨機效應(yīng)模型的ROC面積分別是0.7778、0.8316、0.7946，均大于不含隨機效應(yīng)模型的ROC面積。

ROC曲線坐標軸的左側(cè)是以較低的違約概率為依據(jù)的判斷標準，右側(cè)則表示較高違約概率為依據(jù)的判斷標準。這說明曲線左側(cè)表示更寬松的判斷標準，樣本對象即使出現(xiàn)較高的違約概率，在分析中也被作為“履約”狀態(tài)。而曲線右側(cè)對應(yīng)著更嚴格的判斷標準，樣本對象即使是較低的違約概率也有可能被判定為“違約”狀態(tài)。

從定義我們可以得知，HR（C）其實是Ⅰ類錯誤率的補數(shù)，即HR（C）=1-1。FAR（C）則等同于Ⅱ類錯誤率。圖2的結(jié)果顯示，在大多數(shù)情況下，在相同的FAR（C）下，含隨機效應(yīng)模型的HR（C）都高于不含隨機效應(yīng)的模型。這就是說，大多數(shù)情況下，若Ⅱ類錯誤率相同，含隨機效應(yīng)模型的Ⅰ類錯誤率都低于不含隨機效應(yīng)的模型。然而，我們發(fā)現(xiàn)無論何種樣本區(qū)間，當曲線采取更嚴格的判斷標準的時候，同樣的Ⅱ類錯誤率下，含隨機效應(yīng)模型的Ⅰ類錯誤率將高于不含隨機效應(yīng)的模型。同時，在極端寬松的判斷標準下，也將出現(xiàn)同樣的情況。

圖2還顯示，在違約概率取值中段，取同樣的Ⅱ類錯誤率，兩種模型的差距最大；或者說在違約概率取值中段，取同樣的Ⅰ類錯誤率，兩種模型的Ⅱ類錯誤率差距最大。而越接近違約概率取值兩端，兩種模型的錯誤率差距越小。這說明在違約概率取值中段，所取的判斷標準對兩個模型的辨識能力最強。判斷標準越接近極端情況，ROC曲線對模型的辨識能力將逐漸削弱。但是需要注意的是，辨識能力最強的判斷標準顯然并不恰好是“50%”。

4 總結(jié)

傳統(tǒng)的“50%”臨界點檢驗通過計算出正確率、Ⅰ類錯誤率、Ⅱ類錯誤率三個指標來判斷出信用評級模型的預(yù)測能力。但是這一方法卻存在著不足和缺陷。“49.999%”和“50.001%”的兩個違約概率實際差別幾乎可以忽略不計，但是卻代表了“履約”和“違約”兩種截然不同的結(jié)果。在對兩個或若干個違約預(yù)測模型進行辨別選擇時，“50%”的檢驗標準往往不是最具識別能力的。這樣，傳統(tǒng)的檢驗方法在模型識別時，往往出現(xiàn)錯誤的選擇。同時，在單一的“50%”判斷標準下，正確率、Ⅰ類錯誤率、Ⅱ類錯誤率也表現(xiàn)出了片面性和機械性。而且三個指標可能出現(xiàn)相互矛盾的結(jié)果，影響我們對模型選擇做出正確的判斷。

本文討論的ROC動態(tài)檢驗方法正好克服了傳統(tǒng)方法的不足，從整體上對模型預(yù)測能力進行檢驗。ROC面積包含了所有出現(xiàn)的違約概率情況，是進行模型選擇的重要標準。這樣就避免了指標值之間相互矛盾的情況。

ROC曲線縱軸和橫軸坐標分別代表著命中率HR（C）和錯報率FAR（C）。這就意味著通過ROC曲線可以得到不同違約概率作為判斷標準時，模型所對應(yīng)的Ⅰ類錯誤率和Ⅱ類錯誤率。這樣，對Ⅰ類錯誤率和Ⅱ類錯誤率的判斷再也不是機械不變的。同時，決策人能夠根據(jù)自己對Ⅰ類錯誤率和Ⅱ類錯誤率的偏好，選擇或?qū)捤?、或嚴格的判斷標準。同時，從動態(tài)上對這兩個指標進行考量，使得模型的檢驗選擇工作更加全面合理。

ROC動態(tài)檢驗方法還有一個重要的好處。在同一坐標系上出現(xiàn)的不同模型的ROC曲線，其曲線間的間距實際上代表著不同模型的對“違約”和“履約”的識別能力的差別。通過觀察ROC曲線圖，我們就能快速準確地判斷出更具識別能力的違約預(yù)測模型。同時，我們也能更便捷地選擇更能夠?qū)δＰ瓦M行識別的判斷標準。

注釋：

①在國內(nèi)外大多數(shù)文獻中，學(xué)者們以概率值50%作為判斷是否違約的標準。當違約概率大于0.5的時候，通常判斷為貸款客戶有潛在違約可能性；當違約概率小于0.5時，一般判斷為貸款客戶不存在違約可能性。

②這里我們對Sobehart和Keenan（2001）的表示方法略做修改，用hit、miss、false、correct分別代表實際違約而判定違約，實際違約而判定履約，實際履約而判定違約，實際履約而判定履約四種情況。

③該銀行對貸款客戶企業(yè)規(guī)模大小和行業(yè)分類的劃分標準是在國家2003年頒布的《國家經(jīng)濟貿(mào)易委員會、國家發(fā)展計劃委員

會、財政部、國家統(tǒng)計局關(guān)于印發(fā)中企業(yè)標準暫行規(guī)定的通知》和

1988年頒布的《大中小型工業(yè)企業(yè)劃分標準》的基礎(chǔ)上進行調(diào)整后制定的。

參考文獻：

[1]International Convergence of Capital Measurement and Capital Standards-A Revised Framework （comprehensive version -June 2006）[R]，P109.

[2]鄒亞寶，梁紅漫.基于logistic回歸的我國上市公司信用評級模型研究[J].西南金融，2013（3）.

[3]藍潤榮，程希俊.基于改進RBF神經(jīng)網(wǎng)絡(luò)的銀行個人信用評級[J].中國科學(xué)院研究生院學(xué)報，2013（3）.

[4]楊蓬勃，張成虎，張湘.基于Logistic回歸分析的上市公司信貸違約概率預(yù)測模型研[J].經(jīng)濟經(jīng)緯，2009（2）.

[5]石曉軍，張長彬，程鋮.Logistic違約模型最佳分界點的確定方法與實證[J].金融監(jiān)管研究，2012（2）.

[6]程建，連玉君.信用評分系統(tǒng)的建模及其驗證研究[J].國際金融研究，2007（6）.

[7]Sobehart，Jorge R.and Sean C.Keenan：Measuring default accurately，Risk Magazine，2001（March）：31-33.

[8]鄭大川.商業(yè)銀行內(nèi)部評級法的違約概率預(yù)測新方法——含隨機效應(yīng)的二值響應(yīng)面板數(shù)據(jù)模型[J].金融論壇，2010（9）.

基金項目：

福建省自然科學(xué)基金項目（2012J05131）。

福建省社科基金一般項目編號（2012B022）。

作者簡介：

鄭大川（1977-），男，福建莆田人，講師，數(shù)量經(jīng)濟學(xué)博士，閩江學(xué)院海峽學(xué)院，研究方向：應(yīng)用數(shù)量經(jīng)濟學(xué)。