模糊指數熵組合方法的信息系統(tǒng)不確定性度量

(廣東技術師范大學天河學院 計算機科學與工程學院，廣東 廣州 510540)

粗糙集理論是學者Pawlak[1]提出的一種有效處理不確定性數據的數學工具，它通過不可區(qū)分關系來對數據對象進行分類，并引入上近似和下近似來刻畫數據的不確定性程度，由于該理論不需要數據集之外的任何先驗信息，目前已廣泛運用于機器學習[2]、決策分析[3]和數據挖掘[4]等領域。

粗糙集理論是度量信息系統(tǒng)不確定性程度的一個有力工具，而不確定性程度是信息系統(tǒng)分類能力的一個重要體現(xiàn)。Pawlak[1]采用近似精度和粗糙度來作為信息系統(tǒng)的不確性度量，Liang等人通過信息熵[5]和近似質量[6]來度量不確定性度，此外，還有其他很多的度量方法被提出[7-8]。

然而在目前的信息系統(tǒng)不確定性度量中，大多數度量方法都是比較單一的，不同的度量方法都有著一定程度的缺陷，而將多種度量方法進行各取所長地融合，將會得到更好的度量效果，Chen[9]等人通過將粗糙度與鄰域熵結合提出鄰域信息系統(tǒng)的不確性度量方式，Jiang[10]等人提出一種相對決策熵的度量方法，何松華[11]等人通過鄰域近似精度和鄰域粒度結合提出一種新的度量方法，并用于屬性約簡中。

本文在此基礎上，針對各種不確定性度量的優(yōu)劣，將代數角度的粗糙度度量[1]和信息論角度的模糊指數熵[12-13]結合起來，并加入依賴度[1]，提出一種新的信息系統(tǒng)不確性度量方法——模糊指數熵組合度量，并分析了相關的性質。實驗結果表明，所提出的模糊指數熵組合度量方法在各個UCI數據集上均表現(xiàn)出了更好的不確定性度量效果。因此所提出的度量方法更具優(yōu)越性。

1 基本理論

1.1 粗糙集

定義1[1]在智能信息處理領域中，信息系統(tǒng)被描述成一個四元組的形式，即IS=(U,A,V),其中的U是一個非空的有限集合{x1,x2,…,xn}，被稱為論域，A稱為全體屬性集{a1,a2,…,an}，V為全體屬性集的值域,滿足V=∪Va,其中Va為屬性a∈A的值域，對象x∈U在屬性a下的取值可表示為a(x)。此外，當屬性集A滿足A=C∪D，其中C、D分別被稱為信息系統(tǒng)的條件屬性和決策屬性，此信息系統(tǒng)又被稱為決策信息系統(tǒng)(DIS)。

定義3[9]對于信息系統(tǒng)IS=(U,A,V)，?B?A，則X?U基于B的粗糙度ρB(X)定義為

根據定義3顯然有0≤ρB(X)≤1，粗糙度ρB(X)反映了近似對象集X在B下的粗糙程度。

定義4[9]設決策信息系統(tǒng)DIS=(U,C∪D,V,f)，對于?B?C，則決策屬性集D基于B的依賴度γB(D)定義為

1.2 模糊集

在文獻[14]中，Zadeh提出模糊集的概念，把考察的對象x及反映它的模糊概念X作為一定的模糊集合，建立隸屬函數μX(x)，這樣更加適合反映事物之間的模糊關系。模糊集X表示為

式中，μX(x)稱為X的隸屬度函數。

另外，為確保調查研究的真實、有效、客觀、全面，本課題組成員奔赴體校，并對部分運動員、教育管理人員等就文化教育的現(xiàn)狀、管理等問題進行了實地調研和訪談。

Pal[12]在傳統(tǒng)信息熵的基礎上提出指數熵，并將指數熵引入模糊集中，其定義如下所述。

定義5[12]設模糊集X，x關于X的隸屬度函數為μX(x)，那么基于X的模糊指數熵定義為

(1-μX(xi))·exp(μX(xi))-1]

在文獻[13]中，Wei指出運用模糊指數熵可以作為信息系統(tǒng)的不確定性度量。

2 基于信息系統(tǒng)的模糊指數熵組合度量方法

在粗糙集理論中，粗糙度通過邊界域的大小展示了近似對象在信息系統(tǒng)中的不確定性度[1,7-10]，因此，一直被廣泛運用于信息系統(tǒng)的不確定性度量。但是粗糙度只是通過邊界域的視角來分析問題，然而在粗糙集理論中，正區(qū)域包含著許多重要的信息，也間接體現(xiàn)了信息系統(tǒng)的不確定性[8,10]，因此通過粗糙度結合依賴度來作為信息系統(tǒng)的不確定度量是很有必要的。

文獻[13]指出，模糊指數熵作為信息熵的一種推廣，在信息系統(tǒng)的不確定性度量中具有很好的效果，因此本文通過將模糊指數熵與粗糙度和依賴度結合，提出一種新的度量方法——組合模糊指數熵，通過這種新的方法來作為信息系統(tǒng)的不確定性度量。

ComFEP(D)=ComFEQ(D)

證明：由性質3可以直接得到。

3 實驗分析

為了驗證所提出的信息系統(tǒng)不確定度量方法更具優(yōu)越性，本實驗從UCI機器學習數據庫中獲取了5個數據集進行實驗分析，數據集的詳細信息如表1所示。其中數據集1～數據集4均為符號型屬性，數據集5為數值型屬性。由于所提出的組合模糊指數熵的度量方法只適用于符號型屬性，這里將數據集5中的數據通過等距離散化方法進行離散化。

表1 UCI數據集

為了做對比，又分別使用了目前已有的兩種度量方法進行實驗，分別是粗糙度度量[1]和模糊指數熵度量[13],3種不確定性度量方法在5個數據集上的實驗結果如圖1～圖5所示。

通過圖1～圖5可以看出，隨著選擇的屬性增多，3種度量方法對于數據集的不確定性度量值均逐漸減小，這意味著隨著屬性的增加，信息系統(tǒng)的不確定性度在減小，因此這3種方法對于信息系統(tǒng)的不確定性度量都是有效的。但是仔細觀察可以發(fā)現(xiàn)，在圖1中，數據集balance的屬性從1增加到2的時候，其粗糙度度量值保持不變，這種情形體現(xiàn)了粗糙度度量未能有效區(qū)分系統(tǒng)在屬性數目不同時系統(tǒng)分類能力的不同，類似地，其他數據集也出現(xiàn)相同情形。同時對于指數熵度量，在各個數據集中也出現(xiàn)了類似的問題。而在組合模糊指數熵度量方法中，則較少出現(xiàn)這樣的情形，因而組合模糊指數熵能更精準地評估不確定性，從而更精確地刻畫系統(tǒng)屬性數目不同時系統(tǒng)分類能力的不同。因此實驗結果表明，組合模糊指數熵對于信息系統(tǒng)的不確定性度量具有更好的評估效果，相比于其他方法更具優(yōu)越性。

圖1 3種方法在數據集balance實驗結果

圖2 3種方法在數據集car實驗結果

圖4 3種方法在數據集tic實驗結果

圖5 3種方法在數據集wine實驗結果

4 結束語

為了展現(xiàn)多種不確定性度量方法的優(yōu)越性，通過融合粗糙度和模糊指數熵這兩種方法，并加入依賴度提出了一種新的信息系統(tǒng)不確性度量方法，這種方法通過多個視角對信息系統(tǒng)的不確定性進行評估，發(fā)揮了各自在度量方面的優(yōu)點，因而具有更好的評估效果。另外，所提出的不確性度量方法可以作為信息系統(tǒng)屬性重要度的評估方式，因此接下來可以構建相應的特征選擇方法。