知識(shí)庫(kù)中的信息測(cè)度

黃衛(wèi)華

（文山學(xué)院 數(shù)學(xué)學(xué)院，云南 文山 663099）

知識(shí)庫(kù)中的信息測(cè)度

黃衛(wèi)華

（文山學(xué)院 數(shù)學(xué)學(xué)院，云南 文山 663099）

在粗糙集理論中，基于度量決策表中屬性重要性大小的需要，有學(xué)者提出了互補(bǔ)信息熵的概念。在此基礎(chǔ)上，定義了條件熵和互信息等概念，并驗(yàn)證了三者之間的關(guān)系，即互補(bǔ)信息熵是條件熵與互信息的和；類似于互補(bǔ)信息熵，互信息同樣具有單調(diào)性。

信息測(cè)度；互補(bǔ)信息熵； 條件熵；互信息

1948年美國(guó)數(shù)學(xué)家ShannonC.E在《貝爾系統(tǒng)技術(shù)》雜志上發(fā)表了一篇“通信的數(shù)學(xué)理論”的論文，該論文的發(fā)表標(biāo)志一門新的學(xué)科──信息論的誕生。在這篇論文中，Shannon定義了信息熵，給出了關(guān)于信息系統(tǒng)實(shí)際結(jié)構(gòu)的不確定性度量，并成功應(yīng)用于許多不同的研究領(lǐng)域。一些學(xué)者利用Shannon熵的定義以及Shannon熵的變式度量了粗糙集理論的不確定性[1-7]。梁吉業(yè)[8]等定義了粗糙集理論的互補(bǔ)信息熵，并驗(yàn)證該信息熵具有單調(diào)性，本文在此基礎(chǔ)上定義了條件熵和互信息，給出了三者之間的關(guān)系。

1　預(yù)備知識(shí)

定義1[9]設(shè)K=(U, R)是一個(gè)近似空間，U是一個(gè)非空有限論域，R是U上的一個(gè)等價(jià)關(guān)系，U/R={X1, X2…Xm}表示R的所有等價(jià)類構(gòu)成的集合，[x]R表示包含元素x∈U的R等價(jià)類。特別地，U的劃分(U)={{x}|x∈U}稱為恒等關(guān)系，劃分?(U)={U}稱為全域關(guān)系。一個(gè)近似空間K=(U, R)可以看作是一個(gè)關(guān)于U的知識(shí)庫(kù)。

定義2[9]給定知識(shí)庫(kù)K=(U, R)，對(duì)于每一個(gè)KU，一個(gè)等價(jià)關(guān)系R，定義兩個(gè)子集

分別稱它們?yōu)閄的R上近似集和R下近似集。

定義3[10]設(shè)K=(U, R)是一個(gè)近似空間，P, Q是U的兩個(gè)劃分，U/P={P1, P2…, Pm}，U/Q={Q1, Q2…, Qn},如果對(duì)于任意的Xi∈U/P，均有Yj∈U/Q，使得XiYj，稱U/P是U/Q的加細(xì)，記作U/PU/Q。

定義4[8]設(shè)K=(U, R)是一個(gè)近似空間，U是一個(gè)非空有限論域，U/R={X1, X2…Xm}是U上的一個(gè)等價(jià)關(guān)系，粗糙集的互補(bǔ)信息熵定義為

定義5設(shè)U是一個(gè)非空有限論域，K1=(U, P)和K2=(U, Q)是關(guān)于U的兩個(gè)知識(shí)庫(kù)，其中U/P={P1, P2, …, Pm}，U/Q={Q1, Q, …, Qn}，Q關(guān)于P的條件熵E(Q/P)定義如下

定義6設(shè)U是一個(gè)非空有限論域，K1=(U, P)和K2=(U, Q)是關(guān)于U的兩個(gè)知識(shí)庫(kù)，其中U/P={P1, P2, …, Pm}，U/Q={Q1, Q, …, Qn}，Q和P的互信息E(Q; P)定義如下

2　主要結(jié)論

定理1設(shè)U是一個(gè)非空有限論域，K1=(U, P)和K2=(U, Q)是關(guān)于U的兩個(gè)知識(shí)庫(kù)，那么E(Q; P)=E(Q)-E(Q/P)。

證明：設(shè)U/P={P1, P2, …, Pm}，U/Q={Q1, Q, …, Qn}，由集合論知，所以

所以E(Q; P)=E(Q)-E(Q/P)。

定理2設(shè)U是一個(gè)非空有限論域，K1=(U, P)和K2=(U, Q)是關(guān)于U的兩個(gè)知識(shí)庫(kù)，D是U的決策屬性集，如果U/PU/Q，那么E(D; P)≥E(D; Q)。

證明：設(shè)U/P={P1, P2, …, Pm}，U/Q={Q1, Q2, …, Qn}，U/D={d1, d2, …, dr}。因?yàn)閁/PU/Q，所以m>n且存在集合{1, 2, …, m}的一個(gè)劃分C={C1, C2, …, Cn}，滿足因此

定理2表明隨著劃分的加細(xì)，信息粒度的互信息單調(diào)增加。定理2的逆命題一般情況下不成立。

例1設(shè)U={1, 2, 3, 4, 5, 6, 7, 8, 9, 10 }，U/Q={{1, 5}{2, 3, 4, 6, 7}{8, 9, 10 }}，U/P={{1, 3, 4}{2, 5, 6}{7, 8, 9, 10 }}，U/D={{1, 3, 5, 8, 9}{2, 4, 6, 7, 10 }}。

計(jì)算

定理3設(shè)U是一個(gè)非空有限論域，K1=(U, P)和K2=(U, Q)是關(guān)于U的兩個(gè)知識(shí)庫(kù)，則U/PU/Q成立的充要條件是E(Q/P)=0。

證明：設(shè)U/P={P1, P2, …, Pm}，U/Q={Q1, Q2, …, Qn}。

3　結(jié)論

[1] Shannon C E. The mathematical theory of communication[J]. Bell Syst Technol J, 1948(3, 4): 373-423, 623-656.

[2] Beaubouef, T., Petry, F.E. and Arora, G. Information-theoretic measures of uncertainty for rough sets and rough relational databases[J]. Information Sciences, 1998 (59)：185-195.

[3] De Luca, A. and Termini, S. A definition of a nonprobabilistic entropy in the setting of fuzzy theory[J].Information and Control,1972(6):301-312.

[4] Liang, J.Y., Xu, Z.B. Uncertainty measures of roughness of knowledge and rough sets in incomplete information systems[C]//Proceedings of the 3rd World Congress on Intelligent Control and Automation (Press of University of Science and Technology of China, Hefei)，2000(2)：2526-2529.

[5] Liang, J.Y., Xu, Z.B. and Miao, D.Q. Reduction of knowledge in incomplete information systems[C]//Proceedings of Conference on Intelligent Information Processing in 16th World Computer Congress (Publishing House of Electronics Industry, Beijing) ，2000(7)：528-532.

[6] Wierman, M.J.Measuring uncertainty in rough set theory[J]. International Journal of General Systems, 1999(4)：283-297.

[7] Düntsch, I. , Gediga, G. Uncertainty measures of rough set prediction[J].Artificial Intelligence，1998, 106：109-137.

[8] Liang J Y, Chin K S, Dang C Y, et al. A new method for measuring uncertainty and fuzziness in rough set theory[J].Int J Gen Syst, 2002(4)：331-342.

[9] 張文修，吳偉志，梁吉業(yè)，等.粗糙集理論與方法[M].北京：科學(xué)出版社，2001：151-152.

[10] Pawlak Z. Rough sets[J]. International Journal of Computer and Information Sciences, 1982(5)：341-356.

The Information Measure in Knowledge Library

HUANG Weihua
(School of Mathematics, Wenshan University, Wenshan Yunnan 663099, China)

The concept of complementary information entropy based on the needs of the importance of attributes in measuring decision table is proposed in rough set theory. On this basis, condition entropy and mutual information are defi ned and the relationship among the three is verifi ed, i.e. the sum of condition entropy and mutual information is complementary information entropy; Mutual information also has the monotonicity similar to complementary information entropy.

information measure; complementary information entropy; conditional entropy; mutual information

TP18

A

1674 - 9200（2016）03 - 0042 - 03

（責(zé)任編輯劉常福）

2016 - 03- 03

云南省教育廳科研基金項(xiàng)目“基于粗糙集的數(shù)據(jù)挖掘算法研究”（ 2015Y470 ）。

黃衛(wèi)華，女，河南中牟人，文山學(xué)院數(shù)學(xué)學(xué)院講師，碩士，主要從事信息代數(shù)和粗糙集理論研究。