函數(shù)的凹凸性與信息熵
——從2020 年新高考全國Ⅰ卷第12 題談起

北京師范大學(xué)貴陽附屬中學(xué)(550081)李鴻昌

高考試題,特別是壓軸題,凝聚了命題專家的智慧,富含數(shù)學(xué)的精神、思想與方法.剖析壓軸題的命題立意、命題背景,探究試題的推廣與各種解法之間的內(nèi)在聯(lián)系,是發(fā)展解題水平、達(dá)到解題目的的一條值得嘗試的路徑,也是體味數(shù)學(xué)源頭的一種方法[1].下文筆者通過一道高考?jí)狠S題,談問題的源頭、背景與推廣以及兩道考題的背景和解法上的內(nèi)在聯(lián)系.

1.一道“新定義”考題

題目(2020 年新高考全國Ⅰ卷12 題·多選題)信息熵是信息論中的一個(gè)重要概念.設(shè)隨機(jī)變量X所有可能的取值為1,2,···,n,且P(X=i)=pi＞0(i=1,2,···,n),1,定義X的信息熵下列說法中正確的是()

A.若n=1,則H(X)=0

B.若n=2,則H(X)隨著p1的增大而增大

D.若n=2m,隨機(jī)變量Y所有可能的取值為1,2,···,m,且P(Y=j)=pj+p2m+1-j(j=1,2,···,m),則H(X)≤H(Y)

解析(答案:AC ) 對于A 選項(xiàng),若n=1,則i=1,p1=1,所以H(X)=-(1×log21)=0,故A 選項(xiàng)正確.對于B 選項(xiàng),若n=2,則i=1,2,p2=1-p1,所以H(X)=-[p1·log2p1+(1-p1)·log2(1-p1)].當(dāng)當(dāng)時(shí),兩者相等,所以B 選項(xiàng)錯(cuò)誤.對于C 選項(xiàng),若(i=1,2,···,n),則故H(X)隨著n增大而增大,所以C 選項(xiàng)正確.對于D 選項(xiàng),若n=2m,隨機(jī)變量Y的所有可能的取值為1,2,···,m,且P(Y=j)=pj+p2m+1-j(j=1,2,···,m),則

因?yàn)閜i＞0,所以所以從而因此H(X)＞H(Y),所以D 選項(xiàng)錯(cuò)誤.

評(píng)析本題主要考查對新定義“信息熵”的理解和運(yùn)用,考查分析問題和解決問題的能力,涉及對數(shù)運(yùn)算、對數(shù)函數(shù)以及不等式基本性質(zhì)的運(yùn)用.

2.信息熵的起源

1948 年10 月,香農(nóng)在論文《通訊的數(shù)學(xué)原理》一文中,提出了“信息熵”的概念,并用H=log2n來定義信息量,以此來“消除不確定性的東西”,實(shí)現(xiàn)對隨機(jī)變量所含“信息量”的度量,讓人們知道“原來信息是可以用來度量的”[1].設(shè)一個(gè)概率系統(tǒng)中有n個(gè)事件,每一事件發(fā)生的概率為pi(i=1,2,···,n),當(dāng)事件i發(fā)生后,給我們的信息量為Hi=-log2pi.對n個(gè)事件構(gòu)成的概率系統(tǒng),整個(gè)系統(tǒng)的平均信息量為這個(gè)平均信息量就是信息熵.

3.信息熵的定義

設(shè)隨機(jī)變量X所有可能的取值為1,2,···,n,且的信息熵對數(shù)的底數(shù)a根據(jù)情況可取e,2,10.

4.Jensen 不等式[3]

若f(x) 為區(qū)間I上的凸函數(shù)(即f′′(x) ≥ 0),則對?xi∈I,λi＞0 (i=1,2,3,···,n),有反之,若f(x) 為凹函數(shù)(即f′′(x)≤0),則有

5.試題推廣

推廣1熵極值不等式

若pi≥0,qi≥0(i=1,2,···,n)且則

證明因?yàn)閒(x)=lnx是凹函數(shù),由Jensen 不等式可得則得因此≥0.

推廣2對數(shù)和不等式

若ai≥0,bi≥0 (i=1,2,···,n),則

證明設(shè)函數(shù)f(x)=xlnx,則f′(x)=lnx+1,所以f(x)是凸函數(shù),由Jensen 不等式可得≥取則得到

推廣3(熵的上界)最大離散熵定理

H(X)≤lnn.

證法1因?yàn)閒(x)=lnx是凹函數(shù),由Jensen 不等式可得得

證法2由對數(shù)和不等式,可得即H(X)≤lnn.

推廣4信息不等式[4]

證明因?yàn)閒(x)=lnx是凹函數(shù),由Jensen 不等式可得則有

注如果P,Q分別是兩個(gè)離散的概率分布,滿足P(X=i)=pi,Q(X=i)=qi,pi＞0,qi＞0 (i=1,2,···,n),并且為相對熵(又稱Kullback-Leibler 散度),記作D(P‖Q).推廣4 的信息不等式即是D(P‖Q)≥0.

6.應(yīng)用

例1(2005 年高考全國Ⅰ卷理科)

(1)設(shè)函數(shù)f(x)=xlog2x+(1-x)log2(1-x)(0 ＜x＜1),求f(x)的最小值.

證明(2) 設(shè)g(x)=xlog2x,x∈(0,+∞),則g′(x)=所以g(x)為(0,+∞)上的凸函數(shù),由Jensen 不等式,得

即

例2(2011 年高考湖北卷理科)

(1)已知函數(shù)f(x)=lnx-x+1,x∈(0,+∞),求函數(shù)f(x)的最大值;

(2)設(shè)ak,bk(k=1,2,···,n)均為正數(shù),證明:

(i)若a1b1+a2b2+···+anbn≤b1+b2+···+bn,則

(ii)若b1+b2+···+bn=1,則

證明第(2)問中(i)的證明:設(shè)S=b1+b2+···+bn,由h(x)=lnx為(0,+∞)上凹函數(shù),據(jù)Jensen 不等式,得

設(shè)g(x)=xlnx,則

g(x)在(0,+∞)上是凸函數(shù),由Jensen 不等式,得

即

由h(x)=lnx為(0,+∞)上的凹函數(shù),利用Jensen 不等式,得

即

評(píng)析從上述證明可知,例1 和例2 貌似不同,實(shí)則在解題方法、命題背景等方面有內(nèi)在的聯(lián)系.兩道例題的本質(zhì)是一樣的,都有“信息熵”的背景,都利用了h(x)=lnx的凹性和g(x)=xlog2x的凸性.在上述解答中,函數(shù)取xlog2x或xlnx,并沒有什么本質(zhì)的區(qū)別.