[拼音]：xinxishang

[外文]：information entropy

信源的平均不定度。在信息論中信源輸出是隨機(jī)量，因而其不定度可以用概率分布來(lái)度量。記 H(X)＝H(P₁，P₂，…，P_n)＝P(x_i)logP(x_i)，這里P(x_i)，i＝1，2，…，n為信源取第i個(gè)符號(hào)的概率。P(x_i)=1，H(X)稱為信源的信息熵。

熵的概念來(lái)源于熱力學(xué)。在熱力學(xué)中熵的定義是系統(tǒng)可能狀態(tài)數(shù)的對(duì)數(shù)值，稱為熱熵。它是用來(lái)表達(dá)分子狀態(tài)雜亂程度的一個(gè)物理量。熱力學(xué)指出，對(duì)任何已知孤立的物理系統(tǒng)的演化，熱熵只能增加，不能減少。然而這里的信息熵則相反，它只能減少，不能增加。所以熱熵和信息熵互為負(fù)量。且已證明，任何系統(tǒng)要獲得信息必須要增加熱熵來(lái)補(bǔ)償，即兩者在數(shù)量上是有聯(lián)系的。

可以從數(shù)學(xué)上加以證明，只要H(X)滿足下列三個(gè)條件：

（1）連續(xù)性：H(P，1－P)是P的連續(xù)函數(shù)(0≤P≤1)；

（2）對(duì)稱性：H(P₁，…，P_n)與P₁，…，P_n的排列次序無(wú)關(guān)；

（3）可加性：若P_n＝Q₁+Q₂＞0，且Q₁，Q₂≥0，則有H(P₁，…，P_n-1，Q₁，Q₂)＝H(P₁，…，P_n-1)+P_nH；則一定有下列唯一表達(dá)形式：

H(P₁，…，P_n)＝-CP(x_i)logP(x_i)

其中C為正整數(shù)，一般取C＝1，它是信息熵的最基本表達(dá)式。

信息熵的單位與公式中對(duì)數(shù)的底有關(guān)。最常用的是以2為底，單位為比特(bit)；在理論推導(dǎo)中常采用以e為底，單位為奈特(Nat)；還可以采用其他的底和單位，并可進(jìn)行互換。

信息熵除了上述三條基本性質(zhì)外，還具有一系列重要性質(zhì)，其中最主要的有

（1）非負(fù)性：H(P₁，…，P_n)≥0；

（2）確定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0；

（3）擴(kuò)張性：

H_n-1(P₁，…，P_n–ε，ε)＝H_n(P₁，…，P_n)；

（4）極值性：

P(x_i)logP(x_i)≤P(x_i)logQ(x_i)；

這里Q(x_i)＝1；

（5）上凸性：

H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，

式中0＜λ＜1。

最簡(jiǎn)單的二元信源的信息熵性質(zhì)如圖所示。

當(dāng)實(shí)際信源用隨機(jī)序列X來(lái)表示時(shí)，它的熵可以直接推廣為：。但對(duì)連續(xù)信源則不能進(jìn)行類似的推廣。因?yàn)檫@樣就必然會(huì)出現(xiàn)無(wú)限大量。1948年C.E.仙農(nóng)建議用概率密度p(x)來(lái)定義H(X)，

這樣定義的熵雖然仍具有可加性等熵的主要性質(zhì)，但已不具有非負(fù)性，因此也不再代表連續(xù)信源的信息量。但由于在大量實(shí)際問(wèn)題中需要的僅是兩個(gè)熵的差值，這時(shí)它仍具有信息量特征的非負(fù)性。因此，連續(xù)熵H(X)具有相對(duì)性，又稱為相對(duì)熵。它與力學(xué)中的勢(shì)能概念相仿。

從理論上看，仙農(nóng)對(duì)連續(xù)熵H(X)的定義是不完善的。1951年S.庫(kù)爾伯克研究信息論在統(tǒng)計(jì)學(xué)中的應(yīng)用時(shí)，引入了信息變差的概念。從一種概率密度p₀(x)轉(zhuǎn)移到另一種概率密度p(x)的信息變差I(p₀，p)為

其中要求p(x)對(duì)p₀(x)絕對(duì)連續(xù)。

若P₀(x)是具有最大熵H₀(X)的概率分布，則信息變差I(P₀，P)=H₀(X)-H(X)，所以一般情況下的信息熵H(X)可表示為:H(X)=H₀(X)-I(P₀，P)。即信息熵可理解為最大熵與信息變差之間的差值。由于它對(duì)離散熵和連續(xù)熵都適用，從信息變差出發(fā)就能使離散熵和連續(xù)熵有統(tǒng)一的含義，并可以使連續(xù)熵的定義建立在更為合理的基礎(chǔ)上。

參考書目

1. 周炯??：《信息理論基礎(chǔ)》，人民郵電出版社，北京， 1983。
2. A.Feinstein， Foundations of Information Theory， McGraw-Hill，New York，1958.

建筑資質(zhì)代辦咨詢熱線：13198516101

標(biāo)簽：信息熵

版權(quán)聲明：本文采用知識(shí)共享 署名4.0國(guó)際許可協(xié)議 [BY-NC-SA] 進(jìn)行授權(quán)

文章名稱：《信息熵》

文章鏈接：http://m.fjemb.com/13014.html

該作品系作者結(jié)合建筑標(biāo)準(zhǔn)規(guī)范、政府官網(wǎng)及互聯(lián)網(wǎng)相關(guān)知識(shí)整合。如若侵權(quán)請(qǐng)通過(guò)投訴通道提交信息，我們將按照規(guī)定及時(shí)處理。