[拼音]：xinxilun

[外文]：information theory

研究控制廣義通信系統(tǒng)設(shè)計(jì)的數(shù)學(xué)規(guī)律的理論。它是概率論、隨機(jī)過(guò)程論與通信技術(shù)結(jié)合的學(xué)科，主要任務(wù)是研究通信系統(tǒng)的有效性（效率）和可靠性，以及二者的關(guān)系。通信的本質(zhì)是信息的傳輸。廣義通信不僅包括電報(bào)、傳真、電話、廣播和電視等，也包括雷達(dá)、聲納、信息存取、信息處理、人與機(jī)器或機(jī)器之間的通信等。進(jìn)行科學(xué)實(shí)驗(yàn)或?qū)δ硞€(gè)系統(tǒng)進(jìn)行觀察，如人工地震、探礦技術(shù)和射電天文觀測(cè)，也是獲取或接收信息的過(guò)程。

在信息論的理論研究中，把各種通信系統(tǒng)概括為統(tǒng)一的模型。圖1表示簡(jiǎn)單的通信系統(tǒng)模型。信源產(chǎn)生待傳輸?shù)南?。消息的形式是多種多樣的，如字母、文字、旗語(yǔ)、數(shù)據(jù)、語(yǔ)聲、音樂(lè)和圖像等（這些都可視為符號(hào)序列）。但是消息不同于信息，它是信息的載體。發(fā)送機(jī)將消息變換為適合于信道的信號(hào)，信號(hào)遂成為信息的載體。變換指的是從消息轉(zhuǎn)變?yōu)樾盘?hào)的全過(guò)程，其中最主要的常是編碼與調(diào)制。信道是信號(hào)從發(fā)送機(jī)傳輸?shù)浇邮諜C(jī)的媒質(zhì)，如導(dǎo)體、傳播電磁波的自由空間和光導(dǎo)纖維等。信號(hào)在傳輸途中總要遇到一些干擾，受到不可預(yù)計(jì)的損害。這些干擾被稱為噪聲，系統(tǒng)各部分的噪聲的總合以噪聲源表示。接收機(jī)是發(fā)送機(jī)的對(duì)應(yīng)端，它將信號(hào)再變換為消息。但是，接收信號(hào)一般已受到干擾，輸出的消息中將出現(xiàn)失真或錯(cuò)誤，因而失去部分信息。信宿是被傳輸信息的歸宿，也就是接受者。

在上述模型中只有一個(gè)信源和一個(gè)信宿。如果將它推廣，信源或信宿或兩者均超過(guò)一個(gè)，傳輸方向也可能不是單向的，就可得出各種多用戶通信系統(tǒng)模型。

由于信息論的應(yīng)用比較廣泛，與許多學(xué)科有聯(lián)系，并有與一些學(xué)科互相滲透、形成新學(xué)科的趨勢(shì)，以致難以清晰地確定其內(nèi)容范圍。電子學(xué)界一般認(rèn)為信息論的主要內(nèi)容包括信息熵（信息的度量）、信源編碼、信息傳輸、信道容量、信道編碼、信息率-失真理論、檢測(cè)與估計(jì)（見(jiàn)檢測(cè)理論及估計(jì)理論）和保密學(xué)等。

歷史和發(fā)展

信息論是在20世紀(jì)中葉從電信技術(shù)中總結(jié)和發(fā)展起來(lái)的理論。美國(guó)C.E.仙農(nóng)于1948年所著論文《通信的數(shù)學(xué)理論》為此奠定了基礎(chǔ)。1928年R.V.L.哈特萊得出信息定量的概念。他把待傳輸?shù)南⒖紤]為符號(hào)序列，舍去消息的語(yǔ)義，不把它作為計(jì)算信息量的因素。他指出，從含有N個(gè)元的符號(hào)集合中選擇L個(gè)元組成的不同序列有N^L個(gè)，這些序列代表不同的消息。如果對(duì)這些消息的選擇是隨機(jī)的，并且是等可能的，他建議把每個(gè)消息所含信息量計(jì)為I=log₁₀N^L。哈特萊忽視語(yǔ)義的思想和對(duì)信息定量的概念，后來(lái)都成為仙農(nóng)創(chuàng)立信息論的基礎(chǔ)。仙農(nóng)最初的貢獻(xiàn)可以概括為：

（1）從準(zhǔn)公理的觀點(diǎn)對(duì)信息量作出定義；

（2）研究了在無(wú)噪聲和有噪聲信道中傳輸離散消息時(shí)的信息流量；

（3）建立了信道容量的概念，并闡明了它的實(shí)際意義；

（4）建立了某些基本的編碼定理；

（5）研究了在有噪聲情況下傳輸連續(xù)信號(hào)時(shí)的信息流量。50年代以來(lái)，仙農(nóng)本人，美國(guó)、蘇聯(lián)、日本和一些歐洲國(guó)家的學(xué)者以及中國(guó)學(xué)者，對(duì)信息論都作出了不同程度的貢獻(xiàn)。信息論的發(fā)展主要表現(xiàn)在兩個(gè)方面：第一，從1969年得到重視和發(fā)展的信息率-失真理論及其應(yīng)用；第二，對(duì)多用戶通信系統(tǒng)模型的研究。

與仙農(nóng)同時(shí)，N.維納研究了抑制噪聲的濾波問(wèn)題。他把信號(hào)和噪聲都看作隨機(jī)過(guò)程，作出信號(hào)在疊加噪聲后的波形與信號(hào)原波形之間有最小均方誤差的濾波器設(shè)計(jì)，稱為維納濾波。維納濾波后來(lái)又發(fā)展為卡爾曼濾波。維納理論在很長(zhǎng)時(shí)間被公認(rèn)為是信息論的組成部分。但是，60年代初遞歸濾波作為一個(gè)課題出現(xiàn)在控制理論中，并且與最優(yōu)控制聯(lián)系，使維納理論得到新的動(dòng)力，從而成為基本上獨(dú)立于信息論的研究課題。

同時(shí)，仙農(nóng)在貝爾實(shí)驗(yàn)室的同行們?cè)谥铝ρ芯考m錯(cuò)編碼技術(shù)，對(duì)要傳輸?shù)男蛄羞M(jìn)行編碼，使它在傳輸中發(fā)生一定數(shù)量的錯(cuò)誤時(shí)可以被發(fā)現(xiàn)或自動(dòng)糾正。最初的代表性著作是R.W.漢明于1950年公布的。糾錯(cuò)編碼是用以增強(qiáng)通信可靠性的，后來(lái)，它就自然地成為信息論的一個(gè)分支。

另一個(gè)被納入信息論范圍的重要分支，是信號(hào)的統(tǒng)計(jì)檢測(cè)和估計(jì)理論，因?yàn)橐獜囊粋€(gè)實(shí)體或系統(tǒng)獲取信息必然要從一組假設(shè)中判決（檢測(cè)）何者為真，或?qū)Ρ碚鲗?shí)體或系統(tǒng)的某些參量作出估計(jì)。決策理論和估計(jì)理論問(wèn)題，在18世紀(jì)中葉和19世紀(jì)初已有所研究。20～30年代，R.A.費(fèi)歇耳J.奈曼和E.S.皮爾遜對(duì)經(jīng)典理論作出的新貢獻(xiàn)成為現(xiàn)代檢測(cè)和估計(jì)理論的基礎(chǔ)。第二次世界大戰(zhàn)以來(lái)，主要是將理論應(yīng)用于對(duì)各種通信系統(tǒng)的設(shè)計(jì)和分析。50年代末期，利用激光射束的通信和雷達(dá)系統(tǒng)的發(fā)展，則引起了對(duì)光頻信號(hào)的有效檢測(cè)與參量估計(jì)以及對(duì)傳輸這些信號(hào)的信道性質(zhì)的研究。

學(xué)科內(nèi)容

信息論這一學(xué)科的主要內(nèi)容包括信息的度量、信源編碼、信息傳輸、糾錯(cuò)編碼、信息率-失真理論、檢測(cè)與估計(jì)和保密學(xué)等。

信息的度量和定量

由于消息的形式多種多樣，必須對(duì)它們所含的信息有一個(gè)統(tǒng)一的定量方法，以便作為物理量來(lái)處理。在通信系統(tǒng)中傳輸?shù)南⑹切旁磸钠渌赡芙o出的符號(hào)中逐個(gè)產(chǎn)生的個(gè)別符號(hào)。從統(tǒng)計(jì)學(xué)的觀點(diǎn)來(lái)說(shuō)，消息的產(chǎn)生過(guò)程就是從一個(gè)符號(hào)集合(符號(hào)表)中作出一串任意的選擇，但對(duì)不同元（符號(hào)）的選擇對(duì)應(yīng)著不同的概率，并且前后的選擇可能有相關(guān)性。最簡(jiǎn)單的信源是兩個(gè)元組成的集合，例如“是”和“非”，且前后符號(hào)獨(dú)立，每個(gè)符號(hào)的發(fā)生概率均為1/2。最簡(jiǎn)單的消息是由它產(chǎn)生的單符號(hào)消息。人們以這種等概率的二者擇一的符號(hào)所含的平均信息量作為單位信息量，稱為比特，可以從下式得出

　　　　(1)

式中P₁和P₂分別是兩個(gè)符號(hào)的發(fā)生概率。對(duì)于式(1)：第i個(gè)符號(hào)所含信息量是;所以式(1)是每個(gè)符號(hào)的統(tǒng)計(jì)平均信息量。這個(gè)概念可以推廣到信源是N個(gè)符號(hào)組成的集合，并且各符號(hào)的概率為P_i(i=1，2，…，N)的情況。這時(shí)每個(gè)符號(hào)的平均信息量為

　　　　 (2)

信息量的這個(gè)計(jì)算方法符合三個(gè)通常的概念。

（1）發(fā)生概率越小的消息所含信息量越大，即稀罕的事所含信息量大。如果N 個(gè)符號(hào)是等概率的，H 取極大值，因?yàn)槿藗儾荒軓倪@個(gè)概率分布獲得對(duì)消息的任何傾向性。如果符號(hào)表中只含一個(gè)符號(hào)，就是說(shuō)，每次都傳送同一消息，當(dāng)然H＝0。

（2）如果信源產(chǎn)生個(gè)別符號(hào)時(shí)分兩步走，先將全體符號(hào)分為若干組，并從中選擇一組，后從已選組中選擇符號(hào)；那么，按照上述原理所確定的平均信息量，與一次直接選擇出符號(hào)所求得的結(jié)果相等。

（3）若信源連續(xù)發(fā)生兩個(gè)獨(dú)立的符號(hào)，把這兩個(gè)符號(hào)看成一個(gè)大符號(hào)來(lái)計(jì)算的信息量等于按每個(gè)符號(hào)單獨(dú)計(jì)算時(shí)的信息量的和。理論家們從公理出發(fā)所得出的信息量計(jì)算公式與式 (2)是一致的。在數(shù)字通信技術(shù)中，計(jì)算信號(hào)速率時(shí)常把每個(gè)二進(jìn)制數(shù)位稱為“比特”，它的概念是與作為信息量的單位“比特”不同的。式(2)中的H常稱為信源的信息熵，或簡(jiǎn)稱為熵，又常把它視為對(duì)信源的不定度的量度。

信源所產(chǎn)生的消息常常不是單一符號(hào)，而是一個(gè)序列，前后存在相關(guān)性。相關(guān)性越強(qiáng)，符號(hào)平均信息量越小。相關(guān)性延續(xù)的符號(hào)數(shù)越多，一般地說(shuō)，符號(hào)平均信息量越小。

信源編碼

信源編碼要解決的問(wèn)題是對(duì)信源產(chǎn)生的符號(hào)序列進(jìn)行編碼（常用二進(jìn)制碼），要求能夠正確無(wú)誤地譯碼，同時(shí)力求高的編碼效率，以減少傳輸時(shí)間或縮小存儲(chǔ)空間。若信源符號(hào)包含A、B、C和D，相應(yīng)的發(fā)生概率是1/2、1/4、1/8和1/8。如果直接用二進(jìn)制數(shù)編碼，結(jié)果可能是A:11、B:10、C:01、D:00。編碼效率為每一符號(hào)2個(gè)二進(jìn)制碼。若在編碼時(shí)利用統(tǒng)計(jì)規(guī)律，則可能的結(jié)果是A:1、B:01、C:001、D:000。用這個(gè)方法編出的序列能還原為原符號(hào)，不會(huì)出現(xiàn)劃段錯(cuò)誤。同時(shí)，每個(gè)符號(hào)所需的位數(shù)將是1.75，效率較前提高。信源的熵也等于1.75比特／符號(hào)。這是一個(gè)特例，但符合信息論的一個(gè)重要結(jié)果:如果離散無(wú)記憶信源的熵為H 比特/符號(hào)，那么，用二進(jìn)制數(shù)字對(duì)它的符號(hào)逐個(gè)進(jìn)行編碼，總可以找到所需位數(shù)任意接近H 的碼。對(duì)于前后有相關(guān)性，或稱有記憶的信源，這個(gè)定理仍然成立，但此時(shí)不是對(duì)信源符號(hào)逐個(gè)進(jìn)行編碼，而是對(duì)長(zhǎng)符號(hào)序列進(jìn)行編碼。

信息傳輸和信道容量

按照通信系統(tǒng)的模型(圖1)，如果信道是無(wú)噪聲的，發(fā)端所送出的消息可以在接收機(jī)輸出端還原，送給信宿，信息無(wú)損失。但是，信道中通常存在噪聲。例如，對(duì)于圖2中的二元信道，發(fā)端和收端均有兩個(gè)符號(hào)(0，1)，發(fā)端記為x，收端記為y。因?yàn)橛性肼暎瑐鬏斂赡苠e(cuò)誤。當(dāng)x＝0時(shí)，它以條件概率P₀₀被正確接收為y＝0，以P₁₀被錯(cuò)誤接收為y＝1。當(dāng)發(fā)送x＝1時(shí)，正確與錯(cuò)誤的概率分別是P₁₁和P₀₁。這一組條件概率｛P_ki｝(i，k=0，1)，表征二元信道的數(shù)學(xué)模型。設(shè)x＝0和1的先驗(yàn)概率分別為P₀和P₁，那么，在信道輸入的熵（或不定度）為

在收端，不論y為0或1，都不能確知是否與所發(fā)的x對(duì)應(yīng)無(wú)誤，即仍有不定度。從P_i和P_ki(i，k=0，1)可以求出y=k時(shí)的概率Q_k和后驗(yàn)概率Q_ik，后者是信道輸出y＝k時(shí)輸入x=i的概率。對(duì)于每個(gè)y=k，用Q_ik代替式(2)中的P_i，再將得出的熵以Q_k加權(quán)求和，即得收到y后x的條件熵或不定度

　　　 (3)

而H(x)-H(x|y)是通信過(guò)程所消除的x的不定度，它等于發(fā)端傳至收端的平均信息量。在無(wú)噪聲時(shí)，當(dāng)i=k，Q_ik=1；于是H（x│y）=0(這里約定0log₂0＝0)，從發(fā)端傳至收端的信息量，等于H(x)，發(fā)端x的不定度全部消除。

對(duì)于給定信道，所有條件概率｛P_ki｝是確定的，但平均信息傳輸率H(x)-H(x│y)隨先驗(yàn)概率｛P_i｝而變。信道容量C 就是改變此先驗(yàn)概率分布時(shí)所能得到的最大平均信息傳輸率。關(guān)于信息在信道中傳輸?shù)幕径ɡ硎切诺谰幋a定理。它的粗略概念是：如果待傳輸?shù)男畔⒙?i>R＜C，則總存在一種編碼，使在收端還原出原消息的符號(hào)差錯(cuò)概率任意地小;反之，若R＞C，則差錯(cuò)概率必大于零。有了這個(gè)定理，信道容量的概念才有明確的實(shí)際意義。

糾錯(cuò)編碼

信道編碼定理只說(shuō)明理想編碼的存在性，沒(méi)有指出它的構(gòu)造方法。糾錯(cuò)編碼的研究本來(lái)就致力于降低碼的傳輸錯(cuò)誤，信息論建立以后，它成為企圖逼近理想編碼的一種方法，因而糾錯(cuò)編碼又稱為信道編碼。在圖1 的通信系統(tǒng)中將發(fā)送機(jī)的調(diào)制等部分和接收機(jī)的相應(yīng)解調(diào)等部分納入信道。這樣發(fā)送機(jī)便成為編碼器，接收機(jī)僅是譯碼器。編（譯）碼器可能有兩個(gè)部分，信源編（譯）碼器和信道編（譯）碼器。信道編碼器和譯碼器的任務(wù)是力求自動(dòng)地發(fā)現(xiàn)或糾正在信道中傳錯(cuò)的碼元。

在糾錯(cuò)編碼中常用均等校驗(yàn)技術(shù)。由信源編碼器或信源直接輸出的碼元稱為信息位。每k位為一組，并在每組的后面加一個(gè)校驗(yàn)位，使這k+1位的和為偶（奇）。在傳輸過(guò)程中，若k+1位的碼組中有1位發(fā)生錯(cuò)誤，就會(huì)因?yàn)樗鼈兊暮蜑槠妫ㄅ迹┒蛔g碼器發(fā)現(xiàn)，但不知哪一位有誤，仍不能糾正，只能要求發(fā)端重發(fā)這個(gè)碼組。如果根據(jù)一定規(guī)則從k個(gè)信息位計(jì)算出n–k個(gè)校驗(yàn)位，共同組成一個(gè)碼組，那么在譯碼時(shí)便可在一個(gè)碼組中糾正（或檢出）一個(gè)或多個(gè)錯(cuò)誤。這種碼稱為分組碼。碼的分組長(zhǎng)度是n，因校驗(yàn)位不攜帶信息，故編碼效率（碼率）為k/m。在一定信息位數(shù)下，校驗(yàn)位越多糾錯(cuò)能力越強(qiáng)，而碼率越低。雖然從理論上已經(jīng)證明，錯(cuò)誤概率任意接近于零，同時(shí)碼率任意接近于信道容量的分組碼是存在的，但分組長(zhǎng)度既隨錯(cuò)誤概率接近零而增加，也隨碼率接近信道容量而增加，并且迄今尚未找到一般的構(gòu)造理論碼的步驟。

與分組碼并列的有卷積碼。雖然對(duì)它的理論研究不及分組碼成熟，但卻得到較多的實(shí)際應(yīng)用。在分組碼中校驗(yàn)位僅與本組的信息位有關(guān)，而在卷積碼中校驗(yàn)位不僅與本組信息位有關(guān)，且與前面的信息位有關(guān)。以碼率為1/n的卷積碼為例，其編碼方法是:編碼器根據(jù)一定規(guī)則從連續(xù)K個(gè)信息位 s₁，…，s_K計(jì)算出信道序列的首n位；然后s_K+1進(jìn)入編碼器，s₁溢出，再?gòu)?i>s₂，…，s_K+1計(jì)算信道序列的次n位；依此類推。這里的K稱為約束長(zhǎng)度。譯碼時(shí)也是逐位譯出。如果碼率是k/n，則只是以k位的信息位組代替前面的一個(gè)信息位，從而每次進(jìn)入和溢出編碼器的信息位為k位，不是1位；參與計(jì)算的信息位不是K位，而是kK位。譯碼時(shí)每步譯出k位。要達(dá)到很低的碼元錯(cuò)誤概率，編碼的約束必須很長(zhǎng)。

信息率-失真理論

有一類信源產(chǎn)生的消息是在時(shí)間上離散的、但取值為連續(xù)的數(shù)值序列；另一類信源被稱為連續(xù)信源，一個(gè)連續(xù)信源產(chǎn)生的消息是時(shí)間的連續(xù)函數(shù)(隨機(jī)過(guò)程的樣函數(shù))。但是，任何信宿都不能，也沒(méi)有必要鑒別這種無(wú)窮小的值差，所以可用近似值代替精確值。就是說(shuō)，信宿可以容許一定的失真度。不過(guò)失真度不能在某一個(gè)別消息和它的近似之間定義，必須在所有消息上取統(tǒng)計(jì)平均來(lái)定義(見(jiàn)信息率-失真理論)。既然信宿可以容許一定的失真度，信源傳送給它的信息量就可以低于無(wú)失真時(shí)的信息量。允許的失真度越大，所需要的信息率就越低。對(duì)應(yīng)于一定的失真度D 所必需的最低信息率稱為信息率-失真函數(shù)R(D)。反之，若信源傳送給信宿的信息率達(dá)到R(D)，最終的失真度則不會(huì)超過(guò)D 。

粗略地說(shuō)，如果離散無(wú)記憶平穩(wěn)信源的信息率－失真函數(shù)是R(D)(比特／符號(hào))，且允許用R′二進(jìn)制位／源符號(hào)，R′＞R(D)，對(duì)它的長(zhǎng)序列進(jìn)行編碼時(shí)，則必存在一種碼能使譯碼后的失真可以任意接近于D。反之，若R′＜R(D)，則任何編碼的譯碼失真必大于D。這是與前面的信源編碼（無(wú)失真）相似的結(jié)果?？紤]將這種信源產(chǎn)生的消息通過(guò)容量為C的信道進(jìn)行傳輸?shù)膯?wèn)題，原則上可以計(jì)算滿足R(D_C)=C時(shí)的D_C，信源和信宿間的平均失真度至少為D_C。。信源編碼器可先把待傳輸消息變換為C個(gè)二進(jìn)制位/源符號(hào)。信道編碼器對(duì)它進(jìn)行再次變換，使到達(dá)信宿時(shí)的平均失真度任意接近于D_C。當(dāng)然，兩個(gè)譯碼器都要能正確地完成相應(yīng)的逆變換。這個(gè)理想系統(tǒng)尚難以具體實(shí)現(xiàn)，但可以作為一個(gè)標(biāo)準(zhǔn)使用。

檢測(cè)和估計(jì)

研究如何從混有噪聲的信號(hào)中檢測(cè)消息，并從而得出最佳接收機(jī)設(shè)計(jì)原則的理論。若要檢測(cè)的消息有n個(gè)，編號(hào)為0至n-1，且消息的先驗(yàn)概率是已知的，任一消息j被接收為i的代價(jià) C_ij(i，j=0，1，…，n-1)也是已知的。那么，確定最佳接收的合理準(zhǔn)則通常是:所付的代價(jià)為極小，這個(gè)準(zhǔn)則稱為貝葉斯準(zhǔn)則。如果先驗(yàn)概率是未知的，也無(wú)足夠根據(jù)可以假設(shè)它們，就須采用極小極大準(zhǔn)則，即最佳接收時(shí)可能付出的最大平均代價(jià)為極小。在特定的二元檢測(cè)情況下，例如雷達(dá)探測(cè)空中某區(qū)域有無(wú)目標(biāo)，不但缺乏消息的先驗(yàn)知識(shí)，且誤判有目標(biāo)（虛警）的代價(jià)難以估計(jì)時(shí)，常用奈曼-皮爾遜準(zhǔn)則。這個(gè)準(zhǔn)則的意義是在虛警概率不超過(guò)規(guī)定值時(shí)，正確判決有目標(biāo)的概率為極大。應(yīng)用上述三個(gè)準(zhǔn)則中的任一準(zhǔn)則接收機(jī)的基本結(jié)構(gòu)都是相同的。

如果消息內(nèi)含的信息反映一個(gè)或多個(gè)取值連續(xù)的參量，那么信息提取過(guò)程稱為估計(jì)，即要根據(jù)混有噪聲的信號(hào)對(duì)這些參量進(jìn)行估值。估計(jì)和檢測(cè)的基本理論是兩個(gè)相似的平行分支。在估計(jì)問(wèn)題中有時(shí)待估計(jì)的消息是時(shí)間的連續(xù)函數(shù)，甚至是時(shí)間和空間的函數(shù)。在特定情況下，這個(gè)問(wèn)題可以用維納濾波器或卡爾曼濾波器解決。

保密學(xué)

仙農(nóng)于1949年在其《保密體制的通信理論》一文中闡明，用信息論的概念可以在保密學(xué)中形成一個(gè)原則：一種語(yǔ)言的信息率與該語(yǔ)言密碼的解密可能性有直接關(guān)系，信息率越低，解密越容易，為了完全或唯一地解出密碼所需要截獲的消息越少。

信息論與其他學(xué)科的關(guān)系

信息論與物理學(xué)、分析化學(xué)、遺傳學(xué)和心理學(xué)等學(xué)科有密切的關(guān)系。

信息熵表征信源的不定度，它等于消除這個(gè)不定度所需要的信息量。在熱力學(xué)中，熵的表達(dá)式與信息熵相同，但它是用來(lái)表示分子狀態(tài)的雜亂程度的。這兩個(gè)熵互為負(fù)量。美國(guó)的L.N.布里淵導(dǎo)出了兩者的關(guān)系(1956年)：1比特的信息量等價(jià)于kln2(J/K)，其中k為玻耳茲曼常數(shù)；從而推廣了熱力學(xué)的第二定律，即?S-?I≥0，式中?S為熱熵增量；?I為信息熵增量。這就是說(shuō)，在孤立的絕熱系統(tǒng)中，如果有信息參與，就不能說(shuō)熱熵不能減小，而是?S-?I不能減小。這樣，就更好地解釋了“麥克斯韋精靈”理想實(shí)驗(yàn)。精靈之所以能降低與它聯(lián)系著的系統(tǒng)的熱熵，是因?yàn)樗@有信息。

化學(xué)分析是從樣品中獲取被抽樣物質(zhì)成分的信息的過(guò)程。定性分析的目的是確定樣品中是否存在某些成分。定量分析的特點(diǎn)是可以獲得關(guān)于成分的數(shù)字信息，即某些成分的濃度或量。從分析所得到的信息量，是以分析前后成分的不定度的差來(lái)度量的。人們可以從信息論的觀點(diǎn)對(duì)分析方法進(jìn)行優(yōu)化。

生物遺傳的性狀，決定于細(xì)胞內(nèi)部的脫氧核糖核酸(DNA)。DNA的分子由4種不同的堿基核苷酸(A，G，C，T)連接成的兩條核苷酸鏈（序列）以雙螺旋形式組成。這兩條鏈?zhǔn)沁z傳信息的載體，其上各核苷酸的配對(duì)是固定的，所以兩鏈上的信息是重復(fù)的。重復(fù)起著保護(hù)遺傳信息的作用。

DNA 長(zhǎng)鏈上的一段核苷酸序列形成一個(gè)基因。高等生物DNA的核苷酸鏈比低等生物的鏈長(zhǎng)得多，但遺傳基因的數(shù)目并不與DNA的鏈長(zhǎng)成比例，因?yàn)樵S多基因?yàn)殚g隙子所隔離。在子代發(fā)育過(guò)程中，脫氧核糖核酸(DNA)上的信息轉(zhuǎn)錄到信使核糖核酸(mRNA)上，這些間隙被切除，而相關(guān)的酶把表征遺傳信息的表達(dá)子連接在一起，從而形成mRNA。這為定向地改造生物提供了可能性。從信息論的觀點(diǎn)看，間隙子可能起著類似于糾錯(cuò)碼、同步碼或其他的保護(hù)遺傳信息的作用。遺傳的變異等其他問(wèn)題顯然也與信息論有密切關(guān)系。

人類對(duì)于刺激的反應(yīng)時(shí)間與該刺激所含的信息量有關(guān)。例如，有幾個(gè)電燈以一定的概率分布，隨機(jī)地逐個(gè)明亮，那么，這組燈就是一個(gè)信源。要求受試者在某一燈明亮以后，盡快地按撳鈕滅燈。試驗(yàn)的結(jié)果表明，受試者完成這個(gè)動(dòng)作所需的平均時(shí)間的增長(zhǎng)與這組燈所給出的信息率增長(zhǎng)之間有線性關(guān)系。這對(duì)揭示人類處理信息的規(guī)律和方法很有幫助。

參考書(shū)目

1. R.G.Gallager， Information　Theory and Reliable Communication，Wiley，New York，1968.
2. E. R. Berlekamp， Algebraic Coding Theory， McGraw-Hill，New York，1968.
3. H. L. Van Trees， Detection　Estimation，　and Modulation Theory，Part 1，Wiley，New York，1968.

參考文章

• 經(jīng)濟(jì)信息論的輝煌和無(wú)奈經(jīng)濟(jì)百科

建筑資質(zhì)代辦咨詢熱線：13198516101

標(biāo)簽：xinxilun、信息論

版權(quán)聲明：本文采用知識(shí)共享 署名4.0國(guó)際許可協(xié)議 [BY-NC-SA] 進(jìn)行授權(quán)

文章名稱：《信息論》

文章鏈接：http://m.fjemb.com/12672.html

該作品系作者結(jié)合建筑標(biāo)準(zhǔn)規(guī)范、政府官網(wǎng)及互聯(lián)網(wǎng)相關(guān)知識(shí)整合。如若侵權(quán)請(qǐng)通過(guò)投訴通道提交信息，我們將按照規(guī)定及時(shí)處理。