信息論
[拼音]:xinxilun
[外文]:information theory
研究控制廣義通信系統(tǒng)設(shè)計(jì)的數(shù)學(xué)規(guī)律的理論。它是概率論、隨機(jī)過(guò)程論與通信技術(shù)結(jié)合的學(xué)科,主要任務(wù)是研究通信系統(tǒng)的有效性(效率)和可靠性,以及二者的關(guān)系。通信的本質(zhì)是信息的傳輸。廣義通信不僅包括電報(bào)、傳真、電話、廣播和電視等,也包括雷達(dá)、聲納、信息存取、信息處理、人與機(jī)器或機(jī)器之間的通信等。進(jìn)行科學(xué)實(shí)驗(yàn)或?qū)δ硞€(gè)系統(tǒng)進(jìn)行觀察,如人工地震、探礦技術(shù)和射電天文觀測(cè),也是獲取或接收信息的過(guò)程。
在信息論的理論研究中,把各種通信系統(tǒng)概括為統(tǒng)一的模型。圖1表示簡(jiǎn)單的通信系統(tǒng)模型。信源產(chǎn)生待傳輸?shù)南?。消息的形式是多種多樣的,如字母、文字、旗語(yǔ)、數(shù)據(jù)、語(yǔ)聲、音樂(lè)和圖像等(這些都可視為符號(hào)序列)。但是消息不同于信息,它是信息的載體。發(fā)送機(jī)將消息變換為適合于信道的信號(hào),信號(hào)遂成為信息的載體。變換指的是從消息轉(zhuǎn)變?yōu)樾盘?hào)的全過(guò)程,其中最主要的常是編碼與調(diào)制。信道是信號(hào)從發(fā)送機(jī)傳輸?shù)浇邮諜C(jī)的媒質(zhì),如導(dǎo)體、傳播電磁波的自由空間和光導(dǎo)纖維等。信號(hào)在傳輸途中總要遇到一些干擾,受到不可預(yù)計(jì)的損害。這些干擾被稱為噪聲,系統(tǒng)各部分的噪聲的總合以噪聲源表示。接收機(jī)是發(fā)送機(jī)的對(duì)應(yīng)端,它將信號(hào)再變換為消息。但是,接收信號(hào)一般已受到干擾,輸出的消息中將出現(xiàn)失真或錯(cuò)誤,因而失去部分信息。信宿是被傳輸信息的歸宿,也就是接受者。
在上述模型中只有一個(gè)信源和一個(gè)信宿。如果將它推廣,信源或信宿或兩者均超過(guò)一個(gè),傳輸方向也可能不是單向的,就可得出各種多用戶通信系統(tǒng)模型。
由于信息論的應(yīng)用比較廣泛,與許多學(xué)科有聯(lián)系,并有與一些學(xué)科互相滲透、形成新學(xué)科的趨勢(shì),以致難以清晰地確定其內(nèi)容范圍。電子學(xué)界一般認(rèn)為信息論的主要內(nèi)容包括信息熵(信息的度量)、信源編碼、信息傳輸、信道容量、信道編碼、信息率-失真理論、檢測(cè)與估計(jì)(見(jiàn)檢測(cè)理論及估計(jì)理論)和保密學(xué)等。
歷史和發(fā)展
信息論是在20世紀(jì)中葉從電信技術(shù)中總結(jié)和發(fā)展起來(lái)的理論。美國(guó)C.E.仙農(nóng)于1948年所著論文《通信的數(shù)學(xué)理論》為此奠定了基礎(chǔ)。1928年R.V.L.哈特萊得出信息定量的概念。他把待傳輸?shù)南⒖紤]為符號(hào)序列,舍去消息的語(yǔ)義,不把它作為計(jì)算信息量的因素。他指出,從含有N個(gè)元的符號(hào)集合中選擇L個(gè)元組成的不同序列有NL個(gè),這些序列代表不同的消息。如果對(duì)這些消息的選擇是隨機(jī)的,并且是等可能的,他建議把每個(gè)消息所含信息量計(jì)為I=log10NL。哈特萊忽視語(yǔ)義的思想和對(duì)信息定量的概念,后來(lái)都成為仙農(nóng)創(chuàng)立信息論的基礎(chǔ)。仙農(nóng)最初的貢獻(xiàn)可以概括為:
(1)從準(zhǔn)公理的觀點(diǎn)對(duì)信息量作出定義;
(2)研究了在無(wú)噪聲和有噪聲信道中傳輸離散消息時(shí)的信息流量;
(3)建立了信道容量的概念,并闡明了它的實(shí)際意義;
(4)建立了某些基本的編碼定理;
(5)研究了在有噪聲情況下傳輸連續(xù)信號(hào)時(shí)的信息流量。50年代以來(lái),仙農(nóng)本人,美國(guó)、蘇聯(lián)、日本和一些歐洲國(guó)家的學(xué)者以及中國(guó)學(xué)者,對(duì)信息論都作出了不同程度的貢獻(xiàn)。信息論的發(fā)展主要表現(xiàn)在兩個(gè)方面:第一,從1969年得到重視和發(fā)展的信息率-失真理論及其應(yīng)用;第二,對(duì)多用戶通信系統(tǒng)模型的研究。
與仙農(nóng)同時(shí),N.維納研究了抑制噪聲的濾波問(wèn)題。他把信號(hào)和噪聲都看作隨機(jī)過(guò)程,作出信號(hào)在疊加噪聲后的波形與信號(hào)原波形之間有最小均方誤差的濾波器設(shè)計(jì),稱為維納濾波。維納濾波后來(lái)又發(fā)展為卡爾曼濾波。維納理論在很長(zhǎng)時(shí)間被公認(rèn)為是信息論的組成部分。但是,60年代初遞歸濾波作為一個(gè)課題出現(xiàn)在控制理論中,并且與最優(yōu)控制聯(lián)系,使維納理論得到新的動(dòng)力,從而成為基本上獨(dú)立于信息論的研究課題。
同時(shí),仙農(nóng)在貝爾實(shí)驗(yàn)室的同行們?cè)谥铝ρ芯考m錯(cuò)編碼技術(shù),對(duì)要傳輸?shù)男蛄羞M(jìn)行編碼,使它在傳輸中發(fā)生一定數(shù)量的錯(cuò)誤時(shí)可以被發(fā)現(xiàn)或自動(dòng)糾正。最初的代表性著作是R.W.漢明于1950年公布的。糾錯(cuò)編碼是用以增強(qiáng)通信可靠性的,后來(lái),它就自然地成為信息論的一個(gè)分支。
另一個(gè)被納入信息論范圍的重要分支,是信號(hào)的統(tǒng)計(jì)檢測(cè)和估計(jì)理論,因?yàn)橐獜囊粋€(gè)實(shí)體或系統(tǒng)獲取信息必然要從一組假設(shè)中判決(檢測(cè))何者為真,或?qū)Ρ碚鲗?shí)體或系統(tǒng)的某些參量作出估計(jì)。決策理論和估計(jì)理論問(wèn)題,在18世紀(jì)中葉和19世紀(jì)初已有所研究。20~30年代,R.A.費(fèi)歇耳J.奈曼和E.S.皮爾遜對(duì)經(jīng)典理論作出的新貢獻(xiàn)成為現(xiàn)代檢測(cè)和估計(jì)理論的基礎(chǔ)。第二次世界大戰(zhàn)以來(lái),主要是將理論應(yīng)用于對(duì)各種通信系統(tǒng)的設(shè)計(jì)和分析。50年代末期,利用激光射束的通信和雷達(dá)系統(tǒng)的發(fā)展,則引起了對(duì)光頻信號(hào)的有效檢測(cè)與參量估計(jì)以及對(duì)傳輸這些信號(hào)的信道性質(zhì)的研究。
學(xué)科內(nèi)容
信息論這一學(xué)科的主要內(nèi)容包括信息的度量、信源編碼、信息傳輸、糾錯(cuò)編碼、信息率-失真理論、檢測(cè)與估計(jì)和保密學(xué)等。
信息的度量和定量
由于消息的形式多種多樣,必須對(duì)它們所含的信息有一個(gè)統(tǒng)一的定量方法,以便作為物理量來(lái)處理。在通信系統(tǒng)中傳輸?shù)南⑹切旁磸钠渌赡芙o出的符號(hào)中逐個(gè)產(chǎn)生的個(gè)別符號(hào)。從統(tǒng)計(jì)學(xué)的觀點(diǎn)來(lái)說(shuō),消息的產(chǎn)生過(guò)程就是從一個(gè)符號(hào)集合(符號(hào)表)中作出一串任意的選擇,但對(duì)不同元(符號(hào))的選擇對(duì)應(yīng)著不同的概率,并且前后的選擇可能有相關(guān)性。最簡(jiǎn)單的信源是兩個(gè)元組成的集合,例如“是”和“非”,且前后符號(hào)獨(dú)立,每個(gè)符號(hào)的發(fā)生概率均為1/2。最簡(jiǎn)單的消息是由它產(chǎn)生的單符號(hào)消息。人們以這種等概率的二者擇一的符號(hào)所含的平均信息量作為單位信息量,稱為比特,可以從下式得出
(1)
式中P1和P2分別是兩個(gè)符號(hào)的發(fā)生概率。對(duì)于式(1):第i個(gè)符號(hào)所含信息量是;所以式(1)是每個(gè)符號(hào)的統(tǒng)計(jì)平均信息量。這個(gè)概念可以推廣到信源是N個(gè)符號(hào)組成的集合,并且各符號(hào)的概率為Pi(i=1,2,…,N)的情況。這時(shí)每個(gè)符號(hào)的平均信息量為
(2)
信息量的這個(gè)計(jì)算方法符合三個(gè)通常的概念。
(1)發(fā)生概率越小的消息所含信息量越大,即稀罕的事所含信息量大。如果N 個(gè)符號(hào)是等概率的,H 取極大值,因?yàn)槿藗儾荒軓倪@個(gè)概率分布獲得對(duì)消息的任何傾向性。如果符號(hào)表中只含一個(gè)符號(hào),就是說(shuō),每次都傳送同一消息,當(dāng)然H=0。
(2)如果信源產(chǎn)生個(gè)別符號(hào)時(shí)分兩步走,先將全體符號(hào)分為若干組,并從中選擇一組,后從已選組中選擇符號(hào);那么,按照上述原理所確定的平均信息量,與一次直接選擇出符號(hào)所求得的結(jié)果相等。
(3)若信源連續(xù)發(fā)生兩個(gè)獨(dú)立的符號(hào),把這兩個(gè)符號(hào)看成一個(gè)大符號(hào)來(lái)計(jì)算的信息量等于按每個(gè)符號(hào)單獨(dú)計(jì)算時(shí)的信息量的和。理論家們從公理出發(fā)所得出的信息量計(jì)算公式與式 (2)是一致的。在數(shù)字通信技術(shù)中,計(jì)算信號(hào)速率時(shí)常把每個(gè)二進(jìn)制數(shù)位稱為“比特”,它的概念是與作為信息量的單位“比特”不同的。式(2)中的H常稱為信源的信息熵,或簡(jiǎn)稱為熵,又常把它視為對(duì)信源的不定度的量度。
信源所產(chǎn)生的消息常常不是單一符號(hào),而是一個(gè)序列,前后存在相關(guān)性。相關(guān)性越強(qiáng),符號(hào)平均信息量越小。相關(guān)性延續(xù)的符號(hào)數(shù)越多,一般地說(shuō),符號(hào)平均信息量越小。
信源編碼
信源編碼要解決的問(wèn)題是對(duì)信源產(chǎn)生的符號(hào)序列進(jìn)行編碼(常用二進(jìn)制碼),要求能夠正確無(wú)誤地譯碼,同時(shí)力求高的編碼效率,以減少傳輸時(shí)間或縮小存儲(chǔ)空間。若信源符號(hào)包含A、B、C和D,相應(yīng)的發(fā)生概率是1/2、1/4、1/8和1/8。如果直接用二進(jìn)制數(shù)編碼,結(jié)果可能是A:11、B:10、C:01、D:00。編碼效率為每一符號(hào)2個(gè)二進(jìn)制碼。若在編碼時(shí)利用統(tǒng)計(jì)規(guī)律,則可能的結(jié)果是A:1、B:01、C:001、D:000。用這個(gè)方法編出的序列能還原為原符號(hào),不會(huì)出現(xiàn)劃段錯(cuò)誤。同時(shí),每個(gè)符號(hào)所需的位數(shù)將是1.75,效率較前提高。信源的熵也等于1.75比特/符號(hào)。這是一個(gè)特例,但符合信息論的一個(gè)重要結(jié)果:如果離散無(wú)記憶信源的熵為H 比特/符號(hào),那么,用二進(jìn)制數(shù)字對(duì)它的符號(hào)逐個(gè)進(jìn)行編碼,總可以找到所需位數(shù)任意接近H 的碼。對(duì)于前后有相關(guān)性,或稱有記憶的信源,這個(gè)定理仍然成立,但此時(shí)不是對(duì)信源符號(hào)逐個(gè)進(jìn)行編碼,而是對(duì)長(zhǎng)符號(hào)序列進(jìn)行編碼。
信息傳輸和信道容量
按照通信系統(tǒng)的模型(圖1),如果信道是無(wú)噪聲的,發(fā)端所送出的消息可以在接收機(jī)輸出端還原,送給信宿,信息無(wú)損失。但是,信道中通常存在噪聲。例如,對(duì)于圖2中的二元信道,發(fā)端和收端均有兩個(gè)符號(hào)(0,1),發(fā)端記為x,收端記為y。因?yàn)橛性肼暎瑐鬏斂赡苠e(cuò)誤。當(dāng)x=0時(shí),它以條件概率P00被正確接收為y=0,以P10被錯(cuò)誤接收為y=1。當(dāng)發(fā)送x=1時(shí),正確與錯(cuò)誤的概率分別是P11和P01。這一組條件概率{Pki}(i,k=0,1),表征二元信道的數(shù)學(xué)模型。設(shè)x=0和1的先驗(yàn)概率分別為P0和P1,那么,在信道輸入的熵(或不定度)為
在收端,不論y為0或1,都不能確知是否與所發(fā)的x對(duì)應(yīng)無(wú)誤,即仍有不定度。從Pi和Pki(i,k=0,1)可以求出y=k時(shí)的概率Qk和后驗(yàn)概率Qik,后者是信道輸出y=k時(shí)輸入x=i的概率。對(duì)于每個(gè)y=k,用Qik代替式(2)中的Pi,再將得出的熵以Qk加權(quán)求和,即得收到y后x的條件熵或不定度
(3)
而H(x)-H(x|y)是通信過(guò)程所消除的x的不定度,它等于發(fā)端傳至收端的平均信息量。在無(wú)噪聲時(shí),當(dāng)i=k,Qik=1;于是H(x│y)=0(這里約定0log20=0),從發(fā)端傳至收端的信息量,等于H(x),發(fā)端x的不定度全部消除。
對(duì)于給定信道,所有條件概率{Pki}是確定的,但平均信息傳輸率H(x)-H(x│y)隨先驗(yàn)概率{Pi}而變。信道容量C 就是改變此先驗(yàn)概率分布時(shí)所能得到的最大平均信息傳輸率。關(guān)于信息在信道中傳輸?shù)幕径ɡ硎切诺谰幋a定理。它的粗略概念是:如果待傳輸?shù)男畔⒙?i>R<C,則總存在一種編碼,使在收端還原出原消息的符號(hào)差錯(cuò)概率任意地小;反之,若R>C,則差錯(cuò)概率必大于零。有了這個(gè)定理,信道容量的概念才有明確的實(shí)際意義。
糾錯(cuò)編碼
信道編碼定理只說(shuō)明理想編碼的存在性,沒(méi)有指出它的構(gòu)造方法。糾錯(cuò)編碼的研究本來(lái)就致力于降低碼的傳輸錯(cuò)誤,信息論建立以后,它成為企圖逼近理想編碼的一種方法,因而糾錯(cuò)編碼又稱為信道編碼。在圖1 的通信系統(tǒng)中將發(fā)送機(jī)的調(diào)制等部分和接收機(jī)的相應(yīng)解調(diào)等部分納入信道。這樣發(fā)送機(jī)便成為編碼器,接收機(jī)僅是譯碼器。編(譯)碼器可能有兩個(gè)部分,信源編(譯)碼器和信道編(譯)碼器。信道編碼器和譯碼器的任務(wù)是力求自動(dòng)地發(fā)現(xiàn)或糾正在信道中傳錯(cuò)的碼元。
在糾錯(cuò)編碼中常用均等校驗(yàn)技術(shù)。由信源編碼器或信源直接輸出的碼元稱為信息位。每k位為一組,并在每組的后面加一個(gè)校驗(yàn)位,使這k+1位的和為偶(奇)。在傳輸過(guò)程中,若k+1位的碼組中有1位發(fā)生錯(cuò)誤,就會(huì)因?yàn)樗鼈兊暮蜑槠妫ㄅ迹┒蛔g碼器發(fā)現(xiàn),但不知哪一位有誤,仍不能糾正,只能要求發(fā)端重發(fā)這個(gè)碼組。如果根據(jù)一定規(guī)則從k個(gè)信息位計(jì)算出n–k個(gè)校驗(yàn)位,共同組成一個(gè)碼組,那么在譯碼時(shí)便可在一個(gè)碼組中糾正(或檢出)一個(gè)或多個(gè)錯(cuò)誤。這種碼稱為分組碼。碼的分組長(zhǎng)度是n,因校驗(yàn)位不攜帶信息,故編碼效率(碼率)為k/m。在一定信息位數(shù)下,校驗(yàn)位越多糾錯(cuò)能力越強(qiáng),而碼率越低。雖然從理論上已經(jīng)證明,錯(cuò)誤概率任意接近于零,同時(shí)碼率任意接近于信道容量的分組碼是存在的,但分組長(zhǎng)度既隨錯(cuò)誤概率接近零而增加,也隨碼率接近信道容量而增加,并且迄今尚未找到一般的構(gòu)造理論碼的步驟。
與分組碼并列的有卷積碼。雖然對(duì)它的理論研究不及分組碼成熟,但卻得到較多的實(shí)際應(yīng)用。在分組碼中校驗(yàn)位僅與本組的信息位有關(guān),而在卷積碼中校驗(yàn)位不僅與本組信息位有關(guān),且與前面的信息位有關(guān)。以碼率為1/n的卷積碼為例,其編碼方法是:編碼器根據(jù)一定規(guī)則從連續(xù)K個(gè)信息位 s1,…,sK計(jì)算出信道序列的首n位;然后sK+1進(jìn)入編碼器,s1溢出,再?gòu)?i>s2,…,sK+1計(jì)算信道序列的次n位;依此類推。這里的K稱為約束長(zhǎng)度。譯碼時(shí)也是逐位譯出。如果碼率是k/n,則只是以k位的信息位組代替前面的一個(gè)信息位,從而每次進(jìn)入和溢出編碼器的信息位為k位,不是1位;參與計(jì)算的信息位不是K位,而是kK位。譯碼時(shí)每步譯出k位。要達(dá)到很低的碼元錯(cuò)誤概率,編碼的約束必須很長(zhǎng)。
信息率-失真理論
有一類信源產(chǎn)生的消息是在時(shí)間上離散的、但取值為連續(xù)的數(shù)值序列;另一類信源被稱為連續(xù)信源,一個(gè)連續(xù)信源產(chǎn)生的消息是時(shí)間的連續(xù)函數(shù)(隨機(jī)過(guò)程的樣函數(shù))。但是,任何信宿都不能,也沒(méi)有必要鑒別這種無(wú)窮小的值差,所以可用近似值代替精確值。就是說(shuō),信宿可以容許一定的失真度。不過(guò)失真度不能在某一個(gè)別消息和它的近似之間定義,必須在所有消息上取統(tǒng)計(jì)平均來(lái)定義(見(jiàn)信息率-失真理論)。既然信宿可以容許一定的失真度,信源傳送給它的信息量就可以低于無(wú)失真時(shí)的信息量。允許的失真度越大,所需要的信息率就越低。對(duì)應(yīng)于一定的失真度D 所必需的最低信息率稱為信息率-失真函數(shù)R(D)。反之,若信源傳送給信宿的信息率達(dá)到R(D),最終的失真度則不會(huì)超過(guò)D 。
粗略地說(shuō),如果離散無(wú)記憶平穩(wěn)信源的信息率-失真函數(shù)是R(D)(比特/符號(hào)),且允許用R′二進(jìn)制位/源符號(hào),R′>R(D),對(duì)它的長(zhǎng)序列進(jìn)行編碼時(shí),則必存在一種碼能使譯碼后的失真可以任意接近于D。反之,若R′<R(D),則任何編碼的譯碼失真必大于D。這是與前面的信源編碼(無(wú)失真)相似的結(jié)果??紤]將這種信源產(chǎn)生的消息通過(guò)容量為C的信道進(jìn)行傳輸?shù)膯?wèn)題,原則上可以計(jì)算滿足R(DC)=C時(shí)的DC,信源和信宿間的平均失真度至少為DC。。信源編碼器可先把待傳輸消息變換為C個(gè)二進(jìn)制位/源符號(hào)。信道編碼器對(duì)它進(jìn)行再次變換,使到達(dá)信宿時(shí)的平均失真度任意接近于DC。當(dāng)然,兩個(gè)譯碼器都要能正確地完成相應(yīng)的逆變換。這個(gè)理想系統(tǒng)尚難以具體實(shí)現(xiàn),但可以作為一個(gè)標(biāo)準(zhǔn)使用。
檢測(cè)和估計(jì)
研究如何從混有噪聲的信號(hào)中檢測(cè)消息,并從而得出最佳接收機(jī)設(shè)計(jì)原則的理論。若要檢測(cè)的消息有n個(gè),編號(hào)為0至n-1,且消息的先驗(yàn)概率是已知的,任一消息j被接收為i的代價(jià) Cij(i,j=0,1,…,n-1)也是已知的。那么,確定最佳接收的合理準(zhǔn)則通常是:所付的代價(jià)為極小,這個(gè)準(zhǔn)則稱為貝葉斯準(zhǔn)則。如果先驗(yàn)概率是未知的,也無(wú)足夠根據(jù)可以假設(shè)它們,就須采用極小極大準(zhǔn)則,即最佳接收時(shí)可能付出的最大平均代價(jià)為極小。在特定的二元檢測(cè)情況下,例如雷達(dá)探測(cè)空中某區(qū)域有無(wú)目標(biāo),不但缺乏消息的先驗(yàn)知識(shí),且誤判有目標(biāo)(虛警)的代價(jià)難以估計(jì)時(shí),常用奈曼-皮爾遜準(zhǔn)則。這個(gè)準(zhǔn)則的意義是在虛警概率不超過(guò)規(guī)定值時(shí),正確判決有目標(biāo)的概率為極大。應(yīng)用上述三個(gè)準(zhǔn)則中的任一準(zhǔn)則接收機(jī)的基本結(jié)構(gòu)都是相同的。
如果消息內(nèi)含的信息反映一個(gè)或多個(gè)取值連續(xù)的參量,那么信息提取過(guò)程稱為估計(jì),即要根據(jù)混有噪聲的信號(hào)對(duì)這些參量進(jìn)行估值。估計(jì)和檢測(cè)的基本理論是兩個(gè)相似的平行分支。在估計(jì)問(wèn)題中有時(shí)待估計(jì)的消息是時(shí)間的連續(xù)函數(shù),甚至是時(shí)間和空間的函數(shù)。在特定情況下,這個(gè)問(wèn)題可以用維納濾波器或卡爾曼濾波器解決。
保密學(xué)
仙農(nóng)于1949年在其《保密體制的通信理論》一文中闡明,用信息論的概念可以在保密學(xué)中形成一個(gè)原則:一種語(yǔ)言的信息率與該語(yǔ)言密碼的解密可能性有直接關(guān)系,信息率越低,解密越容易,為了完全或唯一地解出密碼所需要截獲的消息越少。
信息論與其他學(xué)科的關(guān)系
信息論與物理學(xué)、分析化學(xué)、遺傳學(xué)和心理學(xué)等學(xué)科有密切的關(guān)系。
信息熵表征信源的不定度,它等于消除這個(gè)不定度所需要的信息量。在熱力學(xué)中,熵的表達(dá)式與信息熵相同,但它是用來(lái)表示分子狀態(tài)的雜亂程度的。這兩個(gè)熵互為負(fù)量。美國(guó)的L.N.布里淵導(dǎo)出了兩者的關(guān)系(1956年):1比特的信息量等價(jià)于kln2(J/K),其中k為玻耳茲曼常數(shù);從而推廣了熱力學(xué)的第二定律,即?S-?I≥0,式中?S為熱熵增量;?I為信息熵增量。這就是說(shuō),在孤立的絕熱系統(tǒng)中,如果有信息參與,就不能說(shuō)熱熵不能減小,而是?S-?I不能減小。這樣,就更好地解釋了“麥克斯韋精靈”理想實(shí)驗(yàn)。精靈之所以能降低與它聯(lián)系著的系統(tǒng)的熱熵,是因?yàn)樗@有信息。
化學(xué)分析是從樣品中獲取被抽樣物質(zhì)成分的信息的過(guò)程。定性分析的目的是確定樣品中是否存在某些成分。定量分析的特點(diǎn)是可以獲得關(guān)于成分的數(shù)字信息,即某些成分的濃度或量。從分析所得到的信息量,是以分析前后成分的不定度的差來(lái)度量的。人們可以從信息論的觀點(diǎn)對(duì)分析方法進(jìn)行優(yōu)化。
生物遺傳的性狀,決定于細(xì)胞內(nèi)部的脫氧核糖核酸(DNA)。DNA的分子由4種不同的堿基核苷酸(A,G,C,T)連接成的兩條核苷酸鏈(序列)以雙螺旋形式組成。這兩條鏈?zhǔn)沁z傳信息的載體,其上各核苷酸的配對(duì)是固定的,所以兩鏈上的信息是重復(fù)的。重復(fù)起著保護(hù)遺傳信息的作用。
DNA 長(zhǎng)鏈上的一段核苷酸序列形成一個(gè)基因。高等生物DNA的核苷酸鏈比低等生物的鏈長(zhǎng)得多,但遺傳基因的數(shù)目并不與DNA的鏈長(zhǎng)成比例,因?yàn)樵S多基因?yàn)殚g隙子所隔離。在子代發(fā)育過(guò)程中,脫氧核糖核酸(DNA)上的信息轉(zhuǎn)錄到信使核糖核酸(mRNA)上,這些間隙被切除,而相關(guān)的酶把表征遺傳信息的表達(dá)子連接在一起,從而形成mRNA。這為定向地改造生物提供了可能性。從信息論的觀點(diǎn)看,間隙子可能起著類似于糾錯(cuò)碼、同步碼或其他的保護(hù)遺傳信息的作用。遺傳的變異等其他問(wèn)題顯然也與信息論有密切關(guān)系。
人類對(duì)于刺激的反應(yīng)時(shí)間與該刺激所含的信息量有關(guān)。例如,有幾個(gè)電燈以一定的概率分布,隨機(jī)地逐個(gè)明亮,那么,這組燈就是一個(gè)信源。要求受試者在某一燈明亮以后,盡快地按撳鈕滅燈。試驗(yàn)的結(jié)果表明,受試者完成這個(gè)動(dòng)作所需的平均時(shí)間的增長(zhǎng)與這組燈所給出的信息率增長(zhǎng)之間有線性關(guān)系。這對(duì)揭示人類處理信息的規(guī)律和方法很有幫助。
- 參考書(shū)目
-
- R.G.Gallager, Information Theory and Reliable Communication,Wiley,New York,1968.
- E. R. Berlekamp, Algebraic Coding Theory, McGraw-Hill,New York,1968.
- H. L. Van Trees, Detection Estimation, and Modulation Theory,Part 1,Wiley,New York,1968.
參考文章
- 經(jīng)濟(jì)信息論的輝煌和無(wú)奈經(jīng)濟(jì)百科
建筑資質(zhì)代辦咨詢熱線:13198516101