信息熵原理探討及其在二元系統的應用

張麗琴,徐士濤

淮北師范大學 物理與電子信息學院,安徽 淮北 235000

1948年,克勞德·香農[2]首次定義了信息熵的概念,將其定義為一個離散隨機變量的所有可能取值所包含的平均信息量,并將統計熵作為信息論的核心概念,用來描述系統的不確定性。信息熵會隨著系統有序程度的增加而減少,而隨著無序程度的增加而增加。信息熵衡量了隨機變量出現的期望值,當一個變量的信息熵較大時,它可能出現的各種情況就更多,即包含的信息更豐富[3-5]。因此,我們需要更多的表達來描述它,即需要更多的信息來確定這個變量。一條信息的信息量與其不確定性直接相關。例如,對于非常不確定或完全未知的事情,我們需要獲取大量信息才能理解。相反地,如果我們對某件事已經有了較多了解,就不需要太多信息就能理解清楚。因此,信息量的度量可以視為不確定性的度量。

信息熵是用來研究不同種類隨機事件的數學工具,它的價值在于減少事件發生的不確定性,使得信息變得確定和有序。與我們熟知的熵相比,信息是有秩序的,而熵則是無序且復雜的。本文通過探討信息熵與隨機事件之間的聯系,引出背后的統計模型,深化對信息熵的認識和理解。通過考慮二元系統,定量描述信息熵的演化過程,進一步強調了在非平衡系統中引入信息熵的概念的必要性和重要性。

1 信息熵原理

信息熵是用于衡量隨機事件不確定性的重要概念,它提供了一種量化度量,用于描述在給定一系列可能性時,對于實際結果的預測或預期程度[5]。信息熵的計算基于事件發生的概率分布,通過對所有可能事件的概率加權求和來衡量系統的不確定性。用公式表示為:

2 二元系統

針對不同物理系統,二元系統的研究具有廣泛的適用性。例如,許多物理系統可以被抽象為二元系統,這種抽象能夠幫助我們更好地理解系統的基本行為。鐵磁礦、合金等實際系統可以通過二元系統的分析來獲得系統的相關行為[7-10]。此外,生活中的相變現象,如液體加熱時的相變,也可以通過理解二元系統的概念得到解釋。通過研究模型,我們可以更好地理解隨機性如何影響系統的不確定性和混亂程度。這種理解有助于強調信息熵的廣泛應用性,而不是僅限于確定性系統。在處理量子系統時,結合統計力學和量子力學的原則,應用信息熵的最大值原理,以更好地理解和描述量子效應。量子力學中的波函數振幅平方反映了在不同狀態中找到系統的概率。通過最大信息熵原理,可以理解系統趨向于進入最不確定的狀態,這與量子態的性質相一致。信息熵的最大值原理在量子力學用來衡量量子態的不確定性和信息分布,系統趨向于達到具有最大熵的狀態,即系統在不受約束條件限制的情況下,會傾向于進入最不確定的狀態。在量子系統中,這可以解釋為系統趨向于進入最平均分布的狀態,這與量子態的特性相符合[11-13]。

綜上所述,信息熵是一個貫穿不同領域的普適概念,有助于我們深入理解隨機性和不確定性對系統行為的影響。通過探索經典的二元系統到隨機性的模型,可以更好地把握信息熵的本質,并將其應用于多樣的物理體系中。

3 信息熵原理在二元系統中的應用

在研究物理系統時,我們經常需要計算狀態數,以便更好地理解系統的性質。對于一個特定的二元系統,考慮其狀態數,粒子固定在N個位置上,且每個位置上的小磁鐵只保留自旋向上或向下兩種運行方式,對應磁矩為±m。系統的狀態數可以通過一個生成函數來表示,其中每個位點上的自旋方向決定了系統的狀態。這個生成函數是一系列項的和,每一項表示系統的一個可能狀態,通過N個獨立磁矩的乘積來構建。若假設每個位置可以被占用(自旋向上↑)或空置(自旋向下↓),如表1所示。同一種元素可以表示為兩種狀態的位點,即已占用或未占用。表1中的1、2或3表示位點的編號。不同編號的位點在物理空間中應當不會重疊。

表1 某特定二元系統狀態數的位點序號

無論研究對象性質如何,都可以用豎直向上或豎直向下的箭頭來指定這兩種狀態。如果磁體自旋向上,磁矩是+m;如果磁體自旋向下,磁矩為-m,這樣的模型通常被稱為伊辛模型?，F在考慮N個位點,每個位點上都有一個磁矩(假設其值為±m)。每個磁矩只可能有兩個方向,并且不考慮磁矩之間的相互作用。N個磁矩組態總數為2×2×2…=2N。系統的狀態是通過給出每個位點上的磁矩方向來指定的,有2N種狀態。不難理解,系統的每個不同狀態都包含在N個因子的符號乘積中(如圖1所示)。圖1是2N個項之和,其中的每一項都是系統允許的可能狀態,每一項都是N個單獨磁矩的乘積(即生成“函數”,用來表征系統可能出現的狀態)。這樣的求和不是一個狀態,而是列出系統所有的可能狀態。

圖1 N個小磁體組成的伊辛模型的所有可能狀態的生成“函數”

對于N個磁矩的二元系統,它的總磁矩M可以取不同的值,從而得到不同的狀態。如果我們從所有磁矩自旋向上的狀態開始,然后每次翻轉一個磁矩,可以得到M的所有可能取值。系統的狀態數與總磁矩M的可能取值數相等,但是實際上,系統的狀態數遠遠多于總磁矩的可能取值個數,因為不同狀態可能具有相同的總磁矩M。M可以取以下值:

M=Nm,(N-2)m,(N-4)m,…,-Nm。 (2)

若從所有小磁體自旋向上的狀態(M=N·m)開始,每次翻轉一個磁體就可以得到M的可能取值集合。我們可以翻轉N個磁體,得到所有自旋向下的最終狀態(M=-N·m)?？偞啪豈有N+1個取值,系統有2N個可能狀態。當N?1時,我們有2N?N+1,即系統的可能狀態數遠遠多于總磁矩的可能取值個數,此時系統的許多不同狀態可能具有相同的總磁矩M。為了更好地理解系統的狀態數,引入了自旋過剩的概念,它表示自旋向上和自旋向下的差值。通過這個概念,進一步計算系統的狀態數,并引入了生成函數的概念,通過對生成函數進行展開,得到系統的狀態數和各個自旋過剩值的分布。若定義自旋過剩:

N↑-N↓≡2s, (3)

其中N↑+N↓=N。當我們只關心在一個狀態中有多少小磁體的自旋向上,有多少小磁體的自旋向下(而不是哪個特定位點的磁體自旋狀態)時,去掉圖1的下角標。由此發現展開系數便是我們的目標函數g。如表2中所示,顯示的是磁矩個數與生成函數之間的產生與一一對應關系。從表2中可以清晰的看出,生產函數增加的數量是磁矩個數的N次冪。

把表2中的生成函數關系帶入公式(3),為了計算簡便,此處,↑用z表示,↓用1表示,把公式(3)進行泰勒級數展開,得到:

其中G(N,z)是生成函數。

若(N,n)→(N,s);n≡N↑=N/2+s,

得到

當N為偶數,gmax=g(N,0),g(N,N/2)=g(N,-N/2)=1 。

為了進一步計算(↑+↓)N,利用

令t≡N/2-s,由此我們得到:

這也驗證了前面(6)式,g(N,s)是具有相同s值的狀態個數,同時也是具有相同能量的狀態個數。如果對一個自旋系統施加均勻外磁場,不同s值的各個狀態其能量也不相同。當N為奇數時,s為半整數,N/2+s和N/2-s也都是整數,所以不用擔心階乘運算中出現半整數。

由(10)式得

假設每個磁矩不會彼此影響,故系統有2N種不同的狀態。

我們注意到N↓=N/2-s,并且對(9)式取對數:

lng(N,s)=lnN!-lnN↑!-lnN↓!, (12)

當N很大時,我們用斯特林近似

進一步有

最后我們得到伊辛模型的熵為:

此時g(N,s)在N很大時的結果為:

其中

如圖2所示,從圖中我們發現N=100,g(s)可以被看成離散的“高斯函數”,即g(s)上的每一點幾乎都在高斯函數曲線上。實際上g(s)的理論值和近似值在N小于100時差距較大,但是隨著N越來越大,理論值所呈現的圖像越來越趨近連續的高斯函數曲線。同時,從圖中還可以非常輕易的看出,當s取0時,對用的g(N,s)值都是1。進一步,我們考慮了當N很大時的情況。在這種情況下,我們使用了斯特林近似來估計組合數,從而得到了系統的熵。熵的計算顯示,隨著N的增大,系統的狀態數呈指數增長。

圖2 二項式系數g(N,s)在線性尺度上的高斯近似

如果假設每個小磁體自旋向上和自旋向下出現的幾率都相等,即N個小磁體自旋向上和自旋向下出現的幾率為P=1/2N,那么就會得到當N很大時系統出現具有狀態(s)的幾率為

由此我們發現,當N趨于無窮大時,s=0出現的幾率趨于0,除此之外的幾率似乎比0還小,但是所有情況的幾率求和應該為1。但是當N很大卻不是趨于無窮時,可以把g(N,s)準確地理解成高斯分布[14]。從圖3中可以看出,隨著N的取值范圍從1 000變化到9 000,N越來越大,概率分布函數P(s)卻越來越“平坦”,因此對于任意s,概率都幾乎相同。若N趨于無窮大時,概率P(s)則趨近于一條直線。說明并不存在這樣一個P(s),使其既要保證與s軸圍成的面積恒等于1,又要保證函數每一點的函數值趨于常數。

圖3 N取不同時的P(s)的函數“曲線”

若考慮N固定且很大,有:

通過計算,我們發現隨著N的增大,極化率的概率分布函數逐漸變得“尖銳”,這意味著在極大系統中,極化率的值更有可能集中在某些特定值附近[15-16],而其他值的幾率逐漸減小。我們重新考慮物理量極化率:

則極化率的概率分布函數為:

即

則公式(29)可以進一步簡化為:

利用公式(31),得到圖4。從圖4的極化率分布函數可以看出,隨著N數目的增加,極化率函數的峰值越來越尖銳,若N趨于無窮大時,極化率P(ρ(s))則趨近于一條直線。說明并不存在這樣一個P(ρ(s)),使其既要保證與s軸圍成的面積恒等于1,又要保證函數每一點的函數值趨于常數。極化率的概率分布函數逐漸變得“尖銳”,這意味著在極大系統中,極化率的值更有可能集中在某些特定值附近,而其他值的幾率逐漸減小。即極化率的概率分布呈現一定的秩序性,這正是信息熵函數的特征體現。

圖4 極化率的概率分布函數

4 總 結

通過探討信息熵原理及其在二元系統和伊辛模型中的應用,闡述了信息熵在衡量隨機變量不確定性方面的重要性。介紹了信息熵的演化過程和其有序性的基本原理,并詳細討論了在二元系統和伊辛模型中計算信息熵的方法。最后強調了信息熵在理解隨機性和不確定性對系統行為的影響以及其在實際應用中的多樣性方面的重要性,發現隨著N的增大,概率分布函數或者是極化率的概率分布逐漸變得“尖銳”,這意味著在極大系統中,概率值更有可能集中在某些特定值附近,而其他值的幾率逐漸減小。本文的研究對于深入理解信息熵的本質和應用于多樣的物理體系中具有一定的參考價值。