離散信道信道容量的計算

余秀玲

(西南石油大學，四川 成都 610500)

1 信道容量

最簡單的通信系統由信源、信道和信宿組成。對于信道來說，在信道固定的前提下，傳輸的信息量當然是越多越好，因此信道容量問題是信道研究的重點。信道容量是信道傳輸信息的最大能力，由信道特性決定。對于特定的信道，信道容量是個定值。根據平均互信息的凸函數性，平均互信息量I(x;y)是輸入信源概率分布{p(ai)，i=1,2,…,n}的上凸函數，在固定信道的的前提下，平均互信息量有最大值，即信道容量一定存在。但是，在傳輸信息時，信道能否提供其最大傳輸能力或者說能否達到信道容量，取決于兩點：信源離散無記憶；信源的輸入概率分布是使I(x;y)最大的分布。下面給出離散無記憶信道容量的定義：

2 幾種特殊離散信道信道容量的計算

離散信道分為多符號離散信道和單符號離散信道，下面針對單符號離散信道進行討論，給出三種特殊對稱信道的信道容量計算方法。

2.1 對稱離散信道

對稱信道的轉移概率矩陣中的每一行都是同一集合{p1，p2，…，pk} 各元素的不同排列，每一列都是同一集合{y1,y2，…，yc}各元素的不同排列。設輸入信源概率分布為X：{p(a1)，p(a2)，…，p(ac)}，輸出概率分布為Y：{p(b1)，p(b2)，…，p(bk)}，根據信息論的理論及相關結論，可以求得噪聲熵：

=H(p1,p2,p3,…,pk)

2.2 強對稱離散信道

強對稱離散信道是特殊的對稱信道，強對稱信道的概率轉移矩陣的每一行和每一列都是同一集合各元素{p1,p2，…，pk}的不同排列，所以行數等于列數，概率轉移矩陣一定為方陣，行與列的元素是可排列的。因此當然可以表示為C=logk-H(p1,p2,p3，…，pk)，同樣當輸入為等概率分布時，強對稱信道達到其信道容量。

2.3 準對稱離散信道

C=-(2×0.375·log0.375+2×0.125·log0.125)+(0.5log0.5+0.25log0.25+0.125log0.125+0.125log0.125)=0.0612(bit/sign)

故該準信道矩陣的信道容量為0.0612 bit/sign.由于該信道為準對稱信道，所以不存在等概率輸入就有等概率輸出的結論，此時達到信道容量滿足的條件是調整信源的輸入概率分布，使得輸出為等概率分布，則達到信道容量。

3 一般離散信道信道容量的計算

4 結論

信道的信道容量計算是信道問題的研究重點，也是比較復雜的問題。對于特殊離散信道如對稱離散信道、強對稱離散信道和準對稱離散信道，對稱離散信道和強對稱離散信道的信道容量求解比較簡單，兩種信道要注意區分不同，相同點是兩者達到信道容量的條件都是輸入等概率分布。準對稱信道容量的求解比較復雜，要將其概率轉移矩陣先轉變為若干個對稱子集，再求解容量，至關重要的一點，準對稱信道達到容量的條件是輸入的概率分布是使得輸出等概率分布的分布。此時，對于準對稱，輸入等概率不一定使得輸出等概率。當然，除了特殊離散信道，就是一般離散信道，那么對于一般離散信道容量的求解，按照四個步驟進行，其中重點是必須求解輸入概率分布，檢驗輸入概率矩陣是否都大于零，若滿足都大于零，則C即所求；若不滿足，則上述C不存在，使用迭代算法重新求解。因此，在求解離散信道信道容量時，首先判斷信道的類型，再采取對應的解決方案。

[1] 姜丹.信息論與編碼[M].北京：中國科學技術大學出版社，2001.

[2] 周蔭清.信息理論基礎[M].北京：北京航空航天大學出版社，2002.

[3] 陳運, 周亮, 陳新.信息論與編碼[M].北京:電子工業出版社，2005.