什么是信息？香農這樣說

差評君

在30歲出頭的時候，他僅用兩篇論文解決了許多懸而未決的問題，闡明了通信的基本問題，給出了通信系統模型，提出了信息量數學表達式、解決了信道容量、信源統計特性、信源編碼、信道編碼等一系列基本技術問題。他提出的信息論向各個學科發起了沖擊，最終的研究規模像雪球一樣越滾越大，幾乎觸及了一切領域，他，就是人稱信息學創世神的克勞德·艾爾伍德·香農。

我們現在能用滴滴打車、能刷手機聽歌追劇，都欠香農一聲感謝。作為信息學開創者，這個信息時代的一切科技——近到電腦、手機，遠到5G、AI、大數據都通通離不開他的理論。有人這樣形容香農，作為信息學的創世神，在創世之日就宣布了這個學科的終點。后來者的努力，無異于在他的前沿理論上做腳注，并一遍遍地證明他說得沒錯。

緣起于專業的“雙修”

1916年4月30日香農出生在美國密歇根州的小城蓋洛德。比起傳奇的后半生，他的童年略顯平凡，除了愛鼓搗機械之外平平無奇。他的父親沉迷社交，一天下來都沒有什么時間照顧他，所以小香農就和小伙伴們自由地搜羅大人們不要的機械器材。小香農就靠著這些撿來的零件，在鄰居家的谷倉搭了一臺升降機。照這樣下去，小香農本該成為一個草根發明家，但好在他還有個姐姐。她姐姐有事沒事就愛找小香農解數學題，小香農自然就對數學產生了濃厚的興趣。等香農上了大學，再也沒有人能阻止他對機械的向往了。他踏上了同時攻讀數學和工程學兩個專業的旅程，當時的專業劃分沒現在這么細，工程學和數學更像是針尖對麥芒：數學以抽象為美，工程學則是以應用為前提，因此兩邊誰也看不慣誰。這讓香農在年僅20歲時就成了另類的“雙修選手”，并前往麻省理工學院師從范內瓦·布什攻讀電子工程學碩士。

正是在布什的引導下，香農逐漸成為“一人開創一學科”的天才。而布什這位老師比香農還狠，僅學位就有6個。參加過一戰的布什，當時正奉命研發更先進的計算機，用于美軍轟炸機瞄準和火力控制系統。相比現代計算機而言，當時的計算機不僅算得慢，而且只能計算特定的問題。布什發明的這臺微積分分析機已經算得上當時性能最棒的，但這臺重達100多噸的大家伙，算個微積分方程也依然要嘎吱嘎吱跑上好幾天。這臺機械版分析機要靠電力驅動齒輪、軸承這類的機械轉動部件，最終指針指哪，哪就是運算的結果。不僅用起來很麻煩，平時還得把機器伺候好，給齒輪上油、做保養，再按圖紙精確組裝到位。建個方程組就要耗上好幾天，哪里還有力氣改變世界？于是這擔子自然就落到了資歷最淺的香農肩上，雖說能摸到當時地表最強的計算裝置固然不錯，但天天上油打蠟也不是個正經活兒。于是香農就開始琢磨，到底要怎么解放自己？他很快就發現，分析計算都是機械裝置在拖后腿，如果全交給電路來計算的話，不用上油不說，速度還可以翻上幾倍。盡管電路的電平變化可以實現邏輯運算的理論如今很多人都知道，但是當時根本沒有人會想到去給電路賦能，更沒想過用它去解數學題。

因為當時工程師不會把數學研究很深，數學家更不會去鉆研不優雅的機械，這事就成了死結。這對工數雙修才21歲的香農根本不是個事兒，他掏出大學學過的布爾代數，用電路的開與關來表示二進制的0和1，一款不用拆卸保養的電路數字計算機的雛形就這樣問世了。香農在1937年把想法完善成了論文《繼電器和開關電路的符號分析》。至此電氣工程師們第一次有公式可循，他的論文也成了有史以來最重要的碩士論文。布什也注意到了香農的才華，開始有意識地鍛煉香農，為了讓香農的數學繼續進步，他曾去求隔壁數學系讓香農攻讀博士學位。甚至在香農決定博士論文要研究遺傳學方向之后，布什也沒有反對，還托關系讓香農接觸國家機密級的相關資料。香農也不負眾望，他的博士論文做出了領先當時10年的成果，要知道遺傳學專業并非他主攻的領域。

“信息論”的蛻變

香農橫飛的才華也讓他幾經輾轉來到了科學圣地——美國的貝爾實驗室，電話、晶體管、C語言、Unix系統等一系列技術都是從這個實驗室走出來的?？删退阍谶@個神仙打架的地方，香農也依然是特立獨行的。同事很多時候都跟不上他的思路，香農只好一個人做研究，而他的研究結果太超前，在歷史上最重要的碩士論文發表的10年之后，1947年香農發表了論文《通信的數學理論（A Mathematics Theory of Communication）》，一舉開創了信息學。這篇文章厲害到什么程度呢？它發表后直接啟發了兩個領域的發展方向，同時也是人類歷史上被引用次數最多的論文。信息論雖難，但說白了就是兩件事情：什么是信息，以及怎么傳輸信息。之前大家都認為信息的核心是內容，而香農卻說信息就是不確定性的減少?！斑^去可知卻不可控，未來可控卻不可知”這句話就出自他口。

范內瓦·布什從1930年開始著手設計能夠求解微分方程的“微分分析機”的工作，造出世界上首臺模擬電子計算機。這一開創性工作為二戰后數字計算機的誕生掃清了道路。40年代早期，范內瓦·布什作為羅斯?？偨y的科學顧問，組織和領導了制造第一顆原子彈的著名的“曼哈頓計劃”。

這是香農為他的機械老鼠設計的迷宮箱，箱子表面是機械老鼠和迷宮，而箱體內是用早期電路開關設計的邏輯通路。

當然如果要用數學去考量信息，就得先把信息量化。于是香農定義了一個概念——信息熵。信息熵越大，信息的不確定性就越高。通過度量不確定的程度，三下五除二就從側面把信息量化了。用語言來舉例，信息熵越低，產生歧義的可能性就越小。香農自己算了一下，每個英語單詞的信息熵只有2.62，遠低于漢字的9.6。這也是為什么英語交流的不確定性會比中文要小得多。作為漢語使用者，我們需要把重要的事情重復三遍，因為總擔心別人會誤解自己的意思，以至于大家覺得信息根本沒辦法做到無損傳輸。

而香農用這個公式證明了在一定條件下，不僅信息能夠無損傳輸，還能在不損失信息量的前提下，變法子壓縮傳輸，他連壓縮的效率都直接給定好了。香農甚至還用它教人們該如何定義通信技術，今天我們用的寬帶、手機信號也是基于他的理論，早在70多年前就已經把5G的下載速度給定好了。而這篇文章在第二年就被直接改了名，從《通信的數學理論》改為“信息論”，寥寥數字之差就是學者到宗師的蛻變。在香農功成名就之后，他做了只機械老鼠，讓這只老鼠通過不斷自主學習，最終走出迷宮。他還做了一臺下棋機器人，天天抓同事給機器人當陪練。因為對這兩個小機器的思考，他成了達特茅斯會議的發起人，催生了人工智能革命。

愛因斯坦提前100年預言了引力波，帶我們了解這個物質世界，而香農則是教我們如何在物質世界中再造一個數字世界。愛因斯坦闡述了世界，香農重新定義了世界，解決無數難題后的香農在2001年因阿爾茨海默癥去世。此時的人們以為吃透了信息論，逐漸讓“字節”的概念進入了普通人的生活，可是數字世界越完善，我們才越發察覺這些年信息領域中出現的所有進步，其實早就在1947年就被香農一板一眼地寫進了“信息論”。

（責編：南名俊岳）

信息熵

舉個例子，一副52張的撲克牌，取一張做底牌，最多猜51次就能猜到正確答案，每猜錯一次，沒被猜過的牌就變少了，這就是香農所說的“不確定性在減少”。當然，如果直接猜對了，不確定性就直接歸零。這個過程中每次猜牌的對和錯都是信息，對與錯、是與非都是二選一，這和他碩士論文里解決0和1問題相同，每個0和1都代表了一個確定信息，稱為“一字節（1bit）”。把一個問題分成無數個是非題，那文字、圖片、聲音等就能用開關狀態進行表達。