姚登峰：破解無聲世界的密碼

本刊記者 黃 健

姚登峰

200萬年前人類祖先最早依靠一些簡單的手勢彼此溝通，在漫長的進化過程中，人類慢慢學會說話，取代了初始的手勢。以致于在即將邁入人工智能的時代，很多人似乎忘記了人類先祖曾用的手勢和現代社會依然存在手語族。然而姚登峰卻癡迷于用現代科學技術，探索與破解無聲世界的手語。手語表面看起來很簡單，和一般模仿的姿勢沒有兩樣，但一個看似簡單的手勢其實蘊含著語言學奧秘，必須逐層剝除拆解，里面是一群三維空間組合的動態模型，層層相裹……

穿越阻礙，重塑生命放光華

姚登峰是位聽障人士，在聾教界更是一位傳奇性人物。他和母親合著的《登峰——從無聲世界走來的清華博士》是中國聽力語言康復研究中心推薦的家長讀物，受到全國各類家長和學校的歡迎和熱捧，很多學校把它作為培訓教材。他1歲時因一次平常的感冒導致雙耳聽力極重度損失，是母親堅持不懈的語言康復訓練幫助他走出了無聲世界，他學會用普通話與人正常交流。最終克服重重阻礙，創造了一個個人生奇跡！他一直在普通學校讀書，自強不息，勤奮努力，成績優秀。1998年他參加了全國統一高考，越過了全國高校統一錄取分數線，卻被一所重點大學以“沒有招收殘疾人的先例”為由而退檔拒錄。幾經周折，他被一所二類大學錄取。盡管高考遭遇挫折，但挫折、痛苦、沮喪對他的人生卻產生了更加積極地影響。大學后，他每年都能獲得獎學金，2000年還光榮地加入了中國共產黨。大學畢業后他參加了全國研究生統考，以專業第一名的成績順利考入北京大學攻讀碩士學位。他的碩士畢業論文被答辯委員會推薦為那一批次唯一的優秀論文。2012年又以第一名的成績考取清華大學博士研究生，4年后以7A的全優成績通過博士答辯。正如他說:“是人世間的愛成就了我的今天！是康復和知識改變了我的命運！是神奇、巨大的教育力量讓我重生！”他懂得感恩，志存高遠。因為自己求學艱難，便想到千千萬萬個和自己一樣的不幸者，希望能為聽障人的康復和教育事業貢獻自己的力量。感恩，報效祖國和社會，成為他生命中不斷進取的力量泉源！因為感恩，成就他今天的累累科研成果；因為感恩，他的生命得到升華！

不畏艱難，科學高峰摘碩果

2006年姚登峰北大碩士畢業后，來到北京聯大任教。這期間，恰逢北京聯大與IBM簽署合作協議，在中國第一個試點將信息無障礙技術引進高校。從此，他傾注了自己全部熱情和精力，在完成教學任務的同時，開始了信息無障礙的研究。他主持了教育部與IBM精品課程建設項目，在中國第一個將無障礙技術整合進軟件測試課程，先后在信息無障礙領域頂級SCI期刊和頂級會議發表來自中國大陸的第一篇論文。此外他還參與研發了微軟、中科院計算所、北京聯大合作的基于Kinect的手語識別翻譯系統、國內第一臺手語機器人——聯大一號等科研項目。

他的理想就是讓殘障人接收信息無障礙。在信息科學如此發達的今天，有聲語言計算的研究已經成熟并越來越先進。然而手語作為聽障者的母語，也是全世界語言學家公認的一種自然語言，其背后的手語計算領域卻還是一片空白。他認為自己是特殊高等教育一線工作的教師，感覺自己責無旁貸。為了從事這項研究，他努力學習，提高自己的綜合素質，2012年考入清華大學師從江銘虎教授。談及錄取姚登峰攻讀博士學位的初衷，江銘虎教授說，上帝推倒“巴別塔”阻礙了人類的交流，我們正在用人工智能重建“巴別塔”。希望在“巴別塔”工程上建一座“橋梁”，即利用手語認知和計算技術，讓有聲世界的口語族與無聲世界的手語族能通過這座“橋梁”自由往來。姚登峰是游歷在有聲和無聲世界的學者，通曉兩個世界的語言。目前計算機能夠識別理解有聲語言的語音和文字，尚不能認知、識別和理解手語，這座“橋梁”尚沒連通，只能遙遙相望。這是一個龐大的系統工程，希望姚登峰能為這座“橋梁”貢獻力量。

這是一個多學科交叉的研究領域，靠單一的學科知識不可能完成。它涉及語言學、計算機科學、認知神經科學、心理學、統計學等。擺在姚登峰面前的難度很大，需要跨學科攝入知識營養。一方面他找來導師江銘虎編著的《自然語言處理》《腦與語言認知》等書籍，還找到拉克著《認知神經科學—關于心智的生物學（萬千心理）》等世界權威的認知神經科學著作以及語言學、心理學的著作和文獻。另一方面他還積極參與導師的國家自然科學基金重點項目“漢語認知加工機制與計算模型研究”、國家社會科學基金重大項目“漢語非字面語言大腦加工的神經機制研究”等重大項目。通過一系列的研究工作，姚登峰發現手語在韻律感、流暢度、陳述順序各方面的表現特點與有聲語言不相上下。手語對于空間的靈活運用，猶如電影般的敘事風格，有時讓其他語言相形失色，思想可通過各種途徑呈現，手語極度繁復，卻能明快流暢地進行表達。聽障者何以具備驚人的天分，竟然能夠運用空間，并以無比巧妙的方式將空間語言化？姚登峰在國內率先開展了一系列手語腦認知實驗，使用最尖端的精密儀器——ERP實驗研究了中國手語模態對大腦加工的影響，他發現手語是一個很重要的模態，同有聲語言一樣也是人類對于客觀世界感知體驗后的產物從而第一個在國際上提出了手語認知架構等，發表了《手語模態對句子加工的影響》《Cognitive computing on Chinese Sign Language perception and comprehension》等論文。

此外，手語并非一串凍結在空間中的姿勢組合，會根據時間不斷地變換內容，如同音樂和口語，也具有節拍和段落的動態本質。傳統的同步化結構模型無法呈現這些順序性，反倒讓這些特性隱晦不明。傳統的靜態模型不再適用，必須改以精確巧妙、動態描述的方式——類似音樂和舞蹈的形態。根據這些發現，他從認知計算角度認為手語認知計算是從手勢的物理特征到語義表征的映射轉換過程，即從像素、邊等底層特征逐層加工映射成音韻特征，再根據音韻特征加工成低級別的語義單元、再逐步抽象出高級別的語義單元之類的高層特征，最終形成手勢語義概念。由此可見，過去30多年的手語識別與計算省略了音韻特征、語義單元這樣的中間步驟，直接從底層特征得到語義概念，這樣的分析有很多疏漏。他提出基于音系學特征而非視覺特征進行手語理解等，發表了《Sign Segmentation in the Text of Chinese Sign Language》《基于音系學模型的手語理解》等論文。

手語計算，人工智能喜結緣

美國工程院院士沈向洋博士在2017年中國計算機大會提出，未來10年中，“懂語言者得天下”，自然語言處理會成為人工智能突破的最重要方向。認知心理學告訴我們，人類運用自然語言進行交流獲得的效果中，講話內容僅占7%，強度和語調占38%，而面部表情和肢體動作卻占了55%，其中，強度和語調涉及情感的加工計算，面部表情和肢體動作涉及行為語言的加工計算。中國人工智能學會理事長李德毅院士強調長達半個世紀的自然語言處理學科研究中，我們卻僅關注于講話內容的理解，對以面部表情和肢體動作為代表的手語計算卻關注甚少。所以，對于手語認知計算研究是語言研究的重要組成部分，是對人類語言本質的探索和認識。這些科學成果不僅可惠及弱勢群體，更惠及人類社會。

姚登峰清華博士畢業后，除完成面向聽障學生的教學和試驗外，先后主持或參與了國家語委重點項目“手語語言處理的智能化理論和技術研究”、教育部人文社會科學研究青年基金“中國手語空間隱喻加工神經機制的ERP研究”等項目。他領導的課題組是國內唯一在語言學領域開展行為語言認知計算的團隊（其他團隊主要集中在圖像處理領域的行為動作識別方向），其以手語為代表的語言認知與計算研究在國內外一直處于領先地位。為了解決手語計算的定義和內涵的基本問題，他在國際上首次定義手語計算的概念，并提出了手語計算的理論，在《計算機學報》上發表了《手語計算30年：回顧與展望》論文，他認為手語計算與傳統語言計算的區別在于手語計算以空間計算為主，核心任務是將單信道表征和多信道表征相互轉換，而非傳統語言計算的根本任務“消歧”。因此空間建模、空間隱喻、空間語義等概念貫穿了行為語言計算的詞法、句法、語義和語用等各個階段。此外還需要解決行為語言的輸入輸出問題，發展多信道編碼的理論，將傳統語言計算研究的重點逐步過渡到多信道信息編碼之中，帶動傳統語言與多信道編碼理論并軌，形成最優的信道編碼系統，從而提高通訊效率。因為科研成績突出，他破格晉升為副教授；同年，被遴選為碩士生導師。去年，姚登峰被李德毅、李伯虎等院士推薦為北京市卓越青年科學家。

他開展信息無障礙研究的初衷，是希望利用先進的科學技術幫助殘障人，方便殘障人的生活和學習。這成為他克服一個個困難和挫折的無盡動力，最終在幫助別人的過程中幫助了自己，成就了自己人生的精彩。

在清華荷塘留影

堅守初心，理想之樹綻新蕾

姚登峰認為手語計算無法借鑒傳統語言計算技術，但是互聯網時代涌現出的新技術則為手語計算帶來了新的機遇，比如體感設備的出現、認知神經科學的興起等。他信心滿滿，已經有明確的未來規劃，今后幾年，姚登峰團隊將以助聾機器人為載體，以智能感知和認知計算共性關鍵技術和應用技術為主攻方向，致力于語言計算提供必要的技術積累以及應用經驗。通過不同專業方向的交叉結合開展研究，下一步目標將利用深度學習開發大規模手語語料自動標注技術，解決尚無應用機器學習的手語語料庫基礎問題，面向智能產品和應用提供手語計算云服務等智能功能，助力人工智能的發展。

姚登峰提到，在人類的歷史長河中，手語擁有比傳統語言更長的歷史，在交叉學科的推動下，手語計算可能會出現實質性突破。這個理由在于中國擁有世界上最豐富的手語資源，不但在手語的手勢、句法、語義和語用等層面擁有豐富的語言資源，而且中國手語方言也是世界上最多的，其手語的多樣性也為世界所罕見。姚登峰團隊也力求在人們的生活領域做出一番成績，“將來，助聾機器人可應用到醫院、法院等專業場合，解決手語翻譯缺乏的問題，還可以用于智能家居、老年陪護、兒童陪護、給教師缺少的偏遠山區做輔教……希望給大家的生活帶來方便，提高人們的幸福指數”。

當問及遠大目標時，姚登峰表示，將用一生解決手語計算問題，堅守理論高地，力解人工智能沒有解決的難題?！拔覀儾粫O定長遠目標，但我們會扎扎實實努力，老老實實把技術做出來，為人工智能的發展和建設和諧社會貢獻一點綿薄之力”。