深度學習：本質與理念

郭元祥

近十年來國際上最先進的教學理論其實根本不是國內瘋傳的“翻轉課堂”等技術性的策略，而是源于人工智能和腦科學的深度學習理論。深度學習注重讓學生沉浸于知識的情境和學習的情境，強調批判性思維，注重實現知識的內在價值。理解深度學習理論對深化我國的教學改革具有重要的意義。

一、深度學習概念的提出

深度學習的概念，源于30多年來計算機科學、人工神經網絡和人工智能的研究。上世紀八九十年代，人們提出了一系列機器學習模型，應用最為廣泛的包括支持向量機（Support Vector Machine，SVM）和邏輯回歸（Logistic Regression，LR），這兩種模型分別可以看作包含1個隱藏層和沒有隱藏層的淺層模型。計算機面對較為復雜的問題解決訓練時，可以利用反向傳播算法計算梯度，再用梯度下降方法在參數空間中尋找最優解。淺層模型往往具有凸代價函數，理論分析相對簡單，訓練方法也容易掌握，應用取得了很多成功。①隨著人工智能的發展，計算機和智能網絡如何基于算法革新，模擬人腦抽象認知和思維，準確且高清晰度地進行聲音處理、圖像傳播甚至更為復雜的數據處理和問題解決等，在21世紀來臨的時候成為擺在人工智能領域的關鍵問題。

30多年來，加拿大多倫多大學計算機系辛頓教授（Hinton，G.）一直從事機器學習模型、神經網絡與人工智能等問題的相關研究，并在機器學習模型特別是突破淺層學習模型，實現計算機抽象認知方面取得了突破性的進展。2006年，他在《Science》上發表了《利用神經網絡刻畫數據維度》（Reducing the Dimensionality of Data with Neural Networks）一文，探討了應用人工神經網絡刻畫數據的學習模型，首先提出了深度學習（Deep Learning）的概念和計算機深度學習模型，掀起了深度學習在人工智能領域的新高潮。這篇文章的兩個主要觀點是：第一，多隱藏層的人工神經網絡具有優異的特征學習能力，學習到的特征對數據有更本質的刻畫，從而有利于可視化或分類；第二，深度神經網絡可以通過“逐層初始化”（Layer-wise Pre-training）來有效克服訓練和優解的難度，無監督的逐層初始化方法有助于突破淺層學習模型。②基于深度置信網絡（DBN）提出非監督逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。③2012年，辛頓又帶領學生在目前最大的圖像數據庫ImageNet上，對分類問題取得了驚人的結果，將計算機處理圖像數據問題時排名前五的錯誤率（即Top5錯誤率），由最高26%大幅降低至15%，大大提高了人工智能圖像數據處理的準確性和清晰度，這是早先計算機僅僅依賴數學模型的表層學習和單層學習根本無法實現的水平。

在人工智能領域，深度學習其實是一種算法思維，其核心是對人腦思維深層次學習的模擬，通過模擬人腦的深層次抽象認知過程，實現計算機對數據的復雜運算和優化。深度學習采用的模型是深層神經網絡（Deep Neural Networks，DNN）模型，即包含多個隱藏層（Hidden Layer，也稱隱含層）的神經網絡（Neural Networks，NN）。深度學習利用模型中的隱藏層，通過特征組合的方式，逐層將原始輸入轉化為淺層特征、中層特征、高層特征直至最終的任務目標。深度學習可以完成需要高度抽象特征的人工智能任務，如語音識別、圖像識別和檢索、自然語言理解等。深層模型是包含多個隱藏層的人工神經網絡，多層非線性結構使其具備強大的特征表達能力和對復雜任務的建模能力。訓練深層模型是長期以來的難題，近年來以層次化、逐層初始化為代表的一系列方法的提出，為訓練深層模型帶來了希望，并在多個應用領域獲得了成功。

人工智能學者們認為計算機和智能網絡的這一深層的自動編碼與解碼過程，是一個從數據刻畫、抽象認知到優選方案的深度學習的過程。由于人腦具有深度結構，認知過程是一個復雜的腦活動過程，因而計算機和人工智能網絡模擬從符號接受、符號解碼、意義建立再到優化方案的學習過程也是有結構的；同時，認知過程是逐層進行、逐步抽象的，人工智能不是純粹依賴于數學模型的產物，而是對人腦、人腦神經網絡及抽象認知和思維過程進行模擬的產物。應該說，到目前為止，深度學習是計算機和智能網絡最接近人腦的智能學習方法。近幾年來，深度學習進一步嘗試直接解決抽象認知的難題，并取得了突破性的進展，AlphaGo的問世，便是明證。2013年4月，《麻省理工學院技術評論》（MIT Technology Review ）雜志將深度學習列為2013年十大突破性技術之首。④深度學習引爆的這場革命，將人工智能帶上了一個新的臺階，不僅學術意義巨大，而且實用性很強，工業界也開始了大規模的投入，一大批產品將從中獲益。二十世紀八九十年代以來，隨著學習科學的不斷發展，深度學習的概念和思想不斷在教育中得到應用。

二、深度學習在教育中的興起與發展

來自腦科學、人工智能和學習科學領域的新成就，必然引起教育領域研究者的深刻反省。計算機、人工智能尚且能夠模擬人腦的深層結構和抽象認知，通過神經網絡的建立開展深度學習，那人對知識的學習過程究竟應該是怎樣的一個腦活動過程和學習過程？學生的學習有表層和深層等層次之分嗎？從作為符號的公共知識到作為個人意義的個人知識究竟是怎樣建立起來的？知識學習過程究竟是一個怎樣的抽象認知過程？信息技術環境支持下深層次的學習如何實現？近十多年來，這些問題引起了許多教育研究者特別是教育技術學研究者的濃厚興趣，深度學習、深度教學的研究日益引起人們的重視。也正是在辛頓的“深度學習”概念明確提出后，教育學領域特別是教育技術學領域的深度學習研究日益活躍起來。

其實，早在1956年布魯姆在《教育目標分類學》里關于“認知領域目標”的探討中，對認識目標的維度劃分就蘊含了深度學習的思想，即“學習有深淺層次之分”，將教學目標分為了解、理解、應用、分析、綜合、評價六個由淺入深的層次。⑤學習者的認知水平停留在知道或領會的層次則為淺層學習，涉及的是簡單提取、機械記憶符號表征或淺層了解邏輯背景等低階思維活動；而認知水平較高的深層理解、應用、分析、綜合和評價則涉及的是理性思辨、創造性思維、問題解決等相對復雜的高階思維活動，屬于深層學習。1976年，美國學者馬頓（Marton，F.）和薩爾約（Saljo，R.）在《論學習的本質區別：結果和過程》（On Qualitative Difference in Learning： Outcome and Process）一文中，明確提出了表層學習和深層學習的概念。⑥這被普遍認為是教育學領域首次明確提出深度學習的概念。他們在一項關于閱讀能力的實驗研究中，明確探討了閱讀學習的層次問題。通過讓學生閱讀文章并進行測驗，發現學生在閱讀的過程中運用了兩種截然不同的學習策略：一種是試圖記住文章的事實表達，揣測接下來的測試并記憶，即表層學習（Surface Learning）；另一種是試圖理解文章的中心思想和學術內涵，即深層學習（Deep Learning），也被譯為深度學習。深度學習的學習者追求知識的理解并且使已有的知識與特定教材的內容進行批判性互動，探尋知識的邏輯意義，使現有事實和所得出的結論建立聯系。淺層學習和深層學習在學習動機、投入程度、記憶方式、思維層次和遷移能力上有明顯的差異。深度學習是一種主動的、高投入的、理解記憶的、涉及高階思維并且學習結果遷移性強的學習狀態和學習過程。之后 ，拉姆斯登（Ramsden，1988）、英推施黛（Entwistle，1997）以及比格斯（Biggs，1999）等人發展了淺層學習和深度學習的相關理論。⑦隨著信息技術的發展，近十年來，國外學者對信息技術支持下的深度學習及其在各學科領域、各類教育中的應用研究日漸廣泛。

2002年以來，從技術支持高等教育的深度學習、虛擬環境中的深度學習、形成性評估對深度學習的影響、學習環境對學生進行深度學習的影響、技術支持下的深度學習設計等方面研究成果日益豐富，但絕大部分是基于教育技術學視野的研究成果。2006年，辛頓教授關于深度學習的成果發表，進一步推動了深度學習在教育中的研究與應用。近十年來，在中小學深度學習研究方面最有影響的當屬加拿大西盟菲莎大學（Simon Fraser University）艾根（Egan， K.）教授領銜的“深度學習”（Learning in Depth，簡稱LID）項目組所進行的研究，其成果集中體現在《深度學習：轉變學校教育的一個革新案例》（Learning in Depth： A Simple Innovation That Can Transform Schooling）等著述之中。⑧該研究探討了深度學習的基本原則與方法，分析了深度學習對學生成長、教師發展和學校革新的價值與路徑，并在加拿大部分中小學進行實驗研究。其核心成果聚焦課堂學習和教學問題，即使是關于教師教育中深度學習的研究，也聚焦于教師的學習過程和學習方式。⑨艾根所開展的深度學習研究項目超越了單一教育技術學視野的研究，不僅僅是關于教學設計、學習技術和學習環境開發的研究，而是基于建立新的學習觀和知識觀，對教學活動與學習過程作出了新的闡釋。

總體上看，國內關于深度學習的研究最近十年才剛剛起步。2005年，我國學者黎加厚教授在《促進學生深度學習》一文中，率先介紹了國外關于深度學習的研究成果，同時探討了深度學習的本質。他認為深度學習是指在理解學習的基礎上，學習者能夠批判性地學習新的思想和事實，并將它們融入原有的認知結構中，能夠在眾多思想間進行聯系，能夠將已有的知識遷移到新的情境中，作出決策和解決問題的學習。⑩此文被認為是國內較早介紹并論及深度學習的研究成果，此后，關于深度學習的探討，特別是基于信息技術環境下的深度學習的相關研究論文逐漸增加。2006年10月，筆者在前期研究的基礎上，與臺灣成功大學教育研究所所長李坤崇教授聯合發起“海峽兩岸能力生根計劃”，推進能力導向的深度教學的理論研究與實驗研究，主張以價值觀、知識觀、學習觀、過程觀的重建為基礎，以發展學生的學科能力為宗旨，實施深度教學，克服課堂教學改革過于注重教學程序、教學技術、教學時間的淺層次改革和表層學習的局限性，深化課堂教學改革。2014年后，中國教育科學院院長兼教育部課程教材研究與發展中心主任田慧生研究員基于深化課程改革的需要，帶領一個團隊開始啟動深度學習的項目研究。直至今日，基于核心素養追求背景下的深度學習研究項目，如雨后春筍般涌現，“深度學習”成為教育研究中的一個熱詞。

盡管計算機、人工智能領域與教育學領域都提出了“深度學習”概念，但不難看出二者顯然具有本質差異。計算機與人工智能領域的深度學習是建立在機器模擬人腦深層結構的基礎之上的，是基于人腦結構的一種計算機算法思維和問題解決模型，是對人腦和認知結構的模擬。而教育學領域的“深度學習”概念，無論是布魯姆還是馬頓和薩爾約，都指向了“知識”和“學習”兩個核心，是關于知識學習的目標和過程的問題。布魯姆在教育目標分類學認知領域的目標構設中，認為認知目標是由了解、理解、應用、分析、綜合、評價六個不斷加深的層次構成的。這一目標明顯是關于知識學習和認知過程的目標，在2001年修訂版中，這一目標被精確表述為知識學習和認知過程兩個維度。馬頓和薩爾約在關于閱讀的研究中，基于學生對文本理解的層次和理解的深度提出了“深度學習”的概念，并認為學習的本質區別在于過程而不是學習的結果，是學生對文本知識學習的深刻程度決定了其學習結果的差異性。

艾根的研究實現了從深度學習向深度教學的轉向。艾根的深度學習（Learning in Depth）研究更明確地指向了學生對知識的學習所到達的深度，以及教師通過對知識的處理引導學生逐步到達一定的學習深度。這一深度學習的過程是一個逐步深化的學習過程，要求教師在教學過程中引導學生著眼于知識的深層次理解和深度處理。該項研究表明，深度學習的研究開始從單一的學習技術研究轉向了對教學過程的關注，注重深度學習與深度教學的關聯性和一致性，深度學習的研究呈現出向深度學習與深度教學相結合的轉向。

三、深度學習的核心理念

從深度學習走向深度教學，一方面是教與學的一致性決定的，另一方面是當前中小學課堂教學普遍存在的局限性決定的。教與學的關系既不是對立關系，也不是對應關系，而是一種具有相融性的一體化關系，離開了教無所謂學，離開了學也無所謂教。學生真正意義上的深度學習需要建立在教師深度教導、引導的基礎之上。從本質上看，教育學視野下的深度學習不同于人工智能視野下的深度學習，不是學生像機器一樣對人腦進行孤獨的模擬活動，而是學生在教師引導下，對知識進行的“層進式學習”和“沉浸式學習”?！皩舆M”是指對知識內在結構的逐層深化的學習，“沉浸”是指對學習過程的深刻參與和學習投入。離開了教師的教學和引導，學生何以“沉浸”？因此，深度學習只有走向深度教學才更具有發展性的意義和價值。同時，我國新一輪基礎教育課程改革以來，課堂教學改革依然存在著諸多表層學習、表面學習和表演學習的局限性，“學習方式的轉變”往往演變成了教學形式的改變，諸如教與學在程序上的簡單翻轉和在時間上的粗暴分配。其所體現出來的知識觀、價值觀、教學觀、過程觀依然陳舊落后，以學科知識、學科能力、學科思想和學科經驗的融合為核心的學科素養依然未能得到實質性的滲透。

深度教學的“深度”是建立在完整而深刻地處理和理解知識的基礎之上的。艾根在深度學習的研究中，首次從知識論的角度，論述了深度學習的“深度”（Depth）的涵義。他認為“學習深度”具有三個基本標準，即知識學習的充分廣度（Sufficient Breadth）、知識學習的充分深度（Sufficient Depth）和知識學習的充分關聯度（Multi-Dimensional Richness and Ties）。這三個標準，也是深度學習的核心理念。

第一，知識學習的充分廣度。充分的廣度與知識產生的背景相關，與知識對人生成的意義相關，與個體經驗相關，也與學習者的學習情境相關。如果教學把知識從其賴以存在的背景、意義和經驗中剝離出來，成為純粹的符號，便成為無意義的符號、無根基的概念知識。知識具有強烈的依存性，無論是自然科學的知識還是社會科學或人文學科的知識，都是特定的社會背景、文化背景、歷史背景及其特定的思維方式的產物。離開了知識的自然背景、社會背景、邏輯背景，前人創造的知識對后人而言幾乎不具有可理解性。隨著深度學習的興起，旨在以廣度促進理解的“無邊界學習”日益引起人們的重視?？梢?，知識的充分廣度，其實是為理解提供多樣性的支架，為知識的意義達成創造了可能性和廣闊性基礎。

第二，知識學習的充分深度。知識的充分深度與知識所表達的內在思想、認知方式和具體的思維邏輯相關，深度學習把通過知識理解來建立認識方式，提升思維品質，特別是發展批判性思維作為核心目標。所以說，深度學習是一種反思性學習，是注重批判性思維品質培養的學習，同時也是一種沉浸式、層進式的學習。深度學習強調學習過程是從符號理解、符號解碼到意義建構的認知過程，這一過程是逐層深化的。

第三，知識學習的充分關聯度。知識的充分關聯度，是指知識學習指向與多維度地理解知識的豐富內涵及其與文化、想象、經驗的內在聯系。知識學習不是單一的符號學習，而是對知識所承載的文化精神的學習。同時，通過與學生的想象、情感的緊密聯系，達到對知識的意義建構。從廣度，到深度，再到關聯度，學生認知的過程是逐層深化的。所謂意義建構，即從公共知識到個人知識的建立過程，都需要建立在知識學習的深度和關聯度之上。

（責任編輯：林彥 黃曉夏）

①Y.LeCun and Y.Bengio.Convolutional networks for images，speech，and time-series.In M.A.Arbib，editor，The Handbook of Brain Theory and Neural Networks.MIT Press，1995.

②Geoffery E.Hinton and Salakhutdinov R.R.，Reducing the dimensionality of data with neural networks. Science.2006 Jul 28；313（5786）：504-7.

③Geoffrey E.Hinton，Simon Osindero，Yee-Whye Teh. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation.2006（7）.

④余凱等.深度學習的昨天、今天和明天[J].計算機研究與發展，2013，9.

⑤安德森.布盧姆教育目標分類學（修訂版）[M]. 北京：外語教學與研究出版社，2009：78-80.

⑥Marton，F. and Saljo，R.，On Qualitative Difference in Learning：Outcome and Process. British Journal of Educational Psychology，1976，46：4-11.

⑦安富海.促進深度學習的課堂教學策略研究[J].課程·教材·教法，2014，11.

⑧Kieran Egan. Learning in Depth： A Simple Innovation That Can Transform Schooling. London， Ontario： The Althouse Press， 2010.

⑨Kieran Egan.“Learning in Depth” in teaching education. Alberta Journal of Educational Research，Vol.59，No.4，2013，705-708.

⑩何玲，黎加厚.促進學生深度學習[J].計算機教與學，2005，5.