多源異構教育大數據挖掘與應用平臺

王福德,宋海龍,孫小海,陳 雷

(1.吉林海誠科技有限公司 技術部,長春 130117; 2.吉林大學 教育技術中心,長春 130026)

0 引 言

自從20世紀90年代,中國教育信息化發展迅速,并取得了優秀成績,為中國教育現代化奠定了一定基礎。隨著校園信息化建設規模的擴張,如師生教務等管理系統的開發、教室安全監控系統的部署等,到現今“互聯網+教育”理念的逐漸深入,如何合理配置資源、實現教育資源共享,有效發揮校園信息數據作用已成為一個非常重要的課題[1]。

國外對教育大數據分析起步較早。加拿大湖首大學于2008年根據學生近期行為設計了學生行為分析系統,定期指導學生下一步的學習、生活計劃,及時向教師報告學生的狀態[2]。美國亞利桑那州立大學使用eAdvisor系統分析并監控學生行為,如學生行為異常,系統將向教師報告此類事件,以保證學生在正確的學習軌道上,系統使用至今該校貧困生畢業率提升15%[3]。2017年Medini[4]以教學大數據挖掘與管理為中心,以數據資源共享為前提,搭建了一套教學管理數據分析系統,為后續的研究人員提供了參考。

目前,我國依據教育大數據,通過數據挖掘技術改善學校管理的研究報道逐漸增多。潘奇[5]基于Hadoop設計了高校學生行為分析系統,通過對學生在校行為統計分析監測異常行為狀態。楊國靜[6]利用數據挖掘工具weka系統教師評價進行聚類分析,發現了影響學生成績的主要因素,為提高教學質量提供理論依據。鄧曉燕等[7]在研究搭建教學管理及數據分析系統過程中,以B/S結構為基礎,在分析數據信息傳輸及控制下,經過整合教學信息,實現數據分析效果的提升。金弢[8]從大數據分析角度出發,對教學管理系統現實應用進行研究,經過大數據信息分析后,提煉并管理數據信息,綜合提升了數據化管理效果。目前由于教育應用系統建設初期規劃不統一、數據標準具有多樣性,產生了海量的多源異構教育數據。在教育大數據的整合過程中,由于復雜性數據產生了新的挑戰,如何將不同系統出處的多源異構數據進行有效整合成為了亟待解決的問題。

教育部關于印發《教育信息化2.0行動計劃》的通知[9]提出要完善教育管理信息化頂層設計,提高教育管理信息化水平,推進教育政務信息系統整合共享,使信息化應用水平和師生信息素養普遍提高。在分散于不同校園信息系統中的多源異構數據場景下,教育大數據油然而生,《中國基礎教育大數據發展藍皮書(2015)》中將教育大數據定義為教育活動中產生的、蘊含著巨大價值的數據集合[10]。因此,筆者基于多源異構教育大數據,經研究與設計,開發了一套多源異構教育大數據挖掘與應用平臺,使教育大數據技術從基礎理論走向實踐應用,為信息化校園建設增添一份力量。

該多源異構教育大數據挖掘與應用平臺,其定位是為教學大數據的匯集整合、海量存儲、智能計算以及深入挖掘分析服務?；谛@內部多個信息系統產生的教育大數據,設計具備教學大數據梳理與全生命周期管理特點的系統平臺,實現對學校各部門各來源的異構大數據進行整合、梳理與有效管理,并提供新的統一訪問及應用接口。該系統通過數據訪問中間件實現了多部門多系統的數據對接,并可實現大數據接入、清洗、驗證、存儲管理、預處理以及訪問控制的全生命周期管理,可為相關大數據應用平臺和挖掘引擎提供支撐和保障。同時,平臺利用對接后的多源異構數據,實現了監控設備等基礎設備管理功能,并完成對教師、課程、班級、學生、教案、人臉等數據管理等功能,通過對設備與數據管理,進而實現對數據的高效利用,通過數據挖掘分析實現多種分析功能,包括學習狀態智能對比、教學質量影響因子分析、教學潛在問題挖掘等。最后利用分析后的教學質量等數據,實現趨勢分析預測,為教學管理預案提供支撐。

1 多源異構教育大數據挖掘與應用平臺的設計與實現

1.1 總體架構設計

筆者設計了集成數據信息、打破數據孤島的多源異構教育數據庫的數據挖掘與應用平臺,平臺架構如圖1所示。該平臺遵守各數據庫功能及其業務之間獨立性原則,實現對各異構數據庫的實時整合,使教育大數據體系內部數據既獨立又聯系。架構設計遵循層次化、模塊化思想,實現模塊間低耦合,模塊內具有高內聚的設計形態,架構包含由底到上相互依存的數據庫層、數據融合層和統一應用層3個層次。

1.1.1 數據庫層

數據庫層主要是由多源異構數據庫組成,其以校園內不同教育系統數據庫為依據,將數據進行持續整理、采集、清洗和入庫等操作后,通過數據庫代理Web Service API(Web Service Application Programming Interface)與數據融合層建立聯系,為融合層提供整潔數據。應用Web Service技術屏蔽不同系統和不同語言的差異,解決異構問題。由于校園內多個系統和渠道匯總接入的教育大數據通常存在缺失、錯誤、格式不統一甚至不一致的問題,因此大數據的梳理工作首先需要對多源異構數據進行清洗,這也是提高數據質量,保障大數據挖掘效果的關鍵環節。數據清洗的目標是標準、干凈、連續的數據,便于數據統計、挖掘等。數據清洗包括預處理和缺失數據、格式內容、邏輯錯誤、冗余清洗及關聯性驗證5個階段。

1.1.2 數據融合層

數據融合層可融合多源異構數據,以實現異構數據的信息共享,形成高質量數據倉庫和視圖。其中異構數據庫代理Web Service API與數據庫層建立聯系,實現透明數據訪問,應用層訪問統一接口Web Service API與統一應用層建立聯系,形成兩層之間的透明數據通道。數據倉庫和視圖在權重及加權方式處理器與元數據處理器的支持下,發揮其作用。針對結構化數據進行索引統計,提供各種統計查詢的預處理結果以及統計量計算結果,實現快速制作統計圖表的功能。針對非結構化數據根據類型運行智能分析模型,提取視頻、語音、物聯網設備等數據中有價值的信息。數據應用層應用權重及加權方式處理器實現數據加權,同時設置元數據管理器提高數據利用效率。筆者設計了大數據訪問控制模塊,以實現對多部門多應用的數據訪問接口,該模塊的原則是安全,效率,兼容。安全性體現在該模塊給出完善的數據訪問權限,針對不同應用給出數據接口,保護教學數據安全性和原始數據中的隱私信息。

1.1.3 統一應用層

統一應用層利用異構融合數據支撐應用搭建,建立了基礎數據管理、教學體征分析、智能挖掘、視頻管理4個子系統?；A數據管理系統包含教師、課程、班級、學生、教室等基礎信息管理,可便捷查看校園內部教育信息。教學體征分析系統依據不同指標數據的權重分析各類教學體征,包含授課質量、課程數據、班級數據、學生行為分析和行為綜合統計等。智能挖掘子系統匯集了多維度教育大數據,包括物聯網感知數據、教學體征診斷、實訓、基礎教學信息、成績獲獎等教學統計數據,通過分析計算實現教學過程成果的智能對比、多因素影響顯著性分析、潛在問題挖掘、趨勢預測等功能。視頻管理包括實時視頻監控、監控視頻編輯和設備信息等功能,用于為學生實時行為分析助力,提升教學質量。

1.2 功能架構設計

多源異構教育大數據挖掘與應用的平臺生命周期包括數據采集、存儲計算、分析挖掘與具體應用4個階段。平臺的功能架構,依據層次化分原則劃分為5個層次(除數據源),即采集、存儲、計算、分析挖掘和應用層。平臺各層次具有基礎功能,且各層次相互依存,密不可分,具體架構如圖2所示。

圖2 平臺功能架構

教育大數據數據源包含5種類型數據,分別為管理、資源、教學行為、學習行為和評價類數據。管理類數據主要以結構化形式存儲在關系型數據庫中,其中包括學生學籍、教師檔案等數據; 資源類數據主要以文本、音頻和視頻等非結構化形式存儲在文件系統中,其中包括媒體素材、教案和課件等數據; 教學行為類數據與學習行為類數據主要是實時數據,由監控攝像頭采集上課期間老師與學生的行為產生,前者包括教師講解與演示、答疑與指導等產生的數據,后者包括學生信息檢索、課堂交流等產生的數據; 評價類數據為非實時數據包含綜合素質評價等數據。

采集層包含日志數據采集、數據庫同步、文件導入、數據爬取、API(Application Programming Interface)接口等數據獲取與采集技術。

存儲層包含分布式文件系統、數據庫、數據倉庫、消息系統、內存存儲系統,采用分布式存儲架構,關系數據庫和NoSQL存儲分別存儲結構化和非結構化數據(視、音頻等)。

計算層由批處理計算、流計算、內存計算和圖計算引擎組成,這些計算引擎為教育大數據挖掘提供計算處理能力。批處理計算引擎用于并行計算大規模數據,保證計算效率; 流計算引擎處理實時流式數據,提高實時分析能力; 內存計算引擎提高內存空間的計算速度; 圖計算引擎處理圖數據[11]。

分析挖掘層具備兩項功能教育數據挖掘和學習分析功能。數據挖掘應用回歸分析、聚類分析等方法對教學質量數據變化進行歸類整理和挖掘。學習分析應用關聯規則、情感分析、趨勢預測等技術解決課堂教學問題,如課堂學生行為分析等,通過數據挖掘與分析幫助校園管理者做出有利的決策,提升教學質量。

應用層包含設備及基礎信息管理、學習狀態對比、教學質量分析、教學日歷、教學行為診斷等多種功能。應用層基于分析挖掘層提供的服務開發將要實現的功能。

1.3 平臺實現效果

1.3.1 設備及基礎信息管理

設備及基礎信息管理子系統包含如下功能:1) 實時視頻監控; 2) 視頻管理; 3) 設備管理; 4) 教師管理; 5) 課程管理; 6) 班級管理; 7) 學生管理; 8) 教案管理; 9) 人員(人臉信息)管理。

1.3.2 教學日歷

教學日歷模塊如圖3所示的每日課程信息?？蓪崨r追蹤回溯課堂信息,提供課堂教學視頻回看,本節課基本信息(課程、教師、學生等),以及本節課體征診斷結果統計圖等功能。

圖3 教學日歷模塊示意圖

1.3.3 學習狀態智能對比

智能對比模塊參見圖4所示課堂行為對比、異常數據對比和綜合評分排名,可實現學習質量情況的跨班級、教室、課程對比,支持教師、學生、課程、班級的選擇,智能比對課堂行為、異常出勤、綜合評分等信息,發現優劣和問題特征。

1.3.4 教學質量影響因子分析

教學質量影響因子分析功能包括成績、課堂行為綜合評分影響因子和教學因素關聯強度的分析,解析、關聯各因素對學生表現和成績的影響,如圖5所示的成績分析、課堂行為綜合評分分析結果和教學因素關聯強度分析。其中,成績分析功能是針對教師、學生、課程因素對考核成績的影響分析。課堂行為綜合評分分析是針對教師、學生、課程因素對課堂表現的影響分析。教學因素關聯強度分析提供課堂表現與授課內容匹配度關聯度分析,課堂表現與成績關聯度分析,授課內容匹配度與成績關聯度分析。

圖5 教學質量影響因子分析

1.3.5 教學潛在問題挖掘

教學潛在問題挖掘模塊如圖6所示,包含學生個人、班級、教師和課程聚類分析效果圖,通過無監督聚類技術發現異常類別,挖掘存在潛在問題的班級、學生、課程和教師數據。建立數據分析模型,通過無監督聚類算法將學生數據向量聚類,最后在小類別中尋找潛在問題群體(問題生、課程、教師、班級等)。

1.3.6 趨勢分析預測

趨勢分析預測模塊為如圖7所示的趨勢預測和異常行為預警分析。通過智能回歸技術對教學質量等數據的變化趨勢進行歸類整理以及分析預測,進而為指定教學管理預案提供有力支撐。該模塊支持課堂綜合表現(教學體征診斷結果)趨勢線的構建,同時對不同班級、課程等的表現趨勢進行分類評價,例如穩步上升、趨勢下降、起伏較大等問題并給出散點統計圖,對表現下降以及起伏較大等問題需要重點關注。趨勢跨度異常檢測模型能發現學習質量趨勢線中出現的異常波動,這些跨度異常通常表明可能出現了值得注意的突發問題。趨勢預測模型給出未來一段事件教學和學習質量趨勢的預測,為教學管理預案指定提供有力輔助。

圖7 趨勢預測分析

2 多源異構教育大數據挖掘與應用平臺的部署與測試

本節將檢驗平臺實際應用效果,依次介紹部署環境、核心功能測試,并給出各模塊測試過程及結果。

2.1 平臺部署環境

面向多源異構教育大數據挖掘與應用平臺的部署環境分為硬件和軟件環境,如表1和表2所示。

表1 硬件環境

表2 軟件環境

2.2 平臺核心性能測試

表3為平臺各部件性能測試的測試步驟和結果。

表3 各部件性能測試

2.3 平臺核心功能測試

表4和表5分別給出了平臺的基本功能測試和大數據分析功能測試步驟和結果。

表4 平臺功能測試

表5 大數據分析功能測試

3 結 語

該多源異構教育大數據挖掘與應用平臺基于人工智能、物聯網和大數據技術構建。實現智慧教學體系應用,對于教學過程的多維度、實時感知及物聯網設備采集數據的智能分析、建模,有利于對教學過程、學生、教師行為、狀態、能力的智能理解。平臺系統利用人工智能模型的輸出以及多源異構教育大數據挖掘引擎的輸入,基于大數據挖掘技術分析獲得各類分析結果,包括教學體征診斷、學習狀態智能對比、教學影響因素分析、潛在問題挖掘、教學質量趨勢預測等。

該平臺具有較好的拓展性,可針對學院需求提供拓展服務,從而應用于職業學校、高等院?；蚣寄芘嘤枡C構的教學、實踐、評審等環節,實現教學過程的數字化和自動化管理,通過對教學質量的智能化監測與分析,輔助教育研究人員探索教學規律、識別優秀教學實踐,并提出優化教育教學的建議和方法,推動教育向現代化、智能化的方向發展,助力教育事業的高質量、高水平發展。