多模態交互理念下黃河文化數字化傳承策略探究

張博文，李玉童

（鄭州輕工業大學 藝術設計學院，河南 鄭州 450002）

2020年8月，習近平總書記主持召開中共中央政治局會議，審議《黃河流域生態保護和高質量發展規劃綱要》。他提出：“要大力保護和弘揚黃河文化，延續歷史文脈，挖掘時代價值，堅定文化自信?！保?］同年，文化和旅游部研究出臺的《關于推動數字文化產業高質量發展的意見》，明確指出了培育云展覽、數字藝術、沉浸式體驗等新型業態的具體路徑［2］。弘揚黃河文化、推動黃河流域數字文化產業高質量發展具有時代意義。要想發揮資源優勢，首先就須盤活各類資源。數字技術正在深刻地改變我們的生活。在此背景下，要引入多模態交互理念，搭建令人震撼的虛擬場景，構建動態展示系統，拓寬培育新業態的路徑，以實現黃河文化多角度呈現、多維感官傳達與體驗、活態傳承和保護，實現黃河文化的廣泛傳播。本文擬對多模態交互理念下黃河文化數字化傳承策略進行探討。

一、多模態交互理論與黃河文化數字化傳承

模態，英文為modality，即“感官”，由德國生理學家赫爾姆霍茨最早提出。生物依靠感知器官和體驗接收信息，感官是生物接收信息的一條重要渠道。對人體而言，眼耳口鼻手為基本模態，人通過視覺、聽覺、觸覺、嗅覺與味覺從外界獲得信息，在所獲信息中，這五種感知方式的貢獻，其占比分別是83%、11%、3.5%、1.5%與 1%。人體中，各個感覺系統都在不斷地接收來自不同刺激源的信號輸入，并根據這些信號做出恰當反應。把多種感官都調動起來，就構成了所謂的多模態，也就是說，多模態是指兩個以上感官作用的融合。而多模態交互指的是人通過聲音、肢體語言、信息載體（文字、圖片、音頻、視頻）、環境等多個通道，與計算機交流，模擬人與人之間的溝通，采用人與人之間的交互方式來進行，不同模態通道內的信息，最終會合并統一［3］。也就是說，多模態交互是指產生視覺、聽覺、嗅覺、味覺和觸覺的感官的交互，它通過眼、耳、鼻、嘴和皮膚的接觸來實現，其技術應用也都圍繞人的這五個感官來展開。隨著科學技術的不斷進步，運用多模態交互形式和虛擬現實技術進行的跨場景搭建與多任務下多模態交互基礎模型的構建逐漸成為現實，同時，在數字媒體藝術與多模態交互設計等方面亦有所突破，其應用能夠促進感官認知恢復和文化體驗提升?；诖?，多模態交互成為當前學術界研究的一個重點。

文化的傳承發展在很大程度上要通過媒介平臺傳播來實現，一種文化如果失去傳播的空間，就很有可能默默地消亡，所涉及的群體很有可能患上文化失憶癥。如今，數字技術已全方位滲透進人們的生活。技術創新一般都有人文創新伴隨，二者水乳交融?，F在，文化藝術與數字技術聯姻非常普遍，二者的聯系越來越緊密。實踐證明，數字化媒介可促進傳統文化的有效傳承［4］。講好黃河故事，推進黃河文化數字化傳承和創新性發展，是增強文化自信和民族凝聚力的現實需要，是時代賦予當代人的光榮使命，同時它也是一個新的重要課題。要推動黃河文化傳播邁入新時代。如今，數字技術不斷取得突破。相應地，人們的數字思維逐步升級。5G、人工智能、物聯網等新技術的廣泛應用，推進了新一輪數字化。新技術為數字化藝術創作和數字文化產業發展提供了可能，也為黃河文化數字化傳播提供了可能，新的思維為黃河文化數字化傳承提供了新的思路和新的創意。數字體驗模式與黃河文化的聯姻是弘揚黃河文化的需要，是時代的需要，定能產生巨大的經濟效益和社會效益。

二、多模態交互理念下傳統文化數字化傳承載體和模式

（一）沉浸式數字博物館

傳統博物館展示以單向的觀看和解說為主，參觀者與文物進行單向交流，參觀者獲取文物信息的自由度不高。而沉浸式數字博物館致力于通過搭建數字場景、打造多模態交互系統來激活歷史，通過新媒體與參觀者進行互動，給觀眾帶來身臨其境的沉浸式體驗。沉浸式數字博物館支持多種感官交互，它突破了時空限制，消融了文物展示與文化傳播有形的邊界，具有傳播手段豐富、傳播渠道多樣等優勢，能夠滿足個性化觀展需求。

如今，數字技術手段層出不窮，文化藝術與數字技術融合已成為一種趨勢。打造沉浸式數字博物館，需要觸控交互、體感交互、3D Mapping、動態投影、VR/AR/MR、全息成像、多通道投影拼接融合等技術的支持。當前，應用最廣泛的技術包括全息投影、互動投影、虛擬現實、三維立體、數字沙盤等。

目前，國內外均在進行沉浸式數字化博物館的研究和建設實踐。我國的故宮博物院較早進行了數字化探索，在這一方面堪稱典范，從1998年開始，故宮博物院就致力于運用信息技術來改造傳統的辦展方式，改變古建環境保護及文物展示、收藏、保護等方面的手工作業狀態，突破相關局限，打破條條框框，創新管理機制，向世界一流博物館邁進。緊接著，開展“數字故宮”系列建設，開通故宮博物院網站，完成 《天子的宮殿》《三大殿》《養心殿》《倦勤齋》《靈沼軒》等大型虛擬現實作品的創作，開發相關APP。特別是故宮博物院端門數字館的打造，非常成功?！皵底纸ㄖ迸c可交互的“數字文物”的呈現，豐富了觀眾的觀展體驗［5］。故宮博物院已大步邁入世界一流博物館的行列。

（二）多感官交互裝置藝術

多感官交互裝置藝術是一種動態合作的藝術形態或者說藝術表現形式，它能提供包括視覺感官、聽覺感官、觸覺感官等感官在內的多種感官互動體驗，能捕捉觀眾的語音、表情、姿勢等信息并實時反饋給觀眾，使觀眾沉浸在交互活動與交互環境中，實現藝術作品與觀眾更深層次的對話與交流，將藝術作品的文化內核更有效地傳達給觀眾。觀眾在體驗多感官交互的同時，也成為完成交互裝置藝術作品的人，成為交互裝置藝術作品的一部分。展示不再是單方面的傳達，而是更深刻的交融?？傊?，多感官交互裝置藝術更加強調實時性、交互性與體驗性。

近年來，多感官交互裝置藝術與傳統文化相結合，這種創新給受眾帶來了不一樣的體驗。創作者運用多感官交互裝置藝術，充分展示與高效傳播了我國璀璨的傳統文化。例如由CCTV《國家寶藏》欄目組視覺團隊等創作集體共同打造的“東方智美”國寶數字體驗展這一全新的沉浸文化項目和體驗空間［6］。他們選取在《國家寶藏》欄目中展示過的9件國寶，以此為展示主體，結合多感官交互裝置藝術，打造多模態數字化演繹方式，給觀眾帶來了具有趣味性的多感官互動體驗?！督叫抡Z》是整個展覽的開端。展示《千里江山圖》時，由宏觀視角向沉浸視角，進而又向微觀視角轉變，進行多維度演繹，營造人畫交融的氛圍，勾勒出一幅具有極致東方美學韻味的人與裝置跨時空對話的圖畫。展示《瓷裳》時，創作者建構了一個虛實相生、雜糅的場域，傳遞出深厚的東方美學意蘊。通過特別打造的感官互動裝置，參觀者可領略中華傳統瓷器文化中最高水平的技術工藝，了解瓷器的釉彩變化，真切地感受國寶的魅力，進而充分認識國寶的價值。

三、黃河文化數字化傳承取得的成效以及當前存在的問題

（一）成效

數字技術賦能，使黃河文化傳承發展之路越走越寬闊；在數字技術的助力下，弘揚黃河文化的活動項目取得了豐碩的成果。在新的時代背景下，文化、藝術與科技不斷擦出火花，黃河文化數字化傳承也出現新的形態與向度。例如，開封博物館對《清明上河圖》進行數字化演繹，《清明上河圖》在環狀大屏幕上變成一幅流動的圖景。大屏幕前面還有可觸摸小屏幕，受眾可以點擊小屏幕，選擇聽取方言講解或者普通話講解，在此交互過程當中，進一步了解《清明上河圖》所表現的那個歷史時代，通過互動的方式，獲得全新的體驗和感受。再比如山西博物院推出的《“大河上下·民族根魂”黃河文化數字化展示傳播》項目［7］，以數字技術為支撐，以數字創意和動效、交互設計為特色，梳理黃河文化的脈絡，深挖黃河文化的內涵和時代價值，從地質演變、文明發展、人民生活三個層面展開，進行全新視角的呈現，給觀眾奉獻一場黃河文化盛宴，讓觀眾感到黃河文化觸手可及，使觀眾領略到黃河文化的無窮魅力。這一系列優秀的數字創意作品不僅給觀眾帶來多重感官上的沖擊，更是引發了人們對傳統文化傳承模式的思考。

（二）問題

1.對黃河文化的內涵與價值挖掘不夠深，對要素的提煉不夠精，導致數字轉化質量不高

近年來，黃河文化數字化傳承得到充分重視，但是從整體上看，發展還不均衡，且作品項目的數字轉化質量不高，同質化嚴重，多模態呈現和數字化體驗的效果不佳。其根源在于黃河文化資源活化的意識不強。內容決定形式，文化傳承內容體系的構建直接影響傳播展示與傳承的效果。所以，第一步要明確所要傳遞文化信息的價值。文化元素是指傳統文化或文化遺產的基礎構件和象征符號［8］。黃河文化元素應從黃河的物質文化、非物質文化以及精神品質中提煉，突出地域特色、強調藝術價值。要拓寬黃河文化傳播渠道，注重表現形式和手段上的創新，給觀眾帶來更多數字化藝術體驗。

2.展示中的交互設計不足，導致受眾的體驗不充分，頭腦中無法形成記憶點

目前，黃河文化數字化傳承架構、系統和模式還不夠健全，對數字環境中人與空間進行信息（包括文字、圖片、影像、聲音、燈光等）收集與傳遞的新界面的設計還不夠完善，導致受眾與文化項目作品的交互力度不夠大，受眾的體驗不充分，其反饋不及時，對二次自主傳播的參與性較弱，完整的傳播鏈條無法形成。另外，黃河文化數字化傳承方面，出圈和爆款的文化IP較少，也影響了傳播效果。

3.黃河文化數字化傳承中存在唯技術論的誤區

當前，黃河文化數字化傳承中存在著重技術重形式而輕內容的現象。其實，黃河文化數字化傳承不是單一的技術問題。數字技術固然重要，但還不是核心，“文化和人”才是核心。黃河文化數字化傳承要回到“黃河文化和人”這一核心上，設計作品與項目時，不僅要考慮技術性問題，還要注重活態性、傳統性、整體性和生態性，強調數字藝術交互中的情感化設計［9］。黃河文化數字化傳承中若缺失情感與內容的溫度，就會直接影響精神層面的共鳴。

四、基于多模態交互理論的黃河文化數字化傳承策略

（一）提煉黃河文化元素，并進行數字化轉譯

應基于對符號學的認知，挖掘和篩選黃河文化中具有典型性、傳播熱度高的元素符號，通過對不同類型的元素符號所代表的主題文化內容的準確解析、數字化轉譯、再設計，建立黃河文化與數字信息之間的聯結關系，并結合不同數字媒體的傳播特點，從篩選出的黃河文化元素符號中有針對性地提煉出現代化的形態化符號語言，實現黃河文化的數字化表達、傳播。

（二）推進黃河文化多維度數字傳播，增強黃河文化影響力

在多模態交互理念下，傳播者與受眾之間的關系發生變化，信息傳輸從以往的單向傳輸轉變為雙向傳輸、互動，傳播模式亦由“中心化”傳播向“去中心”傳播演變?；诖?，應充分利用互聯網和大數據等新技術手段，全面掌握受眾信息，對傳播市場進行立體化細分，準確定位受眾。建立完善的信息反饋機制，拓寬互動交流渠道，運用品牌宣傳手段，提升黃河文化的影響力。推進協同聯動，構建多維度、多主體、立體式黃河文化數字化傳播體系。推動數字平臺建設，整合各類數字化資源，建設黃河文化要素數據庫。加強文創產業園建設，不斷創新文化表達方式，推出更多形式各異的數字化交互藝術作品。

（三）建立黃河文化多模態展示交互系統，增加受眾體驗

應運用虛擬現實、3D掃描與重建、動作捕捉等新技術，建立黃河文化多模態展示交互體驗系統，對黃河文化進行多維度數字化演繹與呈現，調動受眾的多種感官機能，融合多種感官的作用，密切各模態之間的聯系，促進多個模態串聯條件下的通感轉化，增加受眾的觀展體驗。應加強數字化展示媒介與受眾之間的互動，創新交互形式，使受眾通過觸摸、直視、做手勢、發出指令聲音等方法就可以與展示裝置進行互動，促進多模態融合轉化?？傊?，要通過新穎、多樣的數字化藝術表現形式，突出黃河文化的特征和要素，將黃河文化有效傳播給受眾。

五、結語

傳承弘揚黃河文化需要與時俱進。新時代，應深入挖掘黃河文化歷史資源，創新黃河文化傳承的載體，推進黃河文化沉浸式數字博物館建設，實現多模態交互理念下黃河文化數字化傳播，使受眾在與數字化展示媒介的互動中獲得豐富的多感官體驗，進而產生情感上的共鳴，提升傳承黃河文化的積極性和自覺性?？傊?，要全面分析當前黃河文化數字化傳承中存在的問題，從新的視角，從多個層面探討黃河文化數字化傳承策略、模式、路徑，以實現受眾的多感官體驗為目的，提供更多數字化產品和服務，增加與深化受眾對黃河文化的感知和認知，增強黃河文化影響力，推動黃河文化傳播邁入新時代。