媒體藝術的觀眾沉浸效果特征研究

吳立安 談嗣徽 王振宇

21 世紀數字技術發展的產物——媒體藝術是科技與藝術充分合作的典型，它是以計算機技術為代表的科技和以視覺美學為代表的藝術二者完美結合的產物，媒體藝術正在成為美化真實世界、虛擬真實世界的藝術途徑之一。博伊斯（Joseph Beuys）認為，未來的藝術是“通感藝術”，強調藝術活動的綜合性，試圖打通視覺、聽覺、嗅覺、觸覺和意識。隨著技術和設備的進一步發展，媒體藝術所呈現的“沉浸效果”（Immersion effect）具有身臨其境、視覺展示、感官刺激、肢體交互等特征。

以中國為例，2021 年文旅部發布《“十四五”文化產業發展規劃》，提出要打造100 個具有沉浸效果的媒體藝術項目?！?020 中國沉浸式產業發展白皮書》顯示了2016 年以來打造的媒體藝術沉浸式項目（圖1）。目前，中國沉浸式媒體藝術項目涵蓋戲劇、電影、演出、展覽、餐廳、城市空間等各個方面，所有具有沉浸效果的體驗內容的形成都需要媒體技術的參與。筆者針對沉浸式媒體藝術作品的大眾喜好、藝術形式進行網絡調研，調查對象包括大學生、藝術類工作人以及非藝術類工作人士。（表1）在“能否接受在城市空間（廣場、公園、展覽館等室內外空間）出現沉浸性媒體藝術作品”的問題上，贊同者高達97.47%。根據調研發現，無論是從政府導向、項目數量還是大眾的認可度等方面，各方面對沉浸式媒體藝術均保持肯定的態度。

表1 考察者職業類型

圖1 2013 年至2019 年中國沉浸式體驗項目數量型

媒體藝術帶來的沉浸效果在近幾年來成為研究的熱門主題，但主要是從技術角度出發，分析媒體藝術帶來的沉浸效果，技術層面的理論已趨成熟。同時伴隨生物學和心理學的研究深入，可以發現人類是感性生物的本質，在特定條件下會激發獲得沉浸效果的本能。因此，本文研究的重點是從觀眾角度研究沉浸效果的特征，嘗試從多維角度分析獲得新觀點，補充沉浸性理論的認知。

一、相關理論

（一）三維動畫作為媒體藝術及其沉浸效果概述

王德峰提出，藝術的創作首先需要關注作品所追求的真諦、時代背景、民族性差異等因素，即內在視域（internal vision），還需關注技術變化對藝術創作形式的改變，即外在視域（External vision）。自本雅明（Benjamin）發表著作《機械復制時代的藝術》以來，20 世紀的藝術作品走向了大眾化、工業化、商品化的道路，工業化下的新材料成為作品創作的新探索，同時賦予它們新的象征意義，即藝術作品的“外在視域”改變引起“內在視域”的變化。

媒體藝術是人類文明發展到數字信息時代時一種全新的藝術形態，媒體藝術成為技術、媒體、藝術三者跨界融合的時代產物。德國學者沃爾夫岡·韋爾施（Wolfgang Welsch）稱當下被數字技術圍繞的時代是“電子天堂”，依靠媒體技術，我們似乎正在不僅同天使，而且同上帝變得平等起來。馬歇爾·麥克盧漢（Marshall McLuhan）提出“媒介即信息”，他認為人類文明的發展很漫長，信息不是各時代中具象的傳播信息，而是每個時代所使用的技術手段形成人類交流和社會生活的改變。人類的文明史就是一個人類在生產和活動過程中持續創造和使用新的媒介，并讓社會文明系統不斷走向先進和完整的歷史過程。麥克盧漢以強大的自身邏輯和分析能力，將幾千年人類文明傳播歷史中的環境、文化、媒體、社會狀態、性格模式等信息進行綜合分析，判斷需要經歷“部落化—脫部落化—再部落化”的三階段（表2）。他認為，現在的電子媒介（數字媒體）已經滲透到人類生產和生活的方方面面，這會使人類以全新的現代方式重新體驗部落化社會中村莊聚集式的接觸和交流。人類依靠的不再是理性的單一性認知模式，他們要面對一個由電子媒介所帶來的全新世界。

表2 麥克盧漢分析的媒介三階段

2015 年，美國媒體藝術家拉瑪·豪特森（Rama Hoetzlein）基于媒體理論、科技、藝術相結合提出“媒體藝術譜系圖”。2017 年，李四達提出近60 年的媒體藝術發展圖譜。通過圖譜研究可以發現，20世紀末至21 世紀初，媒體藝術成為當代藝術領域最重要的內容之一。特別是自21 世紀開始， 三維動畫技術的成熟讓媒體藝術的內容和形式更加豐富精彩，成為當代藝術最具活力和創造力的部分。[1]166現在人們把目光投向高清畫質、可以混淆真實世界的虛擬現實技術，它把人類帶到了一個全新多感官體驗的新世界，呼應麥克盧漢對現代社會走向“聽、觸覺及感官多重體驗”的判斷，沉浸性帶來的效果由此開始進入人們的視野。

“Immersion effect”可以翻譯為沉浸效果或侵入效果，從翻譯看，它是一種帶有體驗性的人類行為活動。沉浸效果是指觀眾完全身處由媒體技術制作的虛擬世界中，它重構了觀眾欣賞藝術作品的模式，使觀眾完全沉浸在虛擬環境之中。從媒體技術角度看，理想的沉浸效果環境可以讓觀眾忘記世界，降低對物理世界的感知，完全沉浸在人造空間之中，通過媒體技術激發起觀眾的視覺、觸覺、味覺、聲覺、嗅覺等一系列與身體有關的感知，達到難以分別真假的程度。

動畫經過幾十年的發展至今，是集合了視覺、聽覺、觸覺的綜合性藝術形式，它具有交互性、重構性、虛擬性、符號化、等特點[2]34，特別是三維動畫技術已經成熟，因高清畫質、虛擬性強等特點已經成為虛擬現實技術主要的信息輸出內容。當三維動畫作為媒體藝術所呈現的虛擬特征成為一種表現方式的時候，實際上拓展了媒體藝術的體驗邊界。想象一下，當一個空間被多個屏幕所覆蓋，整個空間都是三維動畫輸出內容形成的虛擬空間，會使觀眾從原本單一的內容關注點延伸至對整體空間的體驗，形成具有“沉浸效果的空間”。三維動畫通過影像內容與空間環境結合的展示方式，正在成為當下媒體藝術的主流。這種新方式，提高了觀眾的感官體驗和情感享受，讓觀眾降低了對時間和物理世界的關注，全身心地投入三維動畫媒體藝術的展示之中，形成沉浸性的效果。

（二）心流（Flow）理論概述

美國心理學家米哈里·契克森米哈賴（Mihaly Csikszentmihalyi）對沉浸性產生的心理學層面的理論具有巨大貢獻。他針對沉浸性的特點提出“心流”（Flow）理論，米哈里認為：“人在心流狀態下獲得快樂，心流的心理活動是沉浸在一項活動和所在情境完全投入和集中的狀態。包括戲劇、藝術、游戲、宗教儀式、體育在內的心流活動，主要功能在于提供樂趣，有助于讓觀眾進入極為愉悅的心理狀態?！盵3]125-140米哈里與研究團隊使用獨特的“體驗抽樣法”（EMS）對采訪對象進行研究，得出可以影響心流的兩種要素：參與難度（challenge）和參與技巧（skill）。這兩個因素并非處在高值就是最佳，它們之間是相互影響的關系，需要達到一定的程度才可以實現最完美的沉浸性體驗。

“心流”的體驗是一種可以跨越性別、文化差異的心理學活動的普遍現象。所有的心流活動，無論是什么樣的形式，都有一個共同點：心流會帶來一個新的發現、一個新的創造，把體驗者帶入一個新的現實。心流促使體驗者去適應環境以獲得更好的表現，讓意識達到一個從未體驗過的境界，讓觀眾獲得自我成長是心流的核心（圖2）?；谛牧骼碚?，米哈里在2000 年提出沉浸性效果產生的幾種條件，需要對參與難度進行軟性調節、行動和意識的統一、有明確的目標、得到及時的反饋、獲得控制感、集中于眼前的任務等，都可以有效地讓觀眾喪失自我意識以及時間感，使觀眾自動進入沉浸效果的體驗，形成單一維度體驗向整體沉浸性體驗的轉變。

圖2 心流產生理論模型（作者根據原理論改進）

雖然隨著三維動畫技術的不斷發展，未來還會有新技術的迭代，同時也會進一步促進沉浸效果應用的發展與變化，但從心流理論看，僅依靠設計三維動畫內容的技術優勢，使觀眾獲得沉浸效果的理論仍不夠全面。

（三）“鏡像神經元”概述

意大利帕爾馬大學的科學家賈科莫·里佐拉蒂（Giacomo Rizzolatti）在1996 年一次偶然的機會發現猴子在模仿同類或者人類行為時，其前額葉皮質F5 區中產生特定神經的放電活動。這一偉大的發現經過數十年的研究，直到2006 年才被生物界完全認知。里佐拉蒂在人類身上同樣發現了與猴子類似的神經元細胞，并將其命名為“鏡像神經元”（Mirror Neuron）。[4]59-69人類的鏡像神經元比猴子身上發現的任何一種鏡像神經元都更為靈活、進化程度更高。人類是精巧的社會生物，其生存依賴于對身處環境和他人行為意圖的理解，鏡像神經元讓人類本能地通過對細胞的直接刺激獲得情緒感受，而不是通過邏輯推理去獲得理解。因此，人類對外界的理解是感覺，而非思考。

丹尼爾· 西格爾（Daniel J.Siegel）于2013年提出鏡像神經元系統與其他腦部區域共同構成相互聯系的“共鳴環路”，共鳴環路已經被證實不僅能控制人類意圖，對同理心的形成起著基礎作用，更重要的是可以引起情感共鳴，這是個體與整體之間情感統一的結果。[5]32美國思想家杰里米·里金夫（Jeremy Rifkin）對上述理論進行延展，他認為鏡像神經元的發現確定了人類的身體可以激發感覺的事實，身體并不是單純被動地接受外部刺激，它會主動性、自發性地與自身經驗相結合，形成“刺激—目的”的關系。通過身體的作為外部感覺的刺激，啟動人類作為內部感受的感知效果，這是一個由外部向內部、由感性認知到反思的過程。人類可以直接通過所在環境判斷帶來的不同情緒，獲得情感共鳴，就像我們不需要思索就可以知道不同的音樂是悲傷的還是歡快的。

通過上述理論可知，人類的身體構造具有天然的情感共鳴的能力，所以人類才可以輕松地獲得不同情緒的體驗，可以說“鏡像神經元”系統的存在才能觸發“心流”行為，觀眾才有感知沉浸效果的可能。

二、Teamlab《涂鴉與自然》的沉浸效果

（一）高清晰畫質內容助力沉浸效果

Teamlab 是成立于2001 年的日本媒體藝術團隊，它刷新了人們對沉浸式媒體藝術的認知。2016年米蘭世博會上，團隊的作品創造了觀眾進入日本國家展覽館需要排隊8 小時以上的奇跡?！锻盔f與自然》是這個藝術團隊在2021 年創作且富有社會意義的作品之一。作品通過媒體藝術與技術重現了由參與者繪制的各種生物組成的自然世界，觀眾創造的生物時而出現在空中，時而消失幻化成另一種形式飄落地面，隨后綻放出無數絢麗的花朵，花朵是寓意提供養分孕育出新生命的符號，藝術團隊期望以此循環展現一個由參與者親手創造的“生態系統”（圖3）。作品通過360 度的全屏覆蓋，把整個空間變成通過三維動畫內容來敘事的媒體藝術的世界，地面的起伏時刻暗示觀眾這里是另一個真實的“自然世界”。觀眾將所有的注意點置于尋找他們創造的生物之上，這是觀賞者參與創作的有利證明。從參與者尋找創造生物那一刻開始，已經不經意間進入了藝術團隊所期盼的那樣——觀眾完成了作品創作的最后一步。

圖3 涂鴉與自然（圖片來源自網絡）

麥克盧漢提出的“熱媒介”理論（Hot Media）[6]52在作品中得到充分的體現。三維動畫的“熱媒介性”展現高清晰、高還原度的畫質技術的優勢，讓人一眼就可以從眾多生物中識別屬于自己創造的生物。如此高質量的夾雜著夢幻感與真實性的動畫影像為虛擬物體存在于真實的物理世界提供了必要的條件。三維動畫與“冷媒介”的漫畫相比，視覺上的高清晰度是一個充滿信息的狀態，不需要人們把過多的精力消費在理解抽象漫畫造型所遺漏下來的形象聯想問題和分鏡畫面隔斷所導致的劇情貫通問題。觀眾可以輕易看懂畫面，把思緒留在不斷變化的“生態世界”內容之上，達到沉浸式的虛擬體驗效果。

從心流理論來看，《涂鴉與自然》通過精湛的技術、仿真的內容讓觀眾輕易地融入作品的語境中，讓觀眾停留在獲得探索虛擬世界的樂趣的心理行為之中，達到弱化自我意識、自動體驗的目的。對應心流理論看，高技術帶領觀眾到達“新發現”的坐標點，從而達到“新體驗”的重要路徑。另一方面，鏡像神經元的客觀存在，觀眾本能地激發了同理心，現場愉悅的情緒得到渲染、同化、放大，逐步讓整個場景內參與者的情緒走向統一，獲得愉悅的沉浸效果。

（二）適當的參與方式讓觀眾關注于沉浸效果

根據米哈里心流理論的描述，正確參與方式的選擇搭配良好的制作技術可以讓觀眾達到最佳的心流效果，獲得正向的沉浸效果。地球上有超過1000 萬種生物，在藝術作品中實現這個量級的工作是一項需要奇跡的挑戰，Teamlab 團隊期望可以由觀眾來完成這項艱巨的工作。想要實現從0 到1的創造則需要參與者有繪畫造型能力等基本素養，顯然這樣的方式極大地限制了參與的群體，會讓大部分觀眾陷入怯懦、逃避、否定的情緒之中。針對這一風險，團隊設置了非常巧妙的方法，讓觀眾可以輕易參與作品又不必過于為難?！锻盔f與自然》的展示現場為參與者提供各類生物的黑線圖稿，觀眾按照個人喜好為之涂裝色彩，使之獲得新生，隨后將彩色的生物放進掃描設備，專屬的生物會立刻出現在虛擬的“生態系統”之中（圖4），完美地避免了不善于藝術造型的觀眾可能產生的郁悶以及放棄的念頭。輕松愉悅的參與方式將參與者留在了迸發想象力的洪流之中，他們只需要心無旁騖地沉浸在色彩的海洋之中。Teamlab 的《涂鴉與自然》項目通過合適的方式，讓觀眾更多地參與到作品中，避免踩入心流理論中“參與難度”的陷阱，使觀眾走向焦慮情緒的誤區，甚至意識過早地抽離虛擬空間而導致失敗。

圖4 參與者創作步驟（圖片來源自網絡）

三、中國美術學院《拙政問雅》的沉浸效果

（一）虛擬空間與自然空間融合，調動觀眾全感官刺激

園林在中國的地位和斗獸場（Colosseo）在羅馬人心中的地位相同，始建于16 世紀的蘇州拙政園已然成為一個文化符號，人們觀賞濃縮于園林中的微觀自然也是了解園林的普遍價值?！蹲菊栄拧凡⒎侵挥? 件媒體藝術作品，而是根據實際物理環境定向設計創作、需按照固定路線游覽的23 件作品。來自中國美術學院的藝術團隊將整個傳統園林變成三維動畫媒體藝術的展示空間，變成具有沉浸效果的虛擬世界的天堂。制作團隊非常熟悉沉浸效果達成的條件，將作品設置“僅限夜間觀賞”，黑夜沒有自然光線的條件下，物理環境才有可能被視覺弱化，進一步突出媒體藝術的優勢。媒體藝術作品所展現的電子技術非常多元化，有全息投影、動態影像、交互性影像、模擬自然的聲效、光學動作捕捉技術等。

《拙政問雅》是由媒體藝術作為媒介所塑造的虛擬空間與物理空間結合的嘗試，實際上證明了麥克盧漢提出的“人類延伸的媒介二重性”[7]。媒介的改變勢必會帶來人類感官的自我麻痹與放大，所有傳播媒介都是人類感官的延伸。媒體藝術的內容畫面是觀眾視覺的延伸，聲音是觀眾聽覺的延伸，光學動作捕捉帶動的內容變化是觀眾四肢的延伸。虛擬空間與物理空間的結合形成了一個全新的世界，是一個不同于以往認知的融合空間。因此，在媒體藝術的主導下，園林的物理空間已經成為虛擬空間的一部分而被觀眾所接納，所以園林中的植物、流水及空氣中彌漫的自然氣息是觀眾嗅覺的延伸。物理空間與虛擬空間的結合方式是一次極有意義的實踐。物理空間（園林）的熟悉感搭配虛擬空間（動畫媒體）的新鮮感，充分調動了觀眾全感官的“刺激—反應”體系，讓觀眾在享受的過程中逐漸喪失自我意識，集中于眼前的沉浸效果空間，從而獲得對園林的充分探索。

（二）非線性動線喚起觀眾好奇心

案例中23 件媒體藝術作品的創作是基于藝術團隊對園林文化的解讀和重構，它們是同一文化語境下的產物，但又都有獨立的內容主題，所有作品之間無法實現唯一線性的敘事模式，正因為非線性的敘事方式反而展現出此案例的最大特色。非線性的敘事方式，得益于媒體技術的復制和編輯能力，媒體藝術專家珍妮特·穆瑞（Janet Murray）以“萬花筒”作為這種非線性敘事的隱喻。[8]傳統媒介由于技術的限制，只能以交互疊加的方式處理同時性觀賞的情況。而作為電子媒介的三維動畫媒體藝術使創作者可以將所有同時發生的事件置于同一網格，允許參與者在它們之間瀏覽，以多種路徑為同時性的行動提供了機會。在萬花筒效應的影響下，觀眾在不同場景中穿梭，在這樣的過程中靠自身的路線把非線性結構組成一個合理的個人性的線性故事。在這樣的情況下，喚起觀眾的好奇心，引導參與者從一個場景進入另一個場景之間，并來回切換（圖5）。

圖5 案例的不同場景（圖片來源自網絡，作者制作）

作品所傳播的信息避免向觀眾進行單向輸出，是把參與方式的主動權還給觀眾，動畫媒體的數字化、模塊化的參與方式讓觀眾的行動與自身意識相融合，自由的瀏覽方式甚至讓觀眾獲得良好的“自我控制感”，從而得到明確且正向的感知反饋。從心流理論看，作品高水平的技術、新型場景的融合、參與方式的多樣性三大特征，讓觀眾直接進入心流通道的最佳位置。但這個案例的效果不僅這些，在技術和參與方式的雙重刺激下，觀眾繼續深入新的發現并創造新的心流路徑，最終參與者在體驗過程中與空間融合，獲得一種全新的自我認知，達到藝術構建的最佳沉浸效果。

（三）超前經驗有利于調動觀眾情感共鳴

中國傳統園林的人文價值在于通過人類干預的方式重現自然的場景，是一種自然再現的自然，在漫長的歷史發展中已經成為人們熟悉的文化符號。梅洛-龐蒂（Merleau-Ponty）具身性（Embodiment）的概念可以解釋這樣的情況,他肯定了身體同心靈一樣是審美直接的接收器[9]，他認為人類具有客觀的身體（Leib）與主體意識的軀體（Krper），二者之間存在必然的因果關系，通過客觀的身體接受外部的信息，主體意識的軀體消化信息獲得知覺，融合至外部空間，成為空間的一部分。所以身體的一種重要功能是“構造經驗”，軀體是感知經驗的“閥門”，不斷地修正人類對世界經驗的理解。如同Teamlab 案例的生態世界一樣，媒體藝術呈現的內容與觀眾自身的經驗引起呼應，觀眾可以不費力地理解內容傳達的信息，這恰恰證實鏡像神經元的存在引起了同理心、模仿記憶以及共鳴。作為文化符號的傳統園林早已是人類共有的超前經驗，參與者周遭由媒體藝術媒介改造的環境激發了身體的自發性感官刺激，讓軀體尋找相匹配的經驗適應新環境，軀體可以把感覺對象化，與夢境、聯想、幻覺、欲望進行交織，最終將外部影響的因素向內轉變，與自身經驗相結合，獲得情感共鳴，產生自我陶醉的狀態，把心流的沉浸效果推向更高層次。

四、結論

自2018 年以來，媒體藝術帶來的虛擬技術所呈現的沉浸效果研究成為熱點板塊，引入心流理論與鏡像神經元理論是從第三方（人）的視角對媒體藝術產生沉浸效果研究的補充。通過案例分析不難發現媒體藝術的觀眾沉浸效果的關鍵要素有以下幾點（表3）：

表3 觀眾沉浸的特征

1.媒體藝術呈現的圖文內容是沉浸效果的前提。三維動畫的高清晰度內容是引導觀眾進入超真實世界的前提條件，也是進入沉浸性世界的大門。高清畫質的動畫可以讓觀眾忘記主觀意識而沉浸于內容之中，因此在此范疇內，沉浸性具有熱媒介性和超真實性的特征。

2.共鳴觀眾本身經驗是提升沉浸性的催化劑。內容的超真實性固然重要，但若無法與觀眾本身的經驗進行匹配，就無法完美激化觀眾沉浸性的化學反應。相反，過于難懂的內容會讓觀眾產生負面情緒，無法走入良好的心流通道。所以沉浸效果擁有觀眾情感共鳴性的特征。

3.平衡媒體藝術的參與交互難度。偏高的參與難度會讓觀眾將過多的注意力放在枯燥的操作層面，陷入邏輯層面的難題，會讓參與者沒有獲得感而放棄進入作品預設的沉浸效果目標。所以沉浸效果有反饋性和專注性的特征。

4.巧妙的空間設計對沉浸性的提升?？臻g塑造是沉浸性產生的第二個重要因素，本文的視角依然是物理世界中虛擬效果的運用。因此，以往單屏幕的動畫展示方式會使屏幕變成畫框，從而與觀眾之間形成傳統的欣賞模式，不利于觀眾降低自我意識進入虛擬空間之中?？臻g的虛擬化是調動觀眾整個身體器官的沉浸效果的催化劑，具有全感官性特征。

5.多場景的萬花筒效應優勢。多場景的切換實際上不斷激發了觀眾適應場景的能力，并獲得新的經驗和新的成長， 尋找到觀眾自我成長的完美路徑。所以非線性的敘事方式導致的多場景模式呈現的沉浸效果具有激發性的特征。

想讓觀眾獲得沉浸效果的最優體驗，關注的不僅是媒體藝術所表達的視覺信息，還需關注所表達的內容信息、與觀眾的聯系、參與作品的交互方式、空間等方面的因素。當今高質量的媒體藝術內容制作，導致設備價格與人工成本極為昂貴。通過研究發現，高科技設備和高清晰畫質并非獲得沉浸效果的唯一路徑，想讓觀眾獲得最佳的體驗仍有漫長的道路，需要設計師們不斷摸索，持續迭代。