口述影像中手勢與面部表情描述策略研究
——以電影《國王的演講》中的中文口述影像為例

沈渭菊，許露梅

（蘭州交通大學 外國語學院，蘭州 730070）

中國是《殘疾人權利國際公約》締約國，2008年6月全國人大通過了該條約。公約第三十條中指出“政府應當采取一切適當措施，確保殘疾人獲得以無障礙模式提供的電視節目、電影、戲劇和其他文化活動”［1］。我國現有視力殘疾人1700多萬，其中包括“全盲約869萬，重度視力障礙約467萬，低視力約400萬”［2］。而且“超過一半（53.24%）的視力殘疾人年齡在60歲以上，且大多數（75.04%）都居住在農村地區”［3］，教育水平較低，“約72%的視力殘疾人僅高中及以下學歷”［4］。為了貫徹落實習近平總書記“重視無障礙環境建設”的指示，踐行“以人民為中心”的發展思想，無障礙環境建設智庫發起“無障礙暢享行動”（2019-2022），呼吁“電視臺、電影院、視頻網站、圖書館、體育場館等公共文化服務機構為聽障人士觀看新聞、體育、綜藝等各類節目提供實時中文字幕同步服務，推廣盲人電視、電影口述影像節目”［5］?？谑鲇跋竦哪康氖菫橐曊先耸刻峁┆毺氐男畔⑽幕?，從而促進視障人士平等地共享信息、共享文化。

口述影像（audio description）是一種將“圖像符號轉化為文字符號的符際翻譯”［6］。是一種“額外添加的語言描述，以詮釋圖像上最重要的信息，是一項幫助視障人士接受視覺信息的技術”［7］。在戲劇表演、電影電視節目中，口述影像描述者描述角色的動作、肢體語言、面部表情、場景以及服裝，并將其插入人物對話的間隔中，不與重要音效重疊?？谑鲇跋?0世紀80年代起源于美國。對于口述影像的研究，國外學界成果豐碩，發表了大量具有影響力的著作和期刊論文，研究主題面廣豐富。近幾年的研究主要聚焦于七個方面：口述影像文本的語言問題［8-10］，口述影像中的話語分析［11］，口述影像中的連貫性［12］，語音合成口述影像［13-15］，口述影像中的人物特征［16］，口述影像中的手勢與面部表情［17-19］以及口述影像文本的互文性［20］等方面。手勢和面部表情作為非言語交際的一部分，是人類交際的重要組成部分，是電影塑造人物形象，推動情節發展的重要依托。歐美等發達國家相繼出臺了口述影像規范，規定了如何描述面部表情和手勢的準則。各國描述雖有不同，但差異的主要焦點是主觀描述還是客觀描述。多數國家持客觀描述的觀點。比如，美國的準則規定，口述影像描述者應“客觀地描述畫面。主觀或定性的判斷或評論會妨礙聽眾的理解”［21］。但英國的準則規定，“只要描述者不要在口述影像中加入過多自己的理解，適當主觀的描述也是允許的”［22］。Vercauteren和Orero［23］認為，描述面部表情十分重要，因為它們表達情感，而情感往往是驅動電影敘事的原因，為角色的后續行為提供了動機。然而，由于受到口述時間，非言語信息的微妙含糊，觀眾的認知負荷等多方面的限制，如何準確地將這類非言語信息傳遞給視障觀眾，是口述影像描述者面臨的挑戰。盡管大多數國家提倡客觀描述，然而，Vercauteren和Orero也特別提醒初學者，不要過多采用客觀性原則，提供過于詳細的描述。他們認為，盡管這類口述影像準確地描述了面部肌肉的運動，但視障人士可能難以確定其表達的情緒。而且，過于冗長的描述也可能會造成視障觀眾的認知負擔。當然，他們也認為直接表明情感也存在一定的弊端，如描述者可能會對人物的情緒做出錯誤的推理和判斷。Mazur［18］則認為，手勢和面部表情的描述應該避免主觀與客觀的二元對立。手勢和面部表情的描述不應只局限于主觀和客觀，而是應該考慮每個情景的多種限制因素，選擇合理的策略進行描述。她借鑒了翻譯研究的理論框架，提出了描述手勢和面部表情的策略，并以電影《無恥混蛋》為例，對描述者描述手勢和面部表情的策略進行了案例分析。Igareda［17］通過分析五部西班牙電影中人物的面部表情，探究了角色的情緒應該如何被描述。Jankowska和Zabrocka［19］采用定量和定性研究方法，分析了電影中伴言語手勢（co-speech gesture）的口述影像，發現手勢的類別對手勢描述有很大影響。

國內對口述影像的研究還很滯后，只有少數學者提到中國口述影像的發展現狀，而且研究的內容僅局限于口述影像的制作和口述影像的電影版權等內容［24-26］。相關實踐研究只有三篇文章。肖維青和董琳娜［27］對比了語音合成口述影像與真人聲音口述影像在中國的接受度，發現我國視障者更喜歡真人聲音的口述影像。蔣莉華和李穎［28］基于多模態話語分析理論探究了口述影像的制作，發現口述者通過整合多模態信息，以整體傳達，適當解釋，刪減提煉的方式增進口述影像的理解。羅康特和焉秀［29］以香港電影《葉問：終極一戰》的口述影像為例，探究了能體現導演意圖的作者口述影像的實踐特征，發現這類口述影像的制作由于有導演介入，口述影像員有了擺脫“所見即所述”的優勢。近兩年，也有國外學者對中國口述影像進行研究。Tor-Carroggio和Vercauteren［30］對比了歐洲口述影像和中國口述影像的制作，發現前者主要基于學術研究成果和口述影像制作規范，后者主要基于描述者自身的描述經驗。Tor-Carroggio和Casas-Tost［3］通過問卷調查的方式，繪制了中國口述影像描述者的概況。Tor-Carroggio［31］調查了上海視障人士對口述影像的滿意度，發現大部分用戶對目前的口述影像比較滿意。本文以電影《國王的演講》中的中文口述影像為例，運用Iwona Mazur對面部表情和手勢的分類以及描述策略，分析描述者描述手勢和面部表情所采用的策略，以期未來口述影像描述者可供借鑒。

一、口述影像中手勢和面部表情的分類以及描述策略

Mazur［18］根據面部表情與手勢在話語中的功能，將口述影像中的手勢和面部表情分為三類。

（1）支持話語的手勢與面部表情（discoursesupporting gestures and facial expressions）。這類表情伴隨并加強了所說的內容，但也以某種方式重復了所說的內容。比如，在電影《無恥混蛋》中，希特勒聽到“混蛋”雜牌部隊戲弄德軍時，非常的憤怒，一邊大聲吼叫，一邊揮舞手臂，用拳頭砸著桌面。希特勒的手勢支持了他所說的話語，也表達了他的氣憤。

（2）填補話語的手勢與面部表情（discoursefilling gestures and facial expressions）。這類表情補充了說話人所說的內容。比如，在電影《無恥混蛋》中，當酒吧服務員問?？伎怂挂獛妆茣r，他只是伸出了三個手指，并未口頭回答，為了理解他的意思，我們需要看他比劃的手勢。同樣地，我們的表情可能不會伴隨著任何話語（比如，某人在考慮事情時的微笑），或者我們的表情是對某個問題的回答或是對某個陳述的反應。

（3）話語沖突的手勢與面部表情（discourseconflicting gestures and facial expressions）。這類表情與話語相矛盾，或者不支撐所說的內容。比如，在電影《無恥混蛋》中，漢斯為了迷惑躲在地板下的索莎娜，一邊說著他要邀請房子主人的女兒進屋，感謝她們的接待，一邊又用手勢示意他的士兵，向地板開槍，這樣他的話語與他的手勢就產生了沖突。

在描述畫面時，由于時間的限制，往往會優先描述填補話語類以及話語沖突類的手勢與面部表情。因為這兩類對于信息理解是不可或缺的。

在應該描述什么手勢和面部表情的基礎上，Mazur以口述影像也是一種翻譯為出發點，提出了可以將翻譯中的一些策略經過改編用于指導口述影像的描述，比如韋努蒂的歸化與異化，奈達的形式與動態對等。她將上述策略視為“整體策略”（global strategy）。這類策略能讓口述影像描述者，像任何譯者一樣，有意識或無意識地從一系列“局部策略”（local strategy）中進行選擇。在口述影像描述中，整體策略和局部策略的選擇取決于視聽文本的類型、目標受眾、或口述影像的目的等因素。Mazur借用奈達的術語，將手勢和面部表情的口述影像稱之為形式導向（formally-oriented）和動態導向（dynamically-oriented）的口述影像。奈達的形式對等一般是指詞對詞的翻譯，而動態對等則被理解為意義對意義的翻譯。以手勢和面部表情為例，形式導向的口述影像盡量復制特定的身體動作或面部肌肉，而動態導向的口述影像則更具解釋性和對情緒的命名。由此，她認為形式和動態導向的口述影像不應被視為二元對立，而應被視為一個連續體的兩端。

在手勢和面部表情分類的基礎上，Mazur也提出了五種描述策略。

（1）直接描述（literalness）：盡可能從字面上描述我們所看到的，例如，“她皺著眉頭”。但需要注意的是，直譯的程度也可能有所不同，例如，我們可以說：“她在揮手”或“她舉起她的右臂將其左右移動”。

（2）明晰化（explicitation）：通過命名明確面部表情或手勢所表達的情感。例如“她生氣了”或“她傷心了”。

（3）概述（generalisation）：用概括性的話語描述手勢或面部表情。例如，“她在做鬼臉”或“她在做手勢”。

（4）省略（omission）：不描述特定的手勢或面部表情。因為時間限制或與故事情節無關。

（5）組合策略（combination of strategies）：使用上述兩個（或更多）策略描述一個手勢或面部表情。例如，“她皺著眉頭，生氣了”。

上述策略的應用取決于許多因素，如文本類型、目標受眾、手勢和面部表情的類別等。如在一部描述一連串事件的電影（如動作片）中，口述影像的目的是要保持敘事的連續性，因此可能采用更具動態導向的策略。在考慮怎樣描述時，目標觀眾是主要決定因素，他們的年齡、受教育程度、認知負擔以及視力受障程度等都會影響描述者對策略的選擇。同時，也要考慮手勢和面部表情類別，手勢或面部表情與特定場景或角色的相關性以及對話之間的停頓時間等?？傊?，無論采取何種“整體策略”，由于受電影特定場景或鏡頭的限制，一部電影的描述都會涉及多種描述策略的混合使用。

二、《國王的演講》中的手勢和面部表情的描述策略

本文首先根據Mazur對手勢和面部表情的定義和分類，將電影《國王的演講》中的手勢與面部表情進行了分類。其中，填補話語類手勢與面部表情33例，支持話語類手勢與面部表情68例，話語沖突類手勢與面部表情10例；然后對這些手勢與面部表情的描述策略進行了梳理，發現描述者主要采用了4種描述策略：明晰化，直接描述，省略，組合策略（如圖1）。

圖1 手勢與面部表情的描寫策略分布Fig.1 The distribution of description strategies of facial expressions and gestures

從圖1可以看出，對于填補話語類手勢與面部表情，描述者主要使用了直接描述、明晰化、省略和組合策略四種描述策略，其中使用明晰化的策略最頻繁；對于支持話語類手勢與面部表情，使用最多的是省略描述；對于話語沖突類手勢與面部表情，描述者只采用了省略描述的策略。

1.填補話語類手勢和面部表情

對于填補話語類手勢與面部表情，描述者主要采用明晰化、直接描述、省略和組合策略，其中使用最頻繁的是明晰化描述。

（1）明晰化

在圖2中，約克王子正在播放自己的錄音，想知道羅格的辦法是否有效，自己的朗讀是否真的流利。此時，王子的夫人莫林從房間走出來，聽到錄音中丈夫流利的朗讀，眉頭緊蹙，兩嘴微張，不可思議。

圖2 明晰化描述驚訝的表情Fig.2 Explicit description of a surprised expression

描述者使用了明晰化的策略描述莫林的面部表情。描述者沒有詳細地描述莫林的面部狀態，只用“驚訝地”一詞直接表明了她的情緒狀態，完全表達了莫林聽到丈夫流利的發音難以置信的表情。盡管有些國家的描述準則規定，描述者應盡可能的客觀描述。但Vercauteren和Orero提到，在描述中直接表明情感意義，可以節省時間和減輕盲人觀眾的推理負擔［23］。在這部電影中，明晰化策略是描述者使用最多的策略。這或許是考慮到我國目前至少53.24%的視障人士年齡超過60歲［3］。

（2）組合策略

在圖3中，英國正式向德國宣戰，民眾頓時陷入惴惴不安之中。為了安撫民心，鼓舞士氣，國王喬治六世即將發表戰前演講。為了成功地發表此次演講，國王邀請羅格協助他完成演講。國王演講全程都是按照羅格手勢的節奏進行的。畫面中的羅格用手勢提醒國王，演講可以開始了。

圖3 組合描述手臂張開的手勢Fig.3 Combined description of an arms open gesture

描述者使用了組合策略描述羅格的手勢。首先采用直接描述的策略，客觀地描述了羅格“張開雙臂”的手勢，然后又運用明晰化策略，解釋了手勢“演講開始了”。電影中手勢的描述，直譯和明晰化的組合策略是使用最頻繁的策略。因為“一個手勢往往有多種含義，直接客觀的描述一個策略容易引起歧義，而通過明晰化策略的組合使用，往往可以消除這種歧義”［19］。Leung也發現，在描述手勢和面部表情時，最受香港視障觀眾喜愛的策略是組合策略。在她指導的實驗中，84.1%的觀眾都傾向于描述者使用組合策略，因為這種策略既減輕了觀眾的認知負荷，又能為他們提供更多的細節。但Leung也指出，組合策略的使用有賴于對話之間有足夠的間隙，因為“這種策略的使用會花費比其它策略多兩倍的時間”［32］。

（3）直接描述

在圖4中，約克王子站在麥克風前，準備發表一個重要演講。因從小患有口吃，約克王子總是說話結巴，對公共演講充滿了恐懼。但是，在周圍觀眾殷切的目光中，約克王子努力嘗試著開始演講，但他十分緊張，嘴唇顫抖著，抖動了老半天也沒能憋出一句話。

圖4 直接描述緊張的表情Fig.4 Literal description of a nervous expression

描述者使用了直接描述的策略，有效地傳遞了王子的緊張情緒。描述者通過客觀描述王子“嘴唇微微顫抖著”傳遞王子的情緒。這種描述僅僅向觀眾呈現人物的面部肌肉狀態，讓觀眾自己推測人物的情緒，避免因描述者的判斷失誤而致使觀眾收到錯誤的信息。Matsumoto和Willingham.N.d［33］認為，“情緒的自發面部表情的產生不依賴于觀察學習。先天性失明、非先天性失明和有視力的人的表情都是相似的”。因此，盡管視障人士無法通過觀察學習這類表情，但他們遇到相似情景時，也會露出類似的表情，有相同的感受。同時，視障觀眾結合自身緊張時嘴唇顫抖的體驗，也能夠推測出王子的緊張情緒。

（4）省略

在圖5中，喬治六世和王后來到言語治療師羅格的家中，談論加冕儀式的事。羅格一直沒告訴他的妻子他在擔任國王的言語治療師，所以當他妻子回家看見國王在他家時，露出了畫面中十分驚訝的表情。她嘴巴微張，眼睛瞪大，驚訝地說不出話，只是默默地盯著國王，聽著她的丈夫向她介紹這位尊貴的客人。

圖5 省略描述不可置信的表情Fig.5 Omission of an incredulous expression

此時她的表情屬于填補話語類面部表情。按照Mazur的觀點，這里應該描述，但描述者省略未描述，主要考慮到她丈夫與國王的對話沒有足夠的時間空隙插入對她表情的描述。但觀眾能猜到她驚訝的表情，這是因為在她進門時看見王后坐在她家的客廳時，她面露驚訝，并顫抖地說著：“您，您……”

2.支持話語類手勢和面部表情

（1）直接描述

在圖6中，喬治六世國王在羅格的幫助下，成功地發表了戰前演講，國王很感謝羅格的幫助。在演講結束后，他走到了羅格的身邊，將手放在羅格的肩上，說道“謝謝你，我的朋友”。國王的這一手勢支撐了他所說的話，并加強了他對羅格的感謝以及友愛之情，屬于支持話語類手勢。

圖6 直接描述支持的手勢Fig.6 Literal description of a supporting gesture

國王的手勢是他在說話過程中自發的手部動作，屬于表征性手勢（gesticulation）。意味著，國王這個手勢的語言屬性不強，只傳遞了細微的語言信息。描述者使用了直接描述策略，客觀地描述了這個手勢，沒有解釋這個手勢的含義，目的讓視障觀眾知道這個特定的手勢是如何使用的。正如一位受訪盲人說到，“我不知道手勢是怎樣的，但口述影像能幫我學習手勢的相關知識，就如我能通過書籍了解人們的行為舉止一樣”［34］。

（2）明晰化

在圖7中，約克王子在夫人的陪同下，接受了王室御醫對其口吃的治療。醫生要求王子嘴里含著彈珠進行朗讀練習。王子嘗試了一下，滿臉漲得通紅，讀不出一個字，于是生氣地吐出彈珠，大聲地喊道“我差點把這些混球咽下去”，便起身離開了。

圖7 明晰化描述暴躁的表情Fig.7 Explicit description of an irritable expression

描述者使用了明晰化的策略，直接表明了王子的憤怒情緒，并沒有詳細地描述王子此時的面部狀態，“眉頭緊促，眼睛瞪大”等等。盡管直接表明人物的情緒，描述者可能會對人物的情緒做出錯誤的推理和判斷，但觀眾從王子的語氣和語調中能推測出他此時的憤怒，所以明晰化的策略未造成信息的缺失或錯誤的傳遞。

（3）省略

在圖8中，約克王子第一次與語言治療師羅格見面。王子此前已經歷過多次失敗的治療，對治好口吃不抱希望。況且，羅格的治療所看起來也不大正規，所以王子對羅格很不信任。在交談過程中，羅格為了讓王子放松情緒（這也有助于緩解口吃），嘗試以朋友的姿態與王子聊天，問王子，“你最早的記憶是什么？”王子認為這是私人問題，與治療無關。耐心耗盡，頓時話音高漲，語速急促，眉頭緊蹙，雙眼怒目。

圖8 省略描述憤怒的表情Fig.8 Omission of an indignant expression

描述者采用了省略描述，考慮到觀眾能夠從王子說話的語氣和語調中感受到他憤怒的情緒。正如Mazur所說，對于支持話語類面部表情，最可能使用的描述策略是省略策略。因為這類面部表情往往有話語支撐，通過話語就能判斷出此時人物的面部表情。如果描述者對王子此時的表情進行描述，就會與王子的語氣語調所表達的意思冗余，并造成“挑戰觀眾，給他們留下居高臨下的感受”［35］。

3.話語沖突類手勢與面部表情

在圖9中，王后、眾大臣和主教都在等待愛德華王子共進晚餐，但王子姍姍來遲。王后對此不滿，擔心他的遲到會引起他父親的不滿。但主教卻對王子極盡贊美，夸他像國王一樣優秀。面對主教熱情的態度，愛德華王子雖然感謝了主教為他所做的一切，“在你心中果然總是為我設想”，但從愛德華“嘴巴緊抿，眉頭緊鎖”的表情，可以看到他并不在意主教的示好和贊美，只是敷衍而已。因此，王子的面部表情并不支持他所說的話語。由于這類表情與所說話語沖突，所以為了讓觀眾能夠理解說話者的真正意圖，這類表情需要向觀眾描述。但因為王子的表情伴隨話語，用于描述的時間空隙很短，即便插入描述，也很容易打斷對話，因此描述者選擇省略描述。而且，王子在說到“果然”二字時，聲音突然提高，看似強調主教的良苦用心，實則體現了王子對主教的不贊同，所以觀眾通過王子說話的腔調也能推斷他不以為然的態度。

圖9 省略描述心口不一的表情Fig.9 Omission of a conflicting expression

三、結論

本研究通過電影《國王的演講》中的手勢與面部表情的描述發現，描述者在描述電影中人物的面部表情和手勢時，考慮到描述時間的限制、觀眾的認知負荷、表情和手勢的類別等因素，采用了不同的描述策略。其中，明晰化的策略使用最頻繁。主要原因很可能與我國視障群體的年齡和教育程度有關。我國53.24%的視障人士年齡超過60歲，72%的視力殘疾人僅高中及以下學歷。明晰化的描述策略，可以減輕他們的認知負荷，幫助他們更好地理解和觀賞電影。整體來講，電影中手勢和面部表情的描述基本傳遞了手勢和面部表情所表達的重要信息，但也存在一些不足。研究發現，一些重要的手勢和面部表情，描述者采用省略策略，未進行描述，影響了視障觀眾對電影的理解。本研究認為之所以會出現這樣的情況，主要有三方面的原因。第一，可能是因為目前國內的口述影像還處于起步階段，大多數描述者都不是專業人士，“他們描述電影的經驗還較少，也未曾受到系統專業的相關培訓”［3］。第二，我國目前還沒有出臺相關的口述影像描述規范，對于“應該描述什么，如何描述”這一問題的界定還很模糊，描述者沒有清晰的概念。第三，我國口述影像的制作多是基于“描述者自身的描述經驗”，缺乏理論指導，而國外口述影像主要是基于“學術研究成果和口述影像規范”［30］。綜上原因，本研究認為我國應該基于國外口述影像規范以及口述影像相關研究，研制符合我國國情的口述影像規范，培養一批專業的口述影像描述者，提高口述影像質量，促進我國口述影像學術研究和發展，以便更好地服務我國視障人士。