功能語言學視角下的多模態語篇符號間的銜接研究

[東南學院 南京 210096]

功能語言學視角下的多模態語篇符號間的銜接研究

□王正[東南學院 南京 210096]

以功能語言學理論為基礎，對多模態語篇中視覺符號和文字符號之間的銜接關系進行了的總結和擴充。擴大了多模態語篇中不同符號之間銜接范圍，把人際意義銜接和語境銜接納入符號間的銜接范圍。并且對人際意義銜接和語境銜接分別進行了詳細的闡述。對人際意義銜接的闡述主要從語氣結構和態度系統兩個方面，對語境銜接主要從文化語境和上下文語境兩個方面闡述。

多模態語篇；符號間的銜接；視覺符號；文字符號

引言：

在過去的十幾年里，多模態語篇已經成為語篇分析領域里的一個研究熱點。許多學者從Halliday的社會符號學出發[1～2]，以系統功能語言學理論為基礎，對多模態語篇進行了大量的研究。

本文主要研究的是多模態語篇中不同符號模態之間的銜接關系，即不同模態符號模態之間是通過哪些銜接手段形成一個連貫的多模態語篇的。本文的目的是在總結以往研究成果的基礎上，提出一個完整的視覺符號和文字符號的銜接理論框架。并對這個理論框架中前人沒有做過研究的部分進行詳細的闡釋。

一、以往的研究成果和不足

國外的一些學者對于文字符號和視覺符號之間的語義關系和銜接關系，已經做了一些探索性的研究。這其中比較重要的有Royce、Martinec&and Salway、 Unsworth、 O’Halloran、 Jones和 Liu&O’Halloran等人的研究[3～9]。這些研究從不同的角度探索了多模態語篇中視覺符號和文字符號之間的銜接關系。限于篇幅，本文不在這里對他們的研究成果進行詳細闡述。

但是在所有以往的研究中所提出的視覺符號和文字符號銜接關系的理論中都缺少人際意義銜接。由于視覺符號的意義系統和文字符號的意義系統一樣，由概念意義、人際意義和謀篇意義構成，所以視覺符號和文字符號之間的銜接關系應該包括人際意義的銜接。

另一方面，以往的研究所提出的銜接理論框架只局限于語篇內部銜接，沒有從語篇外部的語境層面探討不同符號間的銜接關系。張德祿認為任何一個語篇都是情景語境中的語篇，所以任何語篇由語言形式體現的意義都不是完整的，總有一些意義是由語境因素實現的[10]。O’Halloran也指出，不同符號間的語義互動，不但會發生在表達層和內容層，也會發生在語境層。所以在研究視覺符號和文字符號的銜接時還應該將語境因素考慮在內，研究不同符號模態在語篇外部的銜接關系[6～7]。

二、視覺符號和文字符號銜接的理論框架

語言的意義系統由三種意義組成：概念意義、人際意義和謀篇意義。用以組織三種意義的語篇意義關系都是銜接關系。所以，應該從概念、人際和謀篇三種意義的組織方式的角度來研究語篇內部和外部的銜接[10]。

Kress & van Leeuwen認為，視覺符號的意義系統和文字符號的意義系統一樣，由概念意義、人際意義和謀篇意義構成，并且以再現意義(Representational meaning)、互動意義(Interactive meaning)和構成意義(Compositional meaning)來表述視覺符號的意義系統[11]。由于視覺符號系統同樣具有概念、人際和謀篇意義，所以我們在研究視覺符號和文字符號的銜接之時，同樣要從概念、人際和謀篇三種意義在兩種符號之間的組織方式的角度出發。

綜上所述，我們結合以往的研究成果，對視覺符號和文字符號的銜接關系進行總結和擴充，見表1。

表1 視覺符號和文字符號的銜接理論框架

表1提出的符號間的銜接關系框架分別從語篇的內部和外部對多模態語篇不同符號間的銜接手段進行了總結。該理論框架首次將語境銜接和人際意義銜接納入了多模態語篇符號間的銜接系統。

三、對視覺符號和文字符號銜接理論框架的闡釋

（一）多模態語篇的內部銜接

1.概念意義角度的符號間的銜接關系

概念意義角度的符號間的銜接關系包括邏輯意義銜接和經驗意義銜接兩個部分。邏輯意義銜接包括對比、添加、因果關系和時間順序四種銜接關系。經驗意義角度的符號間的銜接關系包括對應、反義、上下義、整體-部分、搭配和多義六種關系。

對概念意義角度的不同符號間的銜接關系Liu&O’Halloran、Jones、Royce和O’Halloran已經做過較為詳細的論述[10,8,6～7]，在這里限于篇幅，不再重復。

2.人際意義角度的符號間的銜接關系

在多模態語篇中人際意義的銜接主要包括語氣結構銜接和態度系統銜接。

首先是語氣結構的銜接。在文字語篇中，某一語氣類型的高頻率出現表達某一人際意義的突出。例如，如果一個語篇中的句子都是陳述句，這個語篇在一般情況下是說明性的，用以提供信息。大多數語篇都屬于此種類型。如果一個語篇中的句子都是祈使句，則這個語篇的主要功能是指導性的或命令性的，如說明書、菜譜等。這些同類型的句子之間形成一種同類關系，具有銜接作用[10]。

（1）在多模態語篇中，不同符號語篇之間語氣結構的一致具有銜接作用

圖1是選自諾基亞官方網站的諾基亞手機安裝SIM卡和電池的操作指南。這是由圖文組成的一個說明性語篇。我們先分析圖像的互動意義。視覺語法的互動意義就是指功能語法的人際意義?；右饬x由目光接觸（Gaze）、社會距離(Social distance)、視角(Perspective)和情態(Modality)四個要素構成[11]。其中視覺語法之情態表達的是圖像的‘真實度’，可以分為高、中、低三類（Kress & van Leeuwen 2006）[11]，這與功能語法中的情態所表達的‘可能性’是相對應的。視覺語法中由目光接觸、社會距離和視角所表達的人際功能可以看作是功能語法中語氣結構所表達的人際功能。也就是說目光接觸、社會距離和視角三者共同構成視覺語篇的語氣結構。

目光接觸是指圖像中參與者通過目光的指向與觀看者之間建立的一種想像中的觸關系。當參與者的目光指向觀看者時，這類圖像叫做“索取”(demanding)類圖像，表達參與者向觀看者索取的意義，當參與者不是有生命的人或動物,或者當參與者的目光不指向觀看者時，這種圖像被稱之為“提供”(offering)類圖像,表達提供信息的意義[11]。

圖1 諾基亞手機安裝安裝 SIM 卡和電池的操作指南

從接觸的角度分析圖1，我們發現圖像中的參與者不是有生命的人或動物，圖像中沒有參與者與讀者的目光接觸。所以圖1是提供類圖像，其語氣結構符合表達提供指示和信息的功能。

而圖1這個多模態語篇中文字內容的句子全部為祈使句，其主要功能是指導性或命令性的，屬于指示說明類語篇，表達提供指示和信息的功能[10]。

所以，在這個多模態語篇中，視覺符號的語氣結構與文字符號的語氣結構是一致的，兩者共同構成操作指示這一類多模態語篇語氣結構的特點。在這個語篇中，視覺符號的語氣結構與文字符號的語氣結構是一致的，形成一種同類關系，具有銜接作用。這一類銜接屬于人際意義銜接。

（2）不同符號語篇所表達的一致的態度意義，具有銜接作用。

在討論態度意義的銜接作用時，本文以評價系統理論為基礎。評價系統是人際意義功能的一部分，它是由Martin等人創建，其理論系統在Martin &Rose和Martin & White中都有較詳細的論述[12,13]。國內學者，如王振華等也對評價系統理論做了詳細的介紹，在這里對于評價系統的基礎理論不再介紹。不過以往對于評價系統的研究主要以文字符號語篇為主。對于多模態語篇評價系統進行研究的主要有Martin、Chen和Economou[14～16]。

Chen對小學和中學英語課本中圖文并茂的多模態語篇的評價意義進行了研究[15]。Economou以報紙上新聞報道的照片為例，對視覺符號的評價系統做了較為系統的研究[16]。兩人的研究都證明文字符號的評價系統理論在很大程度上也適用于視覺符號。文字符號評價系統的三個子系統：態度、介入和級差都可以在視覺符號系統中得到實現。由于對視覺符號之評價系統的研究還處于起始階段，其研究成果還有待于進一步完善，再加上篇幅所限，所以在這里，對于視覺符號的評價系統不做詳細的說明，我們會在以后的研究中作進一步的闡述。在這里我們只討論評價意義的銜接作用。

我們在討論評價意義的銜接作用時，只分析評價系統中的態度子系統對于多模態語篇的銜接作用,不涉及級差系統和介入系統。因為級差系統可以看做是對態度系統的細化，而介入系統主要是表明態度的來源。所以評價系統的核心是態度系統，級差系統和介入系統是對態度系統的完善和修飾。

文字符號的態度系統次系統化為：情感（Affect）、判定（Judgement）和鑒賞（Appreciation）三個子系統。情感是用以表達情感反應的資源；判定是根據各種不同的標準來評價行為的資源；鑒賞是表達事物價值，包括自然現象和符號現象(既包括產品也包括過程)的價值的資源[12～13]。

視覺符號的態度系統同樣包括情感、判定和鑒賞三個子系統[16]。下面我們分別從態度系統的情感、判定和鑒賞三個子系統分別闡述評價意義的人際銜接功能。

1）情感系統的銜接作用

圖2

圖2是選自蒙牛集團官方網站的一幅平面廣告語篇。這是一個比較典型的廣告語篇，在圖中一名年輕女子占據圖像的中心部分，手中拿著‘蒙牛真果粒飲品’。作為圖像的最主要參與者，她臉上快樂、滿足的笑容是顯而易見。

Economou認為，視覺符號情感系統實現的方式之一是通過視覺情感內嵌（Visual affect inscription）。視覺情感內嵌就是指快樂、安全、滿足（和與之相對的痛苦、恐懼、不滿）等情感，可以很清楚的在圖片中通過人的面部表情和肢體語言等表達出來[16]。

所以，圖2中內嵌的情感意義是正面的，可以理解為快樂和滿足，這是通過圖片中的參與者的表情表達出來的。在女子的左邊，有兩行字：“喜歡蒙牛的900，000，000個理由”。文中‘喜歡’一詞所表達的正面的情感意義和圖片表達的情感意義相似，圖像和文字的情感意義形成了一致。情感意義在這里對視覺符號和文字符號之間起到了銜接作用。這一類銜接屬于人際意義銜接。

2）判定系統的銜接作用

圖3

圖3是北京青年報2010年2月12日第六版刊登的一條新聞，在這條新聞的插圖中我們可以看到，一個女被告手捂著臉在哭泣，她身后是兩名表情嚴肅的人民警察。在圖中，女被告處于最突出的位置，是圖片中最主要的參與者，由于她所處于被告的位置（身后有兩名警察，背景是法庭），對于女被告，圖3表達的判定意義是負面的，可以理解為她因為觸犯了法律，受到了法律的處罰。新聞的大標題為：“滬‘倒樓案’6被告一審獲刑，下面的小標題為：構成重大責任事故罪，且情節特別惡劣，均有自首情節，刑期分別為3年5年”?！卮筘熑问鹿首铩?、‘特別惡劣’、‘自首’、‘刑期’這些詞匯所表達的判定意義也都是負面的。在這個由視覺符號和文字符號所組成的多模態語篇中，文字與圖片所表達的對女被告的判定意義是一致的，這種判定意義的一致性在視覺符號和文字符號之間起到了銜接作用，具有銜接功能。這一類銜接顯然是人際意義的銜接。

3）鑒賞系統的銜接作用

圖4

圖4是選自北京晚報2010年2月11日第8版的一則漫畫新聞。新聞的文字內容是：“豐田多款車型踏板存在質量缺陷，大量召回。之前豐田公司也曾因機油軟管漏油、剎車失靈等問題召回汽車。豐田全球品牌形象和產品質量越來越遭到質疑”。在這幅漫畫新聞中，豐田公司被比喻為一個牧羊人，豐田的汽車被比喻為一頭頭傷殘的牛，（豐田汽車的標志好像一個牛頭形狀）。在這里，圖片中豐田汽車被比喻為傷殘的卡通形象的牛，顯然具有負面的鑒賞意義。文字內容中：‘殘疾，機油軟管漏油、剎車失靈等問題，品牌形象和產品質量越來越遭到質疑’所表達的鑒賞意義也是負面的。所以在這個多模態語篇中，文字符號和視覺符號所表達的鑒賞語義是一致的。這種一致性在視覺符號和文字符號之間起到了銜接作用，這一類銜接也屬于人際意義的銜接。

3.謀篇意義角度之符號間的銜接關系

謀篇意義角度的不同符號間的銜接關系主要包括：指稱，主位-述位結構，已知信息——信息結構和平行結構四種銜接關系。

對于語篇角度不同符號間的四類銜接關系，前人已經做過較為詳細的論述。其中O’Halloran對指稱系統做了論述[6]；Kress & van Leeuwen對于已知信息-新信息和主位-述位結構做了論述[11]；Liu&O’Halloran對平行結構銜接也有較為詳細的論述，在此不詳論[9]。

（二）多模態語篇的外部銜接：視覺符號和文字符號之間的語境銜接

連貫語篇的基本標準是其意義形成一個整體，并與一定的語境相聯系。然而任何語篇都是情景語境中的語篇，所以任何語篇的由語言形式體現的意義都是不完整的，總有一些意義是由語境因素實現的[10]。

語境（Context）可以指語篇內部的環境，即“上下文”語境（Linguistic context）；它也可以指語篇產生的周圍情況、事件的性質、參與者的關系、時間、地點、方式等，可以稱為情景語境（Situational context）；它可以指說話人所在的言語社團的歷史文化風俗人情，屬于該言語社團的人一般都能理解其在語篇中的意義，可稱之為文化語境（Culture context）[17]。

情景語境，嚴格講主要指口語語篇中某些上下文無法弄清的意思，需要參考使用語言時所發生的事件、參與者和時空方式等因素才能貫通起來[17]。因為本文局限于研究圖文構成的靜態多模態書面語篇，所以情景語境的銜接作用在這里不做討論。

下面，本文將分別討論文化語境和上下文語境對多模態語篇圖文銜接所起到的作用。

1.文化語境銜接

任何一個語言使用者都屬于某一個特定的言語社團，每個言語社團都有長期形成的歷史、文化、風俗、人情、習語和價值標準。這個必然反映于該言語社團的共同語中。因此對語篇的真正理解還得聯系最高層次的語境，即歷史文化語境[17]。

圖5是北京青年報2010年2月8日第五版刊登的題為《青少年傳習中國傳統》的報道。

圖5

這則報道的主要內容是：“北京市團委，北京市青少年國學院主辦北京市青少年傳統文化傳習活動，號召青少年晨讀國學經典，晨唱京劇國粹，晨練毛筆書法，晨習太極拳法”。圖片內容是一個十幾歲的女孩在用毛筆寫字，背景中有兩個用毛筆在紅紙上寫好的‘?！?。圖片的標題是：“青少年傳習中國傳統”。作為中國人我們很容易理解標題與圖片內容之間的聯系。因為我們知道，中國過年家家戶戶有貼福字和對聯的古老習俗，并且用毛筆寫字也是中國的歷史傳統。在這個多模態語篇中，‘春節傳統’一詞與圖片內容：‘女孩用毛筆寫字，以及她身后懸掛的用毛筆寫好的福字’，通過中國有春節貼福字的傳統這一文化語境形成銜接關系，構成一個連貫的多模態語篇。這是文化語境所起到的銜接作用。

2.上下文語境銜接：

圖6是《讀者》2010年第三期的一篇由圖文組成的文章，圖片是一副黑白的卡通畫，畫的是一個人在用鐵鍬在一片抽象化的地面上挖掘坑道，圖片的文字標題是：大英帝國的馬路‘補丁’。如果沒有閱讀文章內容之前，我們對于文字和圖片之間關系的理解有一定的困難，造成理解困難的原因是圖片和文字之間缺乏明顯的銜接。

圖6

文章的內容主要講的是，在英美國家修馬路之前地下管道等設施的準備做的很好，很少發生修完馬路后重新挖開路面鋪設地下設施的現象，在修理破損路面時，通常也只是對破損部分做一些修補，而在中國經常發生重新挖開路面鋪設地下設施的現象，并且對于破損路面不是修補而是重新鋪設，耗資巨大。當我們讀完了文章的內容，掌握了上下文語境，對于圖片和文字標題的理解就變得很容易了。圖中的人民幣符號形狀的坑道可以比喻為對錢財的耗費，而挖坑道這個動作則可以比喻挖開路面鋪設地下設施這種做法。通過文章內容所構建的上下文語境，使文字標題和圖片構成了一個連貫的多模態語篇。在這個例子中，上下文語境的銜接作用是顯而易見的。

結 語

本文提出了較為完整的視覺符號和文字符號的銜接理論框架，擴大了圖像和文字的銜接范圍，首次把不同符號間人際意義銜接和語境層面銜接納入符號間的銜接范圍。并且對符號間的人際意義銜接和語境銜接做了深入的探討。不同符號間的人際意義銜接主要是由語氣結構和態度系統實現的。對態度系統銜接的論述，主要以多模態語篇的評價系統理論為基礎。對于不同符號間語篇外部銜接—語境銜接的論述，主要是從文化語境和上下文語境兩個方面進行的。

本文所提出的不同符號模態間的理論框架，雖然以視覺符號和文字符號組成的靜態多模態語篇為例，但其適用性并不僅僅局限于圖文組成的多模態語篇，在很大程度上它也適用于其他形式的多模態語篇。

[1]HALLIDAY M A K.Language as social semiotic[M].London: Edward Arnold, 1978.

[2]HALLIDAY M A K & HASAN R.Language, Context and Text[M].Victoria:Deakin University Press, 1985.

[3]ROYCE T.Synergy on the page: Exploring inter-semiotic complementarity in page-based multimodal text[J].JASFL Occasional Papers, 1998, 1(1): 25–49.

[4]MARTINEC R.and SALWAY, A.A system for image–text relations in new (and old) media[J].Visual Communication, 2005.4(3): 337–371.

[5]UNSWORTH L.Towards a meta-language for multiliteracies education: Describing the meaning making resources of language-image interaction[J].English Teaching:Practice and Critique, 2006, 5(1): 55-76.

[6]O’HALLORAN K L.Mathematical discourse: Language,symbolism and visual images [M].London: Continuum, 2005.

[7]O’HALLORAN K L.Systemic functional multimodal discourse analysis (SF-MDA) approach to mathematics,grammar and literacy[C]// In A.McCabe, M.O’Donnell and R.Whittaker (eds.).Advances in language and education.London and New York: Continuum, 2007.

[8]JONES J.Multiliteracies for academic purposes: A metafunctional exploration of intersemiosis and multimodality in university textbook and computer-based learning resources in science [D].Unpublished EdD thesis: University of Sydney, 2007.

[9]LIU Y and O’HALLORAN K L.Inter-semiotic Texture:Analyzing Cohesive Devices between Language and Images [J].Social Semiotics, 2009, 19(4):367-88.

[10]張德祿.論銜接[J], 外國語, 2001, (2):23-28。

[11]KRESS G and van LEEUWEN T.Reading images:The grammar of visual design (2nd edition) [M].London:Routledge, 2006.

[12]MARTIN J R.& ROSE D.Working with Discourse:Meaning Beyond the Clause [M].London: Continuum, 2003.

[13]MARTIN J R & WHITE P R R.The Language of Evaluation: Appraisal in English [M].London: Palgrave, 2005.

[14]MARTIN J R.Fair trade: negotiating meaning in multimodal texts[C]// In P.Coppock (ed.).The Semiotics of Writing: Transdisciplinary Perspectives on the Technology of Writing.Bloomington: Indiana University Press, 2001.

[15]陳瑜敏.Interpersonal Meaning in Textbooks for Teaching English as a Foreign Language in China: A Multimodal Approach[D].Unpublished PhD thesis: University of Sydney, 2009.

[16]ECONOMOU D.Photos in the News:appraisal analysis of visual semiosis and verbal-visual intersemiosis[D]Unpublished PhD thesis: University of Sydney , 2009.

[17]胡壯麟.語篇的銜接與連貫[M].上海: 上海外語教育出版社，1994.

Studies on the Inter-semiotic Cohesions of Multimodal Texts:A Functional Linguistics Approach

WANG Zheng
(Suihua University Suihua 152061 China)

Based on systemic-functional grammar, this paper summarizes the cohesive relations between linguistic semiosis and visual semiosis in multimodal texts.It expands the scope of visual-verbal cohesion by including interpersonal visual-verbal cohesion and contextual visual-verbal cohesion.The paper also provides detailed illustrations of interpersonal inter-semiotic cohesion and contextual inter-semiotic cohesion.The former is done from the perspective of mood structure and attitudes, and the latter from the perspective of linguistic context and cultural context.

multimodel texts; cohesive relations between semiosis; visual semiosis; linguistic semosis

H0-0

A

1008-8105(2011)02-0067-06

2010?07?09

王 正（1977?）男，碩士，東南大學教師.

編輯 戴鮮寧