泉州城市品牌傳播多模態語料庫的構建

黃雅君

(泉州師范學院 外國語學院,福建 泉州 362000)

2022年10月,泉州市人民政府提出保護、傳承與活化世界遺產,講好泉州故事,提升泉州“宋元中國·海絲泉州”城市品牌(1)轉引自泉州市人民政府官方網站.《泉州市推進國家文化和旅游消費試點城市建設實施方案》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788156.htm,2022-09-27.(2)轉引自泉州市人民政府官方網站.《泉州市加快推進21世紀“海絲名城”建設實施方案(2022-2026年)》.http://www.quanzhou.gov.cn/zfb/xxgk/zfxxgkzl/zfxxgkml/srmzfxxgkml/ghjh/202210/t20221018_2788144.htm,2022-10-12.的基本思路。城市品牌的構建和傳播不僅有利于提升城市的競爭力,也有利于塑造國家形象。智媒時代,大眾對城市形象的認知開始由現實空間轉向“媒介空間”[1],城市品牌的傳播格局被改變。在這樣的大背景下,“媒介空間”衍生的多模態符號資源,如圖像、音頻、視頻、文字等,在城市品牌的構建與傳播過程中就發揮著越來越重要的作用。本文以建設“宋元中國·海絲泉州”城市品牌傳播多模態語料庫為例,基于符號學的角度,探討多模態視域下城市品牌傳播研究的可行性,詳述泉州城市品牌傳播多模態語料庫的建設背景、意義與構建流程,進而展望該多模態語料庫在城市品牌傳播研究中的應用前景。

一、多模態語料庫研究現狀

多模態語料庫是經科學取樣并加工的大規模語言及非語言文本的集合數據庫,建庫目的在于采用實證的方法系統地研究語言符號與非語言符號之間的相互作用[2]。目前,多模態語料庫的研究已經成為自然語言處理、計算機視覺和跨文化等領域的熱點之一。隨著社交媒體和在線平臺的普及,大量的多模態數據被用戶生成與共享。這些數據包括文本、圖像、視頻等多種模態,為多模態語料庫的構建和研究提供新的機會和挑戰。多模態語料庫按照其功能大致可以分為“綜合性多模態語料庫”與“專門用途多模態語料庫”等兩類。其中,專門用途多模態語料庫是指出于某種特定的研究目的而收集該特定領域的多模態語料樣本建成的用以研究并解決不同問題的語料庫。

國外的多模態語料庫建設歷史較長,建庫技術較為復雜?，F有的多模態語料庫雖涉及領域廣泛、語種豐富,但每個語料庫只為某一專門領域的語料集合,即專門用途多模態語料庫,如人機對話[3]、商務會議[4]、嬰兒話語及行為[5]、 教材分析[6]等。

國內多模態語料庫建設還處于起步階段。與國外多模態語料庫建設現狀相似,國內現有的多模態語料庫項目亦服務于某一特定專門領域的發展,如中國傳統故事[7]、旅游翻譯[8]、情感表達[9]、老年語言學[10]327-335、護理英語[11]、外語課堂教學[12]、口譯教學[13]等。專用型多模態語料庫建設是近年來國內學者關注的課題。但迄今為止,以城市品牌多模態傳播資源為語料的多模態語料庫建設與應用研究還未展開。

近年來,城市品牌傳播研究已從關注單一模態逐漸轉向關注多模態。Wang等[14]選取西安市旅游局在抖音發布的294條短視頻,以多模態批評話語分析作為框架進行研究,發現隨著現代技術和全球消費主義的發展,二線城市在品牌建設過程中創造獨特的地方符號至關重要。Lam等[15]以旅游網站TripAdvisor用戶對香港的圖文評價作為語料,用批評話語分析作為框架探求城市品牌在網絡空間的塑造與傳播?，F有的研究證明了多模態視域下城市品牌傳播研究的可行性。

目前,泉州“宋元中國·海絲泉州”城市品牌傳播實踐初見成效,但借助多模態語料庫開展的相關傳播內容研究尚為空白。因此,構建一個科學、動態、有代表性的基于泉州城市品牌多模態傳播資源的語料庫及其傳播研究,對推進泉州城市品牌建設與傳播具有重要的學術意義和實踐意義。

二、理論框架與研究方法

城市作為一個主體,其品牌是一種具有商業價值的無形資產[16]。城市品牌傳播是以“城市要素”為主的品牌建設與塑造過程。智媒時代,技術賦能傳播,城市品牌的傳播由圖文轉向短視頻[16],由單模態轉向多模態,城市品牌建設與塑造的主場由現實空間轉向“媒介空間”[1],品牌傳播的過程嬗變成為多模態的傳播過程,調動受眾的聽覺、視覺等多種感官。城市品牌傳播短視頻通過視頻圖像、聲音、動畫等手段,以影像符號傳遞城市信息,在特定的社會文化背景下塑造城市品牌[14]。

索緒爾指出,在一定的社會文化背景下,無意義的符號能通過聚合和組合形式構成意義[17]124。其中,“聚合”指的是在一類要素中進行選擇的結果,而“組合”指的是通過剪輯手段將不同的鏡頭放在一起進行編排。在這樣的視角下,短視頻作為影像語言,正是一種通過聚合和組合符號形成的表意系統。巴特等進一步指出,影像通過轉喻、隱喻和象征等修辭手段將實體符號轉換為表達意識形態的內涵因子[18]93?；诖?符號經“聚合”和“組合”后形成的意義和內涵,是以短視頻為主要傳播方式的多模態城市品牌傳播研究的基本問題。泉州城市品牌傳播多模態語料庫的設計與建構是以2021年7月以來主流媒體平臺發布的泉州城市品牌相關的短視頻為語料,以符號學分析法為方法論,探索城市品牌傳播短視頻的文本、表意過程和基本敘事結構類型。

三、泉州城市品牌傳播多模態語料庫的設計與構建

(一)城市品牌傳播的多模態特征

從符號學的角度觀察,城市品牌傳播短視頻是一個從現實城市中獲取傳播要素進行編碼的符號系統。作為視聽影像的一種,城市品牌傳播短視頻實現城市的媒介再現,其類型包括圖像、文字、色彩、聲音符號。其中,圖像符號包括人和景;文字符號包括標題和字幕等;色彩符號包括被拍攝物的真實色彩和具有象征意義的色彩(如閩南紅);聲音符號包括音樂、旁白和畫面原聲等。

以上4種類型符號綜合了視、聽等多模態,可歸納為語言模態和非語言模態。這兩大類模態所蘊含的意義潛勢[19]28最終構成城市品牌傳播的整體意義。在意義系統中,交際者選擇恰當的符號資源,建構多模態話語[20]。城市品牌傳播短視頻在創作的過程中,首先經由創作者根據腳本進行拍攝、配樂(聲音),最后根據敘事表意剪輯成片。其中,短視頻的文字符號(標題、字幕)和聲音符號(旁白、畫面原聲、音樂)構成語言模態,圖像符號和色彩符號組成非語言模態。本研究基于符號學的分析框架,從城市品牌傳播的多模態性、模態關系和意義建構3個方面解析短視頻的多模態特征,證實多模態視域下城市品牌傳播研究的可行性及相關多模態語料庫構建的必要性。城市品牌傳播的語言模態和非語言模態之間是相輔相成的關系。2種模態中的符號資源共同完成城市品牌傳播的再現、互動和構圖等意義建構(圖1)。

圖1 城市品牌傳播的多模態特征

(二)泉州城市品牌傳播多模態語料庫的設計與構建

泉州城市品牌傳播多模態語料庫有助于觀察城市品牌傳播的多模態特征,揭示多模態視角下城市品牌傳播的意義。根據泉州城市品牌建設規劃,“宋元中國·海絲泉州”城市品牌建設分為5個系列——“萬億之城”“世遺之城”“奮斗之城”“國潮之城”和“煙火之城”。因此,本研究構建的“宋元中國·海絲泉州”城市品牌傳播多模態語料庫分為5個子庫,對應“宋元中國·海絲泉州”城市品牌建設的5個系列。具體的建庫步驟為:第一,語料采集,即采集建庫所用的語料;第二,語料預處理,即利用工具進行語料的格式轉換、數據導入等工作;第三,語料轉錄與標注,包括元語料轉寫錄入、初步標注、復審標注、確認標注和儲存標注;最后將標注導出整合,建成泉州城市品牌傳播多模態語料庫。

1.語料采集 本語料庫的建庫目的在于研究泉州城市品牌傳播的多模態特征,因此,所選語料應能代表泉州城市品牌傳播這一現象。綜觀現有社交媒體短視頻的傳播現狀,筆者團隊確定選取自2021年7月以來主流中文社交媒體平臺(抖音、微信視頻號)發布的泉州城市品牌相關短視頻作為語料,為保證語料的時效性和代表性,采用動態補充方式。同時,筆者團隊將語料搜索范圍集中在泉州市文化廣電局和旅游局的官方抖音號、官方微信視頻號、“海絲泉州文旅之聲”(表1)。該社交媒體賬號為官方號,現有用戶數量超17.5萬(3)數據來源:閩南網新媒體工作室《泉州新媒體影響力排行榜》,統計時間2023年10月02日-10月08日。,有較穩定且不斷增長的受眾人群(4)數據來源:閩南網新媒體工作室《泉州新媒體影響力排行榜》,統計時間2023年10月02日-10月08日。,其制作、發布的泉州城市品牌推廣短視頻更代表著泉州對其城市品牌的構建意愿,具有權威性和代表性。經觀察,同名的社交媒體賬號在不同的社交媒體平臺所發布的內容不盡相同,為了較全面地覆蓋泉州城市品牌傳播的相關語料,筆者團隊同步收錄2個主流社交媒體平臺賬號為“海絲泉州文旅之聲”發布的短視頻作為語料,手動篩選重復的語料,獲取有價值的短視頻語料共1 015則。

表1 “海絲泉州文旅之聲”語料采集來源

為保障語料的代表性,本研究采取分層分類抽樣方法進行整理。語料收集完成后,根據泉州城市品牌建設構思,筆者團隊將語料按5個主題(“萬億之城”“世遺之城”“奮斗之城”“國潮之城”和“煙火之城”)進行編排整理。同一個主題的短視頻放在同一個文件夾內,并以發布時間、平臺、視頻名稱等語料元信息命名,每一個主題構建一個子庫。該庫的短視頻長短不一,短則1分鐘,長則8分鐘,入庫視頻總時長為2 030分鐘。

2.語料預處理 語料預處理環節包括格式轉換和數據導入2個步驟。該多模態語料庫的語料以短視頻為主,內含語言模態與非語言模態,這些模態包含文字符號、圖像符號、色彩符號和聲音符號。因此,在預處理環節,筆者團隊既分析視覺上的文字、圖像和色彩,又分析聽覺上的聲音符號。建庫時,首先在電腦端安裝VLC media player,借助該軟件將短視頻統一轉換為wav格式,再將同源的視頻文件與音頻文件保存在同一文件夾里。最后,建庫者將同一名稱的音頻和視頻文件導入ELAN6.0(EUDICO Linguistic Annotator)軟件中。ELAN6.0是一款可對視頻和音頻數據進行創建、編輯、可視化和搜索的標注工具(5)軟件來源:https://archive.mpi.nl/tla/elan.。這些導入ELAN6.0的數據為未經加工的原始語料,稱為元語料。元語料整理后,該多模態語料庫的導入和預處理工作隨即完成。但由于原始語料未經篩選,可能存在無益于研究的數據,因此建庫者仍需要對這些語料進行深加工,即語料的轉錄與標注。

3.語料轉錄與標注 原始語料預處理完成后,筆者團隊借助ELAN6.0對語料進行轉錄和標注。首先是語料的轉錄。建庫者按照短視頻內容播放順序記錄短視頻所表達的內容和方式,將短視頻中的文字、聲音、圖像和色彩符號轉寫記錄為文字片段,如將原短視頻(6)視頻來源:視頻號“聯合國教科文組織”:《印象泉州》,2023-06-11.中分畫面呈現的字幕“海風、鮮花、香火、紅墻,市井與人間,這是泉州”整合轉錄為一個句子(圖2)。

圖3 《印象泉州》短視頻截圖 (2023-06-11)

完成語料轉錄后,筆者團隊著手語料的標注工作。語料的標注工作是多模態建庫的核心環節。標注工作細分為標注分層和標注內容,二者按次序進行。如前所述,本庫的多模態語料以泉州城市品牌在傳播過程中所制作和發布的社交媒體短視頻為主,社交媒體短視頻通過多符號資源調動人們的多感官(聽覺、視覺等),具有典型的多模態特征。再者,泉州將其城市品牌定位于“宋元中國·海絲泉州”,兼具城市的歷史與現代元素。為便于本庫用于后期的語料多模態話語分析探索泉州城市品牌傳播過程中的歷史與現代元素的互動,在構建語料庫的過程中,我們首先考慮將相關的社交媒體短視頻標注分為“宋元中國(歷史)”和“海絲泉州(現代)”兩層,在此基礎上,標注分層以社交媒體短視頻的多模態特征為依據,體現城市品牌傳播過程中符號資源的應用,又進一步分層為“語言層”和“非語言層”(圖3)。語料標注分層后,筆者團隊借用ELAN6.0軟件現有的功能,結合社會符號學分析框架,將標注內容細化為:(1)地點描述:標注視頻展示的具體地點或景點,如“泉州西街”“中山路”“洛陽橋”等;(2)視覺元素:標注視頻顯著的視覺元素,如建筑風格(“閩南紅磚厝”“蠔殼厝”“廟宇”等)、“人物服飾”(“閩南服飾”)等;(3)音頻元素:標注背景音樂、旁白、當地的方言或語言、民間歌曲等;(4)情感氛圍:根據視頻片段傳遞的情感氛圍進行標注,如“寧靜”“熱鬧”“莊重”等;(5)文化與歷史:標注反映泉州歷史文化的元素,如“絲綢之路的海上交通”“伊斯蘭文化”“南少林武術”等;(6)民生與日常:標注市民的日?；顒雍突?如“茶館聚會”“閩南小吃攤”“街頭表演”等;(7)文字與標識:標注視頻中的文字、地名、廣告、路標等;(8)自然景觀:標注與泉州自然景觀相關的內容,如“清源山風景”“泉州灣”等。

經轉寫與標注后的語料以eaf格式進行存儲,存儲目錄分2個層級。第一層為主題層(宋元中國和海絲泉州);第二層為資源層(語言層和非語言)。層級編排便于使用者進行后續的研究。

圖3 語料的標注分層與標注內容

四、泉州城市品牌傳播多模態語料庫的應用展望

雖然該類型的多模態語料庫建設處于起步階段,但具有應用價值和前景,如用于城市品牌傳播的多模態話語研究。隨著城市形象構建由現實空間轉向媒介空間,城市品牌既由不同的符號學資源實現,又由社會文化塑造,具有評價屬性。城市品牌既不是“透明的”,也不是“為自己說話”。相反,它是復雜的意義建構的結果,應基于多模態話語的系統分析來解釋[21],因此多模態話語分析成為城市品牌傳播研究的可行方法[22]9-10。泉州城市品牌傳播專用型多模態語料庫選取近3年(2021年7月至今)來抖音和微信視頻號兩大主要社交媒體平臺中的泉州市文化廣電和旅游局的官方號“海絲泉州文旅之聲”所發布的短視頻為入庫語料,借由多模態語料庫的獨特性,將城市品牌傳播的語言模態和非語言模態同步考量,在后期的應用研究中有望基于該語料庫和符號學框架,闡明泉州城市品牌是如何通過語言和視覺資源構建的。

五、結語

建立專用型多模態語料庫且基于語料庫開展相關研究是近年來國內外語言及傳播研究的新趨勢。語料庫研究中先進的語料處理手段、真實的語言與非語言數據、嚴格的設計標準和獨特的分析模式更有利于對相關問題進行全面、系統的研究。城市品牌傳播是城市國際化建設過程中的一個重要環節,基于豐富的多模態數據展開的城市品牌傳播研究為提高城市國際化建設形象構建與傳播提供更加真實可靠的參考?！八卧袊ず＝z泉州”城市品牌傳播多模態語料庫構建是對智媒時代城市品牌傳播的探索,建庫成果有助于建立城市對外傳播的多模態話語體系、賦能語言及傳播研究,為地方文化對外傳播教育提供數據支持。