基于網絡白板技術的遠程協同制作和監制系統設計與實現

靳 宇 王一夫

(1.華龍電影數字制作有限公司，北京 100088)

(2.靈然創智(天津)動畫科技發展有限公司，天津 300200)

1 引言

電影工業化一直是影視行業的一個熱點話題，而電影工業化上云是近些年來互聯網交互技術發展帶來的一個業內前沿觀念。2019年9月，迪士尼影業與微軟達成了一項為期五年的合作協議，旨在將微軟云平臺 (Microsoft Azure)引入到迪士尼電影制作與宣發的每一個環節中來。此外，Avid、Autodesk等國際知名企業也紛紛提出了基于云端協作的技術方案或云端版本的軟件工具。

電影工業化上云的概念雖然提出了一段時間，但是目前行業內尚未形成廣泛認可的釋義。本文僅從行業實際需求出發，首先電影工業化的 “上云”，應該是帶來更便利的協作模式和更快速的融入原有的電影工業化體系中，而不是需要用戶重新學習一套全新的操作系統和使用技能，這不利于電影工業化上云的推廣。其次，電影工業化上云應該實現“全流程”支持，即能夠支持現有影視制作的絕大多數制作工具，操作模式沒有較大變動，能夠基本實現對各個流程環節的 “云端化”提升，而非提供一個全新的云端工具將部分制作工具納入進來，形成一個對從業者來說有著較大陌生感的新的制作體系，這樣帶來的負擔可能比上云帶來的便利更多?？偟膩碚f，電影工業化上云帶來的不應該是簡單的 “算力”的提升或者顛覆性變革，而是在原有電影工業體系上的更加自由和智能化的升級。本文正是我們在電影工業化上云方面作出的嘗試和探索。

傳統的影視制作方法是導演與剪輯師、視效制作人員等協作完成影視節目的制作工作，一般要求多人在同一個時間空間進行集中工作。這種工作模式需要協調各方的工作時間，占用大量的交通時間、辦公空間等，同時也常常受到地域限制而無法及時有效的推進工作。尤其是在監制環節，溝通、協調、交通、接待等方面消耗的時間甚至可能比真正在監制過程中花費的時間更多，造成了資源的極大浪費。特別受到2020年新冠疫情的影響，在地域之間的臨時交通限制、工作場所的人數限制等防疫工作要求下，使得居家辦公成為一種常態，也在某種程度上限制了傳統影視制作中在同一時空中工作的模式。

為應對這一挑戰，就需要為制作人員和監看人員提供一種遠程協作的工作技術。傳統的遠程工作技術，如遠程桌面等雖然可以滿足居家辦公的個人需求，但如果在工作中遇到問題或需要幫助時，依然需要通過錄制視頻、文件打包等方式發送給對方，無法滿足實時的協同制作需求。因此而產生的消息延遲造成了工作量上升和時間的浪費。

為解決這一問題，我們實現一種基于網絡白板技術的遠程協同制作和監制系統，能夠完成信號的遠程同步，使用者可以遠程實時交流，減少工作過程中交流不暢，實現了異地協同工作的可能。本系統的技術核心為在雙方或多方屏幕上添加一個網絡透明白板，該白板具有操作穿透性和互動性，既可以將白板上的操作穿透至后臺電腦桌面上以完成工作內容，同時多方也可以在白板上批注出自己想要表達的意見和所指的位置。

2 系統關鍵技術

2.1 基于視頻流的工作模式

圖1 基于素材流的遠程在線監制系統工作模式

目前具有遠程在線監制功能的系統大致可分為兩類：基于視頻流和基于素材流。以往受限于網絡帶寬的限制，大多同類系統采用基于素材流傳輸的工作方式，即提前把模型、視頻等素材文件發送給對方，然后雙方同時打開同樣的素材文件，雙方之間實時發送交互信號用于同步畫面、批準信息、視頻進度等內容。顯然，基于素材流的工作模式需要提前做很多準備工作，及時性較差，如需要提前把特定素材發送給對方；而且交互的信息也受限于素材格式，較難擴展，如針對三維模型素材的質檢和針對視頻的質檢，交互的信息是不同的。

圖2 基于視頻流的遠程在線監制系統工作模式

隨著近年來網絡帶寬的逐步提升，在線視頻、在線直播等業務蓬勃發展，同樣也為遠程協同制作和監制提供了基于視頻流的成熟解決方案。在基于視頻流的方案中，制作人員打開本地素材后，即可將本地桌面實時轉碼為視頻信號并發送給監制人員，而監制人員和制作人員之間也可實時互傳交互信號?；谝曨l流的工作模式依托于高速網絡帶寬可以實現實時交互，而且因為交互信號是面向視頻流的，而該視頻流又是基于制作人員的桌面環境，因此其擴展性非常強，幾乎可以面向任何素材和制作軟件。

同時，基于該方案也帶來了額外的收獲，即基于視頻流的工作模式不僅可用于監制，同時也可用于協同制作。因此，本系統采用基于視頻流的工作模式來實現遠程協同制作和監制業務需求。

2.2 基于網絡白板技術的信息交互

前文提到的基于視頻流的工作模式需要在雙方電腦內安裝相同的通信軟件，用于實時傳遞交互信號和視頻信號，因此對跨平臺的支持較差。而且軟件的安裝位置也限制了制作人員和監制人員的工作地點，不利于遠程制作、遠程協作。因此，我們提出了一個基于網絡白板技術的信息交互方法，用于解決上述問題。

本方法中，我們利用一臺服務器生成網絡透明白板，該白板一方面可以提供畫筆筆跡、文本編輯、語音錄制等批注功能，同時也可以將特定操作穿透至制作人員電腦，用于電腦中軟件的操作。我們這里的批注功能，不是針對某一已完成的對象，而是獨立出來能夠覆蓋整個制作過程的，可以在任何軟件工具以及任意的操作環節的制作中間階段進行批注操作，這也是有別于當前常見的批注交流工具的主要特點。

圖3 基于網絡白板技術的信息交互

從圖3 可知，采用網絡白板技術后，網絡中傳遞的信號主要可分為三類：控制信號、批注信號和視頻信號?？刂菩盘栔傅氖怯脩魧﹄娔X的控制，在本方法中制作人員和監制人員均可控制制作人員的工作站；批注信號指的是文本信息、畫筆信息等批準信息，制作人員和監制人員均在服務器提供的透明白板上進行批注；視頻信號為制作人員的工作站桌面經過轉碼為視頻信號后，與服務器提供的透明白板組合一起共同發給監制人員。采用網絡白板技術后，監制人員的終端設備只要能聯網即可，無需特定電腦或其他終端設備。

3 系統整體架構與功能實現

3.1 系統整體架構

更進一步，制作人員也采用遠程桌面技術后，即可實現所有人員的遠程協作制作和監制，包括在線制作、在線協同、在線監制3個主要功能：

在線制作系統：為制作人員提供了基于GPU的高性能影視在線制作主機，同時該主機輸出即時桌面信號，將制作人員的操作畫面即時傳輸到在線協同系統內。

在線監制系統：用于即時接收在線協同系統的桌面影像，同時可利用畫筆功能，反向控制在線制作系統主機，從而針對制作人員的操作進行相關的批注與監看。

在線協同系統：為多個用戶提供即時的在線語音文字交流平臺，用戶可在平臺內進行相關項目的討論，針對制作與監制的批注，協同系統還包括文件同步、會議記錄和用戶認證功能。

整個系統的架構設計圖見圖4。

圖4 基于網絡白板技術的遠程協同制作和監制系統架構

在圖4中，制作客戶端通過遠程協議登錄在線制作系統服務器并發送自己的桌面鏡像，隨后制作人員即可通過本地終端實時控制運行在制作客戶端的制作軟件；同時，在線協同系統啟動遠程協同功能，將在線制作系統服務器中的桌面同步傳送至在線協同系統服務器和在線監制系統服務器；監制客戶端通過遠程協議登錄在線監制系統服務器，隨后監制即可通過本地終端實時監看與在線制作系統服務器同步鏡像的畫面；在線協同系統也提供文字、批注、語音交流等功能，并同時同步給制作客戶端和監制客戶端。

由上述描述可知，在該系統架構下在線制作系統、在線監制系統和在線協作系統均獨立于制作客戶端和監制客戶端，不會受限于客戶端軟件和硬件終端設備，具有極強的擴展性和易用性。

3.2 功能實現與應用案例

本系統提供雙向協同批注技術，實現協同工作者之間的信息共享、超高清同屏批注、語音和文字聊天功能、實時交互功能，解決了遠程多方協同工作的實時交流問題，節約時間和人力成本。同時系統因為利用獨立于制作端和監制端的服務器來運行相關軟件系統，因此除了可應用于影視行業外，也可應用于其他行業，并且不受終端平臺的限制。

圖5 實時在線協同批注

目前已經實現通過電腦、手機、平板，甚至VR 終端連接服務器后，對本系統的全功能使用。以上終端連接服務器后，可調用云端更加強大的硬件資源來完成影片的制作任務。

圖6 手機端和VR 端的在線批注

圖7 監制端批注畫面和制作端制作畫面

本系統成果在2020年新冠疫情期間，在中影華龍公司原創、中影基地參與制作的VR 科幻動畫電影《初醒》測試短片的制作中進行了應用。如圖7所示，左側為天津監制端的批注畫面，右側為在北京懷柔中影基地的制作端的制作畫面。

3.3 系統特點

本系統建設成果具有如下幾個主要特點：

(1)可實現多人、異地遠程協同工作；

(2)通過GPU 透傳技術實現畫質色彩信息和分辨率無損傳播；

(3)所有人員的操作終端對設備配置、軟件配置沒有特殊要求，可實現跨平臺應用；

(4)所有協同工作者可利用文字 (聊天室模式)、語音 (會話模式)、批注 (框選、箭頭、自由繪畫)等方式訪問在線制作系統、在線協同系統和在線監制系統；

(5)所有批注、操作過程支持HD 回放；

(6)支持全屏幕、菜單級別的批注協同。

4 總結

本系統的遠程協同技術是以電影上云為目標，建立數字內容云制作的全流程體系的標準化解決方案。本系統所提出的方法和技術經過國際查新，目前業內尚沒有類似的方案和技術工具。

基于該先進技術，對于電影工作者其操作方式與使用習慣與本地方案相同；其部署方案可兼容本地系統、駐地云、遠程云，可實現多人圍坐的云協同工作；在線交互與批注實現項目參與方利用互聯網技術能夠盡快得到交流與溝通，從而贏得制作過程中寶貴的時間，也為雙方節約了大量的人力物力成本。?