AIGC為轉描動畫聚氣托底

郭龍翔　張亞林

進入2023年以后，AIGC相關應用發展迅速，行業巨頭也都加緊布局各類AI大模型。AIGC作為強大的數字化內容生產工具，可以幫助數字內容產業向制作效率更高、品質更高、成本更低的方向發展。在AIGC迅速發展的背景下，轉描動畫也呈現出新的發展變化。在過去，轉描動畫的制作流程一般是先進行真人實拍，隨后人類畫師利用轉描機或計算機輔助工具進行圖像的逐幀重繪，最終再進行合成。而現在，逐幀重繪的主體開始從人類畫師向AI轉變，出現了AI轉描動畫這一新的形態。這一變化極大地節省了人力、時間成本，為轉描動畫帶來了新的可能。

轉描動畫的概念與發展

轉描技術（Rotoscoping）是美國動畫大師、發明家馬克思·弗雷歇爾（Max Fleischer）在1914年發明的一項技術。這項技術可以利用一套特制的攝影裝置，把膠片投影到動畫師的桌面上，之后動畫師就可以根據拍攝的真人畫面，一幀一幀描繪下來，最終將描繪下來的圖片拍攝、合成為動畫片。轉描技術的優勢是能夠幫助缺乏經驗的新人動畫師畫出流暢準確的動作，它基于真實人物的動作表演，能夠將現實中人物的動作完全復制到二維動畫人物身上，在保證質量的同時也節約了成本。而轉描動畫就是以轉描技術為基礎創作出來的動畫片。

動畫史上第一部使用轉描技術的動畫片是馬克思·弗雷歇爾與其兄弟戴夫于1914—1916年制作的《小丑可可（Out of the Inkwell）》動畫系列短片，該短片一經推出就大受歡迎，隨后他們還制作了《大力水手》《貝蒂娃娃》等作品。1934年，馬克思·弗雷歇爾轉描技術的專利到期，自此，越來越多的動畫電影開始運用轉描技術。1937年，迪士尼采用轉描技術制作了史上第一部長篇動畫電影《白雪公主和七個小矮人》，影片上映后取得了巨大成功，對全球的少年甚至成年人都有著深遠的影響。1941年，萬氏兄弟創作了我國歷史上第一部動畫電影《鐵扇公主》。進入數字時代以后，雖然由于三維動畫的興起以及運動捕捉技術和綠幕技術的發展，動畫轉描技術逐漸被替代，但轉描技術在無紙化動畫制作中的應用依然占有一定比例，比如，動畫電影中有《至愛梵高·星空之謎》，電視動畫中有《乒乓》《輕羽飛揚》，最近兩年上映的原創奇幻動畫電視劇《抹去重來》亦全程使用了真人拍攝，并通過電腦后期軟件進行轉描制作。

從AIGC技術到AI轉描動畫

AIGC的概念

AIGC是AI-Generated Content的縮寫，意思是用人工智能技術來創造內容。它是繼PGC（專業生產內容）和UGC（用戶生成內容）之后的一種新興的內容生產方式。它利用深度學習和生成式算法模型，可以自主地產生新的文本、圖像、視頻、音頻等多種形式的內容和數據，是人工智能技術的一種高級應用。

AIGC由不斷創新的生成算法、預訓練模型、多模態等人工智能技術積累融合而成。目前市面上的各種AIGC工具、軟件基本上都建立在不同的預訓練模型上，較為常見的是多模態預訓練模型，即融合了文字、圖片、視頻、音頻等多種內容形式的模型，如Stable Diffusion、DALL-E 2、MidJourney等可以生成圖片的AIGC模型。人們只要在相關工具或程序中輸入一段文本，這些AIGC模型就可以根據文字描述自動生成符合文字描述的圖像，AI繪畫就是由此而來。2022年8月底，由MidJourney生成的繪畫作品《太空歌劇院》拿下了美國科羅拉多州博覽會藝術比賽的一等獎。2023年3月，AI生成的寫實圖像作品《虛妄記憶：電工》獲得了2023年索尼世界攝影獎的創意類獎項。AI繪畫技術正在逐漸走向成熟，而其令人驚嘆的畫面表現與生成效率也點燃了人們的熱情，AI繪畫的盛行標志著人工智能已經向藝術領域滲透。

AI轉描動畫的產生

視頻是連續的圖像序列，動畫則是除真實動作或方法外，使用各種技術所創造出的活動影像，兩者都基于“視覺殘留”以及“感官經驗”的原理。自AI能夠生成高質量圖像后，人們也逐漸開始了針對AI視頻、AI動畫的探索。早期AI繪畫技術的一個明顯特點是每次圖像生成的隨機性很大，輸入同樣的文本提示詞，得到的結果卻每次都不同，生成角色的手部、腳部等復雜部位還容易出現錯位、彎折等現象。

隨著人們在AI技術方面的不斷探索，ControlNet、Lora等插件、技術的出現基本上解決了上述問題。目前已經可以通過AIGC工具針對實拍或動畫視頻進行畫面內容的轉繪，而且依據重繪幅度可以分為低重繪幅度和高重繪幅度兩種。低重繪幅度對原片細節的保留程度相對較高，看起來像是開了一個繪畫風格的高級濾鏡。高重繪幅度的特點是風格化強，對原視頻的改變較大；依托不同的AI模型，可以展現素描、色塊、平涂甚至賽博朋克等極具特點的獨特風格。這種通過AI轉繪的方式制作出來的動畫也基于真實人物或動畫角色的動作表演，其視覺效果與傳統的轉描動畫高度一致，只不過轉描的主體由人類畫師變成了AI工具，這種利用AIGC技術將實拍影像或CG動畫逐幀轉換成手繪風格的動畫產出方式，就是“AI轉描動畫”。

AI轉描動畫實例分析

早期的AI轉描動畫

AI轉描動畫出現的時間較早，早在2021年12月，網絡上就出現了一部AI轉描的實驗動畫短片The Crow。在動畫中，真人舞者被AI轉描成了烏鴉的形象，烏鴉在后世界末日的貧瘠景觀中短暫地舞蹈，直至其不可避免地消亡。整部影片的氛圍荒誕、神秘，加上恰到好處的配樂，總體而言是一部令人難以忘懷且引人入勝的作品，短片還獲得了2022戛納短片電影節的最佳短片獎。這個短片雖然利用AIGC工具對真實視頻進行了轉描，但其對畫面的控制能力不夠，并沒有解決AI轉描噪點的閃爍問題。片中AI生成的一些較為抽象的畫面還營造出了一種特別的視覺效果，從實驗短片的角度來說效果還不錯，但這種模式若想應用到商業動畫中去，還有很長的路要走。

AI轉描動畫《石頭剪刀布》

2023年3月，一部名為《石頭剪刀布》的動畫短片在網上引起了廣泛關注。這部短片講述了一對王子為了爭奪王位而進行“石頭剪刀布”大戰。短片中充滿了無厘頭的幽默和“沙雕”的演出，惹得觀眾捧腹大笑。從畫面效果來看，短片中的人物動作、表情以及鏡頭的運用與真人影片非常接近，而角色與場景的上色、情節設計、畫面風格上卻又明顯是動畫的表達方式，具有明顯的轉描動畫特征（如下圖）。

短片的制作方是Corridor Digital團隊，其專門從事影視特效制作，在發布短片的同時，他們也分享了《石頭剪刀布》的制作幕后。短片采用藍綠背實拍加合成的方式制作，角色動畫部分則利用了Stable Diffusion這個深度學習文本生圖模型，將實拍的圖像數據逐幀轉換為動畫風格。為了制作這個短片，該團隊還探索出了一套新的AI動畫制作流程。而較于以往的轉描動畫，這套制作流程最為特別且重要的地方就是針對AI模型的訓練以及降噪去閃爍。

AI模型的訓練分為訓練人物模型和訓練風格模型。AI生成人物角色的隨機性大，為了讓AI能夠穩定生成同一個角色，制作者就需要在純凈背景下對所需角色的各個角度進行拍照，并通過AI工具DreamBooth進行AI模型的訓練，經過反復嘗試，訓練好人物模型之后，在Stable Diffusion輸入相應的文字描述，就能夠穩定生成所需的人物角色。在風格模型的訓練中，Corridor Digital團隊參考了一部經典動畫片的畫面，對動畫中各個景別的場景、人物表情、手部動作、道具等進行了大量截圖，并將這些截圖通過DreamBooth進行訓練，直到AI能夠穩定生成該風格的畫面。

在降噪去閃爍部分，該團隊的解決思路是通過藍綠背實拍，在得到背景純凈的真人畫面之后，再進行AI轉描，隨后使用影視后期制作中的去閃爍插件，外加模擬二維動畫中1拍2方式縮減動畫幀數等方式，最大程度地優化畫面效果。

這部短片的制作流程中并沒有涉及更加高深的AI技術，更多的是對現有技術的整合和運用?，F在的AI轉描動畫更像是一種新的藝術形式，它有著自己獨特的視覺風格和表現手法，但是它還不能完全替代具有復雜性和多樣性的人類創作，也不能處理一些復雜的鏡頭和場景，還需要人類創作者進行把控和調整。該短片發布以后，國內也有團隊借助這套方法，以經典動畫作品《灌籃高手》的風格為基礎進行了AI轉描動畫短片的制作，取得了不錯的效果，這說明這套制作流程是具備可推廣性的。

需要注意的是，這種制作流程也引發了行業內對AI轉描動畫是不是動畫的討論。有些人認為這種制作流程是對真人電影的AI轉描，并沒有人類畫師去“畫”這一步驟，而是在這之上加了“濾鏡”制作出動畫效果，只是一種視覺效果，并不是動畫。然而，定格動畫也沒有繪畫的步驟，20世紀90年代CG動畫出現時也不被傳統手繪動畫師所認可。新技術出現以后，總有人會把它視作一種威脅，但只有接納新的事物才能了解它們的好處?；蛟S在未來，人們能夠看到更多真人影視與AI動畫相結合的作品，它們會給人們帶來更多驚喜。

AI轉描動畫的優勢與劣勢

從上面的案例可以看出，AI轉描動畫有很多優點。首先，AI轉描動畫可以極大地降低動畫創作的門檻，減少動畫師的工作量，提高動畫的制作效率和質量。例如，Corridor Digital團隊本身并沒有任何動畫方面的專業人員，但是依托自身在真人電影制作方面的經驗，再結合AIGC工具，在整個團隊只有十幾個人的情況下，只花兩個月時間就制作出了《石頭剪刀布》這一品質較高的動畫作品。其次，AI轉描動畫可以增強視頻畫面的表現力和創新性。例如，可以通過Stable Diffusion、Runway Gen1等AIGC工具，讓用戶輸入所需效果關鍵詞，或提供參考圖來生成符合要求的畫面效果；其也可以幫助動畫師尋找靈感，為動畫師提供參考，還可以通過這種方式增強畫面的表現力和創新性。此外，AI轉描動畫可以利用AI生成中的噪點因素所帶來的閃爍、抖動效果，創造出一種獨特的視覺效果。例如，上文所述的AI實驗動畫短片The Crow就利用這種特點構造了一個奇特的神秘世界，給觀眾帶來了一種新奇且不可預測的感受，其也可以在一定程度上突出動畫的主題和氣氛。

AI轉描動畫也有一些劣勢。首先，最明顯的一點就是版權問題。例如，《石頭剪刀布》為了實現所需風格所訓練的AI模型大量使用了一部經典動畫作品的截圖，由于《石頭剪刀布》本身并不是商業動畫，其制作團隊更多地是探索新的創作方式，還積極分享了其創作方法，具有一定的公益性，但如果這種制作方式想要商業化，必然會引起與版權有關的爭端。其次，AI轉描動畫需要高性能的硬件設備。例如，顯卡的顯存直接決定了能生成多大尺寸的作品，而顯卡的算力則決定了多久可以生成。同時，如果沒有合適的AI模型，那就需要訓練特定的AI模型，這也會耗費大量的時間和硬件資源。

綜上所述，AI轉描動畫是一種有利有弊的技術，它可以降低動畫創作的門檻，可以作為動畫創作的輔助，也可以作為一種獨特的表現形式存在，但也需要注意版權、硬件設備等方面的問題。

轉描動畫自發明以來已經經過了百年的發展，作為一種在真人影像基礎上進行動畫創作的動畫形式，時至今日，其仍未退出歷史舞臺。以往的轉描動畫大多是有著明顯手繪感的二維動畫，即使進入數字化時代，可以利用計算機軟件進行制作，但由人類畫師繪制仍是必不可少的環節?，F如今，AIGC時代來臨，其徹底改變了轉描動畫，轉描的主體由人類畫師變成了AI工具，產生了AI轉描動畫這種新的形態。此刻，筆者并不想討論它所帶來的爭論，單就AI轉描動畫可以極大地降低動畫創作門檻，讓不會做動畫的非專業人士也可以實現自己的動畫夢想這一點，就足以證明AI轉描動畫的存在有其意義。在這個快速變化的世界中，AI已經成為我們無法避免的存在，與其對它嗤之以鼻，還不如和它合作，借助它的優勢，解決我們所面臨的問題。