影視后期中運動跟蹤技術的實現與比較

梁　爽，霍智勇南京郵電大學教育科學與技術學院，江蘇南京　210023

影視后期中運動跟蹤技術的實現與比較

梁爽，霍智勇
南京郵電大學教育科學與技術學院，江蘇南京210023

摘要在計算機生成圖像的應用領域，運動跟蹤技術是其中非常重要的關鍵技術之一，并且隨著應用的深入，越來越顯示出其重要性。本文實驗研究了三種運動追蹤技術，對其原理和效果進行研究和探討，整理和總結出一套相對詳細和完整的跟蹤方法，為對這一技術有興趣的人們提供一些理論幫助。本文還分別對三種跟蹤技術進行了工作原理介紹、常見問題分析和解決以及實驗結果的展示，對三種運動跟蹤進行了多方面的比較解釋了各種追蹤技術的優勢。

關鍵詞運動跟蹤；二維跟蹤；三維跟蹤；攝像機跟蹤；CG合成

霍智勇，教授，工作單位：南京郵電大學，研究方向：教育技術學、數字媒體技術、三維動畫等

0　引言

隨著影視傳播業的發展，人們越來越不滿足于單純的劇情記錄片，在場景效果制作方面也越來越精益求精。于是，人們慢慢開始探索如何在某一處場景中合理的置入其他元素，要想將電腦生成元素完美地合成在一個畫面中，就必須應用到影視后期技術中重要的運動跟蹤技術，以使畫面互相匹配，看起來就像元素真實的存在于場景中。

運動跟蹤技術的前身是運動控制技術。該技術需要一套裝備，包含一架運動控制裝置，一架攝像機和一臺電腦，三者合作共同實現運動控制技術裝置的控制[1]。它的產生與發展可以輕松地解決許多之前技術無法解決的問題。但是由于運動控制裝置對場地的局限性和昂貴的成本，運動跟蹤技術很快就將其取而代之。運動跟蹤技術很早就廣泛運用于國外影視行業，比如《星球大戰》[2]之后的《黑客帝國》、《泰坦尼克號》、《侏羅紀公園》、《后天》等。這些電影因為有了運動跟蹤技術才能如此真實完美的呈現在我們眼前。

在近期上映的電影《速度與激情7》中。男主角保羅·沃克因車禍無法出演，導演及制作團隊運動最終決定由保羅的兩個兄弟出演，拍攝過程中，保羅的兄弟臉上布滿了標記點，之后通過對其標記點的運動跟蹤，將男主角保羅CGI制作出的面部表情合成到保羅兄弟的臉上。

運動跟蹤技術的產生與發展大大簡化了CG工作者的工作量。雖然這一技術現在已基本發展成熟，在影視中也應用較為廣泛，國外這方面的著作比較多，但很多都是以Tim Dobbert 所著的《Matchmoving: The Invisible Art of Camera Tracking》為依據來編寫的。[3-4]國內對于這一技術的探索還比較少，特別是學生，極少有對這一方面的嘗試與學習[5]。

1　基于Mocha的二維跟蹤

1.1二維跟蹤的原理

二維跟蹤一般分為點跟蹤和面跟蹤，點跟蹤是對一個點或雙點進行跟蹤，面跟蹤則是以源素材的四個追蹤點來約束目標圖形的四個角點，自動匹配。一般用來追蹤的目標物都是矩形或平行四邊形，比如電視屏幕。本文中主要涉及的是二維跟蹤的面跟蹤。

面跟蹤主要是通過點的相對位置運動來求出其跟蹤平面的位置、翻轉和透視狀態。再將新的元素依照其透視平面進行合理安置。

1.2二維跟蹤的實現

對源素材設置入點和出點，確定跟蹤時間范圍。通過添加點的方式框選出跟蹤目標所在區域，如果在運動過程中跟蹤目標被其他物體遮擋，需要對遮擋物體添加蒙版遮罩。跟蹤過程中，如果出現跟蹤不準確的情況時對跟蹤進行調整。（如圖1所示）

1.3 二維跟蹤實現合成

二維跟蹤實現合成的原理是利用After Effects將二維跟蹤得到的運動情況的數值信息匹配到合成元素的平面上，通過源素材和合成元素的匹配重疊實現兩者的合成。（如圖2所示）

2　基于3DS MAX的三維跟蹤

2.1 三維跟蹤的原理

三維跟蹤主要可以分為兩種，一種需要將實際場景中的特征點與三維虛擬空間中構建標記點進行匹配來完成，比如:3DS MAX；另一種是計算機“全自動”地根據拍攝場景在視頻中的變化來仿真出實際場景的三維位置模型，如: PFTrack[6]。

基于3DS MAX的三維跟蹤是需要首先在實拍的場景標記出特征點，而且這些特征點要有遠近高低之分，并且要測量特征點之間的距離和位置。之后在三維軟件中按照特征點之間的位置關系和距離關系建出這些特征點的位置模型（之后將這些模型稱為“標記點”），通過實景中的特征點和三維軟件中的標記點關聯，根據特征點的運動在三維軟件中反求出攝像機的運動軌跡。

2.2 基于3DS MAX三維跟蹤的實現

首先要在場景中做出特征點并記錄下這些點的相對位置參數。之后，根據特征點位置參數在三維軟件中使用Camera Match工具建立出相對應的標記點。最后，利用Camera Tracker工具實現特征點和標記點的匹配。（如圖3所示）當出現兩點位置不匹配時，對錯誤幀重新調整進行跟蹤。當特征點消失時，調節該標記點的跟蹤幀范圍。確認沒有標記點處于“incomplete”和“error”的狀態時生成的攝像機。

2.3 基于3DS MAX三維跟蹤實現合成

三維跟蹤的CGI合成是通過使用三維跟蹤求出的攝像機對新建立的CGI元素進行拍攝并導出攝像機視圖，之后與源素材進行二維圖像的覆蓋來實現。（如圖4所示）。

3　基于Boujou的攝像機跟蹤

3.1 攝像機跟蹤的原理

攝影機跟蹤是計算機通過對二維畫面進行像素檢測、畫面內元素的運動分析，得到原始景物在虛擬三維坐標中前后左右的位置信息和縱深關系，進而通過構建三維虛擬拍攝場景找出原始拍攝時攝影機運動的軌跡。[7]它是把本身在拍攝過程中無法記錄下來的攝像機運動軌跡通過分析畫面素材的方式計算出來。這個攝像機的軌跡可以應用到三維軟件當中，使得在三維空間內獲得與拍攝二維圖像素材時同樣的攝像機運動，通過這樣使三維攝影機記錄下來的角色動畫或者特技都擁有與二維圖像素材完美的運動匹配，從而得到以假亂真的效果。[8]

Boujou攝像機跟蹤與3DS MAX三維跟蹤根本上不同的一點在于攝像機跟蹤可以自動分析源素材視頻文件，自動定義素材中的特征點，無需人為手動尋找添加特征點和標記點，這樣可以對特征點大量采樣進行攝像機匹配，并且利用大量采樣求平均值使攝像機運動解析更加準確。

3.2 攝像機跟蹤的實現

首先，對導入的源素材中運動的部分建立蒙版工具進行遮罩[9]，之后進行特征點大小和多少的跟蹤選擇和對特征點的運動跟蹤[10]，運動跟蹤之后可以看到圖像上特征點的運動軌跡，選擇Camera Solve工具進行攝像機解析，反求出攝像機的運動軌跡。在Boujou的三維視圖中可以看到攝像機的運動軌跡和特征點的遠近分布情況。設置坐標系統[11]，導出攝像機。（如圖5所示）

3.3 攝像機跟蹤實現合成

首先，在三維軟件中運行攝像機跟蹤軟件中導出的腳本文件，其中記錄了大量的時間和特征點信息。接下來，在場景中制作三維模型和運動動畫，使用反求出的攝像機對三維模型進行拍攝，得到一段二維運動圖像。最后，將得出的二維運動圖像匹配覆蓋在源素材上完成CGI合成（如圖6所示）。

4　實驗結果比較與展示

4.1 不同透視變化的二維跟蹤效果比較

二維跟蹤中的面跟蹤是通過點來推斷出跟蹤目標的平面變化，從而將變化的數值導出賦給需要合成的CGI或圖像元素完成元素和實際場景匹配。當跟蹤目標平面的透視變化不大時，選擇透視與不選擇透視得出的跟蹤結果區別并不大（如圖7所示），但當透視變化比較大時，選擇透視的預設可以比不選擇透視預設得出的跟蹤結果更為準確（如圖8所示）。但是選擇跟蹤透視變化的解算過程需要進行的計算量比較大。因此，只有當目標平面存在明顯的透視變化時才會選擇透視的預設條件。

4.2 攝像機跟蹤的不同參數結果比較

4.2.1不同采樣值的攝像機跟蹤效果比較

攝像機跟蹤的效果好壞與特征點采樣值有很大關系。圖9所示分別為采樣值低、中、高時得到的Camera Solve結果。

當采樣值較低時，攝像機沒有足夠的點來匹配得出攝像機，攝像機跟蹤出的數據在合成中就可能出現CGI元素與場景不匹配，發生抖動或偏移的情況。采樣值適中時，采樣點分布較為密集，Camera Solve結果也基本令人滿意，擁有足夠的Camera Solve點來反求攝像機的運動情況。當采樣值大時，采樣數量更多，但攝像機解算點并沒有采樣值適中的時攝像機解算點多，而且這時攝像機解算結果出現偏差（如圖10所示）。這種結果的產生可能是由于攝像機跟蹤軟件其自身特性——對所有采樣點運動結果求平均值所導致的。因此，如果采樣點運動跟蹤出錯的點更多了，攝像機跟蹤解算結果的錯誤也會更多。

因此，并不一定采樣值越多的情況效果就越好，需要根據源素材進行分析，找出更適合的跟蹤采樣方式。

4.2.2不同特征大小的攝像機跟蹤效果比較

當采樣度適中，圖11所示分別為特征點取“正常大小”和“大”時的攝像機解算結果。

當特征點取正常大小時，采樣數量較多，最終的攝像機解算結果點數量也較多。但是，解算結果中很多點都是藍色的，表示這些點并沒有跟蹤上。當特征點選擇“大”時，采樣點數量少了許多，但解算結果準確度更高，更適合我們在這個實例中使用。

4.3 三維跟蹤和攝像機跟蹤的效果比較

三維跟蹤和攝像機跟蹤都是由特征點運動還原攝像機運動來實現，我們可以對它們的效果進行一個比較。

首先，攝像機跟蹤對源素材特征點的提取更多，運動記錄也更多。另外，攝像機跟蹤無需三維空間中標志點的手動添加。之后，由特征點的運動來解算攝像機運動的過程中，同樣是攝像機跟蹤得到的攝像機運動軌跡與實際場景中的攝像機運動軌跡更加切合。但是攝像機運動跟蹤的數據計算量要多于三維動態跟蹤。最后，在場景中添加一個測試物，觀察運動是否與源素材中攝像機的運動相匹配。當攝像機運動時，測試物與桌面的位置基本保持不變。而三維跟蹤軟件中，由于之后的幀攝像機運動較為劇烈，測試物和桌面出現匹配偏移，但在攝像機運動比較平緩的時間，測試物和桌面都可以達到合理的匹配。

三維跟蹤和攝像機跟蹤方式各有千秋，比如三維跟蹤方式可以在發現出現錯誤的地方及時進行手動修改調整，且三維跟蹤的方式計算量更小。而攝像機跟蹤的方式對源素材局限更小，無需添加特征點標記，更加快捷。因此，跟蹤方式的選擇要依源素材而定。

5　結論

本文對運動跟蹤中的二維跟蹤、基于3DS MAX的三維跟蹤和攝像機跟蹤原理和工作流程進行了詳細的闡述。三者各有千秋，二維跟蹤在處理動態圖像中的單一、簡單的目標時優勢比較大，計算量較小，操作和原理都比較簡單，易于學習?；?DS MAX的三維跟蹤在場景較為簡單時更凸顯其優勢，操作者可以針對其中的任意一幀進行跟蹤方面的調整。攝像機跟蹤可以完全地利用計算機獲取更多的采樣點。對于畫面運動較為復雜，環境因素復雜的場景更具優勢。

運動跟蹤技術的應用非常廣泛，在很多領域都可以得到實踐。目前運動跟蹤技術最常見的應用領域是在影視行業，但隨著科技發展，未來可以或許可以將其運用于游戲產業甚至工業制作方面?，F在運動跟蹤技術已由之前的軟件實現形式逐步進化為運動捕捉技術。從原理層面來看，運動捕捉技術也可以看作是一個升級的運動跟蹤技術。通過對運動跟蹤技術和運動捕捉技術的改進可以使人們在未來更精確地完成更多的工作。

參考文獻

[1]宋雷雨.真實的虛擬世界- 3dsmax， boujou，digitalfusion 合力打造[J].視聽界(廣播電視技術)2006 （5）：78-79.

[2]李文靜.運動追蹤技術在影視制作中的應用[D].陜西科技大學，2012.

[3]Hornung E.The art and technique of matchmoving:solutions for the VFX artist[M].Taylor & Francis，2010.

[4]Dobbert T. Matchmoving: the invisible art of camera tracking[M].John Wiley & Sons， 2006.

[5]李昱，周進.數字影視后期制作高級教程[M].中國青年出版社，2001.

[6]顧春華.PFTrack三維跟蹤及其應用[J].影視制作，2014（7）：42-47.

[7]任達.攝像機運動軌跡跟蹤技術在影視制作中的應用[J].科技傳播，2012（16）：8-10.

[8]劉通.打開三維與二維結合的鑰匙[C]//2009中國電影電視技術學會影視技術文集.2010.

[9]何清超.用Boujou Three實現攝像機軌跡反求(上)[J].電視字幕(特技與動畫)，2006（4）：36-39.

[10]何清超.用Boujou Three實現攝像機軌跡反求(中) [J].電視字幕(特技與動畫)，2006（5）：31-35.

[11]何清超.用Boujou Three實現攝像機軌跡反求(下) [J].電視字幕(特技與動畫)，2006（6）：36-39.

作者簡介：梁爽，在校學生，所在院校：南京郵電大學教育科學與技術學院，研究方向：數字媒體技術

基金項目：本文受江蘇省教改研究立項課題“云課程平臺的新型網絡教學模式研究和實踐”（2013JSJG224）；南京郵電大學教改立項重點課題“基于云課程平臺的新型網絡教學模式研究和實踐”（JG00813JX06）支持

中圖分類號TP3

文獻標識碼A

文章編號1674-6708（2015）139-0080-04