一種基于可見性權重的人臉紋理融合方法

劉洋, 樊養余, 馬浩悅, 呂國云, 劉詩雅

(1.西北工業大學 電子信息學院, 陜西 西安 710072; 2.虛擬現實內容制作中心, 北京 101318)

人臉模型重建在計算機圖形學和虛擬現實領域具有重要的理論意義和實用價值。在最近十年,人臉模型研究取得了巨大的成功,使得這項技術在影視娛樂和多媒體社交中發揮了重要的作用。紋理作為人臉模型的重要部分,可以很好地表現人臉細節特征和像素信息,增加了人臉顯示的逼真程度。紋理本質上是一張記錄了色彩信息的圖片,像素數據存儲了二維圖形的顏色分布信息。對于早期的人臉紋理探索,一些研究機構使用固定環境下的3D掃描設備來捕獲紋理[1]。這種大規模的人臉紋理采集和獲取通常需要復雜的掃描設備和可控的光照環境要求,這在實際應用中難以實施。目前人臉信息保存最好的載體是二維圖像和視頻,通過這種方式更易于實現人臉圖像的采集和獲取。隨著相機和移動設備的快速升級,人們對人臉幾何模型和紋理的真實度有著更高的要求。

在三維人臉重建中,關于人臉紋理的研究側重于通過輸入源獲取人臉紋理圖,并通過紋理映射技術將紋理圖覆蓋在幾何模型的表面,逐個像素地控制模型表面各定點的顏色信息。但人臉的幾何結構非常特殊,將三維模型以平面紋理圖的形式進行映射會破壞網格原有完整性,這種形式的紋理映射結果會產生較大的像素失真。為了解決此類問題,吳斌等將三維模型表面參數化,然后對曲面進行分割,將分割的曲面在圖像的投影區域與像素區域進行聯合匹配,并通過插值算法建立起參數和紋理坐標的對應關系,這種過程被稱為紋理掃描法[2]。曾成強等按照像素顯示的先后次序,對逐個像素可見模型的表面區域進行紋理映射,也被稱為逆向紋理映射[3]。但這2種方法主要針對光滑且連續的模型曲面,不適用于生物結構特殊的人臉曲面。人臉三維模型表面由非參數化的平面組成,對此,Bier等[4]提出了一種基于中間曲面的紋理映射方法,將紋理映射的過程分為2個子步驟,建立一個光滑可參數化的曲面包圍盒,并在此曲面包圍盒的基礎上進行原曲面替代,可以較好地解決模型表面非參數化模擬問題。此外,還有一種常用的方法是UV紋理映射,它定義了一個基于二維紋理坐標系統的UV空間,用于確定將紋理信息分配到三維網格模型的對應頂點坐標上。

另一方面,人臉在表情、姿態等特征結構上具有不確定性,直接捕獲的面部照片并不能代表人臉完整的紋理信息。尤其是不同面部視角下的自遮擋問題,會導致人臉紋理存在不可見區域?；?D Morphable Model(3DMM)的研究在解決人臉形狀重建的同時也給出了人臉紋理特征分布的參數模型,通過人臉數據庫中的模型特征進行擬合以獲取與目標人臉近似的紋理信息。一些研究人員仔細分析了人臉紋理的分布特征,在圖像補全的層面上進行工作,利用深度神經網絡和無監督訓練進行人臉紋理的補全。Deepak等[5]提出了一種基于面部顯示內容的編碼器結構,采用了像素級的對抗性重建損失進行人臉紋理的補全工作。Liu等[6]提出了一種分步卷積(PCONV)策略,使用一個僅考慮有效像素的掩模來處理不規則的紋理缺失區域。此外,還有一些方法采用基于局部和全局的人臉特征鑒別器來提高圖像質量,分別應用于面部中心區域或是紋理融合區域[7-8]。

基于多視角下的人臉圖像進行高分辨率和高質量的紋理生成也存在巨大的挑戰,這需要復雜的面部圖像捕捉系統和處理流程。一些研究團隊使用固定環境下的多視圖成像系統來捕捉人臉紋理圖像,例如多視圖DSLR捕捉系統和3D掃描系統[9-10],這些方法得到的紋理樣本較為豐富,但此類人臉信息數據集不公開,限制了實際應用。同時,當人臉紋理由同一個體多個隨機角度的圖像(或視頻)生成時,由于環境光照、表情姿態和相機參數的差別,紋理合成時會出現明顯的拼接痕跡。

總結來說,在人臉紋理補全和映射方面,研究工作較多,但目前的研究方法中仍存在著諸多不足?；趫D像的人臉紋理映射無法處理輸入圖像的非目標區域紋理缺失問題。以多視角人臉圖像為輸入的處理方法,得到的結果在紋理拼接區域像素差異明顯。已有的紋理融合方法只考慮不同紋理圖像之間的像素填充和像素平滑,無法解決模型表面紋理的連續性和一致性問題。針對這些情況,本文提出一種紋理融合和補全的新方法,針對人臉不同角度下的模型映射結果進行優化。

本文以多視角下的人臉圖像為輸入,利用優化的圖像算法和處理框架進行人臉紋理相關的仿真研究。參照光線投射的原理,設計一種人臉網格模型的可見面判別算法,在此基礎上引入一種可見性權重完成不同像面的紋理融合。其次,基于投影原理利用弱透視投影變換獲得模型網格頂點在像素坐標系下的投影點坐標,并利用最近鄰插值算法計算網格頂點的紋理值。最后,針對耳部區域的紋理缺失和像素模糊問題,利用基于高斯模型的膚色概率方法和紋理融合帶操作對耳部紋理缺失區域進行補全和優化,最終得到完整、紋理細節逼真的人臉紋理模型結果。

1 基于人臉模型的紋理投影映射

人臉紋理能夠表達幾何結構難以展示的像素細節,例如膚色、皺紋、妝容和細小毛發等,提高了三維人臉模型的逼真度。圖像作為紋理信息的通用載體,通過三維模型的頂點坐標與人臉圖像之間的映射關系,將人臉圖像各像素點顏色值映射到三維模型空間,即紋理映射技術,紋理映射可以有效避免立體模型像素扭曲失真的問題。

1.1 人臉幾何重建基礎

對于紋理的投影映射和融合補全工作,三維人臉網格模型是其應用基礎和顯示媒介?；趫D像的人臉重建研究已取得巨大成功,3DMM方法通過人臉圖像與數據庫的模型特征進行擬合以獲取形狀和紋理信息。一些基于深度學習的方法利用深度神經網絡進行人臉重建,本質上仍是基于3DMM的特征參數優化。人臉樣本經PCA進行特征降維,壓縮至低維空間構建人臉形狀模型。根據輸入人臉與3DMM模型進行參數空間的特征擬合,得到其對應的參數模型。當輸入的信息較少(例如僅有單張固定角度下的人臉圖像),人臉樣本的先驗信息影響更大,導致重建出的人臉模型更趨向于數據庫中的平均人臉。對于人臉多視角輸入,可以從3DMM模型的強約束中得到更多補充信息,使得參數先驗的約束更加平滑,得到的人臉幾何特征更準確。

本文利用人臉多視角圖像對三維人臉模型的重建過程進行聯合優化,從不同角度下的特征點中優化人臉的身份和表情特征參數、模型的空間姿態及對應的相機參數,得到人臉模型的最優解。

1.2 人臉模型的可見面判別

當人臉模型以頂點投影的方式對應到二維平面時,模型上部分點在投影平面不可見。紋理映射僅對投影平面上的可見點有效,因此傳統的紋理投影過程會丟失部分信息,導致投影具有二義性。同時,以投影平面的像素點為光線入射點的計算量大,對設備要求較高。針對這些問題,本文基于光線投射的思想設計了一種人臉模型投影的可見面判別算法,以網格模型頂點為光線入射點,優化了投影過程。由圖像平面上的某一像素點出發,做該點向空間的射線,計算此射線與物體表面的所有交點,通過計算入射點與各交點之間的深度值判斷物體表面的可見性,光線投射的原理如圖1所示。

圖1 光線投射原理圖

這種方式可以有效獲取三維物體對應的投影可見面。在計算射線與三角面片的交點時,采用Moller-Trumbore算法[11],通過向量與面矩陣快速得到交點與面片三角形的重心坐標。射線的參數方程可以表示為

r=O+tD

(1)

式中:O是射線的起點,即網格模型的頂點;D是射線方向,即圖像平面的法向量方向;t為參數。同時,三角形面片內任意一點p也可由其他3個頂點表示如下

p=(1-b1-b2)P0+b1P1+b2P2

(2)

式中,P0,P1,P2為模型表面三角形面片的3個頂點;b1,b2分別為P1和P2的分量系數,1-b1-b2為P0的分量系數。

令E1=P1-P0,E2=P2-P0,T=0-P0,根據克萊姆法則和矩陣運算最終可以得到

(3)

式中,P=D×E2,Q=T×E1,求解t,b1,b2的值并根據匹配的不同條件進行相交點所在平面的可見面判斷。具體算法流程見表1。

表1 基于光線投射的可見面判別算法流程

1.3 紋理投影映射

在完成人臉網格模型的可見面判別后,需要將模型上的頂點投影到紋理平面,把投影點由圖像平面坐標系轉換到像素坐標系,從而得到對應的紋理坐標。但這種方式會出現離散取值的問題,本文根據模型中每個頂點的紋理坐標對圖像平面的像素點做插值計算,獲得模型頂點像素值。以圖像平面鄰近像素值對該網格模型頂點的像素坐標進行插值計算從而得到其對應的紋理值。

網格模型頂點坐標(xC,yC,zC)的弱透視投影為

xI=f·xC/zC

yI=f·yC/zC

(4)

式中:f表示當前圖像對應的相機焦距;(xI,yI)為經過弱透視投影變換后的二維坐標,即模型投影點坐標,其對應的紋理坐標可以表示為

u=xI/dx+u0

v=yl/dy+v0

(5)

u0和v0表示圖像平面中心的像素坐標,dx和dy分別表示像素坐標系與圖像坐標系之間的轉換標量。

對于人臉模型的三角面片結構,已知三角面片中各頂點的紋理值,可以通過各頂點得到其三角形重心,并由此重心坐標進行頂點最近鄰插值算法得到此三角面片的紋理值。人臉圖像不同角度下的紋理投影映射結果如圖2所示。

圖2 各視角下的人臉模型投影映射

2 多視角下的人臉紋理融合

人臉的幾何結構較為特殊,單張圖像只能反映出某一特定角度下的人臉信息。對于不同角度下的人臉圖像存在紋理信息的“互補”與“重疊”,常規方法的多視角紋理補全是在角度閾值上進行紋理有效區域的拼接縫合。不同視角下的人臉圖像在光照環境與相機參數上存在一定的差異,上述方法容易導致紋理拼接區域出現紋理不匹配的情況(亮度差異、像素不連續)。針對此問題,本文提出一種基于可見性權重的人臉紋理融合方法,參照模型可見面的面片法向量與紋理圖像平面的夾角計算可見性權重,以實現不同視角下三維人臉紋理信息融合的平滑過渡。同時,對于人臉耳部模型區域結構復雜、紋理缺失、投影效果不佳的問題,利用皮膚顏色空間的高斯模型和融合帶進行耳部區域紋理優化。多視角人臉紋理融合與補全的處理流程如圖3所示。

圖3 多視角人臉紋理融合與補全流程框圖

每個視角下的人臉圖像均對應著當前視點下最佳顯示區域的紋理像素信息。為了更清楚地展示角度自遮擋下人臉紋理恢復的有效區域,將不同視角下人臉圖像的最佳可見區域顯示在圖4中?；诖嗽?本文提出了一種基于可見性權重的紋理補全方法?？梢娦詸嘀嘏c當前模型表面和紋理圖像平面之間的角度有關。圖4a)是不同角度下的人臉圖像,從左至右的人臉角度分別為30°,15°,5°(以人臉正視圖為0°,向左偏轉和向右偏轉分別為對應正負的偏轉角度),圖4b)是對應角度下人臉圖像的最佳可見區域紋理。由此可見,模型可見面與紋理圖像平面之間的夾角越大,則模型表面在此紋理圖像上所獲得的有效紋理值越小。

圖4 不同視角下人臉圖像最佳可見區域的展示圖

為了將不同角度下的人臉最佳區域紋理進行合理分配,本文根據模型表面法向量與紋理面法向量之間的夾角確定不同視角下紋理值的權重,并利用此權重計算不同角度下融合后的紋理值。對于人臉模型上的三角面片,定義一個空間法向量矩陣nFaceNorm用于存儲人臉模型上的每個三角面片的法向量,將NFace記為模型的三角面片總數,IFace記為當前對應面片的索引。人臉網格模型表面三角面片的法向量計算流程如圖5所示。

圖5 人臉網格模型三角面片空間法向量的計算流程

對于當前網格模型的面片法向量n和對應紋理圖像平面法向量nI1,nI2之間的夾角(如圖6所示),計算如下:

圖6 網格模型面片法向量與對應紋理像面的夾角示圖

可見,紋理可見性權重的大小和法向量與像面夾角之間呈反比,即夾角越大,對應的紋理可見性權重越小。加入可見性權重后,當前模型表面三角面片的頂點紋理值可以根據紋理圖像中對應頂點索引處的像素點的顏色矩陣來計算,模型三角面片中頂點的最終紋理值記作Tcolor

(8)

3 耳部區域紋理優化

對于耳部區域的紋理,主要存在2個問題:①耳部輪廓周圍一些區域會出現紋理缺失的現象;②近耳部區域會出現像素色差和紋理縫隙。針對上述問題,本文進行了耳部區域的紋理補全與優化。

3.1 耳部區域孔洞補全

耳廓周圍的紋理缺失現象,主要是由于三維網格模型中此區域的頂點與紋理圖像中的非關聯區域建立了對應關系。實際上,在三維人臉模型重建的過程中,這些位置由于立體結構復雜,模型特征不統一,導致出現網格孔洞,紋理關系錯亂。耳部紋理的缺失如圖7中左圖所示。

網格模型的孔洞問題,常規處理方法是利用孔洞的邊界及鄰域計算插值信息,進行孔洞填充。當孔洞區域偏大時,這種方法補全的效果會粗糙且平直。本文以徑向基函數插值算法為基礎,通過計算最近鄰面片的法向量得到缺失網格的方向趨勢,最后利用網格變形使修補的網格區域更加平滑。

另一方面,基于顏色空間的膚色區域檢測會受到光照等外界環境因素的影響。本文在顏色空間的基礎上使用一種基于高斯模型的膚色概率計算方法,在不同的顏色空間對皮膚區域的像素顏色數據進行統計,分析出皮膚的顏色值范圍,并作膚色像素的判斷條件。在YCbCr的顏色空間中,得到統計樣本集Cb和Cr分量對應的均值μ和方差σ。對Cb和Cr分量分別構建高斯模型,對應如下:

式中:xcb表示像素x對應的在Cb上的分量;xcr表示像素對應的在Cr上的分量。紋理缺失區域的頂點像素P的膚色概率P(x)表示如下

P(x)=2·GCb·GCr

(10)

通過計算像素點的膚色概率值得到連續的膚色概率信息,從而得到紋理缺失區域的皮膚顏色值。耳部區域紋理缺失區域補全后的對比如圖7所示。其中左圖為補全前模型,右圖為補全后模型。

圖7 耳部紋理缺失區域補全優化后效果對比圖

3.2 耳部區域紋理優化

人類耳部結構復雜獨立,基于表面法向量的紋理融合方法無法適用。本節對耳部區域單獨劃分,并設定有效耳部融合帶對各視角下紋理圖像的融合權重進行重置,實現耳部區域的紋理優化。

在人臉網格模型中對耳部區域的邊界進行劃分,并以此邊界線向外延展得到融合帶。根據融合帶所占模型表面網格的范圍確定帶寬,帶寬過小會在銜接處出現色差與縫隙;帶寬過大則會影響此區域可見性權重的紋理融合效果。融合帶的紋理值由側面圖像和可見性紋理融合結果共同計算,對側面視角下的圖像映射結果與上節中的紋理融合權重分別設為ωe1和ωe2,融合帶的頂點顏色值為對應權重下紋理圖像的頂點顏色值的加權和,表示如下

s.t.ωe1+ωe2=1

(11)

利用泊松算法進行像素平滑,對融合帶內外的像素值按照最小化泛函約束進行計算

min?‖I(x,y)-IB(x,y)‖2dxdy

(12)

對ωe1和ωe2權重分配及融合帶寬進行聯合測試,獲得耳部區域的紋理融合結果如圖8所示。當ωe1和ωe2取值為0.5時,對應的融合帶寬為12。此時耳部區域的像素平滑自然,紋理融合效果更好。

圖8 不同權重值及帶寬下的耳部紋理融合效果

本節針對耳部區域紋理缺失及融合效果不佳的問題做出改進。利用基于顏色空間的高斯膚色模型進行紋理像素補全;設計融合帶重置紋理權重,通過最小化紋理圖像梯度來平滑邊界像素。最終實現耳部區域的紋理補全與優化,處理后的人臉紋理模型如圖9所示。其中,第一行是優化前的人臉紋理模型,第二行是優化后的人臉紋理模型。

圖9 紋理融合及耳部區域紋理補全優化后的效果對比

4 仿真驗證和結果分析

本文的主要工作是以多角度人臉圖像為輸入,進行人臉模型的紋理映射、融合與補全。紋理的投影映射以及紋理融合優化的最終顯示結果都需要以三維人臉網格模型為媒介。為了創建適用于仿真的三維模型,本研究以3DMM為基礎,利用FaceWareHouse人臉樣本數據庫為先驗信息,生成各輸入圖像對應的三維人頭臉網格模型。

仿真測試在CPU Intel 4.0 GHz,GPU NVIDIA 2080Ti,內存16G組成的系統環境中運行,開發平臺為Matlab2018。

為了驗證本文方法的有效性和優越性,在同樣的配置環境下與OSTeC[12],SRTC-Net[13]以及商業解決方案Facegen進行對比。其中,OSTeC是一種無監督的3D人臉紋理完成方法,通過二維人臉生成器中基于可見區域的重構,在三維空間中進行轉化,填充不可見的紋理區域,最后在紋理模版中進行不同角度的縫合。SRTC-Net是一個結合人臉形狀重建和紋理補全的網絡,通過2D圖像和3D人臉模版之間的逐像素對應關系將2D圖像轉移到UV紋理圖,然后使用圖像修復網絡來補全紋理圖中的不可見區域。Facegen是目前應用較廣的一種三維人臉模型商業解決方案,其基于3DMM原理進行人臉模型和紋理的重建。在仿真實驗中,所有的測試圖像均來自于H3DS[14]人臉數據集,并應用在上述幾種對比方案中。為了客觀地展示各方法的最終顯示結果,從仿真中選取了10組測試圖像,在相同的渲染條件下生成的結果如圖10所示。

圖10 紋理映射后的人臉模型結果對比

圖10a)為輸入的人臉測試圖像。圖10b)為OSTeC方法得到的結果,其只在面部區域恢復了人臉模型和紋理細節,但無法擴展到周圍區域(如側臉、額頭及耳部區域)。此外,由于網格內邊緣投影問題,OSTeC在嘴唇處出現了原圖中不存在的紋理縫隙。圖10c)為SRTC-Net生成的結果,與OSTeC類似,生成的模型和紋理不完整;在人臉的鼻子區域出現了像素偽影,可能是UV紋理圖是通過逐像素對應關系直接由二維圖像轉移到UV坐標中導致的。在鼻子立體度較高、網格表面法向量突變較大的情況下,此方法會導致紋理匹配不協調。圖10d)是Facegen的結果,其恢復了面部中心區域,但其他區域的紋理像素與原始輸入圖像差異較大,且在側臉、額頭區域有明顯的紋理模糊,顯示效果上有“動畫臉”的特征。第五列為本文方法得到的紋理映射后的人臉模型。相比之下,本文方法恢復了完整的頭面部區域紋理,并在側面、耳部及前額毛發處的紋理信息優化較好,具有逼真的像素細節和紋理信息。

為了定量評估本文方法的有效性,在H3DS數據集上對不同方法得到的人臉紋理模型質量進行評估。利用峰值信噪比(PSNR)和結構相似性指數(SSIM)分別對人臉不同角度下的紋理映射結果進行對比,其中模型結果對比(見圖10)中的Facegen方法為商業解決方案,無法獲取到有效的開源數據,因此在定量評估過程中選擇UVGAN[7]作為對比方法之一,參數度量值結果如表2所示。

表2 不同角度下人臉紋理補全定量評估

分別計算了人臉正面(0°),左右側臉(±30°,±60°,±90°)下的參數值,如表2所示,本文方法在各角度下的參數值均優于其他評估方法。

5 結 論

本文針對三維人臉重建過程中人臉紋理存在的一些問題,提出了一種基于多視角下的人臉紋理融合與補全方法。根據紋理投影映射中可見面的面片法向量與紋理圖像平面的夾角計算可見性權重,以實現不同視角下像素紋理信息的完美融合。同時,在顏色空間的基礎上使用一種基于高斯模型的膚色概率計算,設定耳部融合帶,實現了耳部區域的紋理補全與優化。最終生成了完整性較好、精細度較高的人臉紋理模型。與目前已有的方法相比,本文恢復的人臉紋理更加完整,紋理顯示效果更好。本文工作可以應用于人臉及虛擬人研究,同時還可以為其他三維重建領域帶來一些新思路。