基于PTM模型文物紋理映射算法

劉 穎，劉 倩，李大湘，楊文宗

1.西安郵電大學 通信與信息工程學院，西安710121

2.中國科學院 西安光學精密機械研究所，西安710121

3.電子信息現場勘驗應用技術公安部重點實驗室，西安710121

1 引言

在計算機視覺及3D技術高速發展背景下，文物數字化得到了迅速普及和發展，在對文物數字化中，能否真實再現物體表面紋理細節，對于文物保護工作具有重大意義[1-2]。對于三維重建物體，物體的宏觀結構僅決定著繪制物體的外觀輪廓，而更精致的真實感圖形繪制則需要考慮物體表面的細節紋理。但是在建模物體表面進行細節精確的建模是很困難的工作，而紋理映射技術可以用拍攝的表面細節圖像貼在虛擬物體表面以很低的代價完成這一工作[3]。因此，物體在計算機中能否真實再現，表面細節繪制是關鍵所在。

紋理映射[4]（Texture Mapping）是將紋理空間中的紋理像素映射到屏幕空間中像素的過程，是繪制復雜場景真實感圖形最為常用的技術之一。傳統紋理映射，如環境紋理映射、幾何紋理映射、法向紋理映射等，都是通過用拍攝的表面細節圖像貼在虛擬物體表面形成紋理[5]。然而，由于紋理的來源一般是在現實中以某一特定視點位置，在特定的光照條件下拍攝到的照片，當把這個紋理映射到三維物體表面沒有考慮虛擬場景中的光照條件時，此時合成環境中的光照與捕獲原始拍攝對象的光照不一致，則生成的紋理將顯得不正確、不真實。而且當原始捕獲對象與算法模型在幾何表面光照上由于計算誤差而導致光照混合時，生成的紋理渲染將變得非常平坦和平滑，將更無法真實地再現物體表面的細節紋理。此外當物體表面具有較大凹凸變化，其自身導致的自陰影和互反射，也會使得渲染效果變得不再真實、細致。

多項式紋理映射[6-8]就是針對以上諸多問題所提出的一種解決方案，可以大大提高傳統紋理映射方法的真實感，并且無需對復雜幾何體進行建模。這種映射方式選擇使用簡單的雙二次多項式獨立地表示每個像素的表面顏色變化，以此保持色度恒定，并且允許在渲染期間快速重建顏色。其適當地再現了光源方向相對于物體對象變化的影響[9-12]，無論是對紋理映射對象的表面法線取向，還是改變光源的位置，所產生的自陰影、亞表面散射和互反射引起的強度和顏色變化，都可以由PTM捕獲和建模。

基于原始PTM模型，Zhang等人[13]提出了利用最小平方殘差中值（LMS）穩健回歸來生成6維多項式模型，試圖通過最小化殘差的中值來將盡可能多的數據點擬合至該模型，通過正確識別的啞光像素來更準確地恢復表面法線，像素色度等。盡管利用LMS穩健回歸可以實現更好的表面紋理重建，但該方法回歸緩慢并會造成巨大的計算負荷。

此外Gautron等人[14-15]提出了使用源自球諧函數（SH）來模擬光照的PTM模型。利用球諧函數作為單位球面上的一組基函數替代原PTM模型中的多項式的基函數。但是，使用在整個球形域上定義的基函數SH來表示這種半球函數會在半球的邊界處引入不連續性，并且需要大量的系數。且在大入射角的情況下，SH在邊界點處的擬合效果會非常差。

為克服上述同類改進算法的不足，本文通過改進多項式的基函數和優化擬合系數來避免在實現高精度重建圖像時所產生的較大的計算負荷、LMS所導致的緩慢回歸及利用SH模擬光照模型在半球邊界引起的不連續性等問題。實驗證明本文提出的PTM優化模型實現了在表面紋理重建精度同等的條件下，具有更小的計算負荷和計算復雜度的優點。

2 光照模型

2.1 雙向紋理函數BTF

雙向紋理函數BTF（Bidirectional Texture Function），由Dana等人引入，描述在不同光照條件和視線方向下紋理的外表[16]。使用相機對景物進行平面采樣，每像素的亮度是由光源方向和拍攝角度不同引起的，拍出的結果圖像就是視點和光線的函數，如圖1所示。顯然，BTF的不同照片數據可以看作一個6維的反射域。

圖1 測量雙向反射分布函數BTF方位角示意圖

平面采樣的每一點和實際物體面上的每一點(u,v)以及在入射光(θi,?i)和出射光(θe,?e)方向上是分別相聯系的。BTF獲取綜合光照條件下的景物圖像，通過照片提供BTF采樣，而在紋理空間的點采樣只能保留4維的采樣數據，要得到完整的數據需要大量的照片采樣。

2.2 多項式顏色依賴性

受雙向紋理函數BTF模型的推動[17-18]，多項式紋理貼圖（PTM），是一種新穎的基于圖像的紋理映射技術，用于在空間可變的照明源下重建物體表面的細節外觀。PTM通過保持光照出口方向恒定，即反射角始終朝向固定攝像機位置，簡化了光亮度計算。

即像素強度是入射光源的角坐標(θi,?i)和兩個空間變量(u,v)的函數[19]。犧牲了捕獲視圖相關效果（如鏡面反射）的能力，但保留了在表面上表示任意幾何陰影和漫反射陰影效果的能力。獲取固定視點的PTM采樣原理如圖2。

圖2 PTM采樣示意圖與設備搭建圖

對于紋理貼圖中的每個紋素，需要為每個輸入光位置存儲顏色樣本，這些圖像中的一個冗余源，是在變化的光源方向上像素的色度恒定。在朗伯表面的假設下，每個像素的亮度隨光源方向而變化，并且色度被認為是恒定的。

利用這種冗余模型，通過由亮度調制的紋素(Rn(u,v),Gn(u,v),Bn(u,v))來存儲顏色信息，而每個像素的顏色又用角度相關的亮度因子L(u,v)調制，這使得光照亮度具有如下式所示的可分離性：

3 多項式紋理映射PTM

3.1 PTM原理

對于漫反射物體，發現即使對具有高頻率紋理的物體，得到的渲染紋理結果也非常平滑。故選擇使用雙二次多項式來模擬這種顏色與亮度的依賴關系：

以相機為頂點定義一個局部坐標系，基于法線以及從局部紋理坐標導出的切線和副法線。其中是歸一化光矢量到局部紋理坐標系的投影，是像素點合成的在該坐標處的合成表面亮度。系數存儲了每張照片的紋素數據。

獲取少量的不同光線方向條件下的照片，用它們合成近似表面的反射函數。這里圖像上每個像素包括一個亮度信息，這個亮度是入射光線方向的函數。在固定視點拍攝一系列入射光線方向變化的照片，假定有N+1張圖像，使用奇異值分解（SVD）[20]計算出L2范數中的最佳擬合，求解以下方程組的(a0-a5)。

L0～LN是根據變化的光線方向(Iu,Iv)對每像素測得的實際光亮度值，這些值由圖像采樣獲得。(Iu0,Iv0)是第一次光線方向在本地紋理坐標系統中的投影，(Iu1,Iv1)是第二次光線方向在紋理坐標的投影等等。紋理圖像每個像素對應一套反射系數，每個像素的多項式系數只計算一次，給定一系列不同光源位置的采樣照片，這些系數由采樣數據用方程（5）擬合求出后，為每個像素存儲作為一個多項式紋理圖，然后用方程（4）進行紋理像素值的計算，從而重構出一張具有多角度光照深度信息的PTM紋理圖。

3.2 多項式擬合系數優化

原始PTM模型中借助(u,v,v2,u2,uv,1)作基函數所構造的光照方向矩陣I，該形式的基函數只能先通過扭曲非線性模型來適應線性數據，故無法良好地模擬真正的朗伯表面。上文方程式（3）所述的反射函數是基于亮度模型下的，該式中反射系數L可以通過將RGB彩色圖像轉變為灰度圖像后采集亮度信息獲得。若方程式（5）中的亮度信息求解良好，則求解出的雙二次多項式擬合系數較為精確。但在較差光照環境下采集到的圖像亮度信息可能分布不均勻，集中在較窄范圍內，圖像細節不夠清晰，導致重建PTM復現圖像效果不理想。

為解決以上問題，本文借助改進的基函數構造新光照方向矩陣I與灰度圖像的直方圖均衡化技術對由RGB圖像轉為灰度圖后的亮度信息進行再均衡的改進，使圖像的亮度信息在整體上分布更加均勻，從而達到改進擬合系數，克服非線性模型對線性數據的適應問題，使得PTM達到重建紋理更加精確的目地。

具體實現過程如下：

（1）利用改進的基函數(u,v,z,u2,uv,1)構造新光照方向矩陣I，其中。則原模擬這種顏色與亮度的依賴關系的二次多項式優化為：

（2）根據原始圖像灰度計算灰度密度函數PDF，即原始圖像直方圖：

其中，nrN分別表示每個灰度級的像素個數和總像素個數。

（3）由（1）中PDF獲得積累分布函數CDF，且原始圖像灰度級概率密度的累積就是新圖像灰度級的概率密度。

其中，k=0,1,2,…,255，為轉換后圖像的灰度級，這里最大取255。

（4）將CDF歸一化至原始圖像取值范圍。

（5）對已知的CD進行取整操作，獲得灰度轉換函數：

（6）借助灰度轉換函數對原始圖像進行灰度信息再均勻。

經過上述操作使得建模對象反射系數L的獲取更加精確，模型對線性數據的適應性更強，圖像細節更加精細，進而對方程式（5）中求解得到的雙二次多項式系數更為精確，最終使得憑借該多項式系數重建的PTM圖像模型更為真實，細膩。

3.3 PTM的攝影采集

如一般的光度立體聲領域所做的那樣，在不同的光照條件下一般使用靜態相機收集靜態物體的多個圖像。原始的PTM采集設備是用簡單的合金框架搭建二十面體模型，手動將光源定位在每一面的中間位置，如圖3所示。

圖3 實驗設備原始搭建圖

由于原始采集設備如圖3所示，較為簡陋，拍攝框架模型光源數目太少，無法精確地獲得重建物體的表面法線信息。此外設備沒有外圍遮光罩，導致采集圖像在自然光下發生光照混合情況，近而使得法向光照定位不準確，重建效果不理想。因此Zhang等人設計了如圖4所示立式PTM模型數據采集設備，充分擴充了光源數目，獲得了較多且相比原始采集設備更加精確的重建物體的表面法線信息。雖然立式采集裝置克服了原始采集設備的部分問題，但兩個實驗設備仍具有共同的不可克服的問題。即：

（1）面積大小的不統一，對光源中心設定與光源分布不均，產生影響。

（2）內部沒有遮光涂層，物體表面反射與漫反射現象嚴重。

圖4 立式實驗設備圖

綜上存在問題，通過大量實驗驗證，提出了如圖5所示的PTM攝影采集裝置。該實驗裝置從一個固定視點來捕獲圖像集，采用一個通體涂滿遮光材料的半球形模型。這樣可以避免自然光以及內部光照產生的反射與漫反射光的負面影響。光源位置標定后，將光源固定在相對于樣品的40個位置，采取獨立開關控制每一個光源。將相機固定在半球裝置的頂部位置，與所控制光源完成同步拍攝。拍攝物體與RTI工具箱的黑色斯諾克球一起放置在半球形模型內部的水平白色基板上，如圖5所示。閃光燈的坐標由幾何校準程序確定，該程序基坐標為由放置在基板中心的垂直投射陰影。方式不僅簡單易行，而且這種方法能夠取得良好的實驗效果。這樣的設計有助于避免自然光對PTM圖片采集的影響。

圖5 改進后實驗設備搭建圖

4 實驗和分析

4.1 實驗重建圖像效果分析

圖6為原始設備與改進設備對于同一拍攝對象的PTM算法模型重建圖。圖6（a）所示為原始設備下的PTM重建圖，玉璧表面字體與紋理模糊，祥云辨識度低、甚至出現細節缺失的現象。圖6（b）所示為立式設備下的PTM重建圖，圖像重建效果基本理想，但是由于受到自然光照以及自陰影和互陰影等因素的影響使得重建圖像的紋理出現表面深度信息不明顯，重建圖像曝光嚴重。圖6（c）所示改進設備后的PTM重建圖像，較好地再現了玉璧的表面紋路及原始光照環境，其中“52”字樣、外邊緣渦蚊紋理浮現較為清晰，辨識度較好，但內邊緣“錫”等8個字樣紋理細節復現一般。

圖6 新舊設備重建圖像比較

如圖7所示，（a）為SH基函數的PTM渲染圖，（b）為LMS回歸的PTM渲染圖，（c）為系數優化后的PTM渲染圖。由圖7清晰可見這三者優化PTM后的重建圖，都具有紋理復現深刻，光照條件復現良好的效果。其中“52”字樣和外邊緣渦蚊紋理浮現也更為深刻、細膩、辨識度更高，且內邊緣“錫”等8個字樣紋理細節復現清晰。

圖7 三種優化后PTM渲染圖

4.2 客觀量化評價

本文通過引入PSNR（Peak Signal to Noise Ratio）對PTM和原圖分別進行客觀考核來量化衡量兩個比對圖像之間的相似性，PSNR的優點是算法簡單，相似度檢測耗時短，但同時呈現出檢測結果與人類主觀感受存在偏差的缺點。為解決單一檢測指標的不充分、不嚴謹的缺陷，故在此量化評價指標的基礎上又加入SSIM算法評價，分別從亮度、對比度、結構三個方面來比較兩幅圖像的相似度，修正了PSNR的缺點，進而使得量化指標更具有可信度。

式中，M N為圖像的尺寸，x為原始圖像，x?為PTM重建后圖像，μx和μx?分別為原始圖像的平均灰度值和方差，σx和σx?分別為PTM重建后圖像的灰度平均值和方差，σxx?為原始圖像和重建圖像的協方差，c1和c2為常數。

由表1可得在PSNR指標下，改進設備前PTM重建圖像，立式設備PTM重建圖像、改進設備后PTM重建圖像與原始圖像的相似指標分別為：20.499 1、30.016 5、30.394 9。三者檢測指標值依次增大，證明了改進后的PTM貼圖重建圖像紋理相較改進前的PTM重建圖像更加清晰、深刻，而且組建復雜度和價位更低廉。SH基函數的PTM重建圖像、LMS回歸的PTM重建圖、改進基函數和擬合系數的PTM重建圖的相似指標分別為：35.859 2、35.987 9、36.291 4。表明三者的重建效果基本一致，但本文提出的方式紋理相似度與實物更相近，真實性更高。

表1 圖像質量的客觀評價表

在SSIM指標下，改進設備前PTM重建圖像、立式設備PTM重建圖像、改進設備后PTM重建圖像與原始圖像的相似指標分別為0.346 1、0.489 2、0.504 1。SH基函數的PTM重建圖像、LMS回歸的PTM重建圖、改進基函數和擬合系數的PTM重建圖的相似指標分別為0.637 3、0.696 7、0.765 0。綜上驗證了本文提出的改進方法不僅在硬件上具有復雜度低、價位低廉、重建效果優秀的效果。而且提出的改進基函數和擬合系數的PTM相較利用SH為基函數的PTM模型和利用LMS回歸的PTM模型分別高出0.167 7和0.138 3，計算復雜度也得到極大的降低。

最后在PSNR及SSIM的綜合考核下，表明了本文提出的PTM優化方法具有設備組建簡易、低廉，細節紋理重建深刻真實，計算復雜度低等優秀特性，再次驗證提出優化PTM理論的正確性。

5 結語

本文介紹了一種新穎的紋理映射方法PTM，并提出了基于改進的PTM算法模型的擬合系數與實驗設備優化方法，該方法采用改良后的遮光式多角度光源采集設備，從固定攝像機位置捕獲的一組指定光照方向的圖像。通過多項式函數將圖像光強集合擬合到每個像素處，來生成高質量的照片級別的重建物體紋理表面。并且改進了光照方向矩陣的基函數，使得模型對于線性數據的適應性提高。此外提出優化PTM擬合系數的算法模型，成功地解決了在原PTM模型求解中原始圖像亮度信息分布不均勻，亮度系數求解不準確，導致的求解雙二次多項式擬合系數較差，重建紋理圖像模糊不真實的狀況，從而增強了PTM模型真實并且精確重建物體紋理細節的能力。該算法不僅在計算機視覺領域中具有實際的應用價值，而且更是對數字化文化遺產保護，如博物館展品數字化存檔、壁畫再現、虛擬文博館建設等都具有極其重大的實際意義。