基于相機RGB值的光譜反射率重建方法研究

張 飛,劉 珩,楊 潔,渠立永,呂 琪,黃 偉,李 浩

(1. 61606部隊, 北京 100093; 2.陸軍工程大學, 南京 210007)

0 引言

光譜反射率重建技術在顏色科學、文物保護、農業、醫學、藝術、紡織等領域具有重要的科學應用價值[1-8]。光譜反射率是指地物在某波段反射通量與入射通量之比[9],是表征物質特有屬性的主要特征之一。通過目標樣本周圍環境信息、光照條件、相機光譜特征以及輸出的多通道圖像可獲得物體的光譜反射率[10]。但顏色數據在采集-提取-傳輸-配色過程中容易產生失真的問題,因此需要運用光譜反射率重建技術實現準確校正和復制還原。

對光譜反射率重建技術的研究得到了社會各界的高度重視。Cohen測量了433個標準色卡的光譜反射率,利用主成分分析法(PCA)高度擬合出色卡的光譜反射率[11-12]。Hardeberg等[13]提出主特征向量法,解決了偽逆法在光譜重建中需要相機通道數多的問題。Tominaga[14]利用二色反射模型來描述物體反射的光,利用線性有限模型估計物體表面的光譜反射率。岑奕等[15]利用光譜重建技術對唐卡的礦物顏料進行分析,以確定唐卡主色中各顏料的用量,達到顏料修復的目的;張璐提出Sine-SSA-BP算法,主要將經過Sine混沌映射改進的麻雀搜索算法[16]和BP神經網絡相結合以提高光譜重建精度[17];孔祥偉[18]為了對紗線顏色進行測量,提出了基于反饋式多光譜成像方法對紗線顏色進行測量。龍群燕等[19]提出了一種基于R矩陣與正則化多項式相結合的光譜重建算法,能夠實現較高精度的壁畫顏色還原。王可等[20]運用主成分分析法、R矩陣和正則化R矩陣,利用壁畫色塊顏色進行驗證試驗,實驗結果表明,使用正則化R矩陣重建的光譜具備較高精度。趙海等[21]在主成分分析法基礎上引入加權系數,以及誤差校正函數,獲得了較高的光譜反射率重建精度。何鵬浩等[22]針對現有單圖像超分辨率卷積神經網絡存在模型參數過多以及重建失真過大的問題,提出了一種基于動態金字塔結構與子空間注意力模塊的輕量級單圖像超分辨率網絡模型,馬子杰等[23]為了得到置信度更高的超分辨率先驗模型,實現重建結果在噪聲和細節之間的平衡,建立了基于混合稀疏表達框架下的高斯—洛倫茲混合先驗模型。研究了該先驗模型在超分算法中的應用優勢和具體的應用方案。

本文中提出的加權平均的光譜重建方法(TWA),基于數碼相機RGB值的背景光譜反射率重建及顏色校正開展研究,自制綠色和沙土色色板,采用多種重建方法進行光譜反射率重建實驗,分析對比重建效果,為實現背景顏色從采集-傳輸-配色-顯示全過程高精度校正還原奠定技術基礎。

1 基本原理和方法

光譜反射率重建技術主要有2種數據集的采集分類方式,第1種是通過分光光度計獲取數據集,其對應的主要為直接重建法,包括4種具體方法:偽逆法[24]、維納估計法[25]、有限維模型法、多項式回歸法[26]等。第2種是通過多光譜相機獲得數據集,主要對應3種重建方法:插值重建法、 基于人工智能的重建算法[27-28]以及組合重建法。

1.1 傳統最小二乘法(OLS)

傳統最小二乘法就是將圖像的數字信號進行多項式拓展獲得多通道的數字信號,然后以多通道的數字信號為基礎,利用指定的訓練樣本按照式(1)求解光譜反射率重建矩陣。

Q=Rtrain(Dtrain)-1

(1)

其約束條件為:

(2)

式(2)中:Q為光譜反射率重建矩陣;Rtrain為訓練樣本的光譜反射率矩陣;Dtrain表示數碼相機的RGB拓展值;“-1”表示偽逆運算,“‖·‖”表示矩陣或向量的范數。獲得光譜反射率重建矩陣之后再進行光譜反射率重建。

1.2 正則化最小二乘法(RLS)

為了解決訓練數據過擬合問題,正則化最小二乘法(RLS)采用Tikhonov正則化方法對光譜反射率重建矩陣的求解進行優化,以達到求解偽逆矩陣系數穩定的目的。如式(3)所示:

Dtrain=UWVT

(3)

W=S+αE

(4)

其中,α為正則化參數,是一個極小值,需要在實驗過程中綜合分析數據進行求解。

1.3 偏最小二乘法(PLS)

偏最小二乘法將經過多項式拓展的響應值矩陣Dtrain分解為得分矩陣M和載荷矩陣N,如式(5)所示:

Dtrain=MNT+I

(5)

式(5)中:I表示殘余矩陣;符號“T”表示矩陣的轉置。同樣的方法可以將訓練樣本的光譜反射率矩陣Rtrain分解為得分矩陣H和載荷矩陣K,如式(6)所示:

Rtrain=HKT+F

(6)

式(6)中:F為殘余矩陣。偏最小二乘法的實質就是使得得分矩陣M和H之間的協方差最大化,如式(7)所示:

H=MB

(7)

式(7)中:B為回歸矩陣。利用迭代的方式求出得分矩陣M之后,即可利用式(8)計算出光譜反射率矩陣,進而計算得出光譜反射率重建矩陣。

QT=D(NTD)-1(MTM)-1MTRT

(8)

1.4 主成分分析法(PCA)

主成分分析法通過對訓練樣本進行主成分分析,通過比較各成分對計算結果的影響程度(通常以百分占比的形式呈現),影響程度最大的即為主成分,其余為次成分。得到訓練樣本集的光譜反射率矩陣的系數矩陣和特征矩陣。如式(9)所示:

Rtrain=UkM

(9)

式(9)中:Uk表示由前k個特征向量組成的特征矩陣;M為相對應的系數矩陣。對于隨機的測試樣本,均可由式(10)計算出其對應的特征向量。

(10)

式(10)中:α為隨機測試樣本在主成分分析特征向量空間中的特征向量;m表示多項式的階數;al表示各多項式的系數;r、g、b為隨機測試樣本的數碼相機響應值。最后通過式(11)計算出測試樣本的光譜數據。

Rtest=Ukα

(11)

1.5 加權平均法(TWA)

根據專業背景顏色特點,對傳統的偽逆法進行改進,提出加權平均的光譜重建方法,引入加權函數對每一個訓練樣本賦予不同的權值。使得訓練后更加逼近真實反射率,確定每一塊訓練樣本所對應的權值之后,構建隨機測試樣本的光譜重建矩陣。

首先,根據式(12)計算測試樣本與所有訓練樣本的色差。

(12)

式(12)中: ΔEi為測試樣本與第i個訓練樣本之間的色差;Ltest、atest、btest為測試樣本在CIE1976L*a*b*均勻顏色空間中的L*a*b*值;Li、ai、bi為第i個訓練樣本的L*a*b*值,n=1,2,3,…,N,N為訓練樣本的個數。然后,按照式(13)對色差進行歸一化處理,并按照式(14)計算權值:

(13)

(14)

式(13)中: ΔEi為測試樣本與訓練樣本的色差;ΔEimax為測試樣本與訓練樣本色差的最大值;mi即為加權系數。構建的加權矩陣為

(15)

獲得加權函數之后,對測試樣本和訓練樣本的RGB值進行拓展,以一階線性拓展為例,拓展之后的響應值可由dexp表示。

dexp=[R,G,B,1]T

(16)

式(16)中:R、G、B表示樣本的數碼相機響應值,符號“T”表示矩陣的轉置。然后利用訓練樣本的光譜反射率矩陣,響應值拓展矩陣以及加權矩陣,由式(17)計算該測試樣本的光譜反射率重建矩陣Q。

Q=RtrainM(Dtrain,expM)+

(17)

式(17)中:Rtrain表示訓練樣本的光譜反射率矩陣;M表示加權矩陣;Dtrain,exp表示訓練樣本的響應值拓展矩陣。符號“+”表示求矩陣的偽逆矩陣。最后,由式(18)完成對測試樣本的光譜反射率重建。

Rtest=QDtest,exp

(18)

2 實驗

基于數碼相機RGB值的光譜反射率重建研究是基于訓練的方式進行的,首先需利用數碼相機和光譜儀分別獲取訓練樣本的RGB值和光譜反射率數據,再對所提取的RGB值和光譜反射率數據進行訓練,獲得光譜反射率重建矩陣,最后利用光譜重建矩陣對測試樣本響應值進行光譜反射率重建。

2.1 儀器與標準色板

實驗儀器:NikonD90相機、OHSP-660光譜透反射率測試儀、Az-Pro100全光譜光源。

標準色板:自制沙土色系列色板(115塊),規格:5 cm×15 cm;色系列色板(98塊),規格:30 cm×30 cm。

2.2 實驗環境設置

實驗中的成像設備選用NikonD90數碼相機1臺,光源選用Az-Pro100全光譜光源,實驗環境在暗室中進行,以保證所選用的光源為實驗中的唯一光源,排除其他光源的干擾。在暗室內垂直拍攝沙土色色板和綠色色板的數字圖像,相機的拍攝參數分別設置為相機的最佳參數,相機距離色板的距離為50 cm。

2.3 實驗步驟

1) 標定相機的光譜靈敏度,得到相機在最佳參數時的光譜靈敏度;

2) 利用NikonD90數碼相機在搭建的實驗環境下,獲取訓練樣本數碼相機響應值,利用光譜儀獲取訓練樣本的光譜反射率數據;

3) 利用訓練樣本的數碼相機響應值與光譜反射率數據,采用傳統偽逆法求解訓練樣本的光譜反射率矩陣;

4) 采用基于加權平均的光譜反射率重建方法,對測試樣本的光譜反射率進行重建;

5) 從光譜評價指標和色度評價指標2方面實驗樣本的光譜反射率重建精度及色差值進行分析評價。

3 實驗結果分析

利用115塊自制沙土色和98塊綠色色板作為訓練樣本,隨機選取一塊色板作為測試樣板,分別運用傳統最小二乘法(OLS)、正則化最小二乘法(RLS)、偏最小二乘法(PLS)、主成分分析法(PLS)和加權平均法進行光譜反射率重建,并將重建之后的光譜與用光譜儀測試出來的真實光譜反射率比較。首先以115塊自制沙土色色板為訓練樣本進行光譜反射率重建。

3.1 使用不同方法重建光譜反射率

3.1.1傳統最小二乘法(OLS)

首先利用光譜儀獲取訓練樣本的光譜反射率矩陣R,利用數碼相機拍攝訓練樣本并獲取色板的響應值(RGB)矩陣D,之后按照式Q=Rtrain(Dtrain)-1求解出光譜反射率重建矩陣QOLS:

(19)

之后,對于任意的一塊色板即可計算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.2正則化最小二乘法(RLS)

首先利用Matlab將數碼相機的響應值矩陣進行奇異值分解,分別求出數碼相機響應值矩陣D的奇異值矩陣S、正交矩陣U和V,通過對奇異矩陣S加入一個極小值,來解決過擬合問題,之后求解出光譜反射率重建矩陣QRLS:

(20)

獲得光譜反射率重建矩陣之后,對于任意的一塊色板分別計算出重建之后的光譜反射率,并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.3偏最小二乘法(PLS)

首先將光譜反射率矩陣R和數碼相機響應值矩陣D分解為得分矩陣和載荷矩陣,在Matlab中以得分矩陣M和H之間的協方差最大為約束條件,求出得分矩陣M,進而求解出光譜反射率重建矩陣,并將重建之后的光譜反射率繪制成曲線見圖1。

圖1 各種方法重建之后的沙土色光譜反射率曲線

3.1.4主成分分析法(PCA)

利用Matlab中的princomp函數對訓練樣本的光譜反射率矩陣進行主成分分析,選取前3個特征值,求解出系數矩陣進而獲得重建的光譜反射率。并將重建之后的光譜反射率繪制成曲線見圖1。

3.1.5加權平均法(TWA)

首先利用光譜儀獲取訓練樣本的光譜反射率矩陣R,利用數碼相機拍攝訓練樣本并獲取色板的響應值(RGB)矩陣D,然后分別將訓練樣本與測試樣本(隨機選取一塊色板作為測試樣本)的顏色值轉化為L*a*b*值,并且在CIE 1976L*a*b*顏色空間中計算測試樣本與每一塊色板之間的色差,共有115個色差值;獲得色差之后計算出每一塊訓練樣本對應的權值,利用所有的權值構建一個115×115的加權矩陣M:

(21)

獲得加權矩陣之后計算得到一個401×3的光譜反射率重建矩陣QTWA。

(22)

最后完成對測試樣本光譜反射率的重建,并將重建之后的光譜反射率繪制成曲線如圖1所示,real線表示真實的光譜反射率,其他表示經過各種方法重建之后的光譜反射率,從圖中可看出,采用加權平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實的光譜反射率曲線最為接近,在接近趨勢以及曲線平滑度上均優于現有方法。

綠色(及其他色彩)色板的計算方法與沙土色計算方法一致,所獲得的光譜反射率重建矩陣為一個401×98的矩陣。并將重建之后的光譜反射率繪制成曲線見圖2。圖中real線表示真實的光譜反射率曲線,其他表示經過各種方法重建之后的光譜反射率,從圖中可看出,采用加權平均光譜反射率重建方法(TWA)重建的光譜反射率曲線與真實光譜反射率重合程度最高。

圖2 各種方法重建之后的綠色光譜反射率曲線

3.2 光譜反射率重建精度及色差分析

(23)

(24)

式(23)和式(24)中:R1表示由重建的光譜反射率組成的向量;R2表示由真實的光譜反射率組成的向量;N表示在可見光范圍內采樣點的數量;“T”表示矩陣的轉置。

(25)

各方法對實驗樣本的光譜反射率重建精度及色差值計算結果如表1所示。表中OLS1、OLS2、OLS3和OLS4為分別采用一階、二階、三階和四階多項式對實驗樣本進行處理計算。

表1 各方法對實驗樣本的光譜反射率重建精度計算結果

續表(表1)

4 結論

運用本文中提出的加權平均法(TWA)與現有的主成分分析法(PCA)等方法對沙土色和綠色色板的光譜反射率進行重建,并對重建效果進行分析比較: