Bayer模式圖像復原技術的研究與發展

別業楠

1 引言

隨著影像技術的迅速發展和廣泛使用，彩色影像已成為人們日常生活和科學研究中一項重要的技術。目前，基于彩色圖像的數字成像技術已被廣泛應用于交通實時監控、安防系統、光學遙感、醫療監護、汽車立體倒車影像等多個領域。近十年來，國內外學者和產業界都對這一問題進行了深入的探討。然而，彩色圖像的捕捉過程極易受各種因素影響，導致圖像質量出現不同程度的下降，還原降質圖像的真實色彩對后續的圖像重建工作至關重要。為了節省硬件成本和設計成本，大多數現代彩色數碼相機都只配備了一個單傳感器來獲取圖像。單傳感器捕獲的Bayer模式圖像每個像素處只有R（紅色）、G（綠色）、B（藍色）3種顏色中的一種，要得到一副完整的彩色原始圖像，需要對Bayer圖像進行復原技術處理，復原技術算法的處理結果直接關系到彩色數字圖像的質量，所以研究高效的復原技術算法，仍具有重要的實用價值。

2 Bayer模式圖像及其應用

通常情況下，單個圖像傳感器捕獲的圖像是灰度圖像，想要獲得彩色圖片則需要3個圖像傳感器，每個傳感器對特定的波長敏感，用以測量3種顏色的分量，然后將3種顏色疊加在一起，合成一張擁有3種顏色的彩色原始圖像，這是理想彩色圖像的成像方法。然而，傳感器的定位并不簡單，傳感器可以放置在一個平面上，進入相機的光線在每個像素中分開，并投射到每個光譜傳感器上，這種解決方案成本高昂，并導致組件之間一些相位的延遲和占用3倍的儲存空間。另一種方法則是將3個圖像傳感器堆疊在一起，例如Foveon相機的結構，但由于光線須穿透3層硅，導致曝光時間增加[1]。

因此，在實際應用過程中，出于對硬件和設計成本的考慮，大部分彩色數字照相機都是利用1個影像感應器來捕捉彩色影像中的各個象素。這種相機被稱為單傳感器數碼相機，傳感器部件一般為光電耦合部件（CCD），其傳感原理依賴于光子撞擊硅時產生的電子—空穴對，或者互補金屬氧化物半導體（CMOS）有源像素傳感器，其中傳感器包含1個光電探測器和1個有源放大器來測量光的強度[2]。因此需要在傳感器前面放置1層RGB有序分布的濾色器陣列（CFA），捕獲RGB 3種顏色交叉排列的圖像。

Bayer CFA濾色陣列格式發明于1976年，是目前最為常見且經典的1種濾色陣列[3]，它使用五邊形網格對綠色帶進行采樣，而紅色和藍色采用矩形網格進行采樣（如圖1所示），每個2×2的陣列模塊里有2個綠色濾色器，1個紅色濾色器和1個藍色濾色器，其中綠色濾色器處于對角線位置。由于綠色的光譜范圍更加接近人眼的光譜響應波段，因此綠色濾波片的數量是紅色和藍色濾色器數量的2倍。此外，在人類的視網膜中心，也存在著一系列的錐形體細胞，這保證了重建后的彩色影像的清晰程度達到最高[4]。大多數數碼相機都采用了這種結構，例如佳能EOS 500D、奧林巴斯E—450、Lumix DMC—FS12、FS62和FS42、索尼Alpha230、330和380等[5]。

3 Bayer模式圖像復原技術

獲得Bayer模式圖像后，可以通過算法，重建圖像采樣點中缺失的顏色分量，得到三通道彩色圖片，這個過程就稱作Bayer復原技術，具體流程如圖2所示，其結果被稱為重建圖像或復原技術圖像[6]。復原技術算法的優劣與彩色攝像機采集到的彩色圖像的優劣有著密切的關系，同時還會對后續的攝像機進行圖像處理。

Bayer格式圖像的復原技術算法根據其色彩還原效果和算法復雜度大致可以分為4類：

①基于插值的復原技術算法

最鄰近插值算法、雙線性插值法[7]、三次插值法[8]等是發展初期常用的3種算法，此類算法運算速度較快，計算實現簡單，可以用在實時性要求較高的系統中，但是由于忽略了不同顏色通道之間的相關性，樣本色彩中的所有信息都沒有被使用。其次，在圖象的高頻部分，采用雙線性插值進行的平均運算，會產生不正確的色彩和模糊。

彩色圖像復原技術中1個常用的假設是顏色分量之間的比率比顏色分量更平滑。在恢復技術中，要獲得高品質的復原技術，必須充分考慮色彩信道間的相關關系。Wang等[9]提出了1種新的基于梯度校正的雙線性內插算法，通過雙線性內插來實現紅、藍2個點的插補，并通過紅、藍2種顏色的空間梯度來進行校正。但該方法存在著方向性差、邊界模糊、虛影等問題。

沿邊緣方向進行插值能夠較好的改善邊緣和拐角處的偽影，它是在雙線性插值算法的基礎之上發展起來的。根據邊沿方向估計的不同，有許多種不同基于邊緣方法的變體，這些算法使用梯度、拉普拉斯算子或雅可比矩陣作為水平和垂直邊緣分類器，然后沿著選定的方向插值綠色圖像。例如，Hibbard等人[10]利用一階導數，對以取樣點為中心的3×3區的綠色通道進行了縱向和橫向梯度的計算，并依據梯度估計邊緣方向。Laroche和Prescott[11]在采樣點為中心的5×5區域內利用二階偏導數作為梯度的近似值。而Chen等人[12]則利用相鄰像素在8個方向上的相關性來加權插值。Kakarala and Baharav使用雅可比矩陣決定每個像素上插值的方向，計算要求相對較低，得到的圖像很大程度上不受模糊和混疊的影響[13]。邊緣方向性插值算法考慮了圖像中顏色變化的區域和色彩邊界的情況，因此較好解決了雙線性插值中的問題，但該算法在圖像的色彩變化密集區域會出現梯度算子方向性判斷失誤，容易在圖像紋理密集區域出現失真。

為了對比多種插值算法的復原效果，可以選取多張彩色圖像退化為Bayer格式圖像。然后使用不同的插值算法對其進行色彩還原，并計算原始圖像與復原圖像的峰值信噪比（PSNR）如圖3所示。

②基于頻率域的算法

Alley等[15]指出，任意Bayer圖案的圖象可以用1個亮度成分和2個色度成分的結合來表達。Lavarene等人采用適當的調制和低通濾波器估計色度，然后重建亮度分量。通過從亮度的低頻區域提取邊緣信息，將局部自適應納入估計中[16]。相反，Dubois建議使用互補的非對稱濾波器估計色度，并引入并在此基礎上采用最小二乘法來設計這類模型的濾光片[17]。Dubois后來把這個模型擴展到任何濾色器傳感器模式[18]。

③基于小波理論的算法

這種方法要求對紅、綠、藍色、亮度等圖像進行子頻分析。Gunturk等人提出了一種新的投影方法替代交替投影算法，它把原來插值的紅、綠、藍3種圖象分割成不同的頻段，并根據綠色圖像的子帶迭代更新紅色和藍色圖像的高頻子帶，用合成濾波器組重建后，將觀測數據插入到顏色分量對應位置的“觀測”約束上進行投影。他們觀察到，當使用適當的小波對顏色值進行小波分解時，顏色分量的高頻子帶是高度相關的，而顏色之間的差異主要存在于最粗的分辨率上[19]。Lu等人提供了對這種方法的嚴格分析，通過求解二次約束最優問題，提高了運算代價，對交替投影法進行了擴充，可以在單步中獲得與凸集投影算法相同的結果，在多相域中實現線性濾波，該算法使用無需迭代的一步法降低了計算復雜度，提高了計算效率[20]。Li在中也提出了與Gunturk等人的方法類似的方法，其中使用了不同的分析濾波器組，并描述了迭代階段的停止準則[21]。在另外一種方法中，Menon等[22]通過對亮度成分的小波分析，估算了橫向和縱向的插值權重。

④基于稀疏表示的去馬賽克算法

由于字典學習在近年來的快速發展，基于稀疏表示的去馬賽克算法引起學者的廣泛關注。系數表達是指在1個超完備字典中，盡量用最小數目的原子來表達，從而得到1個更加簡潔的信號表達形式，從而重構出丟失的象素值。Mairal等[23]提出了1種基于稀疏表達的圖象復原算法，它采用了1種改進的K—SVD方法，對完整字典和局部自適應字典進行了學習和訓練，并將2個字典結合起來，從而達到最后的效果。實驗結果證明，該方法具有良好的恢復效果，但運算量大。隨后，Yin等人[24]提出了1種基于殘差圖像重構和稀疏表示的圖像復原算法。該算法首先采用插值法產生G平面和2個色差平面，然后使用自適應字典和稀疏表達算法對最后得到的圖像進行重建，得到的重建圖像的邊緣和細節要比中間的圖像更加豐富。Li等人[25]通過調節再分配的近端束方法來解決最小化相互一致性問題，解決了常見CFA的最優設計問題。盡管基于稀疏表達的算法具有更好的性能，但是它的復雜性和對字典的完整程度難以掌握，因此它在實際應用中的局限性很大。

4 Bayer復原技術的發展趨勢

隨著科學技術的快速發展，圖像傳感器的面積越來越大，捕獲的像素越來越多，對Bayer圖像復原技術的性能和實時性提出了更高的要求?，F有的復原計數算法所產生的圖像中，諸如邊緣、紋理等部分仍然存在著模糊、虛影等問題。所以，對有效的復原技術進行深入的研究，確保得到高品質的彩色圖像，仍有很大的實際應用價值。

經過近幾年的發展與完善，卷積神經網絡（CNN）在數據學習方面顯示出良好的性能，卷積神經網絡的發展極大地提高了計算機視覺應用的性能。這有助于降低半導體設備或電子系統所需的集成水平，從而降低成本和功耗。

Wang在復原技術中運用3級神經網絡，將有監督學習和無監督學習相結合的神經網絡進行訓練，并利用訓練得到的學習權重和偏移參數對復原過程進行處理，盡管效果有限，但為神經網絡在圖像復原技術中的應用提供了依據[26]。Gharbi等人提出了1個含有15個卷積層的深度卷積神經網絡結構，將復原技術在基準數據集上的精度提高到一個新的水平[27]。Tan等人將簡單的神經網絡改為殘差學習訓練網絡用于復原技術處理，首先利用1種有效的插值算法得到初始插值結果，產生包含不需要顏色偽影的粗略圖像，在此基礎上，利用3個深度卷積神經網絡對圖像進行一般、平滑和粗糙紋理區域的處理，并利用加權插值進行最終的融合，得到了較好的圖像[28]。Niu和 Ouyang等人[29]提出了3個不同的分枝的卷積網，它們分別還原了綠色、紅綠和藍綠通道差。通過降低紅色及藍色通道的還原難度，提升了CFA圖像的重建速度。

除了將CNN應用于Bayer模式圖像的復原外，Chandra等人還將CNN應用于基于Bayer圖像的手勢識別訓練[30]。自1995年，Nowlan和Platt發表了CNN在手部姿勢識別方面的第1個應用以來[31]，過去的幾年里，CNN被廣泛應用于手勢識別領域，但使用Bayer圖像進行手勢識別CNN訓練的工作幾乎不存在。Chandra等人在實驗中，使用偽Bayer圖像組成一個預先訓練的CNN，以對真實Bayer圖像中的手部姿勢進行分類。圖5所示的2種方法中，一個CNN可以從零開始訓練，也可以由一個預訓練的CNN進行逐步訓練。實驗結果表示，完整或者部分的CNN可以集成在CMOS傳感器和圖像信號處理（ISP）中，簡化嵌入式系統的片上系統（SoC）方案。

結果表明，與以往的插值算法相比，采用卷積神經網絡重構的圖像質量得到了很大的改善，表現出了目前最好的效果。然而CNN通常使用監督學習方法進行訓練，這通常需要大量訓練樣本。訓練樣本的建立不僅需要大量人力和時間，還需要相應的系統來獲取和標記數據。并且由于底層硬件設備在輸出圖像上集成了ISP功能，所以對于最終用戶來說Bayer圖像通常是隱藏且不容易獲得的。因此，建立Bayer圖像的數據集是非常困難的，這是CNN用于訓練Bayer圖像復原技術的一個重要的挑戰。

5 結語

由于國內外學者對Bayer圖像復原技術的研究日益深入，各種恢復方法層出不窮，對于彩色圖像的質量需求也在不斷提高，這將有利于Bayer圖像復原技術的發展。隨著產學研用的深度融合，Bayer圖像復原技術必將得到進一步的快速提升，這將深入推動基于Bayer圖像復原技術的成像技術在更大范圍內的應用與推廣。

10.19599/j.issn.1008-892x.2022.03.012

參考文獻

[1] Hubel PM，Liu J，Guttosch RJ.Spatial frequency response of color image sensors：Bayer color filters and Foveon X3[C].// Sensors and Camera Systems for Scientific，Industrial，and Digital Photography Applications V.USA：SPIE.2004：402—407.

[2] Hirakawa K，Wolfe PJ.Advancing the digital camera pipeline for mobile multimedia：Key challenges from a signal processing perspective[C].//IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE.2008：5332—5335.

[3] Bayer BE.Color imaging array：USA，US3971065 A[P].1976—07—20.

[4] 張峰.數碼相機中Bayer格式數字圖像的降噪與顏色插值算法的研究[D]. 浙江：浙江大學.2012.

[5] Menon D，Calvagno G.Color image demosaicking：An overview[J].Signal Processing：Image Communication.2011，26（8-9）：518—533.

[6] 劉賀欽.數字圖像傳感器顏色插值算法研究[J].小型微型計算機系統.2007，28（8）：1482—1485.

[7] Ramanath R，Snyder WE，Bilbro GL，et al.Demosaicking methods for Bayer color arrays[J].Journal of Electronic imaging.2002，11（3）：306—315.

[8] Li JJ，Randhawa S.Colour filter array demosaicking using cubic spline interpolation[C].//2007 IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE，2007：865—868.

[9] Wang D，Yu G，Zhou X，et al.Image demosaicking for Bayer-patterned CFA images using improved linear interpolation[C].//2017 Seventh International Conference on Information Science and Technology （ICIST）.USA：IEEE，2017：464—469.

[10] Hibbard RH.Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients：EP，US5382976 A[P].1995—01—17.

[11] Laroche C.Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients：US，US5373322 A[P].1994—12—13.

[12] Chen X，He L，Jeon G，et al.Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking[J].IEEE Transactions on Circuits and Systems for Video Technology.2014，25（8）：1271—1282.

[13] Kakarala R，Baharav Z.Adaptive demosaicing with the principal vector method[J].IEEE Transactions on Consumer Electronics.2002，48（4）：932—937.

[14] Dubois E.The sampling and reconstruction of time-varying imagery with application in video systems[J].Proceedings of the IEEE.1985，73（4）：502—522.

[15] Alleysson D，Susstrunk S，Hérault J.Linear demosaicing inspired by the human visual system[J].IEEE Transactions on Image Processing.2005，14（4）：439—449.

[16] De Lavarène BC，Alleysson D，Durette B，et al.Efficient demosaicing through recursive filtering[C].//2007 IEEE International Conference on Image Processing.USA：IEEE.2007，（2）：189—192.

[17] Dubois E.Filter design for adaptive frequency-domain Bayer demosaicking[C].//2006 International Conference on Image Processing.USA：IEEE.2006：2705—2708.

[18] Dubois E.Color filter array sampling of color images：Frequency-domain analysis and associated demosaicking algorithms[M]. Single-Sensor Imaging：CRC Press.2018：203—232.

[19] Gunturk BK，Altunbasak Y，Mersereau RM.Color plane interpolation using alternating projections[J].IEEE transactions on image processing.2002，11（9）：997—1013.

[20] Lu YM，Karzand M，Vetterli M.Demosaicking by alternating projections： Theory and fast one-step implementation[J].IEEE Transactions on Image Processing.2010，19（8）：2085—2098.

[21] Li X.Demosaicing by successive approximation[J].IEEE Transactions on Image Processing.2005，14（3）：370—379.

[22] Menon D，Calvagno G.Demosaicing based onwavelet analysis of the luminance component[C].//2007 IEEE International conference on image processing.USA：IEEE.2007：181—184.

[23] Mairal J，Elad M，Sapiro G.Sparse representation for color image restoration[J].IEEE Transactions on image processing.2007，17（1）：53—69.

[24] Yin J，Sun G，Zhou X.Demosaicing and Super-resolution for Color Filter Array via Residual Image Reconstruction and Sparse Representation [J].Computer Science.2013，82（82）：433—437.

[25] Li J，Bai C，Lin Z，et al.Optimized color filter arrays for sparse representation-based demosaicking[J].IEEE Transactions on Image Processing.2017，26（5）：2381—2393.

[26] Wang Y Q.A multilayer neural network for image demosaicking[C].//2014 IEEE International Conference on Image Processing （ICIP）.USA：IEEE.2014：1852—1856.

[27] Gharbi M，Chaurasia G，Paris S，et al.Deep joint demosaicking and denoising[J].ACM Transactions on Graphics 2016，35（6）：1—12.

[28] Tan D S，Chen W Y，Hua K L.DeepDemosaicking：Adaptive image demosaicking via multiple deep fully convolutional networks[J].IEEE Transactions on Image Processing.2018，27（5）：2408—2419.

[29] Yan N，Ouyang J.Cross-channel correlation preserved three-stream lightweight CNNs for demosaicking.arXiv e-prints.2019.

[30] Chandra M，Lall B.A Novel Method for CNN Training Using Existing Color Datasets for Classifying Hand Postures in Bayer Images[J].SN Computer Science.2021，2（2）：1—10.

[31] Nowlan S J，Platt J C.A convolutional neural network hand tracker[J].Advances in neural information processing systems.1995：901—908.