基于顯著性物體檢測和S-PCG算法的彩色全息顯示系統

趙 宇, 卜靜雯, 陳舒涵, 張 濤

(揚州大學信息工程學院, 江蘇 揚州 225127)

計算全息技術可通過全息算法和空間光調制器(spatial light modulators, SLM)實現波前記錄及波前重建, 被認為是具有變革潛力的光顯示技術, 在醫療、教育、科研和軍事等諸多領域具有廣闊的應用前景[1-3]．與傳統的光學全息相比, 計算全息具有制作成本低、 成像速度快、 記錄再現靈活以及信息存儲和傳輸便捷等顯著優點[3-4], 但也存在諸多缺陷,如數據采集實時性差, 計算全息圖(computer generated hologram, CGH)生成速度慢且重建精度低, 以及波前調制器件和全息顯示系統性能受限等．針對計算全息圖生成過程的簡化和全息顯示系統性能的提升, 國內外學者開展了大量研究．Islam等[5]提出了一種深度測距型波前平面加速算法, 僅計算波前記錄平面(wavefront recording plane, WRP)小區域的復振幅, 提高了點云全息圖的生成速度, 減少了生成計算全息圖的時間, 但須進行預計算以確定波前平面的光場, 導致全息圖計算耗時較長; Yasuki等[6]利用分塊徑向和擴散函數計算三維全息圖, 提高了固定視點下的全息圖計算速度, 但空間帶寬積偏小, 不適用于寬視角下的裸眼顯示; 筆者[7-10]提出了基于層次深度預測的加權算法, 包括點云網格化(point cloud gridding, PCG)算法和分段點云網格化算法, 并構建了基于多深度相機的全息顯示系統, 一定程度上提高了計算全息圖的生成速度及重建精度, 但仍難以滿足實時顯示的需求; 因此, 本文擬采用顯著性檢測和分割型網格化(segmented point cloud gridding, S-PCG)算法構建面向真實物體的彩色全息三維實時顯示系統, 以期提高全息系統在采集端圖像處理的實時性與準確性．

1 彩色全息三維顯示系統

本文提出的彩色全息三維顯示系統主要由信息采集與預處理、 全息圖生成和彩色重建3個模塊組成, 具體框架結構如圖1所示．通過引入三維顯著物體檢測模型、 眼動點預測模型、 分割型點云網格化算法、 GPU并行算法和虛擬透鏡等, 構建面向真實物體的彩色全息三維實時顯示系統．

圖1 系統結構示意圖Fig.1 Schematic of the proposed system

1.1 信息采集與預處理

利用基于飛行時間的Kinect v2.0深度相機采集真實物體的三維信息, 設計三維顯著物體檢測模型進行圖像預處理,采用基于深度學習的深度網格對圖中顯著性目標進行提取和重建, 濾除冗余背景信息, 降低三維圖像處理的復雜度, 同時結合眼動點預測模型提升顯著性目標的檢測性能．本文在整體嵌套邊緣檢測(holistically-nested edge detection, HED)架構和反向注意力(reverse attention residual network, RAS)算法[11-12]的基礎上建立三維顯著物體檢測網絡, 網絡結構如圖2所示．

圖2 三維顯著物體檢測網絡結構示意圖Fig.2 Schematic of 3D salient object detection network structure

首先, 將深度相機采集到的彩色圖和深度圖通過反向注意塊從側面輸出特征中刪除當前預測的顯著性區域, 引導網絡發現互補對象區域和細節, 將粗略或低分辨率的預測區域細化為高分辨率顯著圖, 進而逐步擴展目標區域．通過特征圖的反向注意權重Az和側輸出特征Tz, c的元素級乘法得到輸出特征Fz,c=Az·Tz,c, 其中z和c分別為特征圖空間位置和特征通道的索引．

再次, 結合物體的彩色圖和深度圖生成點云圖, 并采用深度信息將點云分為多個子層,分類后點云模型可重新采樣并轉化為深度網格．

最后,將網格化的點云模型和Sigmoid層輸出的預測結果相乘, 得到三維顯著物體的點云模型．

1.2 全息圖生成

1.3 彩色重建

依據全息顯示技術的衍射原理,采用與原始記錄相同參數的參考光能夠準確地重建原始物體．當參考光不一致時,在原始物體圖像的基礎上乘以一個相位因子也可得到重建圖像,但參考光波長變化所造成的誤差將導致重建圖像的尺寸或位置發生改變．全息圖作為一種衍射光柵,不具備波長選擇性, 即使重建時采用的參考光波長不等于記錄時的參考光波長,原始物體的圖像也可被重建．基于此, 本文通過調節虛擬透鏡的焦距對軸向色差進行補償,保證3種顏色重建圖像的焦點位置重合,并且每個子全息圖重建的對應顏色的圖像重疊,進而形成高質量的彩色重建圖像．

2 實驗結果與分析

實驗硬件環境為Intel Core i7-12700H, 16 GB內存,RTX3070顯卡,8 GB顯存;軟件環境為MATLAB 2021b, Windows 10和Ubuntu 22.0系統．

為檢驗本文所提方法的全息圖重建質量, 基于深度相機采集的彩色圖和深度圖, 比較了顯著物體檢測擴張殘差網絡(dilated residual networks, DRN)算法[11]和本文算法的目標檢測效果, 感興趣區域(region of interest, ROI)算法與本文算法的冗余背景濾除效果, 以及不同焦距f的圖像重建效果, 結果如圖3～5所示．由圖3～5可知: 與傳統DRN和ROI算法相比, 本文方法能夠更有效地去除冗余背景, 檢測出的目標更完整, 輪廓更清晰, 且不同焦距的圖像均可重建出清晰的三維物體．綜上, 基于RGB-D顯著性物體檢測的彩色全息三維顯示系統具有較好的圖像重建效果．

A. 彩色圖; B. 深度圖; C. DRN算法; D. 本文方法.圖3 不同算法對輸入圖像的目標檢測效果Fig.3 Object detection effects of different algorithms on input images

A. ROI算法; B. 本文算法; C. 全息重建像.圖4 不同算法對輸入圖像的冗余背景濾除效果Fig.4 Redundant background filtering effect of different algorithms on input images

A. 紅通道; B. 綠通道; C. 藍通道; D. 彩色圖.圖5 不同焦距下的重建圖Fig.5 Reconstruction with different focal distances

表1 全息圖分辨率為1 024×1 024時的計算時間

表2 全息圖分辨率為2 048×2 048時的計算時間