一種針對于行人及車輛圖片的自動彩色化模型

曾勇，李楠，盧賢票

（1.燕山大學 車輛與能源學院，河北 秦皇島 066004；

2.清華大學蘇州汽車研究院 智能汽車技術研究所，江蘇 蘇州 215200）

引言

行人檢測是目前智能車輛研究的一個熱點，許多的研究機構、高校以及汽車廠商目前已經做了大量研究。研究行人檢測可以減少行人和車輛碰撞造成的傷亡數量和事故等級，并在危險狀況下警告駕駛員和自動減速；同時行人檢測也是實現低速自動駕駛重要的一步[1-2]。行人檢測通過傳感器獲取目標行人的信息特征，由于顏色特征可增強圖像識別的準確率，為了提高行人檢測的效率，本文提出了一種自動彩色化灰度圖像模型?；叶葓D像彩色化的算法主要有基于優化拓展的彩色化算法、基于最短距離和色度混合的彩色化算法以及基于顏色轉移的彩色化算法[3-5]。

CNN的基本結構包括兩層，其一為特征提取層，每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征[6-11]。一旦該局部特征被提取后，它與其它特征間的位置關系也隨之確定下來；其二是特征映射層，網絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經元的權值相等。由于 CNN的特征檢測層通過訓練數據進行學習，所以在使用 CNN時，避免了顯示的特征抽取，而隱式地從訓練數據中進行學習；再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。卷積神經網絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。

在經典彩色化灰度圖像方法及卷積神經網絡的基礎上，本文提出了：

·無用戶干擾的灰度圖像彩色化方法；

·一種新的端到端的網絡，學習圖像的全局及局部特征；

·利用分類標簽來提高學習性能；

·深度評估我們用戶學習的模型及許多不同的例子。

1 全局和局部結合模型

本文基于卷積神經網絡理論，從大量的訓練數據中訓練檢測模型。本文的網絡由形成有向無環圖（DAG）的幾個子部分組成，并包括了與廣泛使用的標準模型的重要差異，尤其該模型可以處理任何分辨率的圖像，可結合全局圖像先驗進行局部預測及將其轉換為另一種顏色的圖像。模型及子部分的描述見圖 1。由圖可知，模型由四個主要部分組成：底層特征網絡、中層特征網絡、全局特征網絡及彩色化網絡。

1.1 深度網絡

深度神經網絡具有多層結構。給定一個輸入即可預測連續值，函數形式如下所示：

卷積神經網絡具有權值共享的特性，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。一般來說，向量x、y的分量是通過笛卡爾坐標以及通道號被像素檢索的，一層是由多個通道的2D圖像組成。矩陣w為圖像與一組濾波器的卷積，若2D層圖像是C通道h×w，則下一層C通道圖像為h×w，即n=h·w·C，m=h·w·C。綜上，公式(1)可變為如下形式：

其中，kh和 kw分別代表內核的高度與寬度（奇數），yu,v為輸入的像素分量，yu,v為該層的輸出，為非線性傳遞函數，b為偏置。由以上公式可以看出，權值W可以在神經元之間互相傳遞，實現共享。

圖1 自動彩色化灰度圖像模型

該模型中，層與層之間是連續的連接，大多數分類網絡最初使用卷積層，最后使用常規的全連接層來使輸出為一個特定尺寸的向量，但這樣的網絡只能處理固定大小的圖像，為了解決此問題，本文提出了自動彩色化灰度圖像模型，可處理任何分辨率大小的圖像。

1.2 全局與局部特征彩色化融合

將全局特征與局部特征進行融合，全局特征可確定輸入圖像的類型。假設輸入圖像尺寸為W，卷積核尺寸為F，步幅（stride）為S（卷積核移動的步幅），Padding使用P（用于填充輸入圖像的邊界，一般填充0），那么經過該卷積層后輸出的圖像尺寸為（W-F+2P）/S+1。在本文中，使用3×3卷積內核及1×1的空隙作為輸入來保證輸出圖像是同等的尺寸大?。ㄈ舨椒鶠?，則輸出圖像尺寸減半）。共享功能的結構如表1所示。

表1 底層特征網絡

1.2.1 全局圖像特征

全局圖像特征是通過四個卷積層進一步處理底層特征，再通過三個全連接層獲得，其詳細內容如表2所示。

由于該網絡中線性層的性質，底層特征的輸入固定尺寸為224×224像素。

表2 全局特征網絡

1.2.2 中層特征

中層特征是通過兩個卷積層進一步處理底層特征得到的。輸出從底層特征的512通道數變為中層特征的256通道數，與全局圖像特征不同的是，底層特征與中層特征均為全卷積網絡，中層特征網絡的輸出尺寸大小為（H/8）×（W/8）×256，H、W為原始圖像的高度與寬度，具體如下表所示：

表3 中層特征網絡

1.2.3 全局與局部特征融合

為了結合全局圖像的256維向量特征與局部（中層）圖像特征，本文介紹了一種融合層，該層用于將全局特征融入局部特征，融合方式如下：

1.2.4 彩色化網絡

全局特征與局部特征融合后，再經過一組卷積層和上采樣層，上采樣層，為跨度轉置卷積（Strided Transposed Convolutions），跨度為 S，即上采樣層將為該層的每個輸入產生S個輸出。在輸出是原始輸入的一半大小之前，這些層是交替出現的。彩色化網絡的輸出層有具有Sigmoid傳遞函數的卷積層組成，輸出為輸入灰度圖像的色度，具體如下表所示：

表4 彩色化網絡

本文采用均方誤差（MSE）標準來訓練網絡，給定一張彩色圖像作為訓練樣本，將其轉換為灰度和CIE L*a*b*顏色空間。模型的輸入是灰度圖像而目標輸出是CIE L*a*b顏色空間的 a*b*分量，a*b*分量被全局歸一化，因此它們在Sigmoid函數的[0,1]范圍內，然后，我們將目標輸出縮放至彩色化網絡輸出的大小，并計算輸出與目標輸出之間的MSE作為損失，最后將通過所有網絡（全局特征、中層特征、底層特征）將此損失反向傳播，更新模型中的參數。

1.3 優化與學習

該模型能處理任何大小的圖像，當輸入圖像為 224×224像素時，效率最高，若輸入圖像具有不同的分辨率，底層特征的權重共享時，需要重新調節全局特征網絡圖像大小為224×224像素。這需要通過底層特征網絡出了原始圖像及重新縮放圖像，增加了內存消耗與計算時間，在學習過程中必須多次處理數百上千張圖像，尤其在訓練階段，節省時間變得至關重要。因此，本文僅僅采用尺寸為224×224像素的圖像來訓練模型。

本文在訓練階段對整個網絡使用批量歸一化處理，一旦網絡被訓練，批量標準化的平均值和標準偏差就可以被并入到每層的權重和偏置中。

2 實驗結果與討論

車輛的顏色相對來說比較單一，在彩色化車輛圖像時無須考慮太多顏色過渡區域的細節處理，但一般行人的著裝具有多樣性，衣服顏色比較復雜，在進行彩色化時需要處理很多顏色過渡區域，為了測試本文所提出的自動彩色化灰度圖像模型的性能，采集各種不同類型的行人及其他圖片，評估包括黑白圖像及特寫圖像在內的大量不同圖像，同時本文還闡述了如何通過利用在不同圖像上計算的全局特征，直接使用模型進行樣式轉換。在訓練階段開始前，我們需要預先過濾一遍圖像來濾除灰度圖像及具有較小顏色差異的圖像。對訓練圖像進行隨機的分類并將其用于優化我們模型的參數。

2.1 彩色化結果

本文的彩色化模型利用全局特征與局部特征的融合，使其能夠正確地對行人、車輛等進行彩色化，所有這些結果均為自動生成，無須人為干預，具體彩色化結果如圖2所示。

2.2 對比分析

通常情況下，我們無法對圖像的重點區域進行顏色處理，如圖3縮放區域所示，尤其是在顏色變化區域，由于行人衣著以及環境顏色的多樣化，我們在進行彩色化的時候要將行人和環境的顏色進行比較好的融合處理。本文采用一致的方式對所有圖像進行彩色化，譬如在圖3中，最左邊為灰度圖像，中間的為采用基準的方法彩色化的圖片，最右邊為采用本文的模型進行彩色化的圖片。由圖中對比可以看到，第一幅圖斑馬線處的藍色線條，采用傳統的基準的方法并沒有將其彩色化，將其忽略；警察的制服顏色彩色化的程度也不太明顯，還有后邊車輛的車牌處也沒有達到比較好的彩色化效果；同樣，在第二幅圖中，黃色的斑馬線沒有被彩色化，最前面女孩的衣服和背包也沒有達到很好的彩色化效果。

圖2 部分彩色化圖像

由以上結果，我們可以看出，采用傳統的彩色化方法不能很好的處理顏色過渡區域，只能較好的處理比較單一的顏色區域，而在我們現實生活中，行人的著裝、發色、裝飾以及所處的環境的顏色具有多樣性，此時采用本文的自動彩色化模型可以達到較為理想的彩色化效果。

圖3 彩色化模型對比

全局特征值是基于灰度像素值的描述，可以分為直方圖特征、顏色特征及輪廓特征。由于采用基準的方法進行彩色化時不包含全局特征，（RGB為非均勻的顏色空間，而基準為L，a、b的均勻顏色空間）所以在采用基準彩色化灰度圖像時，圖片處理時會有誤差，可能達不到理想的效果。而本文所提出的自動彩色化灰度圖像的模型是將全局特征及局部特征進行融合，可以更好的提取圖片的顯著特征，經過統計計算，在真實場景的自然度為 97.7%時，采用基線與本模型的自然度分別為69.8%與92.6%。

表5 CPU與GPU運行時間對比

本文在不同分辨率的圖像上運行自動彩色化灰度圖像模型，并將其在CPU和GPU上平均運行時間做了對比，通過對比，可以得到使用 GPU，速率提高了接近 5倍，并且在GPU中能在短時間內處理大圖像，詳細內容見表5。

3 結論

針對于車輛及行人圖片，通過融合全局及局部特征，本文提出了一種新的彩色化灰度圖像的模型。首先，該模型基于卷積神經網絡的理論，無需任何干預，可以自動進行彩色化。其次，在訓練模型階段，本文采用端到端的方式訓練網絡，采用隨機梯度下降法更新權值，能夠處理任何分辨率的圖像。最后在評估模型時，收集了大量室內與室外的圖像，并產生了較好的實驗結果，證明了此模型的可信性與優越性。

[1] 蘇松志,李紹滋,陳淑媛,等.行人檢測技術綜述[J].電子學報,2012,40(4): 814-820.

[2] 劉威,段成偉,遇冰,等.基于后驗 HOG 特征的多姿態行人檢測[J].電子學報, 2015, 43(2): 217-224.

[3] Everingham M, Van Gool L, Williams C K I, et al. The pascal visual object classes (voc) challenge[J]. International journal of computer vision, 2010, 88(2): 303-338.

[4] Russakovsky O, Deng J, Su H, et al. ImageNet Large Scale Visual Recognition Challenge[J]. International Journal of Computer Vision,2015, 115(3): 211-252.

[5] Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097-1105.

[6] He K, Zhang X, Ren S, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C]//European Con-ference on Computer Vision. Springer, Cham, 2014: 346-361.

[7] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. arXiv preprint arXiv:1409.1556,2014.

[8] Szegedy C, Liu W, Jia Y, et al. Going Deeper with Convolutions[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2015: 1-9.

[9] He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing Human-Level Performance on Imagenet Classification[C]// Proceed-ings of the IEEE International Conference on Computer Vision.2015: 1026-1034.

[10] Girshick R, Donahue J, Darrell T, et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]// Procee-dings of IEEE Conference on Computer Vision and Pattern Recog-nition, 2014: 580-587.

[11] Girshick R. Fast R-CNN[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 1440-1448.