基于俯拍視頻圖像的露天停車場車位狀態檢測

王吉祥，張愛梅

（鄭州大學機械與動力學院，河南 鄭州 450001）

1 引言

隨著社會進步和我國居民生活水平的日益提高，全國各地的汽車保有量在快速增加，隨之而來的是人們停車的難題。特別是一些景區或者商場的比較大型的室外露天停車場，絕大多數停車場門口的電子顯示屏上不斷更新的信息只有空余的停車位有多少個，沒有空余的停車位位置的信息。當遇到黃金周等車流量比較大的情況時，就會給停車場工作人員的引導工作和管理工作帶來諸多不便，停車場的運行效率也會顯得比較低下。如果能夠獲取隨著時間不斷變化的空余停車位位置的信息，工作人員在面對以上露天停車場可能會出現的情況時就可以制定合理的管理方案。

在比較大型的露天停車場中獲取空余停車位位置的實時信息時，用人工的方式顯然是難以應對的，我們可以對停車場中每一個車位是被占據還是未被占據的狀態進行自動化檢測，并輸出未被占據的空余車位的位置信息。自動化檢測停車場車位狀態的方法有多種，比較常見的檢測方法有地磁傳感器檢測方法［1］、光電傳感器檢測方法［2］、紅外檢測方法［3］、超聲波檢測方法［4］等。以上這些方法能夠有效的檢測出停車位是否空余，但是需要在每個停車位安裝相應的硬件設施。對于車流量大多數時間很少，只是在一年中某一些時間突然增多的停車場，其建設維護成本和使用成本非常高。

因此，經過認真研究后，提出了一種基于無人機視頻圖像的露天停車場車位狀態檢測方法，這是基于機器視覺［5］對停車場的車位狀態進行自動化的識別，不需要依賴大量的硬件設施，使用起來靈活方便。

2 總體方案設計

以某一比較大型的露天停車場為例，無人機，如圖1 所示。通過GPS定位做到飛行高度、飛行位置不變，然后用無人機攜帶的防抖云臺相機（分辨率為720P）俯拍停車場，這樣可以使視頻的每一幀圖像中的停車位相對位置保持不變。截取視頻中一幀有非常少的車輛停放的圖像作為研究對象，這樣做可以在圖像處理的過程中排除車輛的影響。通過圖像處理可以得到每個停車位在圖像中的相對位置坐標。再結合基于遷移學習的停車場分類網絡，就可以對視頻中停車場的車位狀態進行自動化檢測?？傮w方案流程圖，如圖2所示。

圖1 組裝的無人機Fig.1 Assembled UAV

圖2 總體方案流程圖Fig.2 Flow Chart of the Overall Scheme

3 圖像處理

3.1 圖像預處理

對從視頻中截取的圖像進行灰度化和中值濾波等預處理。圖像預處理的效果圖，如圖3所示?；叶然幚砜梢詫⑷ǖ赖腞GB圖像變為單通道，這樣處理的數據量就減少許多?；叶然磉_式，如式（1）所示。

圖3 圖像預處理效果圖Fig.3 Image Preprocessing Renderings

其中，x1=0.3，x2=0.59，x3=0.11。

中值濾波能有效去除圖像中的斑點噪聲和椒鹽噪聲，同時又會保護圖像的邊緣細節。中值濾波表達式，如式（2）所示。

式中：Med—排序取中值；n—濾波器大小。

3.2 邊緣檢測

由于霍夫變換的輸入圖像最好是邊緣二值圖像。所以，在使用霍夫變換之前可使用Canny算法進行邊緣檢測，傳統的Canny邊緣檢測算法分為以下幾個步驟：（1）使用高斯濾波平滑圖像，濾除噪聲；（2）計算圖像中每個像素點的梯度幅度和方向；（3）應用非極大值抑制，定位準確邊緣同時細化邊緣；（4）應用雙閾值（Double-Threshold）來檢測強邊緣點和弱邊緣點；（5）連接邊緣，最終完成邊緣檢測。

但是，應用傳統的Canny算法精度一般且傳統Canny算法應用雙閾值（Double-Threshold）處理，其兩個閾值都是人為設定的，需要經過試驗人工調試才能確定。

為了提高精度，在此對傳統的Canny邊緣檢測進行如下兩點改進。（1）改用中值濾波來對圖像進行濾波處理，這是因為中值濾波處理后的圖像模糊較小，能夠很好保護圖像的邊緣信息；（2）改用大津算法（Otsu）［6］，該算法是一種根據圖像的信息自適應地來確定閾值的方法。該算法原理是通過計算找到最大類間方差并以此來確定閾值，其表達式如下。

將式（6）帶入式（3）可得表達式：

式中：T—閾值；［0，N-1］—灰度級范圍；ω0—背景像素占比；ω1—前景像素占比；μ0—背景的平均灰度值；μ1—前景平均灰度值；μ—像素均值。經過改進Canny算法處理的圖形效果，如圖4所示。

圖4 改進Canny算法處理后的圖像Fig.4 Image Processed by the Improved Canny Algorithm

3.3 霍夫變換檢測直線

每一個停車位都有兩條平行的直線，所以停車位在圖像中的相對位置可以通過這些直線來確定，利用霍夫變換可以有效的檢測出圖像中的直線［7］。

霍夫變換算法有多種，最終選擇的是其中的累計概率霍夫變換（PPHT）算法。因為該算法能夠檢測出直線的兩個端點，并輸出兩個端點的矢量（x1，y1）和（x2，y2），這樣就可以確定直線在圖像中的相對位置。

經過累計概率霍夫變換（PPHT）處理過的圖像所得到的直線并不都是我們能夠用到的直線。因此，我們需要對這些直線進行過濾。在這里需要保留水平線，每條直線是有四個元素矢量來表示，即（x1，y1，x2，y2）。其中，（x1，y1）和（x2，y2）是每條檢測到的直線的兩個端點。因此，我們可以設立條件（y2-y1）＜=1 且，90＜=（x2-x1）＜=100。只有滿足了設立的條件時，直線才能被保留。過濾后的圖像，如圖5所示。

圖5 過濾后的結果Fig.5 Results After Filtering

4 確定停車位位置坐標

對過濾后的直線進行分類，找出第一列到第七列的直線。首先對過濾后的直線進行排序，按照每條直線的起點橫坐標x1值大小進行排序，對于兩條不同列中的直線其橫坐標x1差值會比較大，而同一列中的兩條直線其橫坐標x1差值就會很小，這樣就可以設立條件將直線分別歸類到第一列至最后一列：

將第一列中的直線按照縱坐標y值的大小進行排序，然后用最大的y值減去最小的y值，再除以n排個停車位就能得出每個停車位的寬度g，g=（585-90）/22=22.5。通過之前的排序已經知道最小的x1值，x1=100。對第一列的直線按照x2值的大小進行排列，可以知道最大的x2值，x2=198。

以第一列為例，選取這列最小的x1值和最小的y1值作為起點坐標，每一個停車位的大小是一樣的，由于第一列的停車位是雙排的，所以設x=（x2+x1）/2，x=（198+100）/2=149。按照從左到右，從下到上的順序，第一列的第一個停車位的坐標為（x1，y1，x，y1+g），第二個停車位的坐標為（x，y1，x2，y1+g）。第三個停車位的坐標為（x1，y1+g，x，y1+2g）。以此類推，第一列停車區的所有的停車位的位置都有相對應的坐標。同理，停車場中其余每列的每一個停車位都有對應的坐標。

將這些坐標和對應的第幾個停車位做成一個字典結構并將字典保存下來，每一個車位坐標都對應一個車位編號dict：｛（100，90，149，112.5）：1，（149，90，198，112.5）：2，（100，112.5，149，135）：3…｝。以后俯拍圖像中的停車位位置信息就可以用這些坐標來表示。

5 停車位狀態檢測

5.1 網絡構建

通過以上的圖像處理、計算，我們已經獲取了圖像中停車場每一個停車位的相對位置坐標，接下來的工作是檢測圖像中停車場的每一個停車位是否是空余車位，這可以看做是一個分類問題。解決分類問題的方法有多種，在綜合考慮各方面因素后，最后決定采用的是深度學習算法［8］中的經典模型VGG-16［9］。VGG-16是一種經典的卷積神經網絡，它在對圖片分類任務中有著優異表現。VGG-16網絡由13個卷積層，5個最大池化層，2個全連接層和1個Softmax層構成。

5.2 訓練網絡

選取視頻中車輛較多的幾幀圖像，根據停車位固定的坐標值將停車場中的每一個車位的圖像裁剪出來，作為后續網絡的訓練數據集，如圖6所示。

圖6 訓練集圖像Fig.6 Image of Training Set

由于時間和空間的限制，收集的數據集較小，如果我們直接用這些數據集來訓練網絡的話，所花費的時間會比較長而且做出來的效果也是不夠理想。這時可以引入遷移學習的方法［10］，遷移學習的思想是：找到一個現有的能夠做類似任務的神經網絡，然后直接將這個網絡的底層拿來用。這樣訓練速度大大提高的同時，還可以減少對訓練數據集的要求。

在網絡訓練階段，如圖7所示?？梢杂肐mageNet數據集對網絡進行預訓練，來獲得網絡的初始化權值。然后，根據實際問題需要將VGG-16網絡Softmax層的1000個輸出類調整為2個輸出類。遷移學習預訓練網絡作為停車場分類網絡的起點，由隨機初始化權值變為將預訓練網絡權重作為初始化權值。最后，用訓練數據集中的圖像對網絡進行再訓練，訓練好的停車場分類網絡就可以用于檢測視頻圖像停車場的車位狀態。

圖7 遷移學習原理圖Fig.7 Transfer Learning Schematic Diagram

5.3 結果評價

用準確率Acc，精確率P，召回率R和F1-score作為實驗結果評價指標。其表達式，如式（8）～式（11）所示。

式中：TP—將正類分類正確的個數；TN—將負類分類正確的個數；FN—將正類分類錯誤的個數；FP—將負類分類錯誤的個數。

選取視頻中有較多車輛的一幀圖像來做測試實驗，如圖8所示。測試實驗是在基于Python-Opencv 和Karase 來開發自動識別程序上進行。測試實驗過程如下，程序會根據已經得到的停車位的坐標信息將圖像中的每一個停車位裁剪出來。然后將裁剪出的停車位圖像輸入到停車場分類網絡中，判斷停車位是否被占據，如果車位是空余的則輸出該車位的坐標。統計的停車位分類網絡的分類結果，如表1所示?？梢钥闯鐾＼噲龇诸惥W絡對停車場的車位狀態檢測效果還是比較好的。

表1 停車場分類網絡檢測結果Tab.1 Detection Results of Parking Lot Classification Network

圖8 停有車輛的圖像Fig.8 Images of Parked Vehicles

以上是基于圖像的停車位狀態檢測，由于視頻是由一幀一幀的圖像組成，所以在基于視頻進行檢測時是將視頻的每一幀圖像提取出來，然后再對每一幀圖像中的停車位狀態進行檢測。

6 結語

針對如何獲取室外比較大型的露天停車場空余停車位的位置信息，提出了一種基于無人機視頻圖像的露天停車場車位狀態檢測方法。最后實際場景的實驗結果表明，神經網絡對空余停車位的識別精度是比較高的。所提出的方法能對停車場空余停車位的位置信息進行連續、實時更新，方便了停車場工作人員對停車場進行管理。