基于雙目逆投影的停車位占位快速檢測方法*

肖漢彪，胡釗政，周 哲，伍錦祥

（1.武漢理工大學信息工程學院，武漢 430070；2.武漢理工大學智能交通系統研究中心，武漢 430063；3.武漢理工大學重慶研究院，重慶 401120）

前言

近年來，隨著車輛智能化技術的飛速發展，輔助駕駛與自動駕駛技術得到廣泛研究，特別是針對智能車的泊車輔助系統。新一代自動泊車系統（Autonomous valet parking，AVP）可以進一步解放駕駛人，提升駕乘體驗。此外，智能泊停也是更高級別的無人駕駛系統不可或缺的組成部分。這些車輛泊停系統均需要快速準確地檢測出停車位的信息［1］。

目前的停車位占位檢測方法可按照其工作原理分為兩類。一類為基于三維重建的方法。該類方法主要分為基于超聲波雷達、毫米波雷達、激光雷達等距離傳感器的方法和基于立體攝像機深度重建的方法。超聲波雷達和毫米波雷達通過對車輛周圍的場景進行重構，分析車位的占用情況，并計算停車所需的空間。一旦檢測到足夠大的空間來容納汽車，系統就會啟動自動泊車系統［2-3］。然而，這些傳感器的精度依賴于相鄰車輛的位置。激光掃描儀［4］可以高精度地測量距離，但是其高昂的成本阻礙了其作為汽車配件的商業化。深度相機［5］是指雙目立體視覺或移動立體視覺傳感器，這些傳感器不僅提供圖像信息，而且提供深度信息。但是，由于生成深度圖的計算量很大，很難滿足實時性需求［6］。因此實現高精度和低延遲的障礙物檢測，是輔助駕駛的關鍵因素。

第二類則為基于目標檢測與識別的方法，通過對停車位上的目標進行檢測進而分析車位的占用情況。文獻［7］中提出一種針對視頻幀的時間分析法，使用高斯混合算法對背景進行差分運算，以檢測車輛和車位占用情況。文獻［8］中通過K-Means聚類分析實現車位線精確定位，并根據車位上的角點數量，使用分層有限狀態機對車位進行分類。文獻［9］中通過鳥瞰圖分析停車空間的邊沿比例來確定汽車是否停在一個車位內。紅色區域表示用于計算邊緣比率的感興趣區域。盡管以高邊緣比例為特征的停車位可以代表汽車所占用的車位，但基于單個特征的車位占用檢測準確率較低，且極易受到環境因素的影響。隨后由于全視監測（around view monitoring，AVM）系統的快速發展，基于車輛的成像系統從單目相機變為AVM系統。與單目相機相比，AVM系統有更廣的視場角，可以更有效地幫助駕駛員識別周邊停車位標識和障礙物。在AVM系統的基礎上，文獻［10］中使用基于方向密度的空間聚類，將帶有噪聲的區域聚類到具有不同方向的線段，使用相應車位幾何特征來識別停車位的類型。但是，由于聚集的線段缺少停車位信息，該方法經常會錯誤地檢測到道路標記。文獻［11］中將車道邊界線分成一對具有相反梯度方向的平行線，并使用隨機抽樣一致性檢測車道邊界線。為了檢測停車位之間的分隔線，該文中使用距離變換結合模板匹配來識別，但是該方法只包含一個模板，因此，它只能應用于矩形停車位。文獻［12］中提出用角點檢測識別車位，提取道路和障礙物特征進行車位占用情況檢測。由于AVM圖像不能覆蓋整個車位，故一些靠后停放的車輛不能被檢測到。同樣，除了AVM系統，深度學習由于在目標檢測方面的優勢，也被廣泛應用于停車位檢測。文獻［13］中提出了一種基于決策樹的車位檢測算法，該算法采用了增強決策樹來訓練標記點檢測器，以判斷停車位占用情況。文獻［14］中對已有網絡進行車輛識別模型再訓練，通過模擬和真實數據，實現了對車輛分布識別結果的有序編號和車位空缺狀況的準確判斷。文獻［15］中提出了一種實時檢測系統，利用深度卷積神經網絡，并組合前后幀的信息進行車位狀態更新。與基于純圖像的方法相比，該方法的準確性得到較好的提升?；谏疃葘W習的車位檢測方法雖然在特定目標的識別（車、人等）上有較好的優越性，但對其他障礙物（路障、柱子等）的魯棒性較差，且只適用于單一場景。

針對以上問題，本文中提出一種基于雙目相機逆 投 影（binocular inverse perspective mapping，BIPM）的停車位快速檢測方法。其創新點在于：（1）以往的逆投影（inverse perspective mapping，IPM）算法主要用于道路上的車道線檢測［16-17］，而本文中將IPM算法應用于障礙物檢測，獲得更有效、更簡單的停車場車位占用檢測方法；（2）基于雙目逆投影差分圖，獲取車位占用信息和障礙物位置信息，避免了傳統算法中顯式目標檢測和三維重建等復雜的計算過程。

1 本文算法

本文中提出基于BIPM的車位占用檢測算法，其流程如圖1所示。主要包括以下步驟：（1）使用逆投影算法將左右目圖像投影在參考平面，由于不同相機逆投影坐標不同，須通過雙目相機外參進行位置補償，完成坐標系統一；（2）將左右目逆投影圖像進行差分運算，得到雙目逆投影差分圖，用于區分參考平面和平面之外的物體（障礙物）；（3）將該差分圖進行二值化與形態學濾波處理，以凸顯目標區域和消除噪點信息；（4）獲取車位線區域，并使用感興趣區域（region of interest，ROI）算法設置車位的不同區域，檢測各ROI中障礙物像素的占用比，得到車位占用信息，同時通過雙目逆投影差分圖獲取障礙物到相機的距離。

圖1 BIPM算法流程圖

1.1 雙目相機逆投影變換

逆投影變換是一種利用攝像機內外參數對攝像機圖像進行逆映射，獲取世界坐標系下某一平面圖像上的實際坐標的方法。利用逆透視變換把3D空間點從圖像中恢復出來至少要知道該點的一個世界坐標。因此，采用逆透視變換主要是恢復三維世界坐標系某個固定軸的平面信息。具體到智能駕駛系統的道路環境中，通過建立適當的坐標系，就可以使世界坐標系下平面Z=0和真實的道路平面重合，進而通過逆透視變換從圖像恢復道路平面的俯視圖，消除透視形變，得到道路交通標線等更多不變量信息，從而進行后續的檢測和識別任務。

圖2 為雙目相機逆投影模型，在圖2（a）中，相機高度為h，點O為左目相機光心C1到地面的垂直投影，定義點O為原點，O C1為Z軸建立圖中相機坐標系。AB C D為攝像機拍攝到的路平面上的梯形區域，A、B、C、D各點在投影平面內的對應點如圖2（b）所示，分別為圖像平面矩形四個端點A1、B1、C1、D1。

圖2 BIPM算法流程圖

定義矩形中點為原點，以平行于X、Y軸方向的u和v方向建立圖像坐標系，H和W分別為圖像平面的高和寬。

以左目相機為參考，定義點[xl，yl]T為道路平面上一點，圖像平面內的對應點坐標為[ul，vl]T，可得相機逆投影公式：

式中：h為攝像機的安裝高度；2β0為攝像機鏡頭的水平視場角；2α0為攝像機鏡頭的垂直視場角；γ0為攝像機的俯仰角。具體推導過程見文獻［18］。

由于兩相機坐標系之間可通過空間矩陣M相互轉換。其中R為旋轉矩陣，T為平移矩陣。

則左右目相機位置變換關系為

其中，R和T可以通過相機外參標定獲得［19］。則右目相機逆投影坐標為

由于本文中使用雙目相機進行試驗，左右相機光軸平行，當相機水平放置于車上時，通過對參考平面進行尺度約束，左右相機旋轉矩陣R為單位矩陣，且只存在X軸方向上的位移，并與基線相同，t x=d，t y=t z=0，即T=[d0 0]T，可得

由式（1）和式（5）可得右目相機逆投影公式：

通過式（1）和式（6），可將雙目相機逆投影變換在同一坐標系下，便于后續的圖像差分變換。BIPM算法充分利用了雙目相機的尺度信息（基線長度），通過高精度標定實現了雙目圖像在參考平面（地面）上的精確映射。

1.2 基于雙目逆投影差分圖的障礙檢測

圖像差分法常用于變化或運動的物體，將同一場景在不同時間拍攝的圖像相減，實際上就是圖像的差分運算。差分圖像提供了圖像間的像素差值信息，消除了兩圖像的背景和噪聲，該方法可運用于目標的檢測、跟蹤和識別［20］。結合上節所述的逆投影變換，可將目標上的點通過某一平面進行區分，即在不同視角下的逆投影平面，目標上的點所在位置不同，故可將多視角下的逆投影圖像進行差分，將目標的輪廓勾勒出來，實現目標檢測。

基于雙目逆投影差分圖的障礙檢測方法原理如圖3所示。相機跟隨車以速度v向前移動，在某一時刻，左右目光心C1、C2運動到圖中所示的位置。對于地面上一點Q1，相機在C1與C2處的成像在地面上的投影均為Q1，灰度值相同；而對于高于地面上一點Q2，成像在地面的投影分別為Q3和Q4，灰度值存在差異。

圖3 基于雙目相機逆投影的障礙物檢測原理

定義Pl(xl，yl)和Pr(xr，yr)為進行坐標補償后的兩個IPM圖像坐標，則它們的差分圖為

對差分圖進行二值化處理，并設置閾值，突出目標區域：

式中：B(x，y)為左右目逆投影差分后的二值圖；τ為二值化的閾值。B(x，y)=0表示地面，B(x，y)=1表示非地面的障礙物。

然而，二值化處理后圖像通常會有很多噪聲點，需要對二值圖進行后處理，進一步區分出平面上和平面外的點。對此，提出使用開運算的形態學濾波方法消除噪點：

式中：?為腐蝕；⊕為膨脹；S為核函數。本文中核函數根據雙目相機基線長度d設置，即S≤d。

1.3 車位占位檢測與障礙物位置計算

由式（9）可知，(x，y)在G(x，y)=0時為平面上一點，在G(x，y)=1時為非平面上一點。由此，可以通過車位區域非平面點的多少來判斷該車位是否被占用。為獲取車位的占用信息，首先需要確定停車位的位置，本文中采用文獻［17］中的方法對車位線進行識別，獲取車位的位置信息，同時設置為ROI。

通過式（10）可以快速計算ROI中二值圖像上的像素數，并計算非平面像素的比例，其中(x，y)為ROI區域內的坐標。通過設置比率閾值，最終可以確定一個停車位是否被占用。另外，可以在一個停車場上設置多個ROI，以獲得更準確的占用檢測結果。

在ROI區域遍歷G(x，y)=1的點，將與相機最近的點定義為障礙物位置計算的起點。通過平面兩點的距離公式得到地面上的實際距離L1。由于雙目相機視場角的影響，如圖2（a）所示，逆投影的起始位置并不能從原點O開始，所以逆投影起始點與相機還有一段距離L2，故最終計算障礙物到相機的距離L=L1+L2。

在BIPM算法獲取的二值差分圖中，可直接獲取參考平面（地面）的物理坐標信息，完成障礙物的位置計算。在停車的場景下，檢測區域一般較?。?個車位左右，范圍約800 cm×600 cm）。在該檢測范圍內，基于逆投影方法（本質上是單視圖方法）可以獲得較好的定位精度［19］。

2 試驗結果與分析

試驗所用的雙目相機如圖4所示，相機的安裝高度為120 cm，基線長度為120 mm。通過棋盤格標定獲取雙目系統內外參數。其中雙目相機內參數如表1所示，H、V、D分別表示相機水平、垂直和對角的視場角。相機的俯仰角為86°。通過標定結果，可以完成雙目圖圖4像逆投影，生成BIPM差分圖。

圖4 車載雙目相機及標定

表1 雙目相機參數

試驗過程分為兩個階段：障礙物檢測和車位占用分析與測距。在障礙物檢測階段，由于相機視場角的影響，試驗根據檢測車位的大小，指定800 cm×600 cm的目標區域來進行占位檢測。逆投影的最近點設置在相機前方20 cm處。在差分圖二值化過程中，考慮到圖像處理過程中噪聲點的影響，采?。?，5］核對二值圖像進行形態學濾波。在測距與車位占用分析階段，將每個停車位根據距離設置3個ROI網格，并通過網格中障礙物像素點的占比來確定該停車位是否為空，同時獲取車位中各個障礙物到相機的距離。

本文中分別在地下停車場和室外停車場兩種場景進行實驗，且均在相同的計算機環境下進行測試，其配置為CPU：Intel Core i7-8700 3.2 GHz，內存：16 GB，開發環境為Visual Studio 2017 C∕C++。

2.1 地下停車場試驗結果與分析

圖5 顯示了地下停車場兩個較為典型的場景。第一行為雙目相機左右目原始圖，第二行為對應的IPM圖像，通過外參標定估計兩個圖像之間的運動，得到第三行左圖所示的BIPM差分圖。通過二值化和形態學濾波做進一步處理，生成第三行右圖所示的二值差分圖。從圖中可以觀察到，障礙物的區域顯示為白色，而地面顯示為黑色。試驗中，在停車場中從遠到近設置了3個相等大小的ROI，每個ROI的閾值為6%。

圖5 地下停車場占位檢測

試驗車沿著地下停車場的封閉路徑行駛，共獲取78個停車位信息，最終的檢測結果如表2所示。第2列中顯示，有18個車位為空位，56個車位停放有車，2個車位有路障，其余2個車位有車位鎖。表2的第3列顯示了錯誤檢測的次數，在78個停車位中，本文提出的方法成功檢測到其中77個，檢測精度為98.7%。

表2 地下停車場占位檢測結果

2.2 室外停車場試驗結果和分析

試驗二選擇某大學的室外停車場作為試驗場景。由于室外場景環境變化較大，存在更多的變量，使得停車位檢測較于地下停車場更具挑戰性。在試驗中，測試車沿著室外停車場的任意路徑行駛，并使用本文算法進行車位占用檢測。共檢測有40個停車位，其中15個車位為空位，21個車位停放有車，4個車位有路障。部分檢測結果如圖6所示。

圖6 露天停車場占位檢測

在室外停車場試驗的統計結果如表3所示。在15個空車位和被車輛占用的21個車位中，均只有1個錯誤檢測，而有路障的停車位檢測精度為100%，平均檢測精度為95.0%。試驗結果進一步證明了本文中提出的BIPM方法對停車位占用檢測的有效性和準確性。

表3 室外停車場占位檢測結果

2.3 試驗結果對比分析

為體現文本算法在時間、準確率、定位精度上的優越性，現與常用的3種算法進行對比，包括基于三維重建的停車位占用檢測［6］、基于環視圖的停車位占用檢測［12］和基于深度學習的停車位占用檢測［14］，結果如圖7所示。

圖7 對比算法停車位占位檢測結果

文獻［6］中提出基于三維重建的方法，通過深度信息識別車位上的障礙物，該方法在近距離檢測時定位精度較好，但深度圖計算量過大，不滿足實時性的需求。文獻［12］中提出通過環視監控系統和相關空位分析算法，使用四路相機拼接的AVM圖像，獲取停車位的占用信息。由于環視系統相鄰相機公共視野的影響，在圖像拼接時只保留了鳥瞰圖的一部分，無法識別整個車位，所以對于停車靠后的車位，會誤檢為空。文獻［14］中提出深度學習在目標識別方面的優越性，將其應用于停車場的車位檢測。類比于文獻［14］，本文中使用YOLO-v3網絡進行試驗。該方法在特定目標的識別上有很高的準確率，但在識別路障、車位鎖等障礙物時準確率較低，并且該網絡生成的bounding box的位置對障礙物測距的精度有很大的影響。

本文算法與這3種方法使用相同的數據集，綜合檢測結果如表4所示。從給出的對比算法的檢測時間、準確率、定位精度的結果可以看出，基于環視圖的方法（文獻［12］）在檢測時間和定位精度方面表現較好，但由于環視系統的局限和場景的要求，導致其準確率較差；而基于深度學習方法（文獻［14］）耗時相對較長，并且由于bounding box的不確定性導致定位精度不足；基于三維重建的方法（文獻［6］）在定位上有一定的優勢，但檢測時間太長。由此可見，本文算法在檢測時間、準確率和定位精度方面與對比方法相比有較大優勢。

表4 各方法對比結果

3 結論

本文中將雙目系統用于停車場車位檢測，提出了一種基于雙目相機逆投影變換的停車位檢測方法，通過對左右目相機外參標定，將雙目相機逆投影變換在同一坐標系，獲得差分圖像并進行車位占用檢測，并通過雙目相機逆投影差分圖，計算障礙物與相機的距離。試驗結果表明，車位檢測算法準確率在95%以上，并且本文中提出的測距模型能有效測量縱向6 m、橫向8 m以內的車輛距離，對不同停車場環境的障礙物測距誤差在2%以內，且算法的平均處理速度達到了18幀∕s，實時性能好，魯棒性高，滿足智能車系統對算法實時性和準確性的要求。