?

先進的自動駕駛數據采集與存儲技術研究綜述*

2024-03-01 13:23趙浩源劉金來禹梓浩武濤孫天駿
汽車技術 2024年2期
關鍵詞:特斯拉攝像頭駕駛員

趙浩源 劉金來 禹梓浩 武濤 孫天駿,2

(1.吉林大學,長春 130022;2.吉林大學,汽車仿真與控制國家重點實驗室,長春 130022)

主題詞:自動駕駛 數據采集 數據存儲 影子模式

1 前言

汽車行駛過程中的數據采集技術當前已不陌生,從行車記錄儀的使用開始,已經實現了一段時間內視頻數據的記錄。隨著汽車自動駕駛功能的不斷完善與城市道路交通環境的愈發復雜,單純的視頻數據大多只作為交通事故責任劃分的依據,而不能為智能汽車自動駕駛功能的完善提供更多、更有效的信息[1-2]。如何高效地找到問題、精準地定位問題并合理地解決問題成為制約下一代自動駕駛技術發展的難題。

先進的自動駕駛數據采集與存儲技術將有效解決這一問題。目前,先進的數據采集技術一般分為交通場景數據采集和駕駛行為數據采集。對于交通場景數據的收集,現有方案主要是將激光雷達、毫米波雷達、先進的視覺攝像頭和全球導航衛星系統(Global Navigation Satellite System,GNSS)等多套傳感器系統組合使用;對于駕駛行為數據的采集,現有方案主要基于車載設備和移動設備開展,同時需要大量的傳感器配合。因此,傳感器已成為自動駕駛系統數據采集的窗口。

自動駕駛汽車用于數據獲取的傳感器一般分為外部傳感器和本體傳感器。外部傳感器包括攝像頭、激光雷達和毫米波雷達等,其功能是觀察、檢測和識別車輛行駛過程中的障礙物、道路、車輛和行人等;本體傳感器包括輪速編碼器、轉速計、慣導定位系統等,功能是記錄車輛自身的行駛狀態信息,可以通過車輛CAN 總線訪問。自動駕駛汽車要實現安全有效的自主行為決策與運動控制,需要對交通環境進行精確識別與準確理解,在此過程中,各類傳感器利用自身優勢取長補短、相互配合,以提供精確的環境數據[3]。為使自動駕駛系統對環境工況完全識別并作出正確判斷,現有的主要解決方案為在硬件層面上進行堆疊,而自動駕駛數據采集系統所需記錄的數據量也隨之增長。

然而,考慮到當前的自動駕駛系統無法處理實際交通場景中的全部工況,一旦自動駕駛汽車發生事故,研究人員需要保留記錄以便回溯整個過程,包括事故發生時的行駛環境視頻、車輛行駛狀態以及駕駛員實際操控指令等,這些重要的信息將幫助研究人員快速、精確地分析事故發生的原因。更重要的是,測試驗證及后續路試過程中出現的每個事件都能在一定時間內回溯[4-5]。

而進行自動駕駛功能測試時,絕大多數研發機構仍堅持選擇“人工標定”的方法,即除駕駛員外,另外配備一名輔助測試人員坐在副駕駛位置記錄每次駕駛員介入自動駕駛系統并接管車輛控制權時的行駛環境,標記為當前算法無法有效處理的工況。這樣,研究人員逐漸形成一種類似人工標定異常工況(指自動駕駛算法無法有效處理的工況)的技術流程,但實際標定過程所需的人力成本與時間成本無疑是巨大的,“人-車”控制指令之間的偏差已成為表征數據是否有價值的關鍵,也將為下一代自動駕駛汽車擬人智能化決策與控制算法開發提供重要理論依據與數據支撐。

2 先進的數據采集技術

以L3、L4級自動駕駛汽車為例,其所需記錄的信息主要分為交通場景信息和駕駛行為信息兩類[6],包括車輛行駛狀態數據、道路交通環境數據、駕駛員操控行為數據、自動駕駛狀態數據、執行器狀態數據等,相關的輸入、輸出和中間控制模塊如圖1所示。

圖1 控制執行模塊

2.1 交通場景數據采集

交通場景是指車輛在參與道路交通過程中所處的場景,它是無人駕駛算法開發和測試的基礎,也是算法落地應用的具體情境[7-8]。針對交通場景數據的采集,現有方案主要將毫米波雷達、激光雷達、超聲波雷達和攝像頭等多套傳感器系統組合使用[9-10]。

毫米波雷達是高級駕駛輔助系統的核心傳感器,其探測性能較穩定,作用距離較長,但成本較高、識別行人較困難[11-13]。激光雷達是L3、L4級自動駕駛環境感知系統中的關鍵傳感器,其感知距離較遠、覆蓋范圍廣、掃描時間短、探測精度較高,能夠實時進行3D 建模[14-16]。超聲波雷達成本較低,能實現高精度、短距離測量[17-19]。攝像頭主要通過鏡頭和圖像傳感器實現圖像信息的采集功能,可實現360°視覺感知,并彌補雷達在物體識別上的缺陷,是最接近人類視覺的傳感器。

2.1.1 特斯拉傳感器配置方案

特斯拉(Tesla)的傳感器配置方案如圖2所示,每輛車均配有8個攝像頭、1個毫米波雷達和12個超聲波雷達。

圖2 特斯拉傳感器配置

在車輛的前風窗玻璃內側有3個攝像頭,分別為前視寬視野(超廣角)攝像頭、前視主視野(主)攝像頭和前視窄視野(長焦)攝像頭。超廣角攝像頭視野較寬,能夠拍攝到交通信號燈、障礙物以及車輛周圍距離較近的物體,適用于城市街道或低速緩行的場景;主攝像頭可覆蓋大部分交通場景;長焦攝像頭視野較窄,但探測距離足夠遠,可以清晰地拍攝到遠距離物體,適用于高速行駛的場景。在車輛的左、右側B柱內各有1個側方前視攝像頭,視野范圍90°,能夠精準判定加塞車輛,在進入視野盲區較大的十字路口時,也能監測到更多場景。在車輛的前輪后方,左、右側各有2個側方后視攝像頭,用于檢測車輛后方盲區。在車輛尾部裝有1 個后視攝像頭,用于復雜的泊車場景[20-22]。攝像頭成像的動態效果如圖3所示。

圖3 特斯拉攝像頭成像動態效果

車輛毫米波雷達的探測角度與長焦攝像頭基本相同,但毫米波雷達的特定波長使其在雨、霧、雪等天氣條件下均能判斷距離,識別前方車輛下方空間,從而彌補視覺傳感器的不足。超聲波雷達可以探測強行并道的車輛,并可在泊車時判斷距離[23]。

通過特斯拉車主手冊、隱私聲明等渠道的調查發現,該車輛利用3 個系統進行車輛數據的整合,即事件數據記錄(Event Data Recorder,EDR)系統、車輛遠程信息系統以及完全自動駕駛(Full Self-Driving,FSD)計算平臺。其中,EDR系統在Model S、Model X和Model 3車型中均進行了配置,在正常行駛時,EDR系統不會記錄數據,當系統檢測到碰撞發生或類似碰撞的情況(如撞擊道路障礙物)時,EDR系統才會記錄與車輛動力學和安全系統相關的數據,主要包括車輛各系統的工作狀況(電機轉速、橫向加速度、縱向加速度、轉向盤轉角、橫擺角速度、橫滾角速度等),駕駛員、前排乘員安全帶是否系好,駕駛員踩下加速、制動踏板的情況以及車速,便于事故發生后的責任認定。

車輛遠程信息系統可以收集更完整的行車數據。其中,電機、自動輔助駕駛(Autopilot)組件、電池、制動、電氣系統內的電子模塊會記錄駕駛過程中的各種駕駛狀況和行車情況,主要包括制動、加速、旅程信息和其他行車信息。同時,車輛充電情況(狀態、時間)、啟用/禁用各系統、診斷故障代碼、車輛識別代碼(Vehicle Identification Number,VIN)、車速,行車方向和地點也會被記錄。相比于EDR 系統收集的數據,車輛遠程信息系統所收集的數據更加敏感,同時,可訪問這些數據的人員范圍更廣。例如,在車輛的維修過程中,特斯拉工程師可以訪問、使用、存儲這些數據,車載遠程信息系統也會將數據定期無線傳送至特斯拉總部。擁有這些數據后,特斯拉將為車主提供遠程信息服務等。另外,除車主或租賃公司同意/贊成、警方的正式要求、為特斯拉辯護、法庭下令、用于研究目的(不會泄露車主身份信息)、向下屬公司或其信息系統及數據管理提供者披露6個因素外,特斯拉承諾不會向任何第三方泄漏車輛的記錄數據[24-26]。

如表1所示,縱觀特斯拉自動駕駛硬件處理平臺的發展歷程,最值得一提的是其于2019年3月自主研發并于2020年10月升級迭代的FSD計算平臺。

表1 特斯拉自動駕駛硬件平臺升級歷程

Tesla自主研發的FSD芯片采用三星14 nm工藝,面積為260 mm2,封裝了約60×108個晶體管,集成了12 工作頻率為2.2 GHz 的Cortex-A72 內核、1 個工作頻率為2 GHz 的MAli G71 MP12 圖形處理器(Graphics Processing Unit,GPU)、2 個工作頻率為2 GHz 的神經處理單元(Neural Processing Unit,NPU)以及各種硬件加速器,同時支持單、雙精度的浮點運算。在相機接口方面,FSD 芯片具有1 個攝像頭串行接口(Camera Serial Interface,CSI),該接口能夠進行每秒高達25×108像素的處理;在視頻編碼器方面,FSD 芯片集成了H.265(高效率視頻編碼,HEVC)視頻編碼器,可用于攝像頭顯示、行車記錄儀和云剪輯記錄等;在圖像信號處理器方面,FSD 芯片集成了內部帶有24 bit 流水線的信號處理器(Image Signal Processor,ISP),每秒能夠處理10×108像素,同時具有降噪能力;在神經處理單元方面,FSD芯片集成了2個定制的NPU,每個NPU都封裝了32 MB的靜態隨機存取存儲器(Static Random-Access Memory,SRAM)用于存儲臨時數據。另外,FSD芯片具有專用的神經網絡處理器,算力強大(每秒鐘可處理144×1012次操作);配有雙獨立電源,確保安全冗余;水冷設計,散熱好(全球首例)。

在FSD 硬件計算平臺基礎上,特斯拉在軟件升級中基于鳥瞰圖(Birdview)映射網絡及循環神經網絡(Recurrent Neural Network,RNN)遮擋處理技術增加了深度預測和時間預測,實現了識別畫面從2.5D到4D的變革,主要體現在無高精度地圖、無激光雷達的條件下僅憑視覺,利用神經網絡學習代替激光雷達來確定物體深度及實現交叉路口預測,如圖4、圖5所示。

圖4 基于FSD Beta的視覺檢測

圖5 基于RNN及時間預測的交叉口預測

特斯拉FSD Beta 版的更新說明中指出:新的功能可以使車輛在離開高速路的情況下自動變道,并根據導航路線行駛,在路口實現自動轉彎。然而,特斯拉FSD 之所以能夠實現這些新功能,關鍵在于其人工智能(Artificial Intelligence,AI)團隊正在開發的DOJO 超級訓練計算機。DOJO 能夠處理大量的視頻訓練數據,并能夠高效地運行帶有超大量參數的超空間陣列。DOJO能夠從視頻中自主地學習和識別先前未被定義或未被標記的信息,如行人、動物、坑洼地段等,進而可以大幅提高訓練速度和效率。因此,無論在白天或夜晚,特斯拉FSD Beta 在任何路況下都會以標記大量“點”的方式來構建附近的“實時三維地圖”,連續的“點”構成線和面,附近一切靜止和運動的目標則會一目了然。

2.1.2 奧迪傳感器配置方案

2019 年,奧迪(Audi)公司推出的奧迪A8 車系搭載了交通擁堵導航(Traffic Jam Pilot)系統,這是全球首款搭載L3級別自動駕駛技術的車型[27]。利用前向攝像頭以及處理芯片Eye Q3,該車可以實現多車道線識別;利用長距離、中距離毫米波雷達可以實現車輛及護欄的檢測。激光雷達與毫米波雷達傳入自動駕駛系統的信息不同,是由多條線段組成的一個面。有了面狀信息,系統即可精確地判斷自身車輛與周圍障礙物的位置關系,進而進行精確的控制[28]。其系統主要架構如表2所示。

表2 奧迪A8交通擁堵導航系統主要架構

2.1.3 谷歌傳感器配置方案

谷歌公司在其改裝的捷豹I-Paces自動駕駛車型中配備了第五代傳感器系統,該系統可以實現L3 級別的自動駕駛,包括激光雷達系統、視覺系統、雷達系統和補充傳感系統[29]。車頂使用1臺高性能中遠距離激光雷達傳感器,將其與一組具有360°視野的立體攝像頭整合在同一個整流罩下,同時配備了4 個近距離激光雷達,分布在前、后車牌以及車前輪輪拱處協助處理盲區,并且各增加了1個攝像頭與其進行配合。在6個毫米波雷達中,4 個安裝在車頂四角與車身成45°夾角、2 個安裝在車前輪輪拱處與車身平行探測十字路口側向來車情況,也可探測側向車道的車輛和行人,以便于變道決策。毫米波雷達中的天線罩、天線、電路板、機械外殼、固件、軟件等均為慧摩(Waymo)自研。全車29個攝像頭能最大程度地降低光照條件和極端天氣的影響,輪拱處的攝像頭可緊盯靠近車輛的異物,車頂前方安裝了一組麥克風陣列,用于對聲音進行收集。除了以上傳感器,車上還裝有GPS 接收機、即慣性測量單元(Inertial Measurement Unit,IMU)等傳感器用于實現整車定位,幫助車輛更加安全、穩定地運行[30]。其傳感器配置發展歷程如表3 所示。

表3 慧摩(Waymo)傳感器配置發展歷程

2.1.4 華為傳感器配置方案

極狐阿爾法S華為HI 版搭載了華為提供的全套高階自動駕駛解決方案,配備了3個激光雷達(左前、右前及中間)、13個攝像頭、6個毫米波雷達、1個車頂慣性導航系統和1個域控制器[31]。該車型配備的車規級高性能激光雷達產品選擇了華為自主設計、開發的96 線中長距激光雷達產品,能實現對城區行人、車輛的檢測覆蓋,并兼具高速車輛檢測能力[32-33]。華為自動駕駛全棧解決方案(Autonomous Driving Solution,ADS)系統架構如表4所示。

表4 華為ADS自動駕駛系統

2.1.5 理想傳感器配置方案

理想在2020年發售的理想ONE車型上搭載了1個ADS 攝像頭、4 個環視攝像頭、1 個毫米波雷達和12 個超聲波雷達,并在2021 年發售的理想ONE 車型上新增了4 個毫米波雷達,同時其前視攝像頭升級成了一個800 萬像素/120°視角的感知攝像頭[34]。2023 年推出的理想L7 車型上的AD Max 輔助駕駛系統搭載了1 個激光雷達、6 個800 萬像素攝像頭、5 個200 萬像素攝像頭、1個毫米波雷達和12個超聲波傳感器。

如表5 所示,對比近年理想車型,理想L 系列強化了依賴攝像頭的視覺感知。

表5 理想部分車型傳感器配置變化對比 個

2.1.6 蔚來傳感器配置方案

蔚來擁有蔚來自動輔助駕駛(NIO Pilot)系統和蔚來自動駕駛(NIO Autonomous Driving,NAD)系統2種自動駕駛系統[35]。NIO Pilot 系統由3 個ADS 攝像頭、4 個環視攝像頭、5 個毫米波雷達、12 個超聲波雷達和1 個駕駛員監控系統(Driver Monitor System,DMS)攝像頭組成[36]。3 個ADS 攝像頭組成一個三目攝像頭,主要可以實現道路標志識別、遠近光自動控制、車道偏離預警、車道自動保持、緊急制動輔助、前向碰撞預警等功能。5個毫米波雷達包括1個前置長距離雷達和4個角雷達,主要可以實現車道變換預警、車輛盲點監控、側方開門預警、前向來車預警、后向來車預警等功能。相較于NIO Pilot系統,NAD系統的感知解決方案AQUILA超感知系統則更加完善。在前置攝像頭方面,NAD 系統采用2 個ADS 前視攝像頭、2 個側前視攝像頭(瞭望塔式布局)和1 個前置激光雷達,完全能夠覆蓋NIO Pilot 系統采用三目攝像頭情況下的視野探測范圍。此外,NAD 系統還增加了1 個前置激光雷達和蜂窩車聯網(Cellular Vehicle-to-Everything,C-V2X)通信模塊。這些硬件布局的完善使得自動駕駛更加智能化。2 個系統的主要傳感器配置如表6所示。

表6 蔚來NIO Pilot系統與NAD系統對比

為使自動駕駛系統能夠應對外部環境的多變性和復雜性,現有的解決方案主要在硬件層面進行堆疊,通過添加冗余的傳感器確保對場景進行完整復現。如上文所述,特斯拉、蔚來等整車制造商均采用了比普通ADAS 系統更多的攝像頭進行環境感知,其主要目的是保證無死角地采集數據,全方位還原交通場景。但與此同時,這些冗余的高精度傳感器也產生了更多高噪聲、低質量的數據,為后續的數據存儲及處理帶來了挑戰。

2.2 駕駛行為數據采集

駕駛行為數據包括車輛在行駛過程中的各項狀態參數和駕駛員的操作行為,這些駕駛行為數據在算法的驗證和測試階段可發揮重要作用。例如,當同向車道車輛意圖換道時,由于環境中的強光或對方駕駛員不開啟轉向燈,導致外部環境感知的結果是同向車輛在正常直行,智能駕駛算法可能對此作出誤判。但是,如果有人類駕駛員介入車輛換道場景,通過采集人類駕駛員的駕駛行為數據,即可用人類駕駛員的操作行為數據和算法模擬出的操作行為數據進行對比,進而驗證算法的合理性并進一步優化算法。

駕駛行為數據采集系統可分為基于移動設備的駕駛行為數據采集系統和基于車載設備的駕駛行為數據采集系統[37]。當下廣泛使用的智能手機均安裝有高精度運動傳感器和全球定位系統,充分利用這些已有傳感器可以大幅降低數據采集的成本,并能獲取大量較高精度的車輛位置、速度和加速度等信息[38-40]。使用車載設備采集駕駛行為數據,可以獲取種類更多的數據,如駕駛員眼動信息、心電信息和環境視頻信息等,車載設備同時兼具采樣頻率高、測量誤差低等優點[41-43]。

目前已公開的駕駛行為數據集有2 個[44]:州立農業公司分心駕駛員數據集(State Farm’s Distracted Driver Dataset)和開羅美國大學分心駕駛員(AUC Distracted Driver)數據集。前者[45]是一個關于駕駛姿勢分類的數據集(用以檢測駕駛員的駕駛行為),由State Farm 公司發布,通過將2D 攝像機固定在乘員頭頂的扶手上進行數據采集,分類好的圖像數量高達22 424 張;后者[46]是開羅美國大學仿照前者所創建的,主要收集駕駛員分心時的駕駛動作,通過華碩ZenPhone(型號Z00UD)手機進行數據收集,目前共包含17 307張圖像。

除上述2種公開的駕駛行為數據集外,國內的東南大學也建立了類似的數據集[47],不過只包含了4類駕駛動作,普遍性較低且尚未公開。

2.2.1 基于車載設備的駕駛行為數據感知

基于車載設備的駕駛行為數據感知過程是指在某一時間段內,車載傳感器對車輛自身的狀態進行感知,然后數據采集系統進行數據采集[48],這些數據包括但不限于行駛過程中車輛的加速度、輪轂轉動的角速度、油箱液位等車輛最基本的信息,反映了車輛在當前工況下的基本狀態。同時,這些信息也可以反映駕駛員的駕駛行為和習慣,例如,通過一段時間內的車速變化可以推測駕駛員的駕駛行為是激進還是保守。

車載環境感知傳感器系統主要分布于汽車的動力總成、底盤和車身。其中,車身傳感器覆蓋范圍很廣,任何不應用在動力總成和底盤上的傳感器都可歸類為車身傳感器[49]。相較于激光雷達、毫米波雷達、超聲波雷達等較為精確的新型傳感器[50],動力總成、底盤和車身傳感器則可視為傳統傳感器,相應分類與工作原理如表7所示。

表7 傳統傳感器種類及應用原理

傳感器收集車身數據后發送給電控系統,電控系統對數據進行處理,最終實現對駕駛員駕駛信息的完整收集。

基于車載設備的駕駛行為數據獲取主要流程如圖6所示:駕駛員的駕駛行為被車載傳感器感知;數據采集系統記錄傳感器采集到的數據。由于初始數據量龐大,數據采集系統往往需要對采集到的冗余數據進行刪除,保留可用的數據供自動駕駛算法或研究人員使用[51]。

圖6 駕駛行為數據獲取流程

為研究駕駛員的行為中與碰撞風險相關的因素,弗吉尼亞理工運輸研究所(Virginia Tech Transportation Institute,VTTI)為其試驗車輛配備攝像頭、雷達等傳感器來自動和連續地收集駕駛參數,包括速度、碰撞時間、位置、加速度和眼睛瞥視行為。在自然駕駛研究領域,Lee 等為了研究青少年新手駕駛員和成年有經驗的駕駛員的駕駛碰撞事故率,在車輛上裝配了數據采集系統(Data Acquisition System,DAS),采集駕駛員駕駛過程中的視頻和運動傳感器的數據[52]。

2.2.2 基于移動設備的駕駛行為數據感知

基于移動設備的駕駛行為感知主要是利用手機等智能移動設備自帶的傳感器實現對駕駛員駕駛行為信息的采集。該類設備通過GPS模塊采集駕駛行為數據,并通過網絡上傳到云端。此類數據采集方式速度快、頻率高、參與人員廣泛。

目前可利用的移動設備傳感器分為2類。第1類是大多數智能手機中自帶的運動傳感器,包括利用加速度計測量汽車速度或加速度來記錄汽車縱向行駛的數據、利用陀螺儀測量汽車角速度來記錄汽車橫向行駛的數據,或者利用磁力計(如指南針)分辨汽車行駛方向與確定駕駛路況,相應流程如圖7所示。

圖7 手機數據收集處理方案

第2類是位置傳感器,如常用于室外環境的GPS和其他基于網絡的位置服務,利用車載GPS接收機或手機自帶的位置服務模塊獲取車輛的軌跡信息,進而計算車輛的行駛速度、加速度和轉彎信息等[53]。這些傳感器與自動駕駛系統相互配合,對駕駛行為數據進行分析收集,得益于相應的傳感器與GPS 定位功能,智能手機已成為收集和處理汽車移動感知數據的有效工具。

但利用智能手機進行駕駛行為數據的收集也有十分明顯的缺點:首先,大多數智能手機中自帶的運動傳感器精度較低,所以收集的數據噪聲較大;其次,參與數據收集的人員十分廣泛,存在駕駛人員職業與習慣多樣性的問題,數據總體的不確定性較強[54],數據量也十分龐大且冗雜。因此,如何有效處理采集的車載傳感器數據將成為基于移動設備的駕駛行為數據采集技術開發的關鍵。

3 自動駕駛數據記錄系統

隨著自動駕駛技術的不斷發展,車輛上所搭載的各種傳感器、控制設備與感知設備的數量愈發龐大,自動駕駛的軟件愈加復雜化,事故分析所需數據越來越多。此時,先進的自動駕駛數據記錄與存儲技術顯得極為重要。數據記錄系統可以幫助進行數據重建,這些數據不但能作為還原事故現場的依據,還能為自動駕駛系統的升級提供數據支撐[55-57]。

3.1 汽車事件數據記錄系統

汽車EDR系統是由1個或多個車載電子模塊構成,具有監測、采集并記錄碰撞事件發生前、發生時和發生后車輛和乘員保護系統的數據功能的裝置或系統[58]。

EDR 系統一般會記錄如下信息:碰撞發生前汽車的動力學數據和系統的狀態信息;駕駛人輸入信息;碰撞發生信息;乘員約束裝置使用/關閉狀態信息;碰撞后數據,如碰撞自動求助(Automatic Collision Notification,ACN)系統啟用及工作情況的信息[59]。多數情況下,在事故發生時,EDR 系統都會觸發并對數據進行記錄和儲存。事故發生后,對EDR 系統數據進行提取[60],通過客觀證據分析事故的成因,判定責任[61]。

在EDR 系統研究方面,20 世紀70 年代,美國已經開發出了EDR系統的相關產品,并在2006年頒布法規,規范了汽車碰撞事件記錄的內容和讀取方法。美國國家道路交通安全管理局要求,自2014年9月后,美國境內所有銷售的車輛都需要配備EDR 系統。在日本,目前已經形成EDR 系統的行業標準,但并未強制實施。在歐洲,目前還沒有統一的EDR系統標準及法規,但大多數車輛已經具備EDR功能。我國之前在EDR系統標準的研究與制定領域存在空白,為加強對汽車事件的成因分析及取證,建立完整、可信的車輛事件數據記錄系統,工業和信息化部組織行業機構、重點企業等研究開展了《汽車事件數據記錄系統》強制性國家標準的制定,并于2022年1月1日正式實施[62]。

該標準提出了“碰撞事件觸發閾值”的概念,即當車輛達到以下觸發閾值條件時,該事件才應被記錄[63]:

a.當車輛僅記錄“縱向delta-V”時,觸發閾值為在X軸方向上150 ms時間區間內不小于8 km/h的車輛速度變化。

b.當車輛同時記錄“橫向delta-V”時,觸發閾值為在X軸方向或者Y軸方向上150 ms 時間區間內不小于8 km/h的車輛速度變化。

其中,“delta-V”表示速度變化量,即碰撞前車速與碰撞后車速的矢量差:

式中:v1為碰撞前車速,v0為碰撞后車速。

對于以上2 種情況,如果事件持續時間小于150 ms,那么車輛速度的變化等于或者超過8 km/h 時,該事件也應被記錄。

EDR系統通過CAN總線對車輛運行數據進行連續監控,當車輛在一定時間內縱向或橫向速度變化量達到閾值時,EDR 系統便儲存碰撞前至碰撞后共計幾秒內的車速、發動機轉速、制動踏板開關狀態、縱向加速度、轉向盤轉角、安全帶使用情況等數據。當車輛的被動安全裝置如安全氣囊起爆時,儲存的數據將被鎖定,不可更改。若被動安全裝置未起爆,EDR 系統儲存的數據可能隨車輛的后續運行而被其他事件覆蓋[64-66]。

近幾年,隨著EDR系統的部署,研究人員在此基礎上研發了一種自動駕駛汽車事件數據記錄(Autopilot Data Recorder,ADR)系統。ADR 系統由ADR 設備、車載以太網網關、車載網聯終端、視頻記錄設備及云平臺5 個部分組成,能自動偵聽和采集自動駕駛控制器(Autopilot Control Unit,ACU)發來的自動駕駛系統數據并將不同數據寫入各自的文件緩存中。其中,事件信號由自動駕駛系統的決策程序進行判斷和提供,數據處理流程如下:

a.當接收到事件信號時,ADR 設備將通過音頻視頻橋(Audio Video Bridge,AVB)協議向網聯終端和視頻記錄設備發送事件通知,并將發生時刻前90 s和后30 s的數據進行鎖定保護。

b.ADR 設備和視頻記錄設備通過文件傳輸協議(File Transfer Protocol,FTP)將該時間段內采集的自動駕駛系統數據和車輛視頻數據上傳至網聯終端,最終由網聯終端上傳至云平臺[67-68]。

3.2 自動駕駛數據記錄系統

自動駕駛車輛投入市場前,必須解決如何準確獲取自動駕駛過程的相關信息并利用這些信息對事故進行重建的問題。自2021 年起,國內外整車制造商正在陸續實現L3 級別自動駕駛車輛的量產。而L3 級別自動駕駛車輛在使用過程中存在的人機共駕行為會使交通事故責任主體的判定變得模糊,給法律責任界定帶來較大困難。因此,用于獲取自動駕駛過程信息的自動駕駛數據記錄系統(Data Storage System for Automobile Driving,DSSAD)的研究顯得極為重要[69-72]。

DSSAD可以視為自動駕駛的“黑匣子”[73],用于記錄L3 級別及以上自動駕駛車輛在達到觸發條件時刻前、中、后特定時間段車輛、駕駛自動化系統、行車環境及駕駛員數據信息,以此確定在不同時間、地點,控制車輛的是駕駛員或是自動駕駛系統。

根據數據記錄裝置的集成方式,DSSAD 可分為2種[74]:

a.通過單獨的數據記錄裝置對關鍵信息數據進行記錄。首先,DSSAD實時讀取車輛的各項數據,如車輛的運行狀態(轉向盤轉角、車速、加速度、制動力等)、車輛周圍的環境信息、駕駛員的行為信息等;之后,系統通過DSSAD 控制器內規劃的事件邏輯進行實時監測,當檢測到的數據達到系統閾值時,DSSAD 控制器自動觸發記錄,并將關鍵信息儲存在DSSAD 內部的存儲單元中。值得注意的是,由于該類系統使用單獨的數據記錄裝置,存儲容量有限,系統將會按照數據的優先級覆蓋過去的數據。存儲具體流程如圖8所示。

圖8 具有單獨數據記錄裝置的DSSAD數據記錄流程

b.將數據記錄模塊集成在域控制器中。該類DSSAD通過將數據記錄模塊集成在域控制器中實現與各控制器的通信,對感知、決策、控制信號進行儲存。DSSAD 控制器集成在自動駕駛中央控制器內部,并與其他控制器通過總線進行連接通信,系統根據事先規劃的事件邏輯進行實時監測,當滿足觸發條件時進行邏輯觸發,并通過總線向各控制器發送數據記錄鎖存信號。各控制器在接收到此信號后根據設計要求記錄關鍵數據信息。與第1種方式相比,該方法更加高效,所儲存的數據更加完整,但相應地失去了其獨立性,與其他控制器關聯性較強。一旦其他控制器存在故障或數據傳輸異常,會嚴重影響其功能。其具體實現原理如圖9所示。

圖9 中央控制器集成DSSAD數據記錄流程

EDR 系統與DSSAD 的數據存儲包括本地存儲和云端存儲,其中EDR 系統要求存儲一個事故中前90 s與后30 s 的數據,存儲容量不少于3 次連續碰撞事故的數據大小。而DASSD 則要求記錄每一次事故中駕駛員與自動駕駛系統之間決策對象的轉換情況,存儲容量要求在6 個月內至少存儲2 500 次相應事故的數據。根據Insup Kim 等的研究,EDR 系統與DASSD 的云端數據存儲量可根據其本身需要數據量的大小、觸發數據采集的次數以及數據保存的周期計算。而本地存儲量可以通過傳感器數據的帶寬以及過程中所需的傳感器數量來計算。如果EDR 系統與DSSAD 在存儲數據時盡可能地節省傳感器的使用,則其存儲的數據如表8所示。

表8 EDR系統與DSSAD所需存儲數據量

EDR系統和DASSD的不同點主要在于系統設計目的、搭載車輛、數據可用性以及系統任務4個方面。

在系統設計目的方面:EDR 系統側重于發生碰撞時的相關數據,一方面可用于確認事故發生的原因,另一方面可以借此改善車輛的安全系統;DSSAD 側重于記錄L3 級別及以上車輛在自動駕駛過程中,在達到觸發條件前、中、后自動駕駛系統、行車環境以及駕駛人員等數據信息。事故發生時,自動駕駛車輛可能會成為責任主體[75],所以要確定在不同時間、地點,控制車輛的是駕駛員還是自動駕駛系統,以厘清責任[76-78]。

在搭載車輛方面:EDR 系統用于所有車輛,包括乘用車、輕型貨車及重型貨車,而DSSAD則適用于配備了L3、L4 級自動駕駛功能的車輛??梢灶A見,未來在L3及更高級別的自動駕駛車輛中,EDR 系統與DSSAD 的共同使用將成為一大趨勢。

在數據可用性方面:EDR 系統主要記錄碰撞等較為嚴重的事故(如安全氣囊啟動、翻車)的相應數據,且數據在被提取前一直可用,而DSSAD觸發的閾值更低,且至少可用6個月。

在系統任務方面:EDR 系統提供碰撞前、后小片刻時間的簡單數據,DSSAD 側重于記錄駕駛員及自動駕駛系統對車輛駕駛權轉移的分析,并對車輛周圍的環境數據進行記錄。

3.3 一般L3級別車輛數據存儲方法

L3級自動駕駛車輛的數據記錄與存儲主要服務于自動泊車(Autonomous Valet Parking,AVP)場景、高速代駕(High Way Pilot,HWP)場景、交通擁堵導航(Traffic Jam Pilot,TJP)場景、自動緊急制動(Automatic Emergency Braking,AEB)場景,自動駕駛數據存儲內容如表9所示。

表9 自動駕駛數據存儲內容

數據記錄系統伴隨著自動駕駛系統功能的開啟而觸發,但不一定是激活狀態,如果本地存儲空間充足,則利用本地存儲空間進行存儲,否則告知后臺啟動無線網絡存儲,要求在網絡空閑時將記錄的數據上傳到指定的云端,同時支持收到遠程發送的請求后上傳(每類事件每次數據單獨區分),便于及時讀取、分析。數據上傳可由車載主機(Head Unit,HU)通過車載通信終端(Telematics BOX,T-BOX)或控制器自行上傳。各存儲單元存儲內容如表10所示。數據記錄的具體操作過程如下:當車輛起動時,數據記錄系統進行自檢及初始化,無故障時發送相關的信息至自動駕駛系統,系統接收到該信息后,由駕駛員進行激活操作,此時數據記錄系統進入可激活待機狀態。進而,一般有2種典型的觸發方式可激活數據記錄系統:

表10 各存儲單元存儲內容

a.當L3 級自動駕駛系統正常工作時,會發送相應的功能標志位給數據記錄系統,自動駕駛系統的功能狀態標志包括激活、退出、超越、接管以及緊急制動等,隨后數據記錄系統隨時進行監控,并根據相關數據信號發起記錄過程。當數據記錄系統有故障時,則需要將故障狀態發送給L3 級自動駕駛系統知曉,為了規避無數據記錄駕駛車輛的情況,系統此時將不能進入自動駕駛激活狀態。

b.當L3 級自動駕駛系統工作異常時,各記錄終端自動開始記錄,記錄內容一般包括當前時間節點前一定時間(一般設置為20 s)內系統相關內容狀態,此時從觸發記錄開始計時,當觸發時間大于一定值,如10 s 后系統仍不能恢復時,則退出此次記錄過程,并將數據上傳至后臺。

上述2種情況可能存在交叉,比如TJP或HWP系統正常工作時,系統檢測到記錄事件發出數據記錄請求,但是在發送請求到系統響應期間,若數據記錄系統檢測到L3 系統異常,則數據記錄終端應保持記錄前一個異常事件,同時待記錄完成后判斷當前系統狀態是否恢復正常,若未恢復,則從此時開始向前瞬移一定時間進行系統狀態記錄,同時向后順延一定時間結束記錄過程。當觸發多個事件記錄時,則需按照事件觸發的時間先后及緊急狀態自動進行歸類存儲。

數據記錄過程完成后,需要根據系統的存儲空間進行上傳存儲,具體過程包括本地存儲空間檢測與上傳確認:

a.本地存儲空間檢測。當檢測到DVR、GW、AVM存儲空間將滿時,則發出相應的提示信息。自動駕駛數據與T-BOX 建立通信,將相應的記錄數據上傳至TBOX,當T-BOX 也存儲滿時,則進行實際狀態轉發,并將相應的數據通過TSP上傳到云端。

b.上傳確認。DVR、網關、AVM上傳時需要支持斷點續傳,無論是由于電源斷電還是網絡卡頓、中斷等,需要保留數據斷點信息,以便在系統電力或網絡恢復后重新接續上傳。同時,本地數據上傳完成后,需要定時刪除以保持相對應的容量。由于最終記錄的數據會上傳至云端,其存在一定的數據泄密風險,因此需要對數據信息進行安全保護,可以采用多重加密算法進行數據加密。記錄數據的讀取方式可通過發送診斷請求形式,通過診斷口或專用接口讀取所記錄的數據。

隨著智能網聯技術在汽車行業深入發展、傳感器數量與精度的不斷提高,不僅是先進的自動駕駛數據采集方法所收集的數據容量在增加,先進的自動駕駛數據存儲方法所需處理與存儲的數據也在增多。按照當前行業內較為先進的汽車數據采集設備估算,一輛自動駕駛汽車每小時采集的數據量可達1 TB。假定按照每天采集里程500 km,每天采集時長16 h(白天和夜晚各8 h)進行測算,那么,單輛汽車在一個200天的測試周期中,數據采集量將高達3.2 PB。這些海量數據中含有大量相似或重復數據,特征性不足,甚至是含有噪聲的低質量數據,給自動駕駛系統測試與驗證過程帶來復雜的問題和巨大的工作量,為系統性能的優化帶來了新的阻礙,形成了自動駕駛系統的“大數據災難”[79-81]。

4 特斯拉影子模式

2018 年2 月,特斯拉在遞交給加州交通管理局(California Transportation Authority,CTA)的報告中稱,該公司在2017年并未在加州州際公路上開展完全自動駕駛路測,但其Autopilot系統卻在持續記錄車輛真實的駕駛數據。2019 年4 月,特斯拉正式提出“影子模式(Shadow-mode)”的概念,如圖10所示。

圖10 特斯拉影子模式

影子模式的含義是自動駕駛算法伴隨人的駕駛一同運行但不實際控制車輛[82],其目的是希望共享所有特斯拉車輛的駕駛數據,從而代替原本只采集少量特定試驗車的測試方案,同時也能改善自動駕駛測試場景過于局限等問題。

影子模式的工作機理是:當自動駕駛算法產生的預期動作指令與真實駕駛員的實際控制指令存在差異時觸發系統記錄功能開啟,系統會計算產生的預期動作指令的實際正確率,針對高錯誤率的預期動作指令所對應的場景,系統會記錄下相應數據用于后續的神經網絡訓練。也就是說,自動駕駛算法一直在持續模擬決策并且將決策結果與駕駛員的行為進行對比,如果駕駛員的實際駕駛行為與自動駕駛算法輸出指令不一致,則觸發系統的記錄功能。

特斯拉的影子模式將一系列傳感器所捕獲的數據傳回云端用于算法的進一步開發。盡管對于自動駕駛系統算法的開發而言,這樣的方法頗為有益,但隨之而來的是用戶的隱私問題。雖然沒有證據表明特斯拉收集的數據超出了該公司服務條款的范圍,但公眾也并不清楚特斯拉收集了哪些信息以及如何利用這些信息[83]。無論如何,特斯拉影子駕駛系統所提出的一種人機共駕下自動駕駛系統實時運行但不控制車輛的數據記錄方法仍值得研究。

5 總結與展望

隨著自動駕駛系統技術的升級與車輛自動化程度的提高,如何處理精確傳感器產生的大量冗余、低質量數據已成為限制先進的自動駕駛數據采集與存儲技術發展的主要問題,成為實現自動駕駛系統在無限場景下的測試與驗證的關鍵。開發出一種能夠實時記錄行車數據,并同步篩選出少量高質量數據存儲用于責任劃分與算法升級的數據采集與存儲系統,已成為先進自動駕駛數據采集與存儲系統的趨勢。

猜你喜歡
特斯拉攝像頭駕駛員
特斯拉Model S Plaid
林志穎駕駛特斯拉出車禍
浙江首試公路非現場執法新型攝像頭
基于高速公路的駕駛員換道意圖識別
駕駛員安全帶識別方法綜述
攝像頭連接器可提供360°視角圖像
真的“很香” 特斯拉Model3
基于太赫茲技術的新一代攝像頭及其在安防領域的應用探討
起步前環顧四周是車輛駕駛員的義務
新發布的特斯拉Model 3你會開嗎?
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合