基于大數據的交通管理系統

尚東方

（深圳大榆樹科技有限公司，廣東深圳518000）

基于大數據的交通管理系統

尚東方

（深圳大榆樹科技有限公司，廣東深圳518000）

隨著社會經濟的快速發展，交通問題逐漸成為影響居民生活質量、加重環境污染、阻礙城市發展的“城市病”。當前，交通管理部門匯集了大量的數據，因此，設計了基于大數據的交通管理系統。它以交管部門現有的數據為基礎，對數據資源進行管理、分析，建立交通數據管控體系和數據服務支撐平臺，以提高交通管理的稽查布控、車輛技戰、交通行為分析、交通流分析、數據查詢、數據服務和數據管理的專項應用水平，建立新型交通管理工作機制，從而為交通管理部門提供輔助決策依據，實現信息化的跨越發展。

大數據；交通管理系統；數據資源管理；智能化

目前，我國機動車保有量已達2.64億輛，每年仍在以1 500萬輛的趨勢增加。以上海為例，主干道高峰小時斷面交通流量超過1萬臺標準車，交通流分布指向、路網行程車速等數據更是不計其數[1-4]?，F階段，上海交警總隊掌握的各類數據總量約為2.41×106GB。這些數據既有宏觀總量，也有空間和時間維度上的分布，如何利用好這些數據，充分挖掘大數據價值、開展大數據服務，不斷提高道路交通管理的智能化和信息化水平，是公安交管部門面臨的現實問題。本文將總結現有交通管理系統中存在的問題，并提出基于大數據的交通管理系統。

1 交通管理中的瓶頸

以深圳市為例，2013年正式建立的深圳市整合交通運輸中心接入深圳市8大類（交通視頻數據、城市公共交通等）交通行業的系統數據，初步構建了城市“交通數據中心”，日均數據條數超過4 000萬。其中，數據主要有以下幾種類型，具體如表1所示。

表1 現有智能交通管理系統

與北京、上海等交通擁堵情況嚴重的城市相比，深圳市中心城區運行車速為27.4 km/h，交通運行狀況較好。實際上，深圳市中心城區交通狀況并不樂觀。以傳統擁堵路段布吉關為例，平均每天交通量達8.2萬輛，高峰時段盡管交通力量為5 732 pcu/h（每小時交通通行流量），但是，在軌道交通方面，地鐵1號線高新園站、車公廟站，3號線布吉站等站點的飽和度均超過100%.

隨著深圳的不斷發展，交通擁堵已經成為制約深圳城市向更高水平發展的重要問題之一。在應用傳統的交通管理系統的過程中，主要存在以下幾方面的問題。

1.1 交通管理數據覆蓋性不足

數據倉庫初步匯集了警情、事故、違法結構化數據，但是，卡口、電子警察、視頻和其他非結構化數據還未覆蓋；沒有有效利用全市基礎數據，車輛、交通工具、管理設施、交通機構、交通干系者和卡口等數據共享利用不足。

1.2 傳統數據倉庫技術架構存在瓶頸

目前，數據倉庫架構無法用于分析海量數據卡口、視頻、電警，系統并發量和性能要求無法滿足使用要求；交通管理數據抽取任務量過大，數據抽取不穩定、每日抽取方案無法完成、抽取效率降低、抽取自動化不足等問題時有發生；數據存儲面臨瓶頸，前期輔助決策應用采用的存儲方式主要是傳統的集中式存儲，但這對于數據安全性、風險等問題的可控性低。

同時，當前交警數據應用難以滿足大數據分析管理的要求，也未與市公安局大數據管理平臺進行數據對接與服務調用，嚴重影響了交通管理數據的應用成效。

1.3 專題業務應用深度不夠，實際業務決策支撐有限

隨著業務數據量的增加，目前的搜索引擎無法支撐海量數據搜索，全文搜索無法進行，數據查詢主要局限單條查詢，對于批量數據查詢、比對、關聯分析無法進行。當前數據倉庫與輔助決策系統的使用功能主要是常規統計分析，針對專題分析、業務模型分析、數據挖掘分析等應用不足，針對車輛技戰、大數據檢索、智能管理報告、緝查布控專題深度關聯分析、車駕事故主題分析、交通流專題深度關聯分析、交通行為專題關聯分析等還沒有有效支撐，基于批量比對、批量關聯、自定義模型分析、可視化展現、智能報告、智能報告等決策分析還沒有實現，難以適應日益復雜的業務決策分析需求。

1.4 未建立數據資源庫

交通管理數據資源體系缺少統籌規范，數據資源庫未建立，具體表現為以下幾點：①數據覆蓋面不夠，交警內部數據缺少全面整合；②現有數據標準規范性不足，難以滿足市公安局大數據管理平臺的數據管理規范要求，出現數據口徑不一致、數據冗余、數據不一致等問題；③交通管理數據倉庫主要側重關系型數據分析，但非結構化視頻、圖片、文檔、網頁數據沒有覆蓋；④業務基礎數據、業務數據、業務主題數據等沒有有效規劃，尤其是基礎數據缺少有效的清洗、比對，數據總體質量不足，難以滿足實際業務分析與決策需求。

1.5 數據分析可展現水平不足

在智能報表分析、智能GIS地圖展示、智能分析報告方面，數據分析可展現水平不足，暴露出了一些問題。

1.6 數據分析可自定性不足

交警每年的工作任務和重點具有較大差異性，每年度的重點工作不同，數據分析的方向和主題也會發生變化?，F有數據應用與分析數據定義不靈活，數據分析層次也不夠，難以滿足交警日益復雜的分析需求。此外，現有工作情況無法自定義數據分析模型，無法滿足快速分析的需求。在實際工作中，相關部門和人員要求能夠根據數據分析任務，快速生成相應的分析模型，形成分析結論。因此，構建一套更加科學、有效的大數據交通管理系統，成為改善城市交通擁堵現象的主要方式之一。

2 大數據技術介紹

TDH Hadoop是針對大規模分布式數據而開發的軟件框架，inceptor采用專有的高效列式內存存儲格式和為內存優化的Spark計算引擎。與Map-Reduce框架相比，它消除了頻繁的磁盤I/O。Spark引擎還采用了輕量級的調度框架和多線程計算模型，具有極低的調度和啟動開銷，執行速度更快，系統MTTR大大縮短。在實時在線應用方面，Hyperbase構建了全局索引、輔助索引和全文索引，擴展了SQL語法，滿足在線存儲和在線業務分析系統（OLAP）的低延時需求。Discover高效、快速的數據挖掘能力與TDH對主流可視化和BI工具的支持，綜合在執行引擎和數據存儲層上的優化，使得TDH性能全面領先開源Hadoop 2.0，比主流MPP數據庫快1.5～10倍[5-6]。

2.1 HDFS分布式文件處理系統

HDFS是一個高效的分布式算法，將數據的存儲和訪問分布在大量服務器之中，在可靠、多備份存儲的同時，還能將訪問分布在集群中的各個服務器上，是傳統存儲構架的一個顛覆性的發展。

2.2 Hbase數據庫

Hbase是運行在Hadoop上的NoSQL數據庫，是一個分布式、可擴展的大數據倉庫，也就是說，Hbase能夠利用HDFS的分布式處理模式，并從Hadoop的MapReduce程序模型中獲益。這意味著，在一組硬件上存儲著具有數十億行和上百萬列的大表。同時，除了Hadoop本身具有的優勢外，Hbase還是十分強大的數據庫，它能夠融合key/value存儲模式，具有實時查詢的能力，以及通過MapReduce進行離線處理或者批處理的能力?？傊?，Hbase能夠滿足在大量的數據中查詢記錄的要求。

2.3 Hive數據倉庫技術

Hive數據倉庫技術提供了類似于傳統SQL的編程模型，為海量機動車軌跡分析過程提供了友好的編程模型和方法，同時，它能利用Map/Reduce的高并發特性。

2.4 Storm

Storm是一個分布式的、容錯的實時計算系統，可以方便地在一個計算機集群中編寫、擴展復雜的實時計算。Storm保證每個消息都會得到實時處理，每秒可以處理數以百萬計的消息。

3 基于大數據的交通管理系統

基于大數據的交通管理系統建設，需在遵循公安局大數據管理平臺數據管理規范和技術框架要求的基礎上，全面推進交警信息資源高度整合、共享和綜合開發利用，構建面向公安交通管理的“交通管理大數據資源池”，建立交警數據管控體系，對接市局大數據平臺，創新性地利用大數據管理技術，以提高交通管理海量數據的稽查布控、車輛技戰、交通行為分析、交通流分析、數據查詢、數據服務和數據管理的專項應用水平，為公安交通管理大數據決策、大數據分析、大數據作戰、大數據服務奠定堅實的基礎，建立新型交通管理工作機制，全面提升大交通管理數據治理能力，實現信息化跨越發展。

3.1 數據資源管理平臺

基于公安局大數據管理平臺框架和管理規范的要求，搭建交警數據資源管理體系，形成交警大數據處理平臺，實現數據資源管理，整合交警內外部數據，構建大數據處理平臺，并對數據中心的資源進行資源管理、數據服務管理、平臺運行監控和數據共享交換等，搭建開放式數據應用環境。針對大數據開發各種查詢、分析、統計應用服務，掛接到服務總線進行發布，通過統一的門戶，面向交警工作人員，展現大數據的應用情況[7]。數據分析應用側重綜合性、異構數源的數據分析與輔助決策應用，分析的數據來源不僅僅局限于傳統的結構化分析數據，包括卡口、警情圖片、錄音、視頻、文本等非結構化、半結構化數據分析，重點是實現6大基礎分析服務和8大專項主題分析應用。這一部分重點是抽取已經清洗、比對形成的交通管理數據分析專題庫數據，實現交通管理結構化、半結構化、非結構化等全業務數據決策的分析應用，支撐平臺大數據分析。

3．1．1 數據預處理

在實際工作中，運用專門的數據抽取工具來完成數據的整合；運用定義好的數據抽取方案，按照交警數據標準的要求，支持數據以定時或實時方式、全量或增量復制抽取至標準數據庫和數據倉庫，并保證不影響原有業務應用系統的業務處理。數據抽取工具應支持當前公安業務應用系統中使用的各種數據庫類型（包括ORACLE、SQL、文件系統等），可根據業務需求定義數據種類、數據項等。

數據預處理具有非結構化信息采集功能，它可定制搜集公安網內的網頁、word文件、PDF文件、文本文件、電子表格文件、信息發布系統發布的信息等各類非結構化信息，并自動加載到分布式文件系統中。

3．1．2 數據資源管理

數據資源管理能實現對數據庫的資源管理、資源元數據管理、資源現狀動態監測、代碼表管理和資源多維檢索等。

3．1．3 數據資源目錄

資源目錄主要是用來對外提供交警大數據資源情況的清單。它將需要對外提供的各類數據資源，按照一定的數據劃分方式重新組織，對交警大數據的資源進行分類，這樣，用戶可以根據具體業務場景的不同、資源描述屬性的不同、資源時效性的不同等維度在云端查找到自己想要的資源。

數據資源分類目錄可以按不同應用專題建立信息分類體系，也可以按照數據資源的來源不同分類。通常情況下，數據資源目錄是由描述信息資源的名稱、專題、摘要或數據元素、分類、來源、提供部門等元數據組成的。

3．1．4 數據質量管理

在實際工作中，要制訂相應的數據質量清洗規則，通過簡單配置清洗、轉換不符合要求的數據?，F有數據是從多個業務系統中抽取而來的，包含歷史數據。當初在建立這些數據庫時，并沒有考慮到統一數據格式或者信息代碼規范，這樣就避免不了有的數據是錯誤數據、有的數據相互之間有沖突，標準不統一，這些錯誤的或有沖突的數據顯然是無法直接利用的，必須按照一定的規則清洗。

不符合要求的數據主要包括但不限于不完整的數據、錯誤的數據、重復的數據、多種釋義、格式代碼標準不一致等幾類。對于清洗轉換層，中標單位需要根據每種業務數據的情況來設定對應的清洗策略，包括自動清理和人工清理，保證交換后的數據達到相應的質量標準。

3．1．5 安全監控管理

為了保證系統的正常運行，需要實時監控系統各方面的情況，以便及時掌握系統的運行狀況，并能對故障作出快速反應。系統狀態監控是標準數據庫和數據倉庫的重要支持功能，由于基于標準數據庫和數據倉庫的主要功能對系統性能的消耗很大，都是峰值性能要求很高的非常規性操作，所以，提供完善的系統運行監控手段，利用監控數據合理調度系統是保證系統平穩運行的關鍵。

3.2 數據服務支撐平臺

搭建大數據服務支撐平臺，基于服務總線模式，實現各類數據資源的接入適配、授權管理、訪問控制、路由調度，提供在線數據服務管理功能，允許數據用戶在線進行數據申請、發布、訂閱、審核等。另外，交警通過基礎數據提供通用數據服務接口，以實現各類數據查詢、比對、統計、下載和監控告警等功能[8]。

搭建大數據服務支撐平臺，基于服務總線模式，實現各類數據資源的接入適配、授權管理、訪問控制、路由調度，提供在線數據服務管理，允許數據用戶在線進行數據申請、發布、訂閱、審核等，針對交警通過基礎數據提供通用數據服務接口，實現各類數據查詢、比對、統計、下載及監控告警等。

3．2．1 資源服務總線

資源服務總線主要用于解決服務整合共享問題，通過服務治理形式有效改善現有系統之間服務共享調用的網狀關系，使得系統之間的關系更加可視化，并提高管控能力。它的高性能、高可靠、高擴展和業務化給使用者帶來高管控能力、高運營等能力，從而為提高服務質量和服務深度提供可能。交警數據資源服務總線需基于對交警信息化建設、分布式計算、應用集成能力的認識和技術積累，開發或采購配套軟件應用，實現接入適配、授權管理、訪問控制、路由調度和日志分析等功能。

3．2．2 資源服務管理

資源服務管理是面向服務提供者提供數據服務資源注冊、審批管理，并面向應用開發者提供數據服務申請、授權管理的系統。資源服務管理既可以注冊由本地數據倉庫服務接口系統提供的數據服務，也可以注冊來自其他系統提供的數據服務。

資源服務管理通過流程化管理大數據平臺服務資源，請求方可在平臺提出申請需求，由平臺自定義管理員申通通過后方可調用。同時，對于平臺暫時沒有的服務資源，請求方可訂制服務，待服務上線后方可直接調用。

3．2．3 通用數據服務接口

通用數據服務接口是提供給其他模塊或者系統使用的一種約定或者規范，接口設計應遵循《公安服務總線體系架構標準》，保證接口的性能良好。

通用數據服務接口主要包括數據查詢、數據比對、數據統計、數據下載等服務接口，通過接口配置功能實現對基礎數據資源庫和應用服務資源庫的訪問。運用接口配置功能，可以實現對基礎數據資源庫和應用服務資源庫的訪問，并能實現對上下級部門大數據平臺的對接。

3．2．4 資源服務監控

針對服務資源運行狀態和平臺自身應用功能運行狀態的自動監控功能，及時發現故障并報警。資源服務監控能對監控采集的匯總信息進行多維度統計，發現潛在的隱患；建立故障管理模塊，在處理故障的同時，詳細記錄平臺運行過程中發生的各類故障及其故障現象、故障原因、處理方法和發生時間等相關信息。

3.3 交通管理輔助決策系統

結合交通管理業務需求，開展交通管理海量數據的智能檢索、報表服務、管理報告、數據展示、綜合排名、稽查布控、車輛技戰、交通事故違法、交通流分析、交通行為分析和交通指揮主題分析等，為公安交通管理大數據決策、大數據分析、大數據作戰、大數據服務奠定堅實的基礎。

3．3．1 智能檢索

智能檢索功能包括基于條件的分類檢索和全文檢索。按條件檢索是當用戶明確知道某份數據的具體屬性時，系統可以快速找到符合條件的文件。條件可以是單個條件，也可以是包含邏輯運算的組合條件。而全文檢索則是一種模糊查詢的方式，通過內置的搜索引擎，用戶輸入某個關鍵字，系統就能將所有包含該關鍵字的文件全部檢索出來。全文檢索應支持自動的詞法分析，自動完成索引的生成。另外，全文檢索要力求保證檢索的查全率、查準率和檢索速度。

信息檢索方式有智能檢索和高級檢索2種，其中，普通用戶使用智能檢索式，高級用戶可使用2種檢索工具?；诜植际剿饕?、智能分詞和精確匹配技術，能夠實現對海量公安信息資源——駕駛員、地、車輛、違法、事故、組織的快速、高效關鍵詞檢索，滿足公安信息資源的快速定位需要。

3．3．2 綜合查詢

綜合查詢是實現交警數據一般查詢和批量匹配查詢服務，主要實現本地交警信息資源的高精度匹配檢索，提供多種高級查詢檢索方式。

3．3．3 可視化展示

在數據分析中，支持分析結果GIS可視化展示、報表展示、圖表展示等功能。

3.3.3.1 GIS可視化展示

在數據分析中，引入空間地理位置，將數據實體與空間地理信息結合起來，在地圖上展示出來，從而直觀展示目標位置的時空關系。

3.3.3.2 報表展示

以圖表的方式展現統計結果，支持導出EХCEL，方便用戶臨時業務在EХCEL中進行二次手工編輯。

3.3.3.3 圖表展示

以動態圖表的方式展示重要業務指標的實時變化情況，列表數據都可以缺省進行圖表分析，可以支持2個維度的交叉分析，維度可以靈活修改，支持柱形圖、餅圖、條形圖、網絡雷達圖、散點圖、雷達圖、曲面圖、組合圖等。

3.3.3.4 可視化情報分析

可視化情報分析是將大量的、未知質量的、低關聯性的、低價值的信息集成起來，描述數據與數據之間的關聯，以圖形、圖表的方式展現出來。它將調查分析人員從搜索數據的工作中解放出來，集中精力于情報分析，可以運用眾多圖形分析的方法（關聯分析、網絡分析、路徑分析、時間序列分析、空間分析、社交網絡分析、多重關聯查詢和多種布局方式等）來快速發現和揭示數據及其關聯關系中隱含的情報線索，提高情報分析工作的效率，輔助案件偵破。

3．3．4 稽查布控主題分析

接入過車數據，對套牌、假牌、“失駕”仍駕嫌疑人員、“毒駕”嫌疑人員、伴隨車輛、重點車輛等進行分析和預警，對接車輛布控申請、審核、撤控流程處理，對布控車輛進行預警和行駛路線預測，重點車輛的自動布控以及布控策略管理，并提供向移動警務推送接口。

3．3．5 車輛技戰法

車輛技戰應用數據主要來源于交警車輛管理業務數據和市公安局車輛基礎設施數據。對于市局大數據管理平臺提供的分析服務，將統一通過調用服務方式進行分析，本地存儲分析結果。對于市局之外的業務數據，將統一依托本期平臺建設。車輛技戰法提供車輛軌跡查詢、活動規律分析、車輛行駛路線預測、落腳點分析、撞車黨甄別、晝伏夜出車輛分析、連續違法車輛分析、頻繁過車車輛分析和無牌車輛監測等車輛技戰分析功能。

3．3．6 交通流分析

利用分布式數據庫構建海量卡口車輛信息庫，依托智能交通采集設備，采集交通流量信息，實現海量卡口車輛數據的統計分析功能，輔助交警進行交通流量分析。在實際工作中，利用大數據平臺套牌車分析、軌跡糾偏、過車流量分析、多軌跡流向分析和車輛基本信息統計分析能力，開展交通態勢、常發擁堵路段分析，車輛屬地分析，外地車/本地車道占用分析，進出區域平衡分析，工作日/非工作日車輛出行分析，上下班暢通指數評價、車輛活躍度構成分析等。

3．3．7 車架違法事故主題分析

對全市交通違法情況進行分析，主要包括駕駛人分析、機動車分析，對全市道路交通事故總體情況、較大事故情況、交通方式、時間規律、地點規律、重點違法行為與事故的關系進行分析，對違法主題和事故主題進行分析，實現駕駛人/機動車/違法/事故關聯分析，并定期生成分析報告。

3.4 交通地理信息分析系統

引入地圖服務引擎，實現交通地理分析結果展示、路況展示、路網展示和交通事件展示等，支撐路況應用，包括動態信息應用、靜態信息應用。同時，基于地圖的挖掘分析，實現對不同等級道路里程數統計、單行線統計、管制路統計、禁行路統計、斷頭路統計、節假日交通挖掘分析、交通安全監管分析和交通GIS挖掘分析等[9]。

4 結束語

文中設計了基于大數據的交通管理系統，該系統建立了交通數據管控體系和數據服務支撐平臺，提高了交通管理的稽查布控、車輛技戰、交通行為分析、交通流分析、數據查詢、數據服務和數據管理的專項應用水平。建立新型交通管理工作機制，全面提升了大交通管理治理能力，實現了信息化的跨越發展。

［1］陸化普，孫智源，屈聞聰.大數據及其在城市智能交通系統中的應用綜述［J］.交通運輸系統工程與信息，2015（05）：45-52.

［2］徐紅海.智慧高速交通大數據應用探討［J］.中國交通信息化，2016（03）：80-84.

［3］顧承華，張揚，翟希.交通大數據關鍵技術研究［J］.交通與運輸（學術版），2015（02）：49-53.

［4］陳美.大數據在公共交通中的應用［J］.圖書與情報，2012（06）：22-28.

［5］程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述［J］.軟件學報，2014（09）：1889-1908.

［6］孫大為，張廣艷，鄭緯民.大數據流式計算：關鍵技術及系統實例［J］.軟件學報，2014（04）：839-862.

［7］張桂剛，李超，張勇，等.云環境下海量數據資源管理框架［J］.系統工程理論與實踐，2011（S2）：28-32.

［8］蔣昌俊，丁志軍，王俊麗，等.面向互聯網金融行業的大數據資源服務平臺［J］.科學通報，2014（36）：3547-3554.

［9］林燕華，金峻峰.基于GIS平臺的道路交通管理調度服務網系統［J］.中國人民公安大學學報（自然科學版），2000（01）：53-57.

〔編輯：白潔〕

TP311.13

：A

10.15913/j.cnki.kjycx.2017.15.027

2095-6835（2017）15-0027-05

尚東方（1984—），男，工程師，碩士，主要研究方向為公安大數據分析、警用地圖應用、智慧交通等。