車行云大數據解決方案

一.概述
 

車行云大數據應用系統是面向公安交管部門，基于通行過車信息、車駕管信息、違法事故信息等交通管理相關信息數據，集通行監控、緝查布控、實戰分析等三大功能于一體的綜合大數據分析應用系統。
 

平臺以數據為驅動，以云計算、大數據等技術為支撐，通過對公安交管業務數據進行匯聚、清洗、關聯、碰撞和挖掘，提高海量數據的核查比對、數據查詢、分析性能和數據管理的應用水平，實現大范圍、高密度、持續性、長時段路網通行車輛信息的匯聚、分析、存儲和應用，提供貼合實戰的業務應用、靈活性的技戰法、智能化的分析研判、可視化的信息展示，開展全方位、深層次、多視角的交通管理信息的分析，智能發掘交通安全隱患、工作薄弱環節，為車輛緝查、案件偵破效能改進等需求提供數據支撐。
 

車行云大數據應用系統是公安以及交警日常任務中應用廣泛的業務應用系統和數據分析系統。
 

二. 結構
 

車行云大數據應用系統邏輯框架如圖二-1所示。在邏輯上劃分為4個層次，分別為：數據接入層、平臺支撐層、業務應用層及用戶層。

                                                                  圖 二-1 車行云大數據應用系統邏輯架構圖
 

數據接入層：主要完成數據的匯聚接入，接入的數據主要包括公安六合一數據、卡點過車數據、電警設備數據、電子標識數據等。
 

平臺支撐層：通過智慧交通數據平臺進行數據的接入、處理、存儲及數據建模分析，為上層業務應用層提供功能服務接口及數據服務接口，支撐上層業務應用系統。
 

業務應用層：采用模塊化設計、注重展現與人機交互，提供車輛通行監控、緝查布控、實戰分析等業務應用功能。
 

用戶層：為交管、治安、刑偵、技偵等用戶綜合提供交通信息服務，完成日常業務工作。

三. 產品優勢

（一）. 分布式消息隊列系統
 

車行云接入數據包含結構化數據（如過車數據、違法證據數據、警情數據等類型）、非結構化數據（如視頻、圖像）等多種類型，后臺功能模塊交互性強，需要高效健壯的數據交換支撐。
 

車行云使用開源的分布式消息隊列kafka，應對各種數據源接入與數據交換。kafka高吞吐有效的解決了大數據吞吐量，提高了數據對接的效率。

（二）. 混合存儲架構
 

系統包含過車數據、公安六合一數據、社會資源相關數據等數據類型，如何合理的存儲能解決現實中的問題，比如實時性問題、數據分析問題等。為此，系統采用混合架構進行數據存儲以滿足不同的應用。系統采用了分布式文件存儲系統(HDFS)、圖片存儲(FASTDFS)、實時檢索（elasticsearch）、結構化成果數據存儲（oracle/mysql）等，滿足離線分析、圖片訪問、實時查詢、結果展示等業務靈活應用數據的需要。

（三）. 雙重計算引擎
 

計算引擎可以分為離線與實時兩種。系統采用離線引擎技術，應對線下數據清洗、預處理、特征值分析、建模、算法實現，并未為產品提供分析后的數據展示；針對具有動態、海量、高維、時效、連續、多源、無限等特性，數據流元組記錄隨時間變化的位置信息、車牌、卡口、速度等屬性數據或視頻、圖像數據，系統采用實時計算引擎技術，接受實時交通數據流，基于研判模型，對進入指定時間窗口內符合條件的事件進行碰撞比對、分析預警等。
 

車行云采用開源的spark技術，它是基于內存的計算框架，在性能上很好的滿足了在離線分析與實時計算場景下的業務。
 

（四）. 自動化監控
 

分布式存儲、計算引擎等對機器的運維監控帶來巨大的挑戰。自動化監控包括兩個部分：監控代理（agent）與監控服務器（server）。通過agent定時收集各個機器組件的運行狀態，比如CPU的利用率，服務的運行，端口的連通，帶寬流量占用等，server將agent收集到的信息進行存儲，并通過圖形展示的方式形象的描述機器的運行狀態，為運維人員提供運維支撐。