隨著日益增長的交通“大數(shù)據(jù)”,給交通管理創(chuàng)新帶來的新挑戰(zhàn),以及對交通管理工作提出的新要求,交通信息化建設必然步入云計算智慧應用階段,利用云計算破解當前諸多交通瓶頸問題。
交通概念很大,所涉及的范圍很廣,如城市道路交通指數(shù)、地鐵運行數(shù)據(jù)、一卡通乘客刷卡數(shù)據(jù)、港口集裝箱數(shù)據(jù)、機場航班數(shù)據(jù)、軌道交通運營數(shù)據(jù)、遠洋及內(nèi)河航道船舶數(shù)據(jù)、物流車輛及貨物數(shù)據(jù)、公交車實時數(shù)據(jù)、出租車行車數(shù)據(jù)、空氣質(zhì)量狀況、氣象數(shù)據(jù)、道路事故數(shù)據(jù)、高架匝道運行數(shù)據(jù)、以及衍生的相關(guān)擁堵、事故、違法信息等都屬于交通數(shù)據(jù)。
我們通常所提的城市公安交通管理大數(shù)據(jù)是指在城市智能交通建設和運營的過程中,從視頻監(jiān)控、卡口電警、路況信息、管控信息、營運信息、GPS定位信息、RFID識別信息等每天產(chǎn)生的大量數(shù)據(jù),并借助信息化手段將這些相互關(guān)聯(lián)的數(shù)據(jù)整合到一起(比如車輛信息、地圖信息、人員信息、違規(guī)違章記錄信息等等),形成一個有價值數(shù)據(jù)鏈,從而知道城市交通信息化建設,為公安交通實戰(zhàn)應用服務,為市民出行服務。
什么是云分析
云分析系統(tǒng)具備超高的計算性能,單機設備每天處理的信息量最大高達2000萬張圖片。云分析具備對卡口、電警以及部分監(jiān)控設備拍攝的車輛圖像信息的結(jié)構(gòu)化智能分析功能,主要包括識別圖像中車輛的品牌、型號、年款、車身顏色、類別、異常特征(如遮擋面部、遮擋號牌)、唯一性局部特征(如年檢標志、車內(nèi)飾物)等關(guān)鍵信息。
可對提交的圖像中的車輛車牌顏色及車牌號進行二次識別,通過大數(shù)據(jù)進行,時間、地理、軌跡等的對比識別,以得出分析結(jié)果。
過去幾年,智能交通系統(tǒng)建設取得了長足的進步與發(fā)展,針對道路交通違法、交通安全等,不斷在不同的時間,不同的階段建立了交通卡口、違法檢測、道路智慧監(jiān)控、交通事件監(jiān)測等信息化系統(tǒng),但這些信息化系統(tǒng)所采用的設備、平臺均來自于不同的廠家,采用的標準,上下級不能很好的實現(xiàn)級聯(lián),與公安系統(tǒng)融合度不高,無法進行集中管理,資源共享,發(fā)揮統(tǒng)一的實戰(zhàn)作用。
不同時期,不同階段建設的信息化系統(tǒng),技術(shù)路線,功能性能指標各異,在套牌、摘牌、故意遮擋號牌等涉車案件中,不能找到行之有效的手段處理。
現(xiàn)階段,交通違法行為導致的交通安全、道路交通事故問題依然突出,交通違法管理的顆粒度也越來越細,道路交通安全法也不斷的修正以滿足交通管理工作的需要。其中,不系安全帶、開車打電話等違法行為納入了處罰范圍,而過去建設的卡口系統(tǒng)絕大多數(shù)不具備這些功能,不能很好的服務公安交通管理需要。
云分析系統(tǒng)的出現(xiàn),問題將迎刃而解。云分析系統(tǒng)創(chuàng)新型引入GPU+CPU的設計理念,單臺設備每天最高處理性能達到2000萬張圖片,提取車牌號、車身顏色、車標、子品牌、車型、車臉等交警實戰(zhàn)所需的結(jié)構(gòu)化信息,并能夠自動甄別不系安全帶、打電話等違法行為,為公安交通管理提供全新的技術(shù)手段和業(yè)務體驗。
系統(tǒng)設計
系統(tǒng)中采用的設計方法和技術(shù)路線在實戰(zhàn)應用技術(shù)中處于領先地位,軟件的設計先進靈活,便于升級以及與其它系統(tǒng)的互聯(lián)互通。系統(tǒng)涵蓋了目前實戰(zhàn)應用所涉及的一系列技術(shù),如:圖像預處理、信息篩查、電子地圖軌跡分析等,在此基礎上融合了車型建模、車牌識別、車標識別、運動目標檢測和行為分析、圖片檢索等智能視頻圖像分析技術(shù),創(chuàng)新性的實現(xiàn)了“車臉識別”、“不系安全帶檢測”等功能,創(chuàng)造性的使用云分析實現(xiàn)超大數(shù)據(jù)量的圖片二次識別,為用戶提供超高性價比的解決方案。
系統(tǒng)設計時,對需要實現(xiàn)的功能進行合理的配置,且配置具有良好的兼容性和擴展性;通過提供二次開發(fā)接口,支持用戶利用本系統(tǒng)自主開發(fā)新功能,滿足業(yè)務需求。
系統(tǒng)具有開放性的標準體系,后端基于開放式的TCP/IP網(wǎng)絡系統(tǒng)進行設計,支持多種網(wǎng)絡協(xié)議,便于和各系統(tǒng)間的互聯(lián)、互通、互控,遵循規(guī)范的通用接口標準,使系統(tǒng)對硬件環(huán)境、通信環(huán)境、軟件環(huán)境、操作系統(tǒng)之間的相互制約和影響減至最小。
具有良好的人機交互界面,盡可能避免出現(xiàn)繁瑣操作實現(xiàn)某項具體業(yè)務應用的情形。系統(tǒng)在體系設計及工程實施中應根據(jù)用戶使用需求充分考慮性能優(yōu)化,在合理時間范圍內(nèi),盡可能縮短系統(tǒng)的操作響應時間;系統(tǒng)維護也應在合理范圍內(nèi)盡可能簡化,使操作人員能快速地學習和掌握系統(tǒng)操作。
系統(tǒng)涵蓋了目前交通管理業(yè)務應用所涉及的一系列技術(shù),如:圖像接入、通用解碼、轉(zhuǎn)碼、圖片索引、車型建模、圖像預處理、信息篩查、電子地圖軌跡分析、套牌分析等?;谠品治龅亩巫R別方案配合大數(shù)據(jù)的高效查詢、檢索、研判方案,構(gòu)筑了智能交通綜合管控平臺的數(shù)據(jù)底層支持優(yōu)秀架構(gòu),為交警實戰(zhàn)業(yè)務應用提供了極佳的用戶體驗。
1.1 系統(tǒng)架構(gòu)
系統(tǒng)的使用者通常為指揮中心調(diào)度人員、指揮中心帶班領導、支/總/大隊的主管領導、交通秩序管理人員、大隊分控中心人員、路面執(zhí)勤民警等。系統(tǒng)維護的職責則由運維工程師和系統(tǒng)管理員完成。
主要的關(guān)鍵業(yè)務應用包括交通狀況監(jiān)測、日常組織與管控、應急指揮與協(xié)作、信息研判分析等方面,主要是應對城市交通管理的現(xiàn)狀實時監(jiān)視、日常業(yè)務處置、突發(fā)事件應對、交通數(shù)據(jù)挖掘研判等業(yè)務需求。
輔助核心業(yè)務的是一系列的支撐應用,包括基礎數(shù)據(jù)管理(路網(wǎng)信息、設備設施信息)、警力資源管理(警員信息、警車信息、裝備信息)、電子地圖管理、系統(tǒng)配置管理。
在應用層下面是支持業(yè)務應用的支撐層,在這層完成對信息的采集、匯聚、加工、存儲、交換等處理操作,同時支撐層還內(nèi)包消息服務器、GIS地圖中間件、視頻服務、誘導服務等信令及數(shù)據(jù)的服務或中間件。
最下端為數(shù)據(jù)感知層,包括業(yè)務子系統(tǒng)及設備,為各類交通信息的原始數(shù)據(jù)來源,如GPS車輛軌跡信息、視頻信息、通行車輛信息、交通流信息、施工占道信息、交通管制信息、氣象信息等。
l 視頻大數(shù)據(jù)技術(shù)平臺
視頻大數(shù)據(jù)技術(shù)平臺負責存儲和提取處理視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù),通過視頻結(jié)構(gòu)化技術(shù),可挖掘出視頻圖像中的人、車、物、事件等結(jié)構(gòu)化信息,進一步用于大數(shù)據(jù)的分析挖掘。同時,視頻大數(shù)據(jù)技術(shù)平臺可提供視頻摘要、視頻濃縮、視頻質(zhì)量診斷等智能分析服務,使上層應用提高視頻處理的效率。
l 通用大數(shù)據(jù)技術(shù)平臺
通用大數(shù)據(jù)技術(shù)平臺提供基于Hadoop和Spark的分布式存儲、分布式計算等能力,負責整合并管理海量的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),具備高度的可擴展性,可將數(shù)千臺的廉價服務器組建成一套龐大的云存儲系統(tǒng)、一臺超級計算機?;赟park架構(gòu)的內(nèi)存運算,速度比傳統(tǒng)的Hadoop快10~100倍,適合交通行業(yè)對時間要求的流式計算需求。
l 行業(yè)大數(shù)據(jù)能力平臺
能夠針對海量數(shù)據(jù)進行快速檢索、快速統(tǒng)計分析,同時能夠進行深度的關(guān)聯(lián)分析,挖掘出其中有價值的信息。行業(yè)大數(shù)據(jù)能力平臺以接口的方式為上層應用提供服務。
l 大數(shù)據(jù)運維平臺
負責對整個大數(shù)據(jù)平臺進行部署、配置、管理、監(jiān)控,通過自動化安裝的方式,方便用戶架設大數(shù)據(jù)平臺。同時,通過可視化界面,可以形象地獲知整個平臺的運行狀況。隨著業(yè)務的發(fā)展,當平臺需要升級或擴容時,可方便的通過該工具進行調(diào)整。
1.1.1 視頻大數(shù)據(jù)技術(shù)平臺
1、視頻云存儲
視頻云存儲系統(tǒng)解決百PB級視頻基礎數(shù)據(jù)視頻數(shù)據(jù)的低成本、高可靠存儲,支持視頻流數(shù)據(jù)的高并發(fā)I/O。
視頻云存儲系統(tǒng)架構(gòu)圖
2、視頻云分析
視頻云分析平臺則是通過整合用戶現(xiàn)有的數(shù)據(jù)中心分析設備,對過車視頻、過車圖片等數(shù)據(jù)進行進一步分析,其中中心分析設備采用分布式計算節(jié)點集群的方式,能夠提供基于任務自動負載均衡的數(shù)據(jù)處理方式,解決從海里視頻圖像數(shù)據(jù)中解析出來的視頻結(jié)構(gòu)化數(shù)據(jù)的需求。
視頻云分析方案架構(gòu)圖
具體包括以下模塊:
l 特征提取模塊
特征提取模塊負責對實時或歷史視頻圖像中的結(jié)構(gòu)化信息進行提取,包括人、車、物等特征信息。提取出的信息存儲于大數(shù)據(jù)系統(tǒng)中,并作為DataEngine進一步分析的數(shù)據(jù)基礎。
l 行為分析模塊
行為分析模塊負責對實時或歷史視頻圖像中的行為信息進行分析,分析結(jié)果可作為上層應用報警的依據(jù),同時行為信息作為結(jié)構(gòu)化數(shù)據(jù),可存儲于大數(shù)據(jù)系統(tǒng)中,并作為DataEngine進一步分析的數(shù)據(jù)基礎。
l 音頻分析模塊
音頻分析模塊負責對音頻進行分析,識別異常音源,分析結(jié)果可作為上層應用報警的依據(jù)。
l 以圖搜圖模塊
以圖搜圖模塊負責對大數(shù)據(jù)系統(tǒng)中的圖片數(shù)據(jù)進行分析比對,并按相似度返回圖片列表。以圖搜圖模塊支持對人臉圖片的搜索,支持對車輛圖片的搜索。
l 隱私保護模塊
隱私保護模塊負責對實時或歷史視頻圖像中的人體影像進行模糊處理,保護個人隱私。
l 視頻摘要模塊
視頻摘要模塊負責對實時或歷史視頻進行摘要處理,提取出視頻中有用的信息,合并到同一個背景中,以此縮短視頻播放時間。視頻摘要可有效縮短用戶觀看視頻的時間,提高工作效率。
l 視頻濃縮模塊
視頻濃縮模塊負責對實時或歷史視頻進行濃縮處理,視頻中有事件出現(xiàn)時進行慢放,無事件時進行快放,以此縮短視頻播放時間。視頻濃縮可有效縮短用戶觀看視頻的時間,提高工作效率。
l 視頻質(zhì)量診斷模塊
視頻質(zhì)量診斷模塊負責對實時視頻流進行質(zhì)量診斷,以巡檢的方式對前端接入視頻流進行分析,實時發(fā)現(xiàn)攝像機是否在線、畫面是否正常等問題。
l 視頻圖像增強復原模塊
視頻圖像增強復原模塊負責對實時或歷史視頻圖像進行增強復原,對效果較差的視頻、圖像進行智能修復并增強處理。
1.1.2 通用大數(shù)據(jù)技術(shù)平臺
通用大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心,具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴容的特點,用于匯集視頻、圖像、報警、卡口信息、位置信息、案事件等大數(shù)據(jù),為數(shù)據(jù)的綜合利用提供支撐。
系統(tǒng)技術(shù)架構(gòu)圖
分布式文件系統(tǒng)HDFS 2.0:運行在通用硬件上的可擴展高容錯的分布式文件系統(tǒng),已經(jīng)成為海量數(shù)據(jù)存儲的事實標準。負責海量數(shù)據(jù)存儲,將數(shù)據(jù)分散存儲在多臺獨立的設備上,系統(tǒng)采用可擴展的體系結(jié)構(gòu),利用多臺存儲服務器分擔存儲負荷,利用元數(shù)據(jù)服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。
分布式資源管理YARN:分布式資源管理框架,負責計算、存儲資源的管理,用以提高分布式集群環(huán)境下的資源利用率,這些資源包括內(nèi)存、IO、網(wǎng)絡、磁盤等。
分布式計算Map/Reduce:分布式計算框架,負責將一個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然后把這些部分分配給許多計算機進行處理,最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。
分布式數(shù)據(jù)庫HBase:一個分布式的、按列存儲的、多維表結(jié)構(gòu)的實時分布式數(shù)據(jù)庫,用于存儲粗粒度的結(jié)構(gòu)化數(shù)據(jù),適合構(gòu)建高并發(fā)低延時的在線數(shù)據(jù)服務系統(tǒng)。
全文檢索引擎Solr:一個基于Lucene構(gòu)建的開源,分布式,RESTful搜索引擎,設計用于云計算中,能夠達到穩(wěn)定、可靠、快速實時搜索。
內(nèi)存計算Spark:下一代基于內(nèi)存的 Map/Reduce 計算引擎,處理大數(shù)據(jù)像“光速”一樣快,比Hadoop Map/Reduce 快 10x 到 100x 倍。
流計算Stream:流計算,負責對流媒體數(shù)據(jù)的分析計算。
分布式協(xié)作Zookeeper:分布式協(xié)作系統(tǒng),作為一個分布式鎖及共享數(shù)據(jù)管理者,提供集群節(jié)點間的事物協(xié)調(diào)服務,保證HDFS、HBase、Spark、Map/Reduce等分布式系統(tǒng)的安全可靠運行。
Kafka:分布式數(shù)據(jù)總線,負責數(shù)據(jù)的采集、整合、交互。
Sqoop:SQL to Hadoop, 一個數(shù)據(jù)抽取工具,用于從關(guān)系數(shù)據(jù)導入數(shù)據(jù)到Hadoop。
1、分布式文件系統(tǒng)
HDFS是分布式計算中數(shù)據(jù)存儲管理的基礎,具有高容錯性、高可靠性、高可擴展性、高吞吐率等特點,可以設計部署在低廉的硬件上,為海量數(shù)據(jù)提供了不怕故障的存儲,適合那些有著超大數(shù)據(jù)集的應用程序。
2、分布式數(shù)據(jù)庫
HBase是一種構(gòu)建在HDFS之上的分布式、面向列的存儲系統(tǒng),它具有高可靠、高性能、面向列和可伸縮的特性。HBase適合于存儲大表數(shù)據(jù)(表的規(guī)??梢赃_到數(shù)百億行以及數(shù)百萬列),并且對大表數(shù)據(jù)的讀、寫訪問可以達到實時級別。
3、分布式計算
MapReduce是一種處理海量數(shù)據(jù)的并行編程模型和計算框架,用于對大規(guī)模數(shù)據(jù)集(通常大于1TB)的并行計算。MapReduce的名字源于該模型中的兩項核心操作:Map和Reduce。Map將一個任務分解成為多個任務,Reduce將分解后多任務處理的結(jié)果匯總起來,得出最終的分析結(jié)果。
4、分布式協(xié)作系統(tǒng)
ZooKeeper是一個針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng),主要提供兩個功能:幫助系統(tǒng)避免單點故障,建立可靠的應用程序;提供分布式協(xié)作服務和維護配置信息。
1.1.3 行業(yè)大數(shù)據(jù)平臺
行業(yè)大數(shù)據(jù)平臺負責與通用大數(shù)據(jù)平臺進行對接,負責對結(jié)構(gòu)化數(shù)據(jù)(過車數(shù)據(jù)、測速數(shù)據(jù))進行分析計算,提供快速檢索、分析、統(tǒng)計、挖掘等功能,并提供用戶最終的操作界面。面向交通行業(yè)的大數(shù)據(jù)業(yè)務展示平臺,即為XZX-TMS-9200智能交通綜合管控平臺。
1.1.4 大數(shù)據(jù)管理平臺
大數(shù)據(jù)管理平臺負責對整個大數(shù)據(jù)平臺進行部署和管理,結(jié)構(gòu)示意圖如下圖所示,包括集群部署、集群管理、任務管理、服務管理、狀態(tài)監(jiān)控、用戶管理、告警、日志等模塊。
大數(shù)據(jù)管理平臺架構(gòu)圖
1.2 數(shù)據(jù)流程設計
前端新建及已建能夠按照標準協(xié)議接入的設備通過智能交通綜合管控平臺交通接入服務器接入轉(zhuǎn)發(fā)至云分析平臺進行車輛建模和二次識別。已經(jīng)部署云存儲模塊的系統(tǒng),云分析也能夠直接從云存儲中讀取圖片信息進行車輛建模和二次識別。
已建的第三方平臺,提供符合要求的SDK協(xié)議,智能交通綜合管控平臺進行數(shù)據(jù)整合后再轉(zhuǎn)發(fā)至云分析平臺進行車輛建模和二次識別。
云分析通過智能交通綜合管控平臺提供的圖片URL信息加載圖片,進行建模和二次識別,完成建模和二次識別后,將識別結(jié)果信息如車牌、車型、車輛品牌等信息提供給大數(shù)據(jù)平臺。
大數(shù)據(jù)平臺讀取二次識別的結(jié)果信息,寫入到HDFS分布式文件存儲系統(tǒng)中;基于HDFS分布式文件系統(tǒng)部署分布式數(shù)據(jù)庫,用來承載數(shù)據(jù)的預統(tǒng)計表和二級索引表。在數(shù)據(jù)搜索層,部署基于Solr分詞的全文檢索搜索引擎,并通過MapReduce分布式計算框架提供高效數(shù)據(jù)分析速度。Zookeeper提供分布式文件系統(tǒng)之間的多進程協(xié)調(diào)服務。
數(shù)據(jù)寫入、檢索、統(tǒng)計和研判應用,大數(shù)據(jù)平臺提供統(tǒng)一的webservice接口,智能交通管控平臺通過調(diào)用大數(shù)據(jù)平臺接口進行處理應用。
1.2.1 云分析數(shù)據(jù)處理流程
云分析可以采用的工作模式主要包括主動工作模式和被動工作模式。目前采用的是被動工作模式。
主動工作模式的特點是中央強力控制,即由中心管理服務下派任務到指定的計算節(jié)點,計算節(jié)點沒有發(fā)起任務申請的權(quán)利。被動工作模式則相反,由計算節(jié)點主動向中心管理服務發(fā)起申請,申請獲得批準后獲得執(zhí)行任務,然后開始任務執(zhí)行,任務執(zhí)行過程中與中心管理服務保持實時更新,確保任務能夠正常完成。
被動工作模式相比主動工作模式而言能夠突出計算節(jié)點的優(yōu)勢,管理單元越小,管理的難度也就越小。如果按照主動工作模式,由中心管理服務全部承擔任務分派、任務調(diào)度等功能,負載、責任過大,容易造成單點失敗。即便采用集群方式或者單點災備模式,依然沒有真正解決負載過重、任務調(diào)度節(jié)點易失敗等情況。被動工作模式把任務申請職責交給了計算節(jié)點,各個計算節(jié)點按照自己的實際情況決定是否發(fā)起任務申請,這樣可以有效地避免計算節(jié)點出現(xiàn)計算資源使用率頻繁切換、異常波動,同時,降低了中心管理服務的壓力。
任務調(diào)度方面,云分析通過接入第三方應用平臺,實時獲取執(zhí)行任務信息,然后通過中心服務管理動態(tài)調(diào)度任務的方式達到高優(yōu)先級任務優(yōu)先執(zhí)行的目的。對于計算節(jié)點來說,它申請獲得任務沒有優(yōu)先級之分,一旦申請成功,立即轉(zhuǎn)入工作狀態(tài)。同時,由于云分析節(jié)點是分布式部署,系統(tǒng)高并發(fā)執(zhí)行的效果可以有效的提高分析執(zhí)行效率、優(yōu)化網(wǎng)絡帶寬的流量壓力,使得整個監(jiān)控系統(tǒng)的性能得到更大的提升。
1.2.2 大數(shù)據(jù)數(shù)據(jù)處理流程
大數(shù)據(jù)技術(shù)平臺是大數(shù)據(jù)的存儲和計算中心,具有分布式、統(tǒng)一存儲、統(tǒng)一訪問、動態(tài)擴容的特點,用于匯集視頻、圖像、報警、卡口信息、位置信息、事件等大數(shù)據(jù),為數(shù)據(jù)的綜合利用提供支撐。
1.3 交通大數(shù)據(jù)平臺功能
1.3.1 快速檢索
針對過車記錄表及違法記錄表有針對車牌的精確查詢及模糊查詢需求,如下:
1、過車記錄精確查詢
車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。
2、過車記錄模糊查詢
車牌結(jié)合過車時間(開始時間+截止時間)、根據(jù)選擇卡口、車道、方向、車輛標識、顏色深淺、車輛類型、車速、車長、號牌段、車身顏色、車牌顏色等其它篩選條件隨意組合在海量過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。
3、違法記錄精確查詢
車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中做精確查詢并且要求在秒級內(nèi)返回查詢結(jié)果。
4、違法記錄模糊查詢
車牌結(jié)合過車時間、車輛類型、車輛顏色、車牌類型、車牌顏色、違法行為、處理狀態(tài)等其它篩選條件在海量違法過車記錄數(shù)據(jù)中對車牌的前綴、中間、后綴做模糊查詢并且要求在秒級內(nèi)返回查詢結(jié)果。
5、軌跡查詢
查詢車輛在特定的時間段內(nèi)的行車軌跡:即在某個時間段內(nèi)(根據(jù)場景,還可以設置車輛類型、顏色深淺、車牌類型、車牌號碼、車速、車長、號牌段、車身顏色、車牌顏色等限制條件),同時經(jīng)過多個卡口(至少兩個以上才能確定一條軌跡)的過車信息。
6、快速統(tǒng)計
針對過車記錄表及違法記錄表有如下統(tǒng)計需求:
過車記錄表車流量統(tǒng)計
以卡口(或車輛類型、車輛歸屬)為維度結(jié)合統(tǒng)計時間、方向、車輛歸屬地、車輛類型、車牌類型等特定篩選條件對過車記錄做統(tǒng)計,生成相應日(或周、月、年)報表:即根據(jù)設定的維度,還有根據(jù)報表類型分割的時間粒度,統(tǒng)計各個時間區(qū)間內(nèi)的車流量。
過車記錄表車流量對比
同一個卡口不同時間段(跨度在1天內(nèi))的車流量對比以及不同卡口同一時間段(跨度在1天內(nèi))的車流量對比。
通過車流量對比能夠?qū)Ω纳瞥鞘薪煌ㄕ{(diào)度提供依據(jù)。
違法記錄表車輛違法統(tǒng)計
選定一組卡口,在選定的開始時間和結(jié)束時間內(nèi),統(tǒng)計各卡口所有的過車記錄數(shù)和違法記錄數(shù)。
過車記錄表特定時間段車流量統(tǒng)計
同車流量對比,時間顆粒度變成一天,并且可以選定一天中具體的若干個時間段。
過車記錄車輛行車軌跡統(tǒng)計
根據(jù)選定統(tǒng)計方式(即統(tǒng)計維度:包括按車牌類型統(tǒng)計、車牌顏色統(tǒng)計),統(tǒng)計在選擇的時間段內(nèi),經(jīng)過指定軌跡(所謂的軌跡:即由多個卡口確定的一條行車路徑,帶方向,比如,從路徑A->B->C,和路徑C->B->A是倆條不同的軌跡)的車流量次數(shù)(還包括其他的過濾條件,如:車輛歸屬地、車輛類型、車牌類型、車牌顏色,同一車牌多次經(jīng)過指定軌跡按多次計算)。
1.3.2 研判分析
1、過車記錄表頻度研判
分析出在特定卡口上(一個或多個),在特定時間段內(nèi),過車次數(shù)滿足一定條件的所有過車信息和過車數(shù):所謂的滿足一定條件是指過車次數(shù)大于等于(或小于等于或等于)(頻度設置)一定數(shù)量(頻度閾值),根據(jù)設定的頻度閾值,分析在某一段時間內(nèi)通行路口次數(shù)超過設定閾值的車輛。
對指定區(qū)域(卡口)做過車頻度分析,過濾出頻繁出入的車輛(過車次數(shù)滿足指定閾值)進行重點關(guān)注,對預防犯罪及嫌犯跟蹤有重大貢獻。
2、過車記錄表特定時段車輛研判
實際上就是閾值為0,時間跨度在1天之內(nèi)的頻度研判。
3、過車記錄表短時過車研判
在特定的時間段內(nèi),所選擇的卡口組合(一個或多個)中的過車時間與參考卡口中的過車時間的絕對值小于設定的某個值(passInterval)的所有過程信息:找出同一車輛同時經(jīng)過參考卡口及指定卡口組合,過濾出經(jīng)過參考卡口與指定卡口的時間差小于設定的閾值的車輛,以協(xié)助公安人員分析出套牌或超速等其它違章行為的嫌疑車輛。
4、過車記錄表車輛初次入城研判
特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件),找出經(jīng)過“入城”路口的車輛,并找出這些車輛之前30是否有“入城”記錄,如果沒有將做重點關(guān)注以預防其犯罪。
5、過車記錄表區(qū)域碰撞研判
特定的N(2<=N<=5)個區(qū)域(1~5個卡口組成一個區(qū)域),結(jié)合各區(qū)域指定的時間范圍,找出同一輛車在指定條件下經(jīng)過其中的兩個及以上區(qū)域的車輛,并統(tǒng)計其經(jīng)過次數(shù)進行數(shù)據(jù)碰撞。區(qū)域碰撞功能給公安查詢分析跨區(qū)反復作案的嫌疑車輛帶來極大的便利。
6、過車記錄表行車軌跡研判
特定時間范圍結(jié)合特定篩選條件(車輛歸屬地、車輛類型、車牌類型等特定篩選條件)找出制定車牌在此時間范圍內(nèi)的過車記錄。
7、過車記錄表跟車研判
特定時間段內(nèi)過車時間相差一定間隔的所有過車信息:首先根據(jù)特定時間段(還可以指定車牌或路口名稱)查出參考車輛及其過車信息,然后指定一條過車記錄,查詢出與該記錄相隔一定時間段(早或者晚)的所有過車信息。
針對嫌疑車輛可能會結(jié)隊出行的特點,在刑偵等業(yè)務應用時,確定特定嫌疑車輛后,通過數(shù)據(jù)挖掘的方式分析其通過多個監(jiān)測點時相鄰的車輛號牌,能夠找出與嫌疑車輛有關(guān)聯(lián)的車輛,從而獲取破案線索。
8、違法記錄表違法多發(fā)時段研判
特定時間范圍給定卡口,以一小時為顆粒度統(tǒng)計出各個時段違法記錄數(shù)形成一張對比直方圖以協(xié)助城市交通改造。
違法記錄表違法多發(fā)地研判
特定時間范圍內(nèi)給定卡口,統(tǒng)計出各個卡口違法記錄數(shù)形成一張對比直方圖以協(xié)助城市交通改造。
9、駕駛?cè)藛T行為源頭管控
駕駛?cè)藛T行為源頭管控,是指對開車經(jīng)常超速在20%以下,但是又有超速習慣的駕駛?cè)藛T(不違法,但是有違法的嫌疑),進行專項的分析,然后以非現(xiàn)場執(zhí)法的形式發(fā)送通知短信,進行源頭管控;篩選超速10%~20%車輛,然后進行統(tǒng)計,分析其超速行為的概率,從而判斷駕駛?cè)藛T的動態(tài)評分規(guī)則;
10、特種車輛軌跡時空域分析
基于大數(shù)據(jù)的特種車輛管控,是指針對類似渣土車、校車等安全等級較高的車輛,通過設定專屬的行駛路線,一旦出現(xiàn)車輛偏離行車路線的時候,即發(fā)送報警信息給相關(guān)人員,從而確保特種車輛始終處于受控的安全狀態(tài)。
11、車輛遮陽板與案件關(guān)聯(lián)的時空域分析
大數(shù)據(jù)平臺根據(jù)卡口的過車數(shù)據(jù)對每輛過往車輛建立單獨的信息庫,與車管庫的車輛信息庫所不同的是,該信息庫是專門用于過車信息研判。例如卡口會對每輛過車時是否放下了遮陽板進行檢測,大數(shù)據(jù)平臺則統(tǒng)計車輛的全部過車照片,放下遮陽板的次數(shù)有多少;打開遮陽板的次數(shù)有多少,隨后定義一個研判規(guī)則,例如這個比例超過50%,那么駕駛?cè)司陀幸欢ǖ倪`法嫌疑,進入單獨的違法嫌疑車輛庫;這個信息庫往后來看,就是根據(jù)一些統(tǒng)計結(jié)果來判斷駕駛?cè)藛T的駕駛行為分析。
12、同行車輛多模型分析
基于大數(shù)據(jù)的同行車輛分析,是指針對具有跟車相關(guān)的團伙作案時的車輛進行進一步研判,研判的規(guī)則包括篩選某個固定時間區(qū)間內(nèi)同行經(jīng)過N個卡口數(shù)量的車輛信息;篩選某個固定時間內(nèi)有關(guān)多車關(guān)聯(lián)性的分析,舉例而言就是通過跟車關(guān)聯(lián)性研判發(fā)現(xiàn)車輛A與車輛C有跟車關(guān)聯(lián)性,車輛B與車輛C有跟車關(guān)聯(lián)性,那么分析車輛A和B之間的跟車關(guān)聯(lián)性的嫌疑性。
13、多業(yè)務維度積分研判分析
基于大數(shù)據(jù)平臺的多業(yè)務維度車輛積分研判,是武進技防和圖偵相關(guān)干警參考其他地市先進的車輛信息技戰(zhàn)法以及結(jié)合自身對實際嫌疑車輛研判時所提出的一種新的研判分析方法。其根據(jù)對車輛的出沒時間屬性、出沒卡口地點屬性、駕駛?cè)藛T違反行為信息、牌照歸屬地信息等多種有關(guān)車輛屬性進行綜合考慮,引入一套關(guān)于車輛積分研判的方法,因此在對車輛信息進行有針對性地研判時帶來一種全新的體驗。同時為了滿足研判和預警實時性的要求,大數(shù)據(jù)采用spark流計算的方式保證車輛積分能夠?qū)崟r處理并將結(jié)果分發(fā)相關(guān)人員。
14、基于車輛相關(guān)數(shù)據(jù)的車輛套牌的相關(guān)性分析
在現(xiàn)有的視頻作戰(zhàn)平臺中,已經(jīng)引入了一套根據(jù)同一時間內(nèi)出現(xiàn)在不同地點來判斷是否套牌車輛的相關(guān)分析手段,但是由于前端卡口設備在車輛識別率上并不能達到100%,因此有一定的誤報率;此外該種套牌分析方法在定位一些非當前庫內(nèi)所包含的車輛信息時往往缺乏有效的分析手段;而大數(shù)據(jù)平臺則是利用本期和前三期中一些已經(jīng)對車輛進行二次結(jié)構(gòu)化處理后的數(shù)據(jù)(例如車型、車標、子品牌、年款等)進行套牌車分析庫,將被盜搶車作為套牌車輛分析的重點,從而判斷套牌車輛的可能性;另外大數(shù)據(jù)平臺將在時空領域上結(jié)合GIS應用,根據(jù)車輛不正常的出沒規(guī)律來分析套牌車輛的可能性,例如某輛車C在不同的時內(nèi)從區(qū)域A出現(xiàn)在區(qū)域B,但是邏輯上區(qū)域A和區(qū)域B必須經(jīng)過某幾個卡口,但是在該段區(qū)域和時間內(nèi)沒有任何關(guān)于車輛C的過車卡口描述,因此可以判斷車輛C是否為套牌車輛。
15、車輛時空出沒規(guī)律分析
大數(shù)據(jù)平臺的另一個重要的作用是多元多維度的統(tǒng)計分析方法,針對某一輛車輛信息,大數(shù)據(jù)平臺采用分布式計算的方法將車輛信息的過車點位信息、所有過車卡口的出沒頻次、出沒時間段、經(jīng)?;顒拥膮^(qū)域、經(jīng)常經(jīng)過的監(jiān)控點位信息以及違法信息統(tǒng)計和同行車輛信息進行統(tǒng)一展示,可以提供包括車輛的居住地和工作地相關(guān)信息預測。同時預留這些數(shù)據(jù)分析結(jié)果,可進一步用于車輛與相關(guān)案件關(guān)聯(lián)性的分析。
1.3.3 基于大數(shù)據(jù)平臺的以圖搜圖功能
以圖搜圖是當前智能交通綜合管控平臺針對車輛檢索的新型的檢索方案,系統(tǒng)支持以一張原始圖片為基礎搜索條件,根據(jù)圖片中車輛的特征信息(例如車頭、車窗、車內(nèi)飾等)查詢目標車輛,根據(jù)特征信息的相似度進行從高到低的檢索方案。當前以圖搜圖主要有云存儲和圖片服務器兩種方案,分別如下圖所示:
云存儲方案
圖片服務器方案
云存儲方案用于大型規(guī)模的智能交通平臺,一般為日均過車數(shù)據(jù)在幾百萬以上的項目中。其中使用云存儲設備作為數(shù)據(jù)信息的核心服務器,內(nèi)置智能建模的算法;而智能服務器在系統(tǒng)中充當查詢對比服務器,為用戶返回最終分析結(jié)果。該方案圖片預建模和分析全都在云存儲系統(tǒng)中完成,而檢索部分則由專門的智能分析服務器完成,因此是全網(wǎng)范圍內(nèi)的以圖搜圖應用,搜索的效率會比較高。
而圖片服務器方案則適用于中小型規(guī)模的智能交通平臺,由智能分析服務器完成過車數(shù)據(jù)的建模,并由其進行數(shù)據(jù)對比并返回以圖搜圖的對比結(jié)果。該方案則所有的建模分析和檢索則全部依靠智能分析服務器完成,因此整個系統(tǒng)的瓶頸在于智能分析服務器的性能。
相比較這兩種方案的以圖搜圖的實現(xiàn)方式,基于大數(shù)據(jù)平臺的以圖搜圖實現(xiàn)方式則進一步將圖片資源的二次結(jié)構(gòu)化和大數(shù)據(jù)平臺的全文檢索功能進行融合,從而將以圖搜圖的功能從精準檢索更進一步擴展到極速檢索。
1.4 云分析系統(tǒng)功能
1.4.1 車牌二次識別
1.4.2 車身顏色二次識別
系統(tǒng)能夠識別11種車身顏色,白色、灰色、黑色、紅色、紫色、藍色、黃色、綠色、青色、棕色、粉紅色。還可以識別車身顏色的深色和淺色。
1.4.3 車型二次識別
系統(tǒng)能夠識別7種常見車型,包括客車,大貨車,轎車,面包車,小貨車,SUV,中型客車。
1.4.4 車牌顏色二次識別
系統(tǒng)能夠?qū)嚺祁伾詣幼R別,識別的5種車牌顏色包括藍、黃、綠、白、黑。
1.4.5 車標二次識別
系統(tǒng)可識別的車輛標志包括:奔馳、寶馬、大眾、別克、豐田、本田、依維柯、金杯、福特、現(xiàn)代、馬自達、奇瑞、奧迪、雪鐵龍、雪弗蘭、標致、東風、五菱、尼桑、起亞、皇冠、東南、比亞迪等兩百多種車標。
1.4.6 車輛子品牌二次識別
系統(tǒng)可識別的細分車型包括:奧迪A6L、奧迪Q3、奧迪Q5、阿斯頓馬丁DB9、阿斯頓馬丁DBS、保時捷911、別克GL8、君威、君越、奔騰B50、奔騰B70、本田歌詩圖、本田鋒范、標致307、標致308等兩千多種細分車型,其涉及范圍包括當前已停售,或剛上市熱銷的各種細分車型。
1.4.7 遮陽板二次識別
系統(tǒng)能夠?qū)Υ蜷_遮陽板進行檢測,為公安交通管理和刑偵案件偵破提供科技新手段。
1.4.8 黃標車二次識別
系統(tǒng)能夠?qū)S標車進行檢測,為黃標車專項整治、城市環(huán)保提供決策支撐。
1.4.9 未系安全帶二次識別
系統(tǒng)能夠?qū)ξ聪蛋踩珟н`法行為進行自動檢測,為交警查處未系安全帶違法行為提供了科技新手段,從而規(guī)范駕駛?cè)税踩{駛行為。
1.4.10 異常車輛二次識別分析及報警
系統(tǒng)能夠?qū)倥?、套牌、無牌、車牌遮擋、污損、模糊、逾期未年檢、逾期未報廢車輛進行自動檢測識別,對識別不到異常牌照,能夠進行自動預警。
1.4.11 以圖搜圖
以圖搜圖,是通過搜索圖像文本或者視覺特征,在系統(tǒng)中通過類似信息的比對,獲取到真正實際需求的圖像信息的一種智能搜索方法,可應用于套牌車輛分析等應用中,根據(jù)車窗上的車輛年檢標識、車輛內(nèi)飾等車輛特征搜索類似車輛。可應用與無牌車的分析研判,根據(jù)車型搜索符合條件的無牌車,然后利用以圖搜圖根據(jù)車標、子品牌、車身顏色等信息定位車輛真實信息,可協(xié)助公安交警部門查處套牌車輛、盜搶車輛、肇事逃逸車輛等。
以圖搜圖的工作流程包括數(shù)據(jù)建模和比對分析兩個步驟:
1)數(shù)據(jù)建模
由云分析對過車圖片進行統(tǒng)一建模,建模數(shù)據(jù)直接存儲在大數(shù)據(jù)平臺中。
2)分析比對
大數(shù)據(jù)平臺根據(jù)用戶需要查詢的原始圖片和特征比對信息,自動與要查詢的原始圖片進行比對,比對結(jié)果按相似度返回給大數(shù)據(jù)平臺。
1.4.12 連續(xù)違法分析
以不同卡口、不同時間為基點,自動檢索多次違法的車輛。分析結(jié)果支持列表展示,自動列出分析結(jié)果展示具體違法記錄。
1.4.13 通行車輛實時監(jiān)控分析
可對單個卡口,多個卡口進行實時監(jiān)控,包括通過時間、通過地點、號牌種類、號牌號碼、行駛方向、行駛速度、車輛類型、車身顏色、車輛屬地、圖片詳情及行進軌跡等。
1.4.14 特種車輛軌跡時空域分析
基于大數(shù)據(jù)的特種車輛管控,是指針對類似渣土車、校車等安全等級較高的車輛,通過設定專屬的行駛路線,一旦出現(xiàn)車輛偏離行車路線的時候,即發(fā)送報警信息給相關(guān)人員,從而確保特種車輛始終處于受控的安全狀態(tài)。
1.4.15 車輛遮陽板與案件關(guān)聯(lián)的時空域分析
大數(shù)據(jù)平臺根據(jù)卡口的過車數(shù)據(jù)對每輛過往車輛建立單獨的信息庫,與車管庫的車輛信息庫所不同的是,該信息庫是專門用于過車信息研判。例如卡口會對每輛過車時是否放下了遮陽板進行檢測,大數(shù)據(jù)平臺則統(tǒng)計車輛的全部過車照片,放下遮陽板的次數(shù)有多少;打開遮陽板的次數(shù)有多少,隨后定義一個研判規(guī)則,例如這個比例超過50%,那么駕駛?cè)司陀幸欢ǖ南右桑M入單獨的嫌疑車輛庫;這個信息庫往后來看,就是根據(jù)一些統(tǒng)計結(jié)果來判斷駕駛?cè)藛T的駕駛行為分析。