隨著城市化進(jìn)程的加快,交通擁堵、交通污染日益嚴(yán)重,交通事故頻繁發(fā)生,這些都是各大城市亟待解決的問題。為此,及時、準(zhǔn)確獲取交通數(shù)據(jù)并構(gòu)建交通數(shù)據(jù)處理模型是建設(shè)智能交通的前提,而這一難題可以通過大數(shù)據(jù)技術(shù)得到解決。目前交通行業(yè)數(shù)據(jù)處理和利用的現(xiàn)狀如下:
1. 存在數(shù)據(jù)孤島:各部門獨自擁有各個業(yè)務(wù)系統(tǒng)數(shù)據(jù),管理、共享難;各交通部門在建設(shè)部門數(shù)據(jù)庫系統(tǒng)時,只考慮了滿足自身業(yè)務(wù)需求,缺乏統(tǒng)一規(guī)劃;各種交通信息資源分散存儲,各部門或各系統(tǒng)的數(shù)據(jù)庫相互分離,數(shù)據(jù)共享交換機制還沒有形成。
2. 數(shù)據(jù)資產(chǎn)流失:歷史數(shù)據(jù)由于存儲手段、存儲格式、存儲介質(zhì)等原因,難以保存和利用,例如新舊系統(tǒng)切換時數(shù)據(jù)的備份機制如果沒有做好,就會出現(xiàn)歷史數(shù)據(jù)資產(chǎn)流失。
3. 智能化程度低:對于緊急事故的處理,主要由人的經(jīng)驗來做決策,很少用數(shù)據(jù)說話,應(yīng)急指揮、道路規(guī)劃等迫切需要智能化解決方案;
4. 精細(xì)化管理不夠:數(shù)據(jù)缺乏統(tǒng)一管理、難以支持精細(xì)化管理和科學(xué)化決策,數(shù)字資源綜合利用率低。
交通大數(shù)據(jù)解決方案
H3C大數(shù)據(jù)平臺采用融合架構(gòu):新型MPP數(shù)據(jù)庫與Hadoop生態(tài)系統(tǒng)融合一體,用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù),同時為應(yīng)用開發(fā)提供標(biāo)準(zhǔn)SQL接口;用Hadoop存儲與處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的視頻監(jiān)控、GPS定位信息、RFID識別信息等數(shù)據(jù),這樣可同時滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求;運維管理平臺統(tǒng)一管理MPP與Hadoop集群。交通行業(yè)大數(shù)據(jù)平臺架構(gòu)如下圖所示:
通過采集不同數(shù)據(jù)源、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù),導(dǎo)入到大數(shù)據(jù)平臺中,對接上層個性化數(shù)據(jù)分析、數(shù)據(jù)挖掘、BI報表展示等應(yīng)用。數(shù)據(jù)抽取融合如下圖所示:
H3C交通大數(shù)據(jù)解決方案的價值
交通大數(shù)據(jù)來源廣泛,主要分為靜態(tài)大數(shù)據(jù)與動態(tài)大數(shù)據(jù)。靜態(tài)大數(shù)據(jù)包括城市交通的基礎(chǔ)空間數(shù)據(jù)庫、道路交通網(wǎng)絡(luò)信息、道路交通客運信息、航班信息、列車時刻表信息等數(shù)據(jù);動態(tài)大數(shù)據(jù)包括衛(wèi)星遙感、航空攝影測量、地面視頻、交通工具實時位置信息等數(shù)據(jù)。
新華三集團(tuán)交通大數(shù)據(jù)解決方案,基于開源的分布式存儲、計算框架,以滿足當(dāng)前海量、多樣化數(shù)據(jù)的存儲與計算需求。該方案結(jié)合對交通主體、行為、態(tài)勢、路網(wǎng)拓?fù)浜铜h(huán)境等機理的理解,基于數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范,收集、存儲與分析海量的數(shù)據(jù),發(fā)掘交通出行規(guī)律、快速處理交通難題、解決大面積交通擁堵問題、提倡綠色出行理念以及實現(xiàn)各種交通業(yè)務(wù)創(chuàng)新。
大數(shù)據(jù)之于智能交通的意義,可以跨越行政區(qū)域的限制,實現(xiàn)交通數(shù)據(jù)信息的共享,在信息集成優(yōu)勢和組合效率上,建立綜合性、立體的交通信息體系;另外在車輛安全、交通資源配置以及利用大數(shù)據(jù)的快速性和可預(yù)測性來提升交通預(yù)測的水平,都有極大的幫助。
隨著城市化進(jìn)程的加快,交通擁堵、交通污染日益嚴(yán)重,交通事故頻繁發(fā)生,這些都是各大城市亟待解決的問題。為此,及時、準(zhǔn)確獲取交通數(shù)據(jù)并構(gòu)建交通數(shù)據(jù)處理模型是建設(shè)智能交通的前提,而這一難題可以通過大數(shù)據(jù)技術(shù)得到解決。目前交通行業(yè)數(shù)據(jù)處理和利用的現(xiàn)狀如下:
1. 存在數(shù)據(jù)孤島:各部門獨自擁有各個業(yè)務(wù)系統(tǒng)數(shù)據(jù),管理、共享難;各交通部門在建設(shè)部門數(shù)據(jù)庫系統(tǒng)時,只考慮了滿足自身業(yè)務(wù)需求,缺乏統(tǒng)一規(guī)劃;各種交通信息資源分散存儲,各部門或各系統(tǒng)的數(shù)據(jù)庫相互分離,數(shù)據(jù)共享交換機制還沒有形成。
2. 數(shù)據(jù)資產(chǎn)流失:歷史數(shù)據(jù)由于存儲手段、存儲格式、存儲介質(zhì)等原因,難以保存和利用,例如新舊系統(tǒng)切換時數(shù)據(jù)的備份機制如果沒有做好,就會出現(xiàn)歷史數(shù)據(jù)資產(chǎn)流失。
3. 智能化程度低:對于緊急事故的處理,主要由人的經(jīng)驗來做決策,很少用數(shù)據(jù)說話,應(yīng)急指揮、道路規(guī)劃等迫切需要智能化解決方案;
4. 精細(xì)化管理不夠:數(shù)據(jù)缺乏統(tǒng)一管理、難以支持精細(xì)化管理和科學(xué)化決策,數(shù)字資源綜合利用率低。
交通大數(shù)據(jù)解決方案
H3C大數(shù)據(jù)平臺采用融合架構(gòu):新型MPP數(shù)據(jù)庫與Hadoop生態(tài)系統(tǒng)融合一體,用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù),同時為應(yīng)用開發(fā)提供標(biāo)準(zhǔn)SQL接口;用Hadoop存儲與處理半結(jié)構(gòu)化、非結(jié)構(gòu)化的視頻監(jiān)控、GPS定位信息、RFID識別信息等數(shù)據(jù),這樣可同時滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求;運維管理平臺統(tǒng)一管理MPP與Hadoop集群。交通行業(yè)大數(shù)據(jù)平臺架構(gòu)如下圖所示:
通過采集不同數(shù)據(jù)源、不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù),導(dǎo)入到大數(shù)據(jù)平臺中,對接上層個性化數(shù)據(jù)分析、數(shù)據(jù)挖掘、BI報表展示等應(yīng)用。數(shù)據(jù)抽取融合如下圖所示:
H3C交通大數(shù)據(jù)解決方案的價值
交通大數(shù)據(jù)來源廣泛,主要分為靜態(tài)大數(shù)據(jù)與動態(tài)大數(shù)據(jù)。靜態(tài)大數(shù)據(jù)包括城市交通的基礎(chǔ)空間數(shù)據(jù)庫、道路交通網(wǎng)絡(luò)信息、道路交通客運信息、航班信息、列車時刻表信息等數(shù)據(jù);動態(tài)大數(shù)據(jù)包括衛(wèi)星遙感、航空攝影測量、地面視頻、交通工具實時位置信息等數(shù)據(jù)。
新華三集團(tuán)交通大數(shù)據(jù)解決方案,基于開源的分布式存儲、計算框架,以滿足當(dāng)前海量、多樣化數(shù)據(jù)的存儲與計算需求。該方案結(jié)合對交通主體、行為、態(tài)勢、路網(wǎng)拓?fù)浜铜h(huán)境等機理的理解,基于數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范,收集、存儲與分析海量的數(shù)據(jù),發(fā)掘交通出行規(guī)律、快速處理交通難題、解決大面積交通擁堵問題、提倡綠色出行理念以及實現(xiàn)各種交通業(yè)務(wù)創(chuàng)新。
大數(shù)據(jù)之于智能交通的意義,可以跨越行政區(qū)域的限制,實現(xiàn)交通數(shù)據(jù)信息的共享,在信息集成優(yōu)勢和組合效率上,建立綜合性、立體的交通信息體系;另外在車輛安全、交通資源配置以及利用大數(shù)據(jù)的快速性和可預(yù)測性來提升交通預(yù)測的水平,都有極大的幫助。
2010年,國家公布的“十二五”規(guī)劃中指出要重點建設(shè)國家級、省級和地市級三級衛(wèi)生信息平臺,建設(shè)電子檔案和電子病歷兩個基礎(chǔ)數(shù)據(jù)庫等諸項目標(biāo),即推進(jìn)醫(yī)療信息化的“3521”工程。過去由于缺少統(tǒng)一的電子病歷系統(tǒng)(EMR)標(biāo)準(zhǔn),中國的電子病歷系統(tǒng)發(fā)展比較緩慢,醫(yī)院之間不能實現(xiàn)病患信息共享,醫(yī)療服務(wù)水平也因此受到影響。為改善這一現(xiàn)狀,國家會逐漸加大對電子病歷的投入。適應(yīng)這一趨勢,各級醫(yī)院也將大力投入大數(shù)據(jù)、云計算、醫(yī)療物聯(lián)。而隨著醫(yī)療信息數(shù)據(jù)的幾何倍數(shù)增長,醫(yī)院信息海量存儲將越來越受到重視,新華三集團(tuán)醫(yī)療大數(shù)據(jù)致力于提高醫(yī)療和養(yǎng)老的服務(wù)效率和質(zhì)量、降低服務(wù)成本、改善就醫(yī)和養(yǎng)老的客戶體驗智慧體系。
醫(yī)療大數(shù)據(jù)解決方案:采用華三DataEngine大數(shù)據(jù)平臺,為客戶提供更好的智慧醫(yī)療服務(wù)。在醫(yī)療+互聯(lián)網(wǎng)化場景,有效的提升了醫(yī)療信息系統(tǒng)的處理效率,提升了海量病人電子檔案迅速檢索,針對患者檔案大幅提升快速分析性能,實現(xiàn)快速高效即席查詢,為海量的EMH歷史檔案分析應(yīng)用提供了數(shù)據(jù)支撐,根據(jù)歷史診斷給患者精準(zhǔn)的病例畫像。
華三大數(shù)據(jù)平臺DataEngine重構(gòu)包括人口信息、醫(yī)療資源、電子健康檔案、電子病歷、生命體征信息、醫(yī)學(xué)影像在內(nèi)的醫(yī)療衛(wèi)生全領(lǐng)域大數(shù)據(jù)信息庫,建立相應(yīng)的信息存儲、交換共享的標(biāo)準(zhǔn)規(guī)范體系。圍繞以患者為核心建立標(biāo)準(zhǔn)化的EHR檔案平臺。
醫(yī)療大數(shù)據(jù)以“人”連接平臺、打通行業(yè)孤島,在系統(tǒng)間互聯(lián)互通的基礎(chǔ)上實現(xiàn)健康檔案的互操作,借助各方力量共同為民眾完善健康檔案。“健康檔案”作為患者個人的“健康門戶”,統(tǒng)一各行業(yè)、各平臺系統(tǒng)對于個人電子健康記錄的需求,實現(xiàn)信息互補和共用。
基于健康檔案(EHR)大數(shù)據(jù)庫,從業(yè)務(wù)需求出發(fā),通過華三大數(shù)據(jù)DataEngine分析,挖掘展現(xiàn)周期性的突發(fā)疾病、傳染病、重點疾病及相應(yīng)診療費用等監(jiān)測、監(jiān)管和預(yù)警。
華三通信DataEngine大數(shù)據(jù)平臺專業(yè)致力于提高醫(yī)療和養(yǎng)老的服務(wù)效率和質(zhì)量,降低服務(wù)成本,改善就醫(yī)和養(yǎng)老的客戶體驗智慧體系,有效的提升了患者健康檔案的在線即席查詢效率,患者健康問題檢索,海量病例分析。最終實現(xiàn):
(1)大數(shù)據(jù)分析以患者為中心的醫(yī)院診療服務(wù)系統(tǒng)和管理系統(tǒng)的智能化
(2)以海量居民電子健康檔案為核心的區(qū)域醫(yī)療服務(wù)系統(tǒng)的信息標(biāo)準(zhǔn)化和互聯(lián)互通
(3)面向居家養(yǎng)老、社區(qū)養(yǎng)老、機構(gòu)養(yǎng)老,突出“醫(yī)”和“養(yǎng)”相融合的養(yǎng)老服務(wù)智能化系統(tǒng)。
H3C DataEngine Lion運維大數(shù)據(jù)平臺能夠幫助運維人員從傳統(tǒng)被動救火的運維方式中解脫,利用大數(shù)據(jù)技術(shù)做到精準(zhǔn)、智能的運維,主要解決用戶如下運維難題:
1. 運維日志分散,定位問題需要單獨登陸設(shè)備、系統(tǒng)去分析。一個簡單問題定位原因可能會涉及系統(tǒng)眾多,需要很長時間多部門人員溝通協(xié)調(diào),Lion可以做到運維日志的集中管理。
2. 海量數(shù)據(jù)存儲、檢索問題,每天新增大量的日志數(shù)據(jù),歷史數(shù)據(jù)存儲成本高,存了無法有效分析利用、帶來價值,Lion做到了存儲的彈性擴展以及高效檢索。
3. 各種設(shè)備、應(yīng)用提供的日志信息之間難以關(guān)聯(lián),一個問題的出現(xiàn)很可能從應(yīng)用系統(tǒng)到硬件都有日志記錄保存,利用Lion的機器學(xué)習(xí)、大數(shù)據(jù)技術(shù)能分析日志之間的關(guān)聯(lián)性,可高效定位問題。
4. 問題事件難以提前預(yù)警,往往是出了問題再去分析定位,Lion利用豐富的機器學(xué)習(xí)算法,做到運維問題事件的智能預(yù)警。
5. 報表統(tǒng)計需要手工操作,日志數(shù)據(jù)可視化程度不夠,Lion集成豐富的可視化圖表、儀表盤,讓數(shù)據(jù)更生動,讓用戶更易發(fā)現(xiàn)日志數(shù)據(jù)的關(guān)聯(lián)。
H3C DataEngine Lion運維大數(shù)據(jù)平實現(xiàn)了對網(wǎng)絡(luò)設(shè)備、服務(wù)器、安全設(shè)備、操作系統(tǒng)、應(yīng)用系統(tǒng)的日志自動收集、集中存儲、快速檢索、智能告警、可視化,運用大數(shù)據(jù)的技術(shù)手段來幫助運維人員擺脫傳統(tǒng)IT運維的困境。
數(shù)據(jù)源采集
支持采集服務(wù)器、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用系統(tǒng)等日志文件;支持采集數(shù)據(jù)庫訪問日志;支持網(wǎng)絡(luò)流量采集;支持設(shè)備性能指標(biāo)采集;支持端口監(jiān)聽收集數(shù)據(jù)等,幾乎支持全數(shù)據(jù)源采集。
格式解析
1. 支持自動化解析常見類型的日志。
2. 支持配置解析規(guī)則對日志解析。
3. 對于不能被自動識別的日志,會對其全文索引。
數(shù)據(jù)存儲
采用分布式存儲架構(gòu),節(jié)點可在線動態(tài)擴展增加存儲容量,支持PB級別以上海量數(shù)據(jù)存儲,支持高可用、多副本機制、快照功能。
數(shù)據(jù)檢索
1. 支持全文檢索功能。支持近實時的搜索效果,一般查詢在毫秒級響應(yīng),億級數(shù)據(jù)查詢在1秒內(nèi)響應(yīng)。
2. 支持定時頁面刷新結(jié)果,時間序列結(jié)果展示。
3. 支持自定義告警規(guī)則,智能預(yù)測發(fā)現(xiàn)問題,做到對告警事件及時響應(yīng)。
數(shù)據(jù)分析挖掘
支持豐富的機器學(xué)習(xí)算法,能自我完善模型、訓(xùn)練數(shù)據(jù)。支持基于Spark、Hadoop等分布式計算框架,支持離線數(shù)據(jù)挖掘,實時數(shù)據(jù)分析,支持基于大數(shù)據(jù)的用戶行為分析、多數(shù)據(jù)源關(guān)聯(lián)分析。
可視化
1. 提供了折線圖、面積圖、餅圖、地圖、區(qū)域圖、表格、曲線圖、柱狀圖、雷達(dá)圖等圖表功能。
2. 支持定時的可視化圖表刷新。
3. 支持自由組合可視化為儀表盤。
4. 支持已保存的可視化、儀表盤對象的編輯、預(yù)覽、導(dǎo)入、導(dǎo)出以及批量導(dǎo)入和導(dǎo)出。
ACG流量統(tǒng)計
攻擊事件Top圖
一
新華三集團(tuán)是新IT 架構(gòu)的倡導(dǎo)者和先行者,圍繞國務(wù)院提出的“中國制造2025“ 方案,為實現(xiàn)中國制造騰飛做出自己的貢獻(xiàn)。智能制造不單單是簡單工業(yè)制造和信息化技術(shù)的融合,更需要對制造進(jìn)行全流程的管控和趨勢研判,它包括產(chǎn)品預(yù)研、設(shè)備預(yù)測管理、產(chǎn)品質(zhì)量管理、產(chǎn)線流程自動優(yōu)化組合、倉庫預(yù)測分配等等新的課題,這些可以提高的制造業(yè)的一般水平,由于這些課題的開展依賴于對海量數(shù)據(jù)的分析得出精準(zhǔn)的結(jié)論指導(dǎo)生產(chǎn)制造,所以需要一套高計算性能、高可靠、高安全的大數(shù)據(jù)平臺。
二
大數(shù)據(jù)平臺: 新型MPP數(shù)據(jù)庫與Hadoop生態(tài)系統(tǒng)混合架構(gòu),使用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù),同時為應(yīng)用提供豐富的SQL支持能力;用Hadoop實現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理。這樣可同時滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求;運維管理平臺統(tǒng)一管理MPP與Hadoop集群。
海量分析,精確定位: 新華三集團(tuán)工業(yè)大數(shù)據(jù)解決方案,基于分布式計算,存儲框架,采用開源架構(gòu),面向汽車、快銷品、白電、電子加工、面板、電池、風(fēng)能等制造行業(yè),為企業(yè)整合不同價值的數(shù)據(jù)源。通過采集,存儲,建模,挖掘,展現(xiàn)工序?qū)崿F(xiàn)針對客戶的客戶畫像開展交叉營銷,個性化產(chǎn)品推薦。生產(chǎn)管理方面利用MES 數(shù)據(jù),PLC 數(shù)據(jù), 探測裝置數(shù)據(jù)對設(shè)備進(jìn)行可預(yù)測性維護(hù),對產(chǎn)品質(zhì)量檢測數(shù)據(jù)進(jìn)行產(chǎn)品質(zhì)量分析,準(zhǔn)確找出產(chǎn)品質(zhì)量出現(xiàn)問題和影響產(chǎn)品質(zhì)量的關(guān)鍵要素, 通過企業(yè)的生產(chǎn)、流通、銷售、財務(wù)等相關(guān)信息結(jié)合大數(shù)據(jù)挖掘方法進(jìn)行風(fēng)險分析等。當(dāng)原有數(shù)據(jù)倉庫運行緩慢,大數(shù)據(jù)平臺有良好的大規(guī)模數(shù)據(jù)處理能力,可以在不影響原有系統(tǒng)的情況幫助系統(tǒng)提升運行效率。