重慶大數(shù)據(jù)的產(chǎn)業(yè)鏈分析,重慶大數(shù)據(jù)完整的產(chǎn)業(yè)鏈構(gòu)成如下圖所示,可分為標(biāo)準(zhǔn)與規(guī)范、大數(shù)據(jù)安全、大數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)運(yùn)維以及大數(shù)據(jù)應(yīng)用幾個(gè)環(huán)節(jié),覆蓋了大數(shù)據(jù)從產(chǎn)生到應(yīng)用的整個(gè)生命周期。
1、大數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范
重慶大數(shù)據(jù)標(biāo)準(zhǔn)體系是開(kāi)展大數(shù)據(jù)應(yīng)用的前提條件,沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)體系,大數(shù)據(jù)共享、分析、挖掘、決策支持將無(wú)從談起。大數(shù)據(jù)標(biāo)準(zhǔn)包括體系結(jié)構(gòu)標(biāo)準(zhǔn)、大數(shù)據(jù)格式與表示標(biāo)準(zhǔn)、組織管理標(biāo)準(zhǔn)、安全標(biāo)準(zhǔn)和評(píng)測(cè)標(biāo)準(zhǔn)。在標(biāo)準(zhǔn)化建設(shè)方面,參與單位主要包括中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、各個(gè)大數(shù)據(jù)庫(kù)公司、大數(shù)據(jù)擁有部門以及各個(gè)行業(yè)的標(biāo)準(zhǔn)化組織。
2、大數(shù)據(jù)安全
隨著海量大數(shù)據(jù)的不斷增加,對(duì)大數(shù)據(jù)存儲(chǔ)和訪問(wèn)的安全性要求越來(lái)越高,從而對(duì)大數(shù)據(jù)的訪問(wèn)控制技術(shù)、加密保護(hù)技術(shù)以及多副本與容災(zāi)機(jī)制等提出了更高的要求。另外,由于大數(shù)據(jù)處理主要采用分布式計(jì)算方法,這必然面臨著大數(shù)據(jù)傳輸、信息交互等環(huán)節(jié),如何在這些環(huán)節(jié)中保護(hù)大數(shù)據(jù)價(jià)值不泄露、信息不丟失,保護(hù)所有站點(diǎn)的安全是大數(shù)據(jù)發(fā)展面對(duì)的重大挑戰(zhàn)。在大數(shù)據(jù)時(shí)代,傳統(tǒng)的隱私大數(shù)據(jù)內(nèi)涵與外延有了巨大突破和延伸,大數(shù)據(jù)的多元化與彼此的關(guān)聯(lián)性進(jìn)一步發(fā)展,使得對(duì)單一大數(shù)據(jù)的隱私保護(hù)方法變得極其脆弱,需要針對(duì)多元大數(shù)據(jù)融合的安全提出。在大數(shù)據(jù)安全環(huán)節(jié)上主要參與單位包括中國(guó)電子科技集團(tuán)公司第30研究所以及奇虎 360、瑞星等殺毒軟件公司。
3 、大數(shù)據(jù)采集
重慶政府部門、以 BAT 為代表的互聯(lián)網(wǎng)企業(yè)、運(yùn)營(yíng)商是當(dāng)前大數(shù)據(jù)的主要擁有者。除此之外,利用網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi) API 等途徑對(duì)網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行采集也是大數(shù)據(jù)的主要來(lái)源?,F(xiàn)實(shí)世界中的大數(shù)據(jù)大多不完整或不一致,無(wú)法直接進(jìn)行大數(shù)據(jù)挖掘或挖掘結(jié)果不理想,需要對(duì)采集的大數(shù)據(jù)進(jìn)行填補(bǔ)、平滑、合并、規(guī)格化、檢查一致性等大數(shù)據(jù)預(yù)處理操作,并且往往需要大量的人工參與,因此大數(shù)據(jù)采集和清洗成為大數(shù)據(jù)產(chǎn)業(yè)鏈的一個(gè)重要環(huán)節(jié)。
4 、大數(shù)據(jù)存儲(chǔ)與管理
重慶大數(shù)據(jù)存儲(chǔ)與管理的主要參與者以傳統(tǒng)大數(shù)據(jù)庫(kù)企業(yè)為主,國(guó)際上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 國(guó)內(nèi)主要有中興、華為、用友、浪潮、托爾思、數(shù)據(jù)堂、九次方、億贊普、達(dá)夢(mèng)等。各家企業(yè)針對(duì)大數(shù)據(jù)應(yīng)用開(kāi)展各具特色的數(shù)據(jù)庫(kù)架構(gòu)和數(shù)據(jù)組織管理研究,形成針對(duì)具體領(lǐng)域的產(chǎn)品。
5 、大數(shù)據(jù)分析與挖掘
大數(shù)據(jù)分析與挖掘的意圖主要集中在兩方面: 一是從大量的機(jī)構(gòu)結(jié)構(gòu)化和半結(jié)構(gòu)化大數(shù)據(jù)中分析出計(jì)算機(jī)可以理解的語(yǔ)義信息或知識(shí),二是對(duì)隱性的知識(shí),如關(guān)聯(lián)情況、意圖等進(jìn)行挖掘。常用的方法包括分類、聚類、關(guān)聯(lián)規(guī)則挖掘、序列模式挖掘、時(shí)間序列分析預(yù)測(cè)等。大數(shù)據(jù)分析與挖掘的核心算法與軟件主要掌握在大型大數(shù)據(jù)庫(kù)公司及高校的手里,國(guó)際上主要參與者包括 IBM、甲骨文、微軟、谷歌、亞馬遜、Facebook 等,國(guó)內(nèi)主要參與單位包括大數(shù)據(jù)庫(kù)企業(yè)、高校、以 BAT 為代表的大型互聯(lián)網(wǎng)企業(yè)等。大數(shù)據(jù)分析與挖掘的能力直接決定了大數(shù)據(jù)的應(yīng)用推廣程度和范圍,是大數(shù)據(jù)產(chǎn)業(yè)的核心。
6、大數(shù)據(jù)運(yùn)維
由于大數(shù)據(jù)的重要性得到普遍認(rèn)可,除政府部門不具備大數(shù)據(jù)運(yùn)維服務(wù)條件外,大數(shù)據(jù)的采集者通常就是大數(shù)據(jù)運(yùn)維者。各地政府方面則通常利用大數(shù)據(jù)平臺(tái)建設(shè)來(lái)推動(dòng)政府大數(shù)據(jù)的公開(kāi)與共享,如重慶,吸引個(gè)人和企業(yè)用戶開(kāi)展創(chuàng)新與創(chuàng)業(yè),積極推動(dòng)大數(shù)據(jù)的增值服務(wù)。
7、大數(shù)據(jù)應(yīng)用
大數(shù)據(jù)對(duì)傳統(tǒng)信息技術(shù)帶來(lái)革命性挑戰(zhàn),正在重構(gòu)信息技術(shù)體系和產(chǎn)業(yè)格局。國(guó)內(nèi)以阿里巴巴、百度、騰訊、人大金倉(cāng)、浪潮、曙光、南大通用為代表的互聯(lián)網(wǎng)企業(yè)、云計(jì)算和大數(shù)據(jù)庫(kù)廠商紛紛加大應(yīng)用推廣力度,在國(guó)際先進(jìn)的開(kāi)源大數(shù)據(jù)技術(shù)基礎(chǔ)上,形成獨(dú)自的大數(shù)據(jù)平臺(tái)構(gòu)建和應(yīng)用服務(wù)解決方案,以支撐不同行業(yè)不同領(lǐng)域的專業(yè)化應(yīng)用。雖然這些企業(yè)在平臺(tái)構(gòu)建上有著得天獨(dú)厚的優(yōu)勢(shì),但是在某些具體業(yè)務(wù)領(lǐng)域,并不擅長(zhǎng)或者關(guān)切。傳統(tǒng)企業(yè)以及從事大數(shù)據(jù)的微型企業(yè)是具體業(yè)務(wù)領(lǐng)域上大數(shù)據(jù)應(yīng)用的主力軍。應(yīng)用是大數(shù)據(jù)價(jià)值的體現(xiàn),是大數(shù)據(jù)發(fā)展的原始推動(dòng)力。當(dāng)前大數(shù)據(jù)的應(yīng)用正倒逼軟件技術(shù)、大數(shù)據(jù)架構(gòu)、大數(shù)據(jù)共享方式的轉(zhuǎn)變,在轉(zhuǎn)變思維過(guò)程中需要積極轉(zhuǎn)變思維,明確出大數(shù)據(jù)共享的方式是什么,大數(shù)據(jù)擁有者的利益如何平衡,商業(yè)模式如何開(kāi)展等等。