1.1． 概述

 最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！?/span>

隨著互聯(lián)網(wǎng)快速發(fā)展、智能手機(jī)以及“可佩帶”計(jì)算設(shè)備的出現(xiàn)，我們的行為、位置，甚至身體生理數(shù)據(jù)等每一點(diǎn)變化都成為了可被記錄和分析的數(shù)據(jù)。這些新技術(shù)推動(dòng)著大數(shù)據(jù)時(shí)代的來(lái)臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB來(lái)衡量。

今天的大數(shù)據(jù)分析市場(chǎng)與幾年前的市場(chǎng)截然不同，正是由于海量數(shù)據(jù)的暴增，未來(lái)十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。
 　　未來(lái)十年大數(shù)據(jù)分析的發(fā)展趨勢(shì)

 　　公有云優(yōu)于私有云的優(yōu)勢(shì)繼續(xù)擴(kuò)大。公有云正逐步成為客戶群的首選大數(shù)據(jù)分析平臺(tái)。這是因?yàn)楣性平鉀Q方案比內(nèi)部部署堆棧更為成熟，增加了更豐富的功能，且成本日益增加。另外，公有云正在增加其應(yīng)用程度編程接口生態(tài)系統(tǒng)，并加快開(kāi)發(fā)管理工具的速度。

1.2． 大數(shù)據(jù)分析

 當(dāng)數(shù)據(jù)分析遇到大數(shù)據(jù)時(shí)代，于是就產(chǎn)生了完美的契合：大數(shù)據(jù)分析。你可以理解大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)被稱為當(dāng)今最有潛質(zhì)的IT詞匯，接踵而來(lái)的數(shù)據(jù)挖掘、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)存儲(chǔ)等等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，大數(shù)據(jù)分析也應(yīng)運(yùn)而生。

加速融合以企業(yè)實(shí)現(xiàn)商業(yè)價(jià)值。用戶開(kāi)始加快將孤立的大數(shù)據(jù)資產(chǎn)融合到公有云的速度。而公有云廠商也在優(yōu)化困擾私有大數(shù)據(jù)架構(gòu)的跨業(yè)務(wù)孤島。同樣重要的是，云數(shù)據(jù)和本地?cái)?shù)據(jù)解決方案正融合到集成產(chǎn)品中，旨在降低復(fù)雜性并加快實(shí)現(xiàn)業(yè)務(wù)價(jià)值。更多的解決方案提供商正在提供標(biāo)準(zhǔn)化的API，以簡(jiǎn)化訪問(wèn)，加速開(kāi)發(fā)，并在整個(gè)大數(shù)據(jù)解決方案堆棧中實(shí)現(xiàn)更全面的管理。
 　　大數(shù)據(jù)初創(chuàng)公司將越來(lái)越復(fù)雜的AI注意應(yīng)用程序推向市場(chǎng)。過(guò)去幾年來(lái)，許多新的數(shù)據(jù)庫(kù)，流處理和數(shù)據(jù)初創(chuàng)公司加入到市場(chǎng)中。不少公司也開(kāi)始通過(guò)AI的解決方案加入到市場(chǎng)競(jìng)爭(zhēng)中。其中大部分創(chuàng)新方案都是為公有云或混合云部署而設(shè)計(jì)的。
 　　新興解決方案逐漸替代傳統(tǒng)方法。越來(lái)越多的大數(shù)據(jù)平臺(tái)供應(yīng)商將涌現(xiàn)出融合物聯(lián)網(wǎng)、區(qū)塊鏈和流計(jì)算的下一代方法。這些大數(shù)據(jù)平臺(tái)主要針對(duì)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能管理端到端devops管理進(jìn)行優(yōu)化。此外，不少大數(shù)據(jù)分析平臺(tái)正在為AI微服務(wù)架構(gòu)設(shè)計(jì)邊緣設(shè)備。
 　　打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來(lái)越廣泛。未來(lái)十年，更多服務(wù)將自動(dòng)調(diào)整其嵌入式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和AI模型，以持續(xù)提供最佳業(yè)務(wù)成果。這些服務(wù)將納入預(yù)先訓(xùn)練的模式，客戶可以調(diào)整和擴(kuò)展到自己的特定需求。

1.3、數(shù)據(jù)分析部署的障礙與難點(diǎn)

成本高昂且效率低下。對(duì)于許多IT專業(yè)人員來(lái)說(shuō)，大數(shù)據(jù)分析管理和治理流理仍然過(guò)于孤立，成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的流程，幫助大型專業(yè)人員團(tuán)隊(duì)更有效、快速和準(zhǔn)備的管理數(shù)據(jù)及分析。
 　　缺乏自動(dòng)化功能。大數(shù)據(jù)分析應(yīng)用程序的開(kāi)發(fā)和運(yùn)營(yíng)仍然過(guò)于耗時(shí)且需要手動(dòng)。供應(yīng)商需要加強(qiáng)其的自動(dòng)化功能，以確保提高用戶技術(shù)人員的生產(chǎn)力，同時(shí)確保即使是低技能人員也能處理復(fù)雜業(yè)務(wù)。

 　　大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，并逐漸滲透到各個(gè)行業(yè)領(lǐng)域之中。對(duì)于企業(yè)IT來(lái)說(shuō)，開(kāi)始將更多的大數(shù)據(jù)分析開(kāi)發(fā)工作遷移到公有云環(huán)境中，這也將加速AWS，微軟，谷歌等云廠商提供的快速成熟且低成本產(chǎn)品的能力。

1.4、大數(shù)據(jù)時(shí)代的趨勢(shì)

三大趨勢(shì)

1、真實(shí)的機(jī)器學(xué)習(xí)

我們堅(jiān)信，機(jī)器學(xué)習(xí)、人工智能未來(lái)很快會(huì)接管世界，至少是人類的大部分工作。然而現(xiàn)實(shí)正一步步向我們推進(jìn)，我們發(fā)現(xiàn)機(jī)器學(xué)習(xí)能最有效地成為人類的助手而不是替代者。人類工作和機(jī)器學(xué)習(xí)結(jié)合才是最好的結(jié)果。

2、從數(shù)據(jù)采集者到數(shù)據(jù)生產(chǎn)者

過(guò)去，企業(yè)一直專注于挖掘自己擁有的數(shù)據(jù)，并發(fā)現(xiàn)和收集其他組織擁有的數(shù)據(jù)。但現(xiàn)在，企業(yè)需要一些戰(zhàn)略轉(zhuǎn)移，有意識(shí)的創(chuàng)造所需的數(shù)據(jù)，用于銷售新產(chǎn)品和服務(wù)，滿足業(yè)務(wù)目標(biāo)的需要。例如一家體檢公司收集病人生活方式和保險(xiǎn)公司投保條件信息，并以此為基礎(chǔ)提供個(gè)性化的客戶服務(wù)和指導(dǎo)。這樣的公司會(huì)走得更遠(yuǎn)，針對(duì)客戶的需要，有針對(duì)性的收集和提供數(shù)據(jù)。

3、優(yōu)化客戶體驗(yàn)的新方法

在大數(shù)據(jù)領(lǐng)域最后的幾個(gè)攻堅(jiān)戰(zhàn)之一就是提升用戶的體用體驗(yàn)了。以現(xiàn)在的趨勢(shì)看來(lái)，使用自然語(yǔ)言處理分析現(xiàn)有數(shù)據(jù)是個(gè)不錯(cuò)的辦法，例如在社交媒體上的進(jìn)行情感分析，會(huì)比較容易抓取到用戶的好惡，從而進(jìn)行產(chǎn)品的改進(jìn)。