如今,數(shù)據(jù)中心已經(jīng)成為企業(yè)發(fā)展中不可或缺的動(dòng)力來源之一,隨著數(shù)據(jù)中心在企業(yè)中的深入應(yīng)用,數(shù)據(jù)中心如何有效降溫,也成為企業(yè)關(guān)注的焦點(diǎn)。隨著大數(shù)據(jù)的熱潮不斷升溫,幾乎各個(gè)領(lǐng)域都有洪水傾瀉般的信息涌來,面對(duì)用戶成千上萬的瀏覽記錄、記錄行為數(shù)據(jù),如果就單純的Excel來進(jìn)行數(shù)據(jù)處理是遠(yuǎn)遠(yuǎn)不能滿足的。但如果只用一些操作軟件來分析,而不怎么如何用邏輯數(shù)據(jù)來分析的話,那也只是簡(jiǎn)單的數(shù)據(jù)處理。
替代性很高的工作,而無法深入規(guī)劃策略的核心。 當(dāng)然,基本功是最不可忽略的環(huán)節(jié),想要成為數(shù)據(jù)科學(xué)家,對(duì)于這幾個(gè)程序你應(yīng)該要有一定的認(rèn)識(shí):
Hadoop and Hive
為了迎合大量數(shù)據(jù)處理的需求,以Java為基礎(chǔ)的工具群興起。Hadoop為處理一批批數(shù)據(jù)處理,發(fā)展以Java為基礎(chǔ)的架構(gòu)關(guān)鍵;相較于其他處理工具,Hadoop慢許多,但是無比的準(zhǔn)確和可被后端數(shù)據(jù)庫分析廣泛使用。和Hive搭配的很好,Hive是基于查詢的架構(gòu)下,運(yùn)作的相當(dāng)好。
Python
如果說R是神經(jīng)質(zhì)又令人喜愛的Geek,那Python就是隨和又好相處的女生。
Python結(jié)合了R的快速、處理復(fù)雜數(shù)據(jù)采礦的能力以及更務(wù)實(shí)的語言等各個(gè)特質(zhì),迅速地成為主流,Python比起R,學(xué)起來更加簡(jiǎn)單也更直觀,而且它的生態(tài)系統(tǒng)近幾年來不可思議地快速成長,在統(tǒng)計(jì)分析上比起R功能更強(qiáng)。
Butler說,“過去兩年間,從R到Python地顯著改變,就像是一個(gè)巨人不斷地推動(dòng)向前進(jìn)‘。
在數(shù)據(jù)處理范疇內(nèi),通常在規(guī)模與復(fù)雜之間要有個(gè)取舍,而Python以折衷的姿態(tài)出現(xiàn)。IPythonNotebook(記事本軟件)和NumPy被用來暫時(shí)存取較低負(fù)擔(dān)的工作量,然而Python對(duì)于中等規(guī)模的數(shù)據(jù)處理是相當(dāng)好的工具;Python擁有豐富的資料族,提供大量的工具包和統(tǒng)計(jì)特征。
美國銀行用Python來建立新產(chǎn)品和在銀行的基礎(chǔ)建設(shè)接口,同時(shí)也處理財(cái)務(wù)數(shù)據(jù),“Python是更廣泛又相當(dāng)有彈性,所以大家會(huì)對(duì)它趨之若鶩?!監(jiān)’Donnell如是說。
然而,雖然它的優(yōu)點(diǎn)能夠彌補(bǔ)R的缺點(diǎn),它仍然不是最高效能的語言,偶爾才能處理龐大規(guī)模、核心的基礎(chǔ)建設(shè)。Driscoll是這么認(rèn)為的。
Julia
今日大多數(shù)的數(shù)據(jù)科學(xué)都是透過R、Python、Java、Matlab及SAS為主,但仍然存在著鴻溝要去彌補(bǔ),而這個(gè)時(shí)候,新進(jìn)者Julia看到了這個(gè)痛點(diǎn)。
Julia仍太過于神秘而尚未被業(yè)界廣泛的采用,但是當(dāng)談到它的潛力足以搶奪R和Python的寶座時(shí),數(shù)據(jù)黑客也難以解釋。原因在于Julia是個(gè)高階、不可思議的快速和善于表達(dá)的語言,比起R要快的許多,比起Python又有潛力處理更具規(guī)模的數(shù)據(jù),也很容易上手。
“Julia會(huì)變的日漸重要,最終,在R和Python可以做的事情在Julia也可以”。Butler是這么認(rèn)為的。
就現(xiàn)在而言,若要說Julia發(fā)展會(huì)倒退的原因,大概就是它太年輕了。Julia的數(shù)據(jù)小區(qū)還在初始階段,在它要能夠和R或Python競(jìng)爭(zhēng)前,它還需要更多的工具包和軟件包。
Driscoll說,它就是因?yàn)樗贻p,才會(huì)有可能變成主流又有前景。
R
若要列出所有程序語言,你能忘記其他的沒關(guān)系,但最不能忘的就是R。從1997年悄悄地出現(xiàn),最大的優(yōu)勢(shì)就是它免費(fèi),為昂貴的統(tǒng)計(jì)軟件像是Matlab或SAS的另一種選擇。