大數(shù)據(jù)與物聯(lián)網(wǎng)的興起
大數(shù)據(jù)是非結(jié)構(gòu)化和沒(méi)有組織性的,指的是不斷增加的數(shù)據(jù),且需要收集、儲(chǔ)存、管理和分析的技術(shù)。這是個(gè)復(fù)雜的和多層面的現(xiàn)象,影響到人員、流程和技術(shù)。從技術(shù)的角度來(lái)看,大數(shù)據(jù)整合了組織、管理、分析和顯示數(shù)據(jù),這些都是“Seven V’S”的特點(diǎn)。如果沒(méi)有適當(dāng)?shù)陌褦?shù)據(jù)收集到位,對(duì)企業(yè)而言將不能排序所有在嵌入式傳感器中流動(dòng)的信息流。這意味著,如果沒(méi)有大數(shù)據(jù),物聯(lián)網(wǎng)僅可提供企業(yè)一點(diǎn)點(diǎn)東西。
物聯(lián)網(wǎng)(又稱智能聯(lián)網(wǎng)),系指物物相聯(lián)的物聯(lián)網(wǎng),讓物與物或物與人之間能夠借此產(chǎn)生互動(dòng)與聯(lián)結(jié),可提供“全面感知、可靠傳遞、智能處理”的整合服務(wù)。根據(jù)歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)(European Telecommunications Standards Institute, ETSI)之定義,物聯(lián)網(wǎng)可依照不同的工作內(nèi)容劃分為感知層、網(wǎng)絡(luò)層及應(yīng)用層。在感知層方面,主要是利用感測(cè)組件針對(duì)特定的場(chǎng)景進(jìn)行數(shù)據(jù)收集或者是監(jiān)控的動(dòng)作來(lái)實(shí)現(xiàn)全面感知的目的;網(wǎng)絡(luò)層主要目的則是確保大數(shù)據(jù)的可靠傳遞,可透過(guò)各種網(wǎng)絡(luò)通訊技術(shù)實(shí)現(xiàn),將物聯(lián)網(wǎng)終端裝置上的數(shù)據(jù)傳遞至特定目標(biāo)上;應(yīng)用層則是以云端運(yùn)算與儲(chǔ)存技術(shù)為基礎(chǔ),進(jìn)行大數(shù)據(jù)數(shù)據(jù)的分析與處理,以提供智慧化的服務(wù)。當(dāng)不同類型的物聯(lián)網(wǎng)裝置數(shù)量迅速增加,將產(chǎn)生與累積龐大的數(shù)據(jù)數(shù)據(jù),分析這些數(shù)據(jù)并且產(chǎn)生應(yīng)用上的價(jià)值,就是大數(shù)據(jù)(Big Data)。一般可將大數(shù)據(jù)的特征歸納為4V(數(shù)量Volume、多樣性Variety、速度Velocity以及真實(shí)性Veracity)。其中Volume表示數(shù)據(jù)數(shù)據(jù)量,例如未來(lái)物聯(lián)網(wǎng)世界會(huì)連接上百億臺(tái)連網(wǎng)裝置傳感器每分每秒產(chǎn)生數(shù)據(jù),會(huì)產(chǎn)生與累積龐大的數(shù)據(jù),可能高達(dá)百萬(wàn)兆( Zettabytes, ZB)的等級(jí)(1 ZB等同于10的9次方個(gè)TB);Variety則是表示數(shù)據(jù)類型的多樣化,包含文字、影像、音頻/視頻或是物聯(lián)網(wǎng)裝置的狀態(tài)、地址等多種不同類型的大數(shù)據(jù)。Velocity表示快速的大數(shù)據(jù)流,由于聯(lián)網(wǎng)裝置的普及,物聯(lián)網(wǎng)絡(luò)大數(shù)據(jù)的數(shù)據(jù)流動(dòng)是持續(xù)不斷且快速產(chǎn)生的,因此輸出與反應(yīng)大數(shù)據(jù)的速度必須更加實(shí)時(shí)。此外,由于物聯(lián)網(wǎng)的數(shù)據(jù)數(shù)據(jù)可能來(lái)自不同來(lái)源,大數(shù)據(jù)的真實(shí)性Veracity也需要被檢驗(yàn),才能提升物聯(lián)網(wǎng)大數(shù)據(jù)的價(jià)值含量,進(jìn)一步促進(jìn)商業(yè)智能Business Intelligence應(yīng)用的發(fā)展。
HADOOP合作分析
Hadoop 是一個(gè)強(qiáng)大的開放架構(gòu),它幾乎是由整個(gè)大數(shù)據(jù)堆中許多不同的技術(shù)所組成,借著利用正在使用的幾個(gè)組織,并透過(guò)物聯(lián)網(wǎng)(IoT)來(lái)收集分析和處理大數(shù)據(jù)。 對(duì)于物聯(lián)網(wǎng)(IoT)收集非結(jié)構(gòu)化大數(shù)據(jù),這僅僅成功了一半,另一半處理批量,是使用 Hadoop 分析大數(shù)據(jù)。
物聯(lián)網(wǎng)的成功或失敗取決于大數(shù)據(jù),隨著企業(yè)步入物聯(lián)網(wǎng)的世界里,物聯(lián)網(wǎng)與大數(shù)據(jù)之間的共生關(guān)系被廣泛利用在盈利的業(yè)務(wù)決策上。物聯(lián)網(wǎng)大部分是關(guān)于數(shù)據(jù)而不是設(shè)備中的數(shù)據(jù)。大數(shù)據(jù)和物聯(lián)網(wǎng)就像是戰(zhàn)略合作伙伴,因?yàn)樗鼈儾恢皇菑奈锫?lián)網(wǎng)收集大數(shù)據(jù),還必須進(jìn)行處理和分析,以爭(zhēng)取改善業(yè)務(wù)營(yíng)運(yùn)。因大數(shù)據(jù)的特性,物聯(lián)網(wǎng)設(shè)備適合用于采用分析大數(shù)據(jù)的方法。物聯(lián)網(wǎng)(IoT)的基礎(chǔ)設(shè)施已經(jīng)達(dá)到了成熟的水平。
物聯(lián)網(wǎng)與大數(shù)據(jù)的應(yīng)用技術(shù)
物聯(lián)網(wǎng)大數(shù)據(jù)的技術(shù)架構(gòu)需物聯(lián)網(wǎng)技術(shù)與大數(shù)據(jù)分析技術(shù)密切整合,前者將具備物聯(lián)網(wǎng)標(biāo)識(shí)的傳感器所搜集信息,利用無(wú)線通信網(wǎng)絡(luò)技術(shù)尋找最佳路徑傳遞至大數(shù)據(jù)的數(shù)據(jù)分析平臺(tái);后者則從物聯(lián)網(wǎng)搜集到的大量數(shù)據(jù)之中找出潛在商業(yè)價(jià)值與可行之創(chuàng)新應(yīng)用模式。
在物聯(lián)網(wǎng)技術(shù)方面,主要聚焦低功耗長(zhǎng)距離通訊技術(shù)、頻譜資源以及裝置識(shí)別等議題。目前有多個(gè)主流的物聯(lián)網(wǎng)通訊技術(shù)(例如NB-IoT、LoRa以及SIGFOX等)各自發(fā)展,且有數(shù)個(gè)物聯(lián)網(wǎng)標(biāo)準(zhǔn)聯(lián)盟相互競(jìng)爭(zhēng),包括OIC(Open Internet Consortium)、IPSO、Allseen、OneM2M及電信領(lǐng)域之3GPP等,技術(shù)標(biāo)準(zhǔn)百家爭(zhēng)鳴,使用的頻譜資源可區(qū)分為免執(zhí)照、專用電信以及電信業(yè)者頻譜三類。在物聯(lián)網(wǎng)裝置識(shí)別技術(shù)方面,依據(jù)歐盟IERC的定義,針對(duì)識(shí)別目標(biāo)、應(yīng)用場(chǎng)景與技術(shù)特點(diǎn)的不同,物聯(lián)網(wǎng)標(biāo)識(shí)可分成對(duì)象標(biāo)識(shí)、通信標(biāo)識(shí)和應(yīng)用標(biāo)識(shí)。對(duì)象標(biāo)識(shí)主要用于識(shí)別物聯(lián)網(wǎng)中被感知的物理或邏輯對(duì)象,比如EPC(Electronic Product Code)、UUID(Universally Unique Identifier )、MAC、URI(Uniform Resource Identifier)、URL(Uniform Resource Locator) 、Ecode、OID(Object Identifier)以及CID(Communication Identifier)等。通信標(biāo)識(shí)用于識(shí)別物聯(lián)網(wǎng)中具備通信能力的網(wǎng)絡(luò)節(jié)點(diǎn),比如IPv4、IPv6以及E.164等,而應(yīng)用標(biāo)識(shí)則是用于對(duì)物聯(lián)網(wǎng)中的業(yè)務(wù)應(yīng)用進(jìn)行識(shí)別,比如URI與URL。這些不同標(biāo)識(shí)的物聯(lián)網(wǎng)裝置,所產(chǎn)生的數(shù)據(jù)數(shù)據(jù)不僅龐大,類別亦相當(dāng)多元,可歸納如下:
1、狀態(tài)數(shù)據(jù):物聯(lián)網(wǎng)感測(cè)組件的信息。例如溫度、濕度、壓力、雨量、RFID感測(cè),甚至是手機(jī)當(dāng)中的GPS定位信息,除了大數(shù)據(jù)本身的信息外,也能用來(lái)進(jìn)行更復(fù)雜的分析應(yīng)用。
2、互動(dòng)數(shù)據(jù):人與物之間的互動(dòng)或鏈結(jié)。例如Twitter 推文、微博、Facebook 互動(dòng)、網(wǎng)頁(yè)廣告點(diǎn)擊或是使用者產(chǎn)生的內(nèi)容等,包含可供參考行為或是用戶網(wǎng)絡(luò)互動(dòng)的信息,可以用來(lái)分析用戶裝置偏好屬性的特征。
3、交易數(shù)據(jù):高度結(jié)構(gòu)化大數(shù)據(jù)。例如轉(zhuǎn)賬明細(xì)、付款記錄、交易明細(xì)等,可以用來(lái)反映與剖析歷史的信息,作為預(yù)測(cè)分析的基礎(chǔ)。
物聯(lián)網(wǎng)應(yīng)用的浪潮將帶動(dòng)裝置與數(shù)據(jù)量迅速增長(zhǎng),如何處理這些龐大數(shù)據(jù)的技術(shù)、分析工具及程序等,關(guān)鍵技術(shù)領(lǐng)域包含以下幾點(diǎn):
1、海量數(shù)據(jù)儲(chǔ)存管理:儲(chǔ)存容量的擴(kuò)充與儲(chǔ)存技術(shù)的突破以及分析大量數(shù)據(jù)的技術(shù),例如NoSQL 數(shù)據(jù)庫(kù)應(yīng)用與Hadoop云端運(yùn)算技術(shù) 。
2、實(shí)時(shí)信息傳遞:物聯(lián)網(wǎng)裝置有不同的標(biāo)識(shí)特性,這些標(biāo)識(shí)接口與網(wǎng)絡(luò)平臺(tái)的溝通與連結(jié),有些需要及時(shí)響應(yīng),例如5G物聯(lián)網(wǎng)絡(luò)的端到端延遲要求為1ms;而有些則需要確保信息不遺漏,例如消息隊(duì)列(Message Queue)的信息交換技術(shù)。
3、機(jī)器學(xué)習(xí)分析:機(jī)器學(xué)習(xí)(Machine Learning)是大數(shù)據(jù)分析的一種方法,關(guān)鍵在于如何反應(yīng)問(wèn)題真實(shí)模型的狀態(tài),一般是透過(guò)提供大量的訓(xùn)練數(shù)據(jù),讓機(jī)器從中找出規(guī)律、學(xué)習(xí)如何將數(shù)據(jù)分群或分類。常見的技術(shù)如人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)、判定樹學(xué)習(xí)( Decision-tree Learning )、支持向量機(jī)(Support Vector Machine, SVM )、最近鄰居法(k-Nearest Neighbor, KNN)以及案例推論(Case-Based Reasoning )等。
4、物聯(lián)網(wǎng)大數(shù)據(jù)發(fā)展平臺(tái):簡(jiǎn)化的平臺(tái)組件,完整的物聯(lián)網(wǎng)專用開發(fā)工具及功能以及進(jìn)階的連網(wǎng)裝置管理工具,能與大數(shù)據(jù)數(shù)據(jù)分析技術(shù)整合發(fā)展,例如ThingWorx、COSM、Scinan以及Arrayent等。
物聯(lián)網(wǎng)大數(shù)據(jù)的價(jià)值與應(yīng)用
物聯(lián)網(wǎng)結(jié)合大數(shù)據(jù)的應(yīng)用領(lǐng)域非常廣泛,例如環(huán)境偵測(cè)、醫(yī)療保健、交通運(yùn)輸、商業(yè)零售以及工業(yè)控制等均屬涵蓋之范疇。茲摘要說(shuō)明如下:
1、環(huán)境偵測(cè):透過(guò)物聯(lián)網(wǎng)傳感器大數(shù)據(jù)收集與事件偵測(cè)的方式針對(duì)特定環(huán)境與對(duì)象進(jìn)行監(jiān)控,結(jié)合大數(shù)據(jù)分析進(jìn)行預(yù)測(cè),針對(duì)異常情形預(yù)警及應(yīng)變。例如芝加哥 Array of Things城市傳感器項(xiàng)目計(jì)劃利用路燈安裝傳感器節(jié)點(diǎn),應(yīng)用大數(shù)據(jù)分析進(jìn)行與改善市政管理。
2、醫(yī)療保?。?/span>利用穿戴式醫(yī)療設(shè)備自動(dòng)連接醫(yī)院網(wǎng)絡(luò)進(jìn)行醫(yī)療大數(shù)據(jù)交換,透過(guò)大數(shù)據(jù)技術(shù)處理,提升醫(yī)療質(zhì)量。例如德州非營(yíng)利組織Seton Healthcare Family借助收集與匯整病人的臨床醫(yī)療信息,結(jié)合大數(shù)據(jù)內(nèi)容分析與預(yù)測(cè)技術(shù)來(lái)評(píng)估病人的情況。
3、交通運(yùn)輸:結(jié)合物聯(lián)網(wǎng)先進(jìn)感知及無(wú)線通信技術(shù),透過(guò)大數(shù)據(jù)分析整合人車路信息,改善或強(qiáng)化人、車、路之間的互動(dòng)應(yīng)用,提升服務(wù)質(zhì)量與作業(yè)效率。例如舊金山SFPark智能停車計(jì)劃應(yīng)用物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)進(jìn)行停車管理,借助傳感器實(shí)時(shí)傳回停車位使用狀況,駕駛可借助移動(dòng)APP獲得周遭停車位信息及費(fèi)率狀況,而負(fù)責(zé)現(xiàn)場(chǎng)停車收費(fèi)管理的人員則可實(shí)時(shí)獲知逾期停車?yán)U費(fèi)狀況
4、商業(yè)零售:利用移動(dòng)支付與商品交易信息相結(jié)合來(lái)展開分析,剖析消費(fèi)者使用習(xí)慣,借此掌握消費(fèi)者喜好特征與可能衍生的消費(fèi)需求,以銷售模式的突破與創(chuàng)新進(jìn)而帶動(dòng)整體銷售業(yè)績(jī)成長(zhǎng)。例如,例如美國(guó)7-11利用手機(jī)App搜集地點(diǎn)與消費(fèi)數(shù)據(jù),結(jié)合大數(shù)據(jù)技術(shù)分析地點(diǎn)、天氣和時(shí)間信息,給予消費(fèi)者最實(shí)時(shí)的優(yōu)惠訊息。
5、工業(yè)控制:以工業(yè)物聯(lián)網(wǎng)為中心、整合智能感測(cè)系統(tǒng)及大數(shù)據(jù)分析決策技術(shù),加速制造業(yè)的智能化,可提升實(shí)體工廠產(chǎn)業(yè)價(jià)值鏈之整體效益。例如以德國(guó)為主的歐美國(guó)家開始提倡工業(yè)4.0,如西門子Electronic Works Amberg未來(lái)工廠就是德國(guó)工業(yè)4.0的最佳示范單位,其產(chǎn)品利用物聯(lián)網(wǎng)標(biāo)示技術(shù)與生產(chǎn)設(shè)備直接通信,讓生產(chǎn)設(shè)備知道需在何時(shí)與何地采取適當(dāng)?shù)膭?dòng)作,整合數(shù)據(jù)分析與管理控制技術(shù)實(shí)現(xiàn)機(jī)器控制機(jī)器的生產(chǎn)作業(yè),可對(duì)生產(chǎn)流程進(jìn)行優(yōu)化調(diào)整,降低產(chǎn)品不合格率。
物聯(lián)網(wǎng)的成功或失敗取決于大數(shù)據(jù),隨著企業(yè)步入物聯(lián)網(wǎng)的世界里,因此物聯(lián)網(wǎng)與大數(shù)據(jù)息息相關(guān)。