在技術(shù)領(lǐng)域,,大數(shù)據(jù)無疑是時下最流行的熱門詞匯之一,然而大數(shù)據(jù)的含義通常取決于你提問的對象,。而事實也證明了,,大數(shù)據(jù)是對我們?nèi)绾未鎯吞幚頂?shù)字信息的重新定義,作為IT行業(yè)這5年中最主要發(fā)展趨勢繼續(xù)流行下去,。當然市場估計是樂觀的,,最近德勤會計師事務評估大數(shù)據(jù)市場的規(guī)模介于13億美元到15億美元之間,而IDC預測到2015年該行業(yè)的規(guī)模將會高達169億美元,。
但是,,龐大的數(shù)字往往會掩蓋根本性的變化,這似乎正是在大數(shù)據(jù)熱潮下發(fā)生的。
首先,,試圖挖掘原始數(shù)據(jù)并進行處理,,然后從發(fā)現(xiàn)的東西(特定領(lǐng)域的商業(yè)智能)中獲得洞察力,相當于試圖找到數(shù)據(jù)來支持已經(jīng)完成的戰(zhàn)略決策,。
關(guān)于第一類數(shù)據(jù)的一個比較知名的例子是著名的“點球成金”的故事,,就像在2003年出版的由邁克爾?劉易斯講述的那樣,關(guān)于如何挑戰(zhàn)傳統(tǒng)的故事,通過大量數(shù)據(jù)的分析以找出表現(xiàn)最好的運動員,,這個故事相當?shù)某晒?。這個故事的一個關(guān)鍵點在于,它讓很多人相信以數(shù)據(jù)為先的想法可能會解決許多長期存在的問題,,幫助應對從犯罪和疾病到污染和貧困的任何事情,。這或許也算是解決我們行業(yè)中某些更世俗的挑戰(zhàn)的關(guān)鍵,。
第二個主要變化是,從把關(guān)系型數(shù)據(jù)模型處理信息的確定標準中脫離出來,??梢钥隙ǖ氖? 盡管像Hadoop這樣的新平臺,它面向客戶的技術(shù)日益普及,,當NoSQL類型的數(shù)據(jù)庫在互聯(lián)網(wǎng)新創(chuàng)企業(yè)和消費者服務中仍然是最流行的,。然而,在許多業(yè)務背景下,PB甚至是EB級的數(shù)據(jù)量要求有能夠很好地應對數(shù)據(jù)迅猛增長而時間縮短等難題的技術(shù),。
還有很多例子說明關(guān)系模型終于已經(jīng)遇到對自己的霸權(quán)地位的挑戰(zhàn),,以及是否能夠到更好地處理如今數(shù)據(jù)量和類型多樣化的質(zhì)疑。盡管許多企業(yè)機構(gòu)將繼續(xù)使用關(guān)系型技術(shù)來創(chuàng)造出大數(shù)據(jù)解決方案,,但是隨著非結(jié)構(gòu)化數(shù)據(jù)的增長速度超過比傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù),,它不再是唯一的選擇。
第三個變化是朝著使大數(shù)據(jù)具有更多的操作性組件的方式組織工作和如何面向外部的產(chǎn)品功能,。盡管數(shù)據(jù)科學家經(jīng)常需要得到最好的結(jié)果,,他們的研究結(jié)果通常是幾乎所有人都使用的應用程序或數(shù)據(jù)器具。就像谷歌使外行用幾個關(guān)鍵詞查詢網(wǎng)絡的整個內(nèi)容,企業(yè)大數(shù)據(jù)的下一代似乎是關(guān)于以一種通常不需要信息技術(shù)向?qū)У姆绞竭B接工人與他們組織的數(shù)據(jù)景觀,。因此,,基于大數(shù)據(jù)技術(shù)的業(yè)務解決方案必須是一個容易接近的關(guān)于一線員工平均線的終端用戶技術(shù),目的是有一個持續(xù)的和有意義的業(yè)務影響,。
讓我們看看當今企業(yè)機構(gòu)在談到大數(shù)據(jù)的實現(xiàn)和使用時有什么樣的反饋,。O'Reilly Strata Conference對跨領(lǐng)域的各種規(guī)模的企業(yè)進行調(diào)查,研究今年受訪者在大數(shù)據(jù)方面都有什么動作:
?18%已經(jīng)部署大數(shù)據(jù)解決方案
?28%此時還沒有計劃
?22%計劃六個月后將部署大數(shù)據(jù)解決方案
?17%計劃十二月后將部署大數(shù)據(jù)解決方案
?15%計劃兩年后將部署大數(shù)據(jù)解決方案
誠然,參加這次調(diào)查的受訪者采用大數(shù)據(jù)的比例也許要高于平均值,,所以這些數(shù)字還是有些樂觀的,,即使考慮到大數(shù)據(jù)是一個涵蓋處理大數(shù)據(jù)量和分析等諸多技術(shù)的詞匯。
然而,當我們看某個特定的領(lǐng)域時會變得更加有趣,。例如,保險行業(yè)最近報告,,15% - 20%的保險公司正積極準備大數(shù)據(jù)的解決方案。根據(jù)麥肯錫關(guān)于大數(shù)據(jù)的報告,,作為大數(shù)據(jù)較大的潛在受益者之一的政府,,本身的采用卻相對緩慢。最近進行的一次對公共部門CIO和IT經(jīng)理進行調(diào)查顯示,,他們需要三年時間才能用這種方式開始處理數(shù)據(jù),。如果我們看看作用,而不是行業(yè),我們可以看到,,大數(shù)據(jù)將帶來銷售流程的變革,。最近CSO Insights的分析顯示,71%的公司期望大數(shù)據(jù)能顯著地影響銷售,不過目前只有16%的公司這么做,,這一差距是許多組織將明顯地想要彌補的,。
大數(shù)據(jù)所帶來的變化是逐步顯現(xiàn)出來的,。所有的技術(shù)、流程,、基礎設施和管理都必須放在合適的位置,,加上了解你業(yè)務(或?qū)W會)的數(shù)據(jù)科學家,以及DevOps這種仍然深奧的概念,這將使大數(shù)據(jù)的操作與開發(fā)通過應用數(shù)據(jù)分析結(jié)合,,通過運用數(shù)據(jù)為先的分析原則,,加上及時的研發(fā)和部署,快速解決業(yè)務問題,。
此外,企業(yè)還將必須提供一個大數(shù)據(jù)“堆?!薄_@個堆棧將通常是由以下組件構(gòu)成,,涉及包括開源軟件,、商業(yè)應用,、預置的云基礎設施,結(jié)合不同來源的數(shù)據(jù),。
?技術(shù)。一般來說,,這些似乎是分解成三個主要組成部分,,其中兩個是新的,另一個是遺留的,。有Hadoop分布式系統(tǒng)和它的變體,,結(jié)構(gòu)化查詢語言和關(guān)系數(shù)據(jù)庫,這增加了大數(shù)據(jù)的特性,。
?基礎設施和開發(fā),。這包括基礎設施即服務(IaaS)、軟件即服務(SaaS),、數(shù)據(jù)即服務(DaaS),、Open API、DevOps和數(shù)據(jù)科學家,。
?大數(shù)據(jù)應用,。這個關(guān)于大數(shù)據(jù)流行應用模型的列表,包括商業(yè)智能,、社會分析,、決策支持、可視化和建模,、行為預測和業(yè)務流程優(yōu)化(BPO)等等,。
? 特定領(lǐng)域的解決方案。一旦大數(shù)據(jù)技術(shù),、基礎設施和應用就緒,,企業(yè)就必須集中精力挖掘在特定行業(yè)中的價值,。大數(shù)據(jù)主要集中的行業(yè)或功能(最有可能受益),包括營銷,、研發(fā),、科學/技術(shù)/工程/數(shù)學(STEM)、衛(wèi)生保健,、金融服務,、零售和保險。
?大數(shù)據(jù)驅(qū)動的業(yè)務流程,。大數(shù)據(jù)解決方案必須納入企業(yè)機構(gòu)的業(yè)務流程,包括操作,、業(yè)務線和支持功能。尤其是,,高附加值和普通的業(yè)務流程將會提供最大的投資回報率,。
總而言之,對于日益增長的海量數(shù)據(jù)來說,,大數(shù)據(jù)仍處于初期階段,。大多數(shù)企業(yè)機構(gòu)在規(guī)模上還沒有涉及大數(shù)據(jù),但是對于那些真正需要的人來說,,大數(shù)據(jù)所能帶來的優(yōu)勢正在顯現(xiàn)出來,。從根本上說,最大的挑戰(zhàn)將是將大數(shù)據(jù)有效地整合到不斷完善的業(yè)務流程中。再次,變化本身將是大范圍的,,因為技術(shù)發(fā)展的步伐已經(jīng)超過大部分企業(yè)機構(gòu)消化吸收這些技術(shù)的能力,。對于尋找加速采用戰(zhàn)略的企業(yè)機構(gòu)來說,這將把數(shù)據(jù)推入云中,,進一步加速云相關(guān)的IT變革,。這也許不是一件壞事。