目前,大量企業(yè)擁有海量的客戶信息,,包括在線交易記錄及社交媒體數(shù)據(jù)等,。但是,成功的關(guān)鍵是要能夠從不同渠道和來源的數(shù)據(jù)中洞察價值,,而具備收集并分析這些數(shù)據(jù)能力的企業(yè)將在競爭中擁有顯著優(yōu)勢,。
但是,數(shù)據(jù)的非結(jié)構(gòu)化已經(jīng)成為企業(yè)的重大挑戰(zhàn),。企業(yè)已經(jīng)熟悉收集和分析結(jié)構(gòu)化數(shù)據(jù),,如傳統(tǒng)的銷售年報信息,。目前,許多企業(yè)都困惑于如何收集和分析更多類型的多結(jié)構(gòu)化數(shù)據(jù),,如網(wǎng)絡(luò)日志,、無線電射頻識別(RFID)、傳感器網(wǎng)絡(luò),、社交網(wǎng)絡(luò),、互聯(lián)網(wǎng)文本和文件、互聯(lián)網(wǎng)搜索索引,、詳細通話記錄,、醫(yī)療記錄、攝影檔案,、視頻檔案以及電子商務(wù)交易數(shù)據(jù)等,。
由于這些數(shù)據(jù)的結(jié)構(gòu)問題及大數(shù)據(jù)類型的復(fù)雜關(guān)聯(lián),導(dǎo)致無法應(yīng)用現(xiàn)有的傳統(tǒng)技巧進行大數(shù)據(jù)分析,。這為企業(yè)帶來了新的任務(wù),,需要開發(fā)一套全新方法,不僅能夠處理傳統(tǒng)數(shù)據(jù),,而且可以便捷地分析和應(yīng)用這些新興數(shù)據(jù),,而不是僅僅進行儲存,。
這種說法并不完全正確,。的確,大數(shù)據(jù)包括海量的以指數(shù)速度增長的傳統(tǒng)業(yè)務(wù)數(shù)據(jù),,也包括web應(yīng)用,、傳感器網(wǎng)絡(luò)、社交網(wǎng)絡(luò),、基因組,、視頻、照片等新渠道生成的各種數(shù)據(jù),。同時,,大數(shù)據(jù)還很復(fù)雜,進行收集,、儲存,、管理和分析的難度極大。
目前,,兩種類型的數(shù)據(jù)都在不斷增長,。據(jù)IDC集團出版的《2011年十大預(yù)測》報告稱:“企業(yè)正被淹沒在信息海洋里,卻仍渴望獲得更多信息,,這也為大數(shù)據(jù)分析和管理帶來了巨大機遇,?!痹搱蟾嬷赋觯髽I(yè)的愿望終將實現(xiàn),?!叭驍?shù)據(jù)總量(digital universe)將擴張近50%,達到約1.8 澤它字節(jié)(約合2萬億Gb),。作為參考,,專家們預(yù)計1澤它字節(jié)相當于長度高達3600萬年高清視頻文件產(chǎn)生的數(shù)據(jù)量?!?/span>
錯誤,,沒有必要!建立大數(shù)據(jù)分析能力需要人才、流程和技術(shù)的完美組合,。如果企業(yè)尚未發(fā)掘現(xiàn)有商業(yè)智能環(huán)境的價值,,在啟用大數(shù)據(jù)分析平臺前需率先解決該問題。當傳統(tǒng)業(yè)務(wù)數(shù)據(jù)分析被賦予大數(shù)據(jù)的視野,,才能實現(xiàn)大數(shù)據(jù)分析的真正價值,,帶來透明和全面的業(yè)務(wù)觀點,從而創(chuàng)造出業(yè)務(wù)迅猛發(fā)展的機會,。
首先,,企業(yè)應(yīng)制定計劃,明確應(yīng)用大數(shù)據(jù)分析要達成的業(yè)務(wù)目標,。依據(jù)這些目標,,企業(yè)應(yīng)部署適用的硬件和軟件以應(yīng)對挑戰(zhàn)。根據(jù)一線員工的需求部署商業(yè)智能解決方案,,幫助他們做出最佳決策,。在采用正確的技術(shù)支持后,企業(yè)用戶和數(shù)據(jù)科學家能夠迅速收集和分析新的數(shù)據(jù)源,,發(fā)掘業(yè)務(wù)需要的洞察力,。
無論是互聯(lián)網(wǎng)公司,、財富500強,、或者小型企業(yè),都與大數(shù)據(jù)的爆炸式增長息息相關(guān),。無論所在行業(yè)或企業(yè)規(guī)模,,數(shù)據(jù)分析已經(jīng)成為當前重要的業(yè)務(wù)需求。現(xiàn)今,,在企業(yè)運營中若無法從業(yè)務(wù)數(shù)據(jù)中獲得真正的洞察,,是絕不可行。全球主要市場的企業(yè)正在實現(xiàn)新一代高級分析應(yīng)用的轉(zhuǎn)型,,通過全新方式應(yīng)用海量的傳統(tǒng)數(shù)據(jù)和新型數(shù)據(jù),,提供更深入,、更智慧的洞察力。而且,,企業(yè)的競爭優(yōu)勢取決于在商業(yè)環(huán)境中管理和分析所有關(guān)鍵數(shù)據(jù)的能力,,以及幫助企業(yè)做出最佳決策的洞察力。
大數(shù)據(jù)分析絕非一時狂熱,,這點毋庸置疑,。正如O'Reilly Media創(chuàng)始人Tim O'Reilly所言:“我們正在開創(chuàng)迷人的數(shù)據(jù)驅(qū)動應(yīng)用新世界,這是一個任由我們塑造的世界,?!蹦壳埃瑪?shù)據(jù)科學家已經(jīng)成為獨立的職業(yè),,奮戰(zhàn)在塑造這個商業(yè)新世界的最前線,,精通數(shù)據(jù)的專家將成為新時代中的重要成員。
數(shù)據(jù)科學家必須對數(shù)據(jù)充滿好奇,,擁有專心鉆研的態(tài)度,,積極進取并善于批判性思考。他們具有對業(yè)務(wù)流程的深刻理解,,同時融合數(shù)學,、統(tǒng)計學,以及使用Excel,、SQL和分析工作臺等技能,。目前,市場對擁有技術(shù)能力及商業(yè)意識的專業(yè)人才需求量巨大,。
沒有任何單一技術(shù)能夠滿足所有需求,。根據(jù)企業(yè)努力解決的業(yè)務(wù)問題,,建立大數(shù)據(jù)分析能力需要人才,、流程和各種技術(shù)的完美組合,而最關(guān)鍵的是釋放這些數(shù)據(jù)的商業(yè)價值,。這將需要復(fù)雜的分析應(yīng)用,,其中包括數(shù)字營銷優(yōu)化、欺詐偵測和預(yù)防,,以及和社交網(wǎng)絡(luò)分析等,。
Hadoop在大數(shù)據(jù)技術(shù)庫中擁有一定價值及重要位置。 Hadoop既是框架,,更是實現(xiàn)多結(jié)構(gòu)數(shù)據(jù)過濾,、轉(zhuǎn)化及整合的優(yōu)異平臺,類似于未搭載引擎或車身的跑車底盤,。采用這種架構(gòu),,Hadoop可以支持迭代及實時數(shù)據(jù)探索和分析,,快速發(fā)現(xiàn)新數(shù)據(jù)及數(shù)據(jù)的變化模式。
成功的關(guān)鍵在于能夠整合企業(yè)既有傳統(tǒng)業(yè)務(wù)數(shù)據(jù)和新型數(shù)據(jù),。通過開放訪問整個企業(yè)生態(tài)系統(tǒng)并整合各種來源的數(shù)據(jù),,企業(yè)可以應(yīng)用大數(shù)據(jù)分析對客戶進行超級全面的分析,進一步改善客戶服務(wù)和銷售業(yè)績,。