日本久久久久久,热99视频国产视频,亚精产品一三三三三区av久久久,国产一第1页一草草影院

一、大數(shù)據(jù)的生態(tài)系統(tǒng)

1、大數(shù)據(jù)的高效深度分析需要專用化的系統(tǒng)

在應(yīng)用數(shù)據(jù)快速增長的背景下，為了降低成本獲得更好的能效，大數(shù)據(jù)系統(tǒng)需要逐漸擺脫傳統(tǒng)的通用技術(shù)體系，趨向?qū)Ｓ没募軜?gòu)和處理技術(shù)。這方面，國內(nèi)百度、阿里巴巴和騰訊三大互聯(lián)網(wǎng)巨頭做出了嘗試并取得了很好的效果。眾所周知，百度的大數(shù)據(jù)典型應(yīng)用是中文搜索，阿里巴巴的大數(shù)據(jù)典型應(yīng)用是基于交易日志分析的數(shù)據(jù)服務(wù)，騰訊的大數(shù)據(jù)典型應(yīng)用是圖片數(shù)據(jù)存儲和基于用戶行為的廣告實時推薦。百度2013年底成立專門的大數(shù)據(jù)部門，旨在深度挖掘大數(shù)據(jù)的價值。阿里巴巴已將不同業(yè)務(wù)部門的大數(shù)據(jù)技術(shù)整合在一起為數(shù)據(jù)產(chǎn)品提供統(tǒng)一的服務(wù)。騰訊的數(shù)據(jù)平臺部正在將全公司的數(shù)據(jù)納入統(tǒng)一管理平臺。阿里巴巴在技術(shù)上與開源社區(qū)結(jié)合得最為緊密；騰訊大數(shù)據(jù)目前正在向開源技術(shù)靠攏；百度在技術(shù)層面偏好自行研發(fā)，包括軟硬件定制化方案也是最先投入實用。技術(shù)上，他們的共同之處是，不再依賴傳統(tǒng)的IOE，而基于開源系統(tǒng)（如Hadoop等）開發(fā)面向典型應(yīng)用的大規(guī)模、高通量、低成本、強(qiáng)擴(kuò)展的專用化系統(tǒng)。

2、大數(shù)據(jù)處理架構(gòu)多樣化模式并存

當(dāng)前，克隆了Google的GFS和MapReduce的ApacheHadoop自2008年以來逐漸被互聯(lián)網(wǎng)企業(yè)所廣泛接納，并成為大數(shù)據(jù)處理領(lǐng)域的事實標(biāo)準(zhǔn)。但2013年出現(xiàn)的Spark作為一匹黑馬終結(jié)了這一神話，大數(shù)據(jù)技術(shù)不再一家獨(dú)大。由于應(yīng)用不同導(dǎo)致Hadoop一套軟件系統(tǒng)不可能滿足所有需求，在全面兼容Hadoop的基礎(chǔ)上，Spark通過更多的利用內(nèi)存處理大幅提高系統(tǒng)性能。此外，Scribe、Flume、Kafka、Storm、Drill、Impala、TEZ/Stinger、Presto、Spark/Shark等的出現(xiàn)并不是取代Hadoop，而是擴(kuò)大了大數(shù)據(jù)技術(shù)的生態(tài)環(huán)境，促使生態(tài)環(huán)境向良性化和完整化發(fā)展。今后在非易失存儲層面、網(wǎng)絡(luò)通信層面、易失存儲層面和計算框架層面還會出現(xiàn)更多、更好和更專用化的軟件系統(tǒng)。

3、實時計算逐步受到業(yè)界關(guān)注

Google于2010年推出了Dremel，引領(lǐng)業(yè)界向?qū)崟r計算邁進(jìn)。實時計算是針對MapReduce這種批量計算的性能問題提出的，可分為流式計算和交互式分析計算兩種模式。在大數(shù)據(jù)背景下，流式計算源于服務(wù)器日志的實時采集，如Facebook開源的Scribe是分布式日志收集系統(tǒng)，ApacheFlume是類似的系統(tǒng)。ApacheKafka是高吞吐率的分布式消息系統(tǒng)，特點(diǎn)是高通量和容錯。Storm是容錯的分布式實時計算系統(tǒng)，可以可靠的處理流式數(shù)據(jù)并進(jìn)行實時處理，單機(jī)性能可達(dá)到百萬記錄每秒。Storm可集成ApacheKafka作為其隊列系統(tǒng)。作為批量計算的補(bǔ)充，交互式分析計算的目標(biāo)是將PB級數(shù)據(jù)的處理時間縮短到秒級。ApacheDrill是開源的Dremel實現(xiàn)，雖已有應(yīng)用但尚不成熟。由Cloudera主導(dǎo)的Impala也參照Dremel實現(xiàn)，同時還參考了MPP的設(shè)計思想，目前已經(jīng)接近實用階段。Hortonworks主導(dǎo)開發(fā)了TEZ/Stinger，TEZ是運(yùn)行在YARN（Hadoop2.0的資源管理框架）上的DAG計算框架，而Stinger是下一代的Hive。2013年底，由Facebook開源的Presto分布式SQL查詢引擎可對250PB以上的數(shù)據(jù)進(jìn)行交互式分析，比Hive的性能高出10倍。類似的Shark是Spark上的SQL執(zhí)行引擎，得益于Shark的列存儲和Spark的內(nèi)存處理等特性，Shark號稱可以比Hive的性能提高100倍。

二、大數(shù)據(jù)產(chǎn)業(yè)的概念

大數(shù)據(jù)產(chǎn)業(yè)是指一切與大數(shù)據(jù)的產(chǎn)生與集聚、組織與管理、分析與發(fā)現(xiàn)、應(yīng)用與服務(wù)相關(guān)的所有活動的集合。主要包括三個方面：（1）用以搭建大數(shù)據(jù)平臺、實現(xiàn)大數(shù)據(jù)組織與管理、分析與發(fā)現(xiàn)的相關(guān)IT基礎(chǔ)設(shè)施與軟件的銷售和租賃活動。（2）大數(shù)據(jù)平臺的運(yùn)維與管理服務(wù)，系統(tǒng)集成、數(shù)據(jù)安全、云存儲等解決方案與相關(guān)咨詢服務(wù)。（3）與大數(shù)據(jù)應(yīng)用相關(guān)的數(shù)據(jù)出售與租賃服務(wù)、分析與預(yù)測服務(wù)、決策支持服務(wù)、數(shù)據(jù)共享平臺、數(shù)據(jù)分析平臺等。大數(shù)據(jù)產(chǎn)業(yè)鏈按照數(shù)據(jù)價值實現(xiàn)流程包括數(shù)據(jù)生產(chǎn)與集聚層、數(shù)據(jù)組織與管理層、數(shù)據(jù)分析與發(fā)現(xiàn)層、數(shù)據(jù)應(yīng)用與服務(wù)層。