avav588con,最近2019中文免费字幕在线观看,欧美一道本一区二区三区,九九热在线观看,经典好看免费AV

移動版

當前位置:智慧城市網(wǎng)資訊中心媒體導讀

新發(fā)產(chǎn)品更多
分享:羅列開源可用的十項大數(shù)據(jù)技術(shù)
2016年09月09日 17:39:39來源:CSDN點擊量:36696
導讀大數(shù)據(jù)到底是什么?我們?yōu)槭裁葱枰髷?shù)據(jù)技術(shù)?從本質(zhì)上來說,大數(shù)據(jù)就是曾經(jīng)被稱為數(shù)據(jù)倉庫的邏輯延伸。顧名思義,大數(shù)據(jù)就是一個大型的數(shù)據(jù)倉庫,一般有一個能支持業(yè)務(wù)決策的業(yè)務(wù)重點。但是,它和傳統(tǒng)數(shù)據(jù)庫不同的是,大數(shù)據(jù)不用構(gòu)建。
  【中國安防展覽網(wǎng) 媒體導讀】大數(shù)據(jù)到底是什么?我們?yōu)槭裁葱枰髷?shù)據(jù)技術(shù)?從本質(zhì)上來說,大數(shù)據(jù)就是曾經(jīng)被稱為數(shù)據(jù)倉庫的邏輯延伸。顧名思義,大數(shù)據(jù)就是一個大型的數(shù)據(jù)倉庫,一般有一個能支持業(yè)務(wù)決策的業(yè)務(wù)重點。但是,它和傳統(tǒng)數(shù)據(jù)庫不同的是,大數(shù)據(jù)不用構(gòu)建。大數(shù)據(jù)技術(shù),就是從各種類型的數(shù)據(jù)中快速獲得有價值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域已經(jīng)涌現(xiàn)出了大量新的技術(shù),它們成為大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)的有力武器。在這個大數(shù)據(jù)爆炸的時代,各種新項目如雨后春筍一般,每天從世界各地不斷涌現(xiàn)出來。好消息是當下的技術(shù)都是開源可用的。下面就一起來看看這個*0列表,應(yīng)用起來吧!


分享:羅列開源可用的十項大數(shù)據(jù)技術(shù)
  
  1.Hadoop
  
  Hadoop是穩(wěn)定企業(yè)實力和其他一切工作的基礎(chǔ)。你需要利用YARN,HDFS和Hadoop中的基礎(chǔ)設(shè)施,存儲原始數(shù)據(jù)以及運行關(guān)鍵的大數(shù)據(jù)服務(wù)和應(yīng)用程序。
  
  2.Spark
  
  Spark易于使用,并且支持所有重要的大數(shù)據(jù)語言(Scala,Python,Java,R)。同時,Spark還是一個巨大的生態(tài)系統(tǒng),發(fā)展迅速,便于支持microbatching/batching/SQL。這是另一個不費腦筋的技術(shù)。
  
  3.NiFi
  
  NiFi是NSA工具,它可以用少的編碼和一個光滑的UI,提供簡單的數(shù)據(jù)攝取、存儲和處理各種來源數(shù)據(jù)。這些數(shù)據(jù)的來源包括社交媒體,JMS,NoSQL,SQL,Rest/JSON Feeds,AMQP,SQS,F(xiàn)TP,F(xiàn)lume,Elastic Search,S3,MongoDB,Splunk,Email,HBase,Hive,HDFS,Azure Event Hub,Kafka等等。如果NiFi沒有你需要的來源或匯集,你可以為NiFi直接用Java代碼編寫自己的處理器。NiFi是另一個推薦選入工具箱中的Apache項目,是大數(shù)據(jù)工具中的瑞士軍刀。
  
  4.ApacheHive2.1
  
  Apache Hive是運行在Hadoop之上的SQL解決方案。在Apache Hive 2.1新版本中,性能和功能上的增強使Hive成功作為SQL大數(shù)據(jù)解決方案留在榜單。
  
  5.Kafka
  
  Kafka是大數(shù)據(jù)系統(tǒng)間進行異步、分布式消息傳遞的選擇,它能夠進入大多數(shù)的堆棧。從Spark到NiFi,到第三方工具,再到Java和Scala,它很好地維系了系統(tǒng)。Kafka需要在棧中應(yīng)用。
  
  6.Phoenix-HBase
  
  由于很多公司都在應(yīng)用HBase,也就導致了這個開源項目的數(shù)據(jù)規(guī)模極大。在HDFS支持下,NoSQL能夠很好地集成所有工具。所以,在HBase上額外構(gòu)建的Phoenix成為了NoSQL。這增強了HBase的SQL、JDBC、OLTP和運營分析能力。
  
  7.Zeppelin
  
  在使用Hive,Spark,SQL,Shell,Scala,Python以及許多其他的數(shù)據(jù)挖掘和機器學習工具時,Zeppelin是一款便捷、集成性較高的notebook工具。在易于使用的同時,Zeppelin能夠以很好的方式來探索和查詢數(shù)據(jù)。而且這個工具可以支持多種環(huán)境和功能,用戶只需要經(jīng)常更新圖表和映射數(shù)據(jù)即可。
  
  8.SparklingWater
  
  Sparkling Water彌補了Spark中Machine Learning和其他工作間的空缺,提供所有可能用到的機器學習服務(wù)。
  
  9.ApacheBeam
  
  Apache Beam是一個用Java編寫的統(tǒng)一框架,用于數(shù)據(jù)處理和管道開發(fā)。同時,它也可以支持Spark和Flink。其他的框架很快也會上線,用戶不必再去學習太多的框架。
  
  10.StanfordCoreNLP
  
  Natural Language Processing目前應(yīng)用極廣且增長迅速,Stanford Core NLP也在不斷地提高他們的框架性能。
  
  時下有數(shù)不清的大數(shù)據(jù)項目,所以好的辦法就是合并及測試不同項目版本,來確保他們在安全和管理上都能夠順暢運行。
關(guān)鍵詞 大數(shù)據(jù)無線傳感物聯(lián)網(wǎng)
相關(guān)閱讀更多
版權(quán)與免責聲明:

凡本網(wǎng)注明“來源:智慧城市網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智慧城市網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:智慧城市網(wǎng)”。違反上述聲明者,本網(wǎng)將追究其相關(guān)法律責任。

本網(wǎng)轉(zhuǎn)載并注明自其它來源(非智慧城市網(wǎng))的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點或和對其真實性負責,不承擔此類作品侵權(quán)行為的直接責任及連帶責任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時,必須保留本網(wǎng)注明的作品第一來源,并自負版權(quán)等法律責任。

如涉及作品內(nèi)容、版權(quán)等問題,請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

正在閱讀:分享:羅列開源可用的十項大數(shù)據(jù)技術(shù)
我要投稿
  • 投稿請發(fā)送郵件至:(郵件標題請備注“投稿”)afzhan@foxmail.com
  • 聯(lián)系電話0571-87756384
智慧城市行業(yè)“互聯(lián)網(wǎng)+”服務(wù)平臺
智慧城市網(wǎng)APP

功能豐富 實時交流

智慧城市網(wǎng)小程序

訂閱獲取更多服務(wù)

微信公眾號

關(guān)注我們

抖音

智慧城市網(wǎng)

抖音號:afzhan

打開抖音 搜索頁掃一掃
i

視頻號

AF智慧城市網(wǎng)

視頻號ID:sphF7DOyrojJnp8

打開微信掃碼關(guān)注視頻號

小紅書

智慧城市

小紅書ID:2537047074

打開小紅書 掃一掃關(guān)注
反饋