好看AV中文字幕在线观看

  • <tr id='A2AGN5'><strong id='A2AGN5'></strong><small id='A2AGN5'></small><button id='A2AGN5'></button><li id='A2AGN5'><noscript id='A2AGN5'><big id='A2AGN5'></big><dt id='A2AGN5'></dt></noscript></li></tr><ol id='A2AGN5'><option id='A2AGN5'><table id='A2AGN5'><blockquote id='A2AGN5'><tbody id='A2AGN5'></tbody></blockquote></table></option></ol><u id='A2AGN5'></u><kbd id='A2AGN5'><kbd id='A2AGN5'></kbd></kbd>

    <code id='A2AGN5'><strong id='A2AGN5'></strong></code>

    <fieldset id='A2AGN5'></fieldset>
          <span id='A2AGN5'></span>

              <ins id='A2AGN5'></ins>
              <acronym id='A2AGN5'><em id='A2AGN5'></em><td id='A2AGN5'><div id='A2AGN5'></div></td></acronym><address id='A2AGN5'><big id='A2AGN5'><big id='A2AGN5'></big><legend id='A2AGN5'></legend></big></address>

              <i id='A2AGN5'><div id='A2AGN5'><ins id='A2AGN5'></ins></div></i>
              <i id='A2AGN5'></i>
            1. <dl id='A2AGN5'></dl>
              1. <blockquote id='A2AGN5'><q id='A2AGN5'><noscript id='A2AGN5'></noscript><dt id='A2AGN5'></dt></q></blockquote><noframes id='A2AGN5'><i id='A2AGN5'></i>

                六大主流大數據采集平臺架構分析

                Submitted by zhongzhimin on Thu, 08/24/2017 - 09:23

                隨著大數據越來越被重視,數據采集的挑戰變的尤為突出。今天為大家介紹幾款數據采集平臺:

                ?

                Apache Flume Fluentd Logstash Chukwa Scribe Splunk Forwarder

                ?

                大數據平臺與數據采集

                ?

                任何☆完整的大數據平臺,一般包括以下的幾個過程:

                ?

                數據采集–>數據存儲–>數據處理–>數據展現(可視化,報表和▼監控)

                2

                其中,數據采集是所有數據系統必不這反映可少的,隨著大數據越來越被重視,數據〗采集的挑戰也變的尤為突出。這其中包括:

                ?

                • 數據源多種多樣?

                • 數據量大?

                • 變化快?

                • 如何保證數據∏采集的可靠性的性能?

                • 如何而冷光避免重復數據?

                • 如何保證數據的質量

                ?

                我們今天就來看看當前可用的六款數據采集的ぷ產品,重點關註它們是如何做到高可靠,高性能和高擴展。

                1、Apache Flume

                ?

                官網:https://flume.apache.org/

                ?

                Flume 是Apache旗下的一款開源、高可靠、高擴展、容易管理、支持客戶擴展∩的數據采集系統。 Flume使用JRuby來構建,所以依賴Java運行環境。

                ?

                Flume最初是由Cloudera的工程師設計用於合並日誌數據的系統,後來逐漸發展用於處理流數據事件。

                24

                Flume設計成一個分布式的管道架構,可以看作在數據源和目的地之間有一個Agent的網絡,支持數據路由█。

                2

                每一個agent都由Source,Channel和Sink組成。

                ?

                Source

                ?

                Source負責接收輸入數據,並將數據寫入管道◣。Flume的Source支持HTTP,JMS,RPC,NetCat,Exec,Spooling Directory。其中Spooling支持監視一個目錄或者文件,解析其中新生成的事︻件。

                ?

                Channel

                ?

                Channel 存儲,緩存從source到Sink的中間數據。可使用不嗤同的配置來做Channel,例如內存,文件,JDBC等。使用內存性能□ 高但不持久,有可能丟√數據。使用文件更可靠有了一些提升,但性能不如內存。

                ?

                Sink

                ?

                Sink負責從管道中讀出數據並發給下一個Agent或者最終的目的地。Sink支持的不同目的地種類包括:HDFS,HBASE,Solr,ElasticSearch,File,Logger或者¤其它的Flume Agent。

                2

                Flume在source和sink端都使用了transaction機制保證在數據傳輸玄雨震驚中沒有數據丟失。

                2

                Source上的數據可以復制到∞不同的通道上。每一個Channel也可以連接不同數量♀的Sink。這樣連接不同配置的Agent就可以組成一個復雜的數據收集網絡。通過對agent的配置,可以組成一個路由復雜的數▓據傳輸網絡。

                2

                配置目光如上圖所示的agent結構,Flume支持設置sink的Failover和Load Balance,這樣就可以保證即使有一個agent失效的情況下,整個系統仍能↘正常收集數據。

                2

                Flume中傳▓輸的內容定義為事件(Event),事件由Headers(包含元數據,Meta Data)和Payload組成。

                ?

                Flume提供SDK,可以㊣支持用戶定制開發:

                ?

                Flume客戶端負責在事件產生的源頭把事件發送給Flume的Agent。客戶端通常和產生數據源的應用在同一個進程空間。常見的Flume 客戶端有Avro,log4J,syslog和HTTP Post。另外ExecSource支持←指定一個本地進程的輸出作為Flume的輸入。當然很有掃蕩進行中 可能,以上的這些客戶端都不能滿足需求,用戶可以定制的客戶端,和已有的FLume的Source進行通信,或者二長老定制實現一種新的Source類型。

                ?

                同時,用戶可〖以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

                2、Fluentd

                ?

                官網:http://docs.fluentd.org/articles/quickstart

                ?

                Fluentd是另一個開源的數據收集框架。Fluentd使用C/Ruby開發,使用JSON文ζ 件來統一日誌數據。它的可插拔架構,支持各種不同☆種類和格式的數據源和數據輸氣勢不斷爆發出。最後它也同時提供了高可靠和很好的擴展性。Treasure Data, Inc 對該產品提供支持和維護。

                2

                Fluentd的部署和Flume非常相似:

                2

                Fluentd的架構〓設計和Flume如出一轍:

                2

                Fluentd的Input/Buffer/Output非常類似於Flume的Source/Channel/Sink。

                ?

                Input

                ?

                Input負責接收數據或者主動抓取數據。支持syslog,http,file tail等。

                ?

                Buffer

                ?

                Buffer負責數據獲取的性能和可靠性↘,也有文件或「內存等不同類型的Buffer可以配置。

                ?

                Output

                ?

                Output負責輸出數據到目的地例如文件,AWS S3或者其它的Fluentd。

                ?

                Fluentd的配置非常方便▲,如下圖:

                2

                Fluentd的技術棧如下圖:

                2

                FLuentd和其插件都是由Ruby開發,MessgaePack提供了JSON的序列化和異步●的並行通信RPC機制。

                2

                Cool.io是基於libev的事件驅動框架。

                ?

                FLuentd的擴展性非常好,客戶可以自己定制(Ruby)Input/Buffer/Output。

                ?

                Fluentd從各方面看都很像Flume,區別是使用當這時候出現近二十名玄仙Ruby開發,Footprint會小一些,但是也帶來了跨平臺的問題,並不能支持Windows平臺。另外采用JSON統一數據/日誌格式是它的另轟一個特點。相對去Flumed,配置也相對簡單一『些。

                3、Logstash

                ?

                https://github.com/elastic/logstash

                ?

                Logstash是著名的開源數據棧ELK (ElasticSearch, Logstash, Kibana)中的那個L。

                ?

                Logstash用JRuby開發,所有運行時依賴JVM。

                ?

                Logstash的部署架構如下圖,當然這只是一種部署的選項。

                2

                一個典型的Logstash的配府邸置如下,包括了Input,filter的Output的設置。

                2

                幾乎在大部》分的情況下ELK作為一個棧是被同時使用的。所有當你的數據系統使用ElasticSearch的情況下,logstash是首選。

                4、Chukwa

                ?

                官網:https://chukwa.apache.org/

                ?

                Apache Chukwa是apache旗下另一個開源的數據收集平臺,它遠沒▅有其他幾個有名。Chukwa基於Hadoop的HDFS和Map Reduce來構建(顯而易見,它用Java來實現),提供擴展性和可靠★性。Chukwa同時提供對數據的展好東西倒是不少示,分╱析和監視。很奇怪的是它的上一次 github的更新事7年前。可見該項目應該已經不活躍了。

                ?

                Chukwa的部署架構如下:

                2

                Chukwa的主要單元有:Agent,Collector,DataSink,ArchiveBuilder,Demux等等,看上去相當復雜。由於該項目已經不活躍,我們就不細看了。

                5、Scribe

                ?

                代碼托管:https://github.com/facebookarchive/scribe

                ?

                Scribe是Facebook開發的數據(日誌)收集系統。已經多年不維護,同樣的,就不冷光冷冷多說了。

                2

                6、Splunk Forwarder

                ?

                官網:http://www.splunk.com/

                ?

                以上的所有︽系統都是開源的。在商業化的大數據平臺產品中,Splunk提供完整的數據采陰霾青年金,數據存儲,數據分析和處理,以及數據¤展現的能力。

                ?

                Splunk是一個分布式的機器數據平臺,主要有三個角色:

                ?

                Search Head負責數據的搜索和處理,提供搜索時的信息抽取。

                ?

                Indexer負責數據的存儲和索引 Forwarder,負責數據的╲收集,清洗,變形,並發送給Indexer?2

                Splunk內置了對Syslog,TCP/UDP,Spooling的支持,同時,用戶可以通過開發 Input和Modular Input的方式來獲取特定的數據。在Splunk提供的軟件倉庫裏有很多成熟的數據采集應用,例如AWS,數據庫(DBConnect)等等,可以方便的從雲或者是數據庫中獲取嗤數據進入Splunk的數據◥平臺做分析。

                ?

                這裏要註意的是,Search Head和Indexer都支持Cluster的配置,也就是高可用,高擴展的,但是Splunk現在還沒有針對Farwarder的Cluster的功能。也就是說如果有一臺Farwarder的機器出了故障,數據收集也會隨之中斷,並不能把正在運行的數據采集⌒任務Failover到其它的 Farwarder上。

                總結

                我們簡單討論了幾種流行的數據收集平臺,它們大都提供高可靠和高擴展的數據收集。大多平臺都瘋狂爆炸抽象出了輸入,輸出和中間的緩沖的架◤構。利用分布金烈式的網絡連接,大多數平臺都能實現一定程度的擴展性和高可靠性。

                ?

                其中Flume,Fluentd是兩個被使用較□多的產品。如果你用ElasticSearch,Logstash也許是首選,因為ELK棧提供了很好的集成。Chukwa和Scribe由於項目的不活躍,不推薦使用。

                ?

                Splunk作為一個優秀的商業產品,它的數據采集還存在一定的限制,相信Splunk很快會開→發出更好的數據收集的解決方案。

                Tags