Java知识分享网 - 轻松学习从此开始!    

Java知识分享网

Java1234官方群25:java1234官方群25
Java1234官方群25:838462530
     

GIT视频教程(结合github,码云)免费领取

SpringBoot打造全栈在线教育平台实战课程

SpringBoot打造企业级进销存

Java1234 VIP课程

领取微信扫码登录Java实现视频教程

Java1234至尊VIP(特价活动)
当前位置: 主页 > Java文档 > 大数据云计算 >

Flume学习文档(1)_Flume基本概念、Flume事件概念与原


分享到:
时间:2020-08-01 08:51来源:http://www.java1234.com 作者:小锋  侵权举报
Flume学习文档(1)_Flume基本概念、Flume事件概念与原理 PDF 下载
失效链接处理
Flume学习文档(1)_Flume基本概念、Flume事件概念与原理 PDF 下载


本站整理下载:
 
相关截图:
 
主要内容:

总内容:Flume基本概念、Flume事件概念与原理、Flume安装部署、Flume配置文件
 
日志数据收集  收集的是非结构化数据
flume不能传输图片`,文本文件可以
sqoop收集的是结构化数据,sqoop全量导入
1.Flume基本概念
1> Flume由Cloudera公司开源。是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。
分布式:数据源多样化,数据源分散
可靠性:保证不丢数据,允许丢部分数据
可扩展:数据源可能会不断增加、通过并行提高性能
可定制
flume类似于一个中间件:屏蔽了数据源和数据存储系统的异构性
2>Flume特点:
可靠性:数据不易丢失
可扩展性:各组件数目可扩展
高性能:吞吐率很高,能满足海量数据手机需求
可管理性:可动态增加和删除组件
文档丰富,社区活跃
3>Flume有两个版本
Flume OG(之前版本) “Original G”
Flume NG(精简代码,架构简化),用后一个版本
4>主要的作用:实时读取服务器本地磁盘的数据将数据写入到HDFS
 
2.Flume事件概念与原理


 
 
------分隔线----------------------------
锋哥公众号


锋哥微信


关注公众号
【Java资料站】
回复 666
获取 
66套java
从菜鸡到大神
项目实战课程