一、Flume概述
1.1 Flume定义
- Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
- Flume基于流式架构，灵活简单。
1.2 Flume基础架构
- Source:是负责接收数据到Flume Agent的组件(读数据 对接数据源头)
- Sink:对接数据的去向 它不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
- Channel:为了解决Source和Sink的传输速率不一致的问题 它是位于Source和Sink之间的缓冲区 Channel是线程安全的 可以同时处理几个Source的写入操作和几个Sink的读取操作
- Agent:启动Flume实际上就是启动一个Agent 它是一个JVM进程(上面三个组件都是Java写的)
- Event事件对象:Flume数据传输的基本单元 假如Source采集了100条日志数据 它就会把他们封装成100个Event对象 每个对象由Header(map结构 k,v) Body(存放数据编码后的字节数组)组成
二、Flume安装部署
上传tar包
解包
为了方便使用 改个名
配置环境变量
删除guava包 防止和Hadoop冲突
Hadoop中确实有这个包
- flume不需要分发 在哪台服务器采集数据 就在那台服务器安装一个flume就行
- 然后在任意位置输入flume 看看能不能table出flume-ng
