什么是Flume?

Flume是一种分布式，可靠且可用的系统，用于有效地收集，聚合和移动大量日志数据.

Flume组成

Agent：Agent是Flume最重要的组成部分，Flume系统就是由一个一个的Agent组成的.

Source：Agent的内部组件，用于接收日志数据，并将其封装成一个一个的event，然后传给Channel.

event：Flume系统内部将日志数据封装成event进行传输，event的结构是json串.

Channel：传输通道，被动的接收Source传来的数据，并进行缓存.

Sink：目的地，接收event，并将其拆封成原始数据（也可不拆）.

Flume结构图

简单结构

Flume将WebServer产生的日志数据接收到，传输给HDFS进行保存.

复杂结构

多级流动，扇入扇出.

Flume 和kafka的区别：

1. Flume作为日志收集端，Kafka作为日志消费端.

2. Flume的推送是push，Kafka的推送是pull.

3. Flume是管道方式传输，Kafka是消息队列方式传输.