Flume中常见的组件

时间:2022-07-28
本文章向大家介绍Flume中常见的组件，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。
  • netcat source: 类似于netcat的 nc -l 端口号！可以监听某个主机的指定端口收到的消息，将每行消息封装为一个event
  • exec source : 执行一个linux命令，根据命令启动的进程获取进程在标注输出输出的内容，将内容封装为event! 要求进程必须是一个可以持续产生消息的进程，因为一旦进程停止，source就自动停止！
  • logger sink： 多用于调试，可以将event由logger使用info级别，输出到控制台或文件！
  • hdfs sink： 将event写入到hdfs!
  • memory channel: 在内存中存储event!一旦进程发生故障，有丢失阶段性数据的风险！效率高！

随机文章
本站知识点必读
最近更新