flume-kafka-storm-hdfs-hadoop-hbase
时间:2022-07-24
本文章向大家介绍flume-kafka-storm-hdfs-hadoop-hbase,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
# bigdata-demo
项目地址:https://github.com/windwant/bigdata-service
hadoop:
hadoop hdfs操作
log输出到flume
flume输出到hdfs
hbase:
HTable基本操作:创建,删除,添加表,行,列族,列等。
kafka:
测试 producer | consumer
storm:实时处理消息
kafka集成storm集成hdfs
读取kafka数据=》storm实时处理(分割字符,统计字符)=》写入hdfs
* kafka消息生成方式:
* 1. LogGenerator生成测试日志发送到flume=》
* 2. MyKafkaProducer发送测试消息
* 3. elasticjob定时任务模块生成测试日志
* MyKafkaStormHdfs 实时处理消息:
* =》读取kafka数据
* =》storm实时处理(分割字符,统计字符)
* =》写入hdfs
- 小程序wx.canIUse和wx.getSystemInfo踏的坑
- 你真的了解小程序的自定义编译功能嘛?
- 小程序不同页面之间的传值方式
- PHP数据结构(六) ——树与二叉树之概念及存储结构
- 小程序中实现一键复制长段文本内容
- PHP数据结构(七) ——串与实现KMP算法
- PHP数据结构(八) ——赫夫曼树实现字符串编解码(实践1)
- 小程序开发注意点儿,新手入门基础
- ajax跨域有没有踩过坑,IE低版本浏览器如何支持?
- 你可能不知道的 Django Rest Framework 的两个新特性
- PHP数据结构(八) ——赫夫曼树实现字符串编解码(实践2)
- 你应该使用 Python 管理 Cron 作业
- CSS3有哪些好用的属性?
- PHP数据结构(九) ——图的定义、存储与两种方式遍历
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法