Hadoop数据分析平台实战——240JavaSDK数据收集引擎编写离线数据分析平台实战——240JavaSDK数据收集引擎编写

时间:2022-05-07
本文章向大家介绍Hadoop数据分析平台实战——240JavaSDK数据收集引擎编写离线数据分析平台实战——240JavaSDK数据收集引擎编写,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

离线数据分析平台实战——240JavaSDK数据收集引擎编写

JavaSDK设计规则

JavaSDK提供两个事件触发方法,分别为onChargeSuccess和onChargeRefund。我们在java sdk中通过一个单独的线程来发送线程数据,这样可以减少对业务系统的延时性。

SDK测试

启动集群上的hdfs+nginx+flume进程, 通过模拟数据的发送然后将数据发送到nginx服务器中, 查看最终是否在hdfs中有数据的写入。

命令:

启动hdfs

start-dfs.sh: 命令 su root:切换用户

启动nginx

service nginx restart: 进程

启动flume进程:

进入flume安装根目录,执行命令: flume-ng agent --conf ./conf/ --conf-file ./conf/test2.conf --name agent &