在CDH7.1.1中安装NiFi
NiFi在大数据生态中的定位是成为一个统一的,与数据源无关的大数据集成平台。Cloudera将NiFi作为其新产品Cloudera Flow Management和Cloudera Edge Management的核心组件推出,可以方便地使用Cloudera Manager进行Parcel安装和集成。于此同时,Flume被移出了Cloudera Runtime,可见NiFi替换Flume的意图已经十分明显。
根据Cloudera官网介绍,CFM和CEM将为IOT场景的边缘数据收集和处理带来无限可能,这是最吸引我的地方。本篇文章主要介绍如何在CDH7.1.1中通过Parcel的方式安装NiFi,后续我们将围绕实际IOT场景,从架构,可用性,健壮性等方面来探索NiFi技术带来的改变。
部署CFM Parcel包
1.下载CFM的Parcel
http://archive.cloudera.com/CFM/parcels/1.0.1.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.1.0/CFM-1.0.0.0-el7.parcel.sha1
2.将Parcel文件部署在Apache服务的/var/www/html/cfm目录下
安装CSD文件
3.将下载好的三个jar包放在CM所在的/opt/cloudera/csd目录下
4.重启cloudera-scm-server服务
5.配置CFM的Parcel库
6.下载激活
安装CFM服务
安装NiFi Toolkit CA
1.进入CM主页,选择“添加服务”,选择“NiFi CA Service”,点击“继续”
2.选择NiFi Toolkit和Gateway节点,点击“继续”。
3.输入NiFi CA Token,token必须16个字符或以上,点击“继续”
4.首次运行NiFi CA,点击“继续”
5.完成NiFi CA服务的安装
安装NiFi Registry
1.进入CM主页,选择“添加服务”, 选择“NiFi Registry”,点击“继续”
2.选择NiFi Registry节点,点击“继续”
3.保持默认配置,不做修改,点击“继续”
4.首次运行NiFi Registry,点击“继续”
5.完成NiFi Registry服务的安装
安装NiFi
1.进入CM主页,选择“添加服务”, 选择“NiFi”,点击“继续”
2.选择NiFi的依赖服务,这里我们选择NiFi CA和Zookeeper,需要注意的是NiFi集群需要使用到Zookeeper,点击“继续”
3.选择NiFi节点,点击“继续”。
4.保持默认配置,不做修改,点击“继续”
5.首次运行NiFi Registry,点击“继续”
6.完成NiFi Registry服务的安装
重启Cloudera Management Service
1.重启CMS,否则CM无法监控新增的三个服务包括NiFi Toolkit CA,NiFi Registry和NiFi
2.回到CM主页查看3个NiFi相关服务运行正常。
登录NiFi的Web页面
- 如何在CDH集群上部署Python3运行环境及运行Python作业
- Hacking Aria2 RPC Daemon
- 如何修改CDH集群的DataNoe节点HOSTNAME
- Sparkjava Framework 文件遍历漏洞(CVE-2016-9177)分析与探究
- 绕过混合内容警告 - 在安全的页面加载不安全的内容
- 如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
- 熊市里生成几个BTC靓号,冷存储起来装死吧
- 傲游浏览器漏洞系列(上)- 任意文件写入,UXSS
- 如何使用Cloudera Manager在线为集群减容
- GitLab 任意文件读取漏洞 (CVE-2016-9086) 和任意用户 token 泄露漏洞
- 如何使用Hue通过数据文件创建Collections
- GNU tar 解压路径绕过漏洞(CVE-2016-6321) 分析
- Memcached 命令执行漏洞(CVE-2016-8704、CVE-2016-8705、CVE-2016-8706)简析
- 使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- MySQL代码开发和调试利器CLion
- 重磅!GitHub 推出容器镜像仓库服务!
- 深入理解 Cilium 的 eBPF 收发包路径
- CentOS7下搭建Jellyfin个人流媒体服务器
- CentOS8下yum源配置及nmcli命令简单介绍
- Day62:二叉搜索树的第k个结点
- CentOS7下利用SRS搭建直播流媒体服务器
- 第9天:NLP补充——需要的基本知识
- 6.AVCodecContext和AVCodec
- WebAssembly之使用JS调用C/C++接口
- WebAssembly之emcc编译命令
- 食堂店小二儿教你学会栈
- Istio流量管理实现机制深度解析-基于1.4.0更新
- Istio 运维实战系列(1):应用容器对 Envoy Sidecar 的启动依赖问题
- R语言基于Reactome数据库的富集分析