Cloudera Navigator介绍与安装

时间:2022-05-06
本文章向大家介绍Cloudera Navigator介绍与安装,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Cloudera Navigator也是CDH企业版的工具之一,定位为一个数据管理工具。Hadoop大数据平台拥有存储与分析任何种类和规模数据的能力,并且将其开放给更多用户和分析工具。 但是,这同时也带来数据管理上的挑战:大量的业务用户想自助访问可发掘数据;管理员需要知道数据是怎么被用来优化分析性能的;安全团队需要看见数据的访问方式以及它们是怎么满足合规性的。一个大数据平台必须有能力在整个企业内解决数据管理以及合规性需求,但同时不能牺牲大数据本身的灵活性和优势。所以我们需要数据管理工具Navigator。

本文Fayson首先会简单介绍一下Navigator的功能,然后通过实操的方式一步一步介绍如何安装Navigator。后面的文章Fayson会持续介绍Navigator的一些功能和使用。

  • 内容概述

1.Navigator介绍

2.Navigator安装

3.Navigator访问

  • 测试环境

1.操作系统RedHat7.3

2.CM和CDH版本为5.13.1

3.集群已启用Kerberos

2.Navigator介绍


Cloudera Navigator是唯一为大数据和Apache Hadoop提供集成数据管理和监管的工具。Cloudera Navigator作为Cloudera企业版的核心,还是有挺多用户在用的。它提供必要的审计和数据保护,来满足最严苛的规范限制。 有了唯一的全面的元数据基础作支撑,Cloudera Navigator自动将各个平台上的所有技术元数据,以及企业内用户定义的业务元数据整合成一个单一的、可搜索的储存库。至此,Cloudera Navigator可以从四个基础方面提供有效的数据管理。

2.1.自助数据发掘和分析


企业用户可以毫不费力地找到可信的,最重要的数据。

1.通过直观的全文搜索和SQL访问,在统一元数据储存库中发掘和探索数据。

2.基于业务场景和分类来定位数据集,与自动化技术场景相结合– 使其容易找到类似的、 相关的数据。

2.2.活跃数据优化


数据库管理员可以迅速获取如何来优化最关键的工作负载。

1.快速分析现有的SQL日志获取全面的视图,包括哪些查询最为关键、哪些数据被最经常的访问、以及数据是如何来被使用的。

2.通过智能优化指导来提高Hadoop的性能和效率。

3.通过可兼容的识别来减少工作负载的研发时间,从而在Hadoop上快速取得成功。

此功能适用于Navigator Optimizer,因为是一个SAAS服务,不在本文以及后续文章的介绍范围之内。

2.3合规性监管和保护


安全团队可以追踪、了解并且保护对敏感数据的访问。

1.自动保存一个完整的审计记录,追踪每一次访问尝试,细化到用户ID、IP地址以及完整的查询文本。

2.追踪数据的使用方式以及在字段级别和视图沿袭上的变化,从而快速确认一个数据集的来源以及它对下游组件的影响。

3.通过高性能加密,Navigator加密以及密钥管理来保护所有数据。

4.与领先企业的元数据、沿袭、以及SIEM应用进行集成,即插即用。

2.4.Hadoop数据生命周期自动化


数据管理员可以有效管理并且实现关键的生命周期策略,以避免风险。

1.自动化管理与操作 - 如元数据的分类,数据归档以及保存,甚至调用合作伙伴产品作为额外的数据准备及转换 - 通过灵活的策略引擎

2.通过唯一内置的备份及灾难恢复来确保业务连续性

3.通过无缝集成合作伙伴工具,来管理不只是Hadoop的数据生命周期

3.Navigator安装


1.创建Navigator元数据库,这里我们使用的是MySQL数据库,建库语句如下:

create database nms default character set utf8;
CREATE USER 'nms'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON nms. * TO 'nms'@'%';
FLUSH PRIVILEGES;
create database nas default character set utf8;
CREATE USER 'nas'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON nas. * TO 'nas'@'%';
FLUSH PRIVILEGES;

(可左右滑动)

使用root用户登录MySQL,执行建库语句

2.安装MySQL JDBC驱动并创建软链接

[root@ip-172-31-21-83 ~]# cd /usr/share/java/
[root@ip-172-31-21-83 java]# ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar 

(可左右滑动)

注意:在需要部署Navigator 服务的服务器上需要安装Mysql的驱动,否则无法Navigator服务无法连接MySQL数据库。

3.使用管理员登录Cloudera Manager的WEB界面,进入Cloudera Management Service服务

4.点击“Instances”,进入实例界面

5.点击“Add Role Instances”,添加角色实例

6.选择“Navigator Metadata Server”和“Navigator Audit Server”角色部署的节点

7.输入角色所使用的数据库账号及密码并点击“Test Connection”

8.点击“Continue”,进入实例列表,显示角色已安装成功

9.选择“Navigator Audit Server”和“Navigator Metadata Server”服务启动角色

至此已完成Cloudera Navigator服务的安装。

4.Navigator访问


通过Cloudera Manager WEB访问Navigator界面,有如下入口:

1.进入Cloudera Management Service服务,点击“Navigator Metadata Server”

2.在Cloudera Manager首页点击“Clusters”菜单

也可以在浏览器输入如下地址访问

http://ip-172-31-21-83.ap-southeast-1.compute.internal:7187/login.html

(可左右滑动)

将如上地址的修改为我们Navigator Metadata Server服务安装的服务器IP地址或HOSTSNAME。

Navigator访问界面如下:

输入账号密码(admin/admin),进如Navigator主页面

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操