[喵咪大数据]HUE大数据管理工具
时间:2022-05-02
本文章向大家介绍[喵咪大数据]HUE大数据管理工具,主要内容包括1.环境准备、2.配置文件修改、3.使用HUE、4 总结、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具HUE的庐山真面目.
附上:
喵了个咪的博客:w-blog.cn
1.环境准备
编译依赖
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi libffi-devel
ca /app/install
wget http://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2.tar.gz
> chown -R root:root hue-3.7.0-cdh5.4.4
> chmod -R 777 hue-3.7.0-cdh5.4.4
# 启动方式
/app/install/hue-3.7.0-cdh5.4.4/build/env/bin/python2.7 /app/install/hue-3.7.0-cdh5.4.4/build/env/bin/hue runcherrypyserver
2.配置文件修改
修改配置文件
vim /app/install/hue-3.7.0-cdh5.4.4/desktop/conf/hue.ini
- http_host = 0.0.0.0 (Hue Web Server所在主机/IP)
- http_port = 8000 (Hue Web Server服务端口)
- server_user = hadoop (运行Hue Web Server的进程用户)
- server_group = hadoop (运行Hue Web Server的进程用户组)
- default_user = hadoop (Hue管理员)
- default_hdfs_superuser = hadoop (HDFS管理用户)
- fs_defaultfs = hdfs://hadoop-1:8020 (对应core-site.xml配置项fs.defaultFS)
- webhdfs_url = http://hadoop-1:50070/webhdfs/v1 (webhdfs访问地址)
- hadoop_conf_dir = /usr/local/hadoop-2.7.3/etc/hadoop (Hadoop配置文件目录)
- resourcemanager_host = hadoop (对应yarn-site.xml配置项yarn.resourcemanager.hostname)
- resourcemanager_api_url = http://hadoop-1:8088 (对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address)
- proxy_api_url = http://hadoop-1:8088 (对应yarn-site.xml配置项yarn.web-proxy.address)
- history_server_api_url = http://hadoo-1:19888 (对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address)
- hive_server_host = hadoop-1 (Hive所在节点主机名/IP)
- hive_server_port = 10000 (HiveServer2服务端口号)
- hive_conf_dir = /usr/local/hive-2.3.0/conf (Hive配置文件目录)
一定要增加一个hue用户
useradd hue
发现是webhdfs都是可以
curl –i "http://dev-hadoop:50070/webhdfs/v1/user?user.name=hadoop&op=GETFILESTATUS"
需要配置Hadoop访问权限
vim /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
重启hadoop如果不行重启服务器
3.使用HUE
可以在线执行Hive语句(这里注意如果是Hbase关联表是无法在HUE平台使用的解决方法可以导出到Hive中的一个表在进查询)
直接查看hdfs文件系统
管理 hadoop 作业
管理zookeeper状态
关于hbase 不支持 thrift2 需要使用 hive使用thrift1 的版本才能结合使用 启动之后就可以看到如下结果
4 总结
在各种各样的组件下HUE无疑是最好的web工具的选择,HUE还有很多其他的功能包括我们后面要说到的spark,sqoop等相关的组件都可以通过HUE进行在线管理.
注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!
- 为你的WordPress 博客开启两步验证功能(技术支持:谷歌)
- 为你的WordPress 博客开启两步验证功能(技术支持:谷歌)
- WordPress 注册页面显示自定义提示信息
- Windows Server 2008密码重设盘
- Dynamite动态排序库
- WordPress 顶部管理工具条添加自定义栏目
- WordPress 在后台文章和页面列表显示对应的ID
- WordPress 修改默认的 wp_ 数据库前缀
- WordPress自动在uploads文件夹内创建子文件夹
- MP6 Light:浅色型的扁平化WordPress 后台管理界面
- WiX安装选项--环境变量
- 加速!缓存Python函数的运行结果:Memoization
- WiX安装选项--注册程序集到GAC和VS的设计时环境
- 5 款前沿的WordPress主题后台选项开发框架推荐
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法