如何使用Hue通过数据文件创建Collections
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
在CDH5.9版本及更新版本中,Hue新增一个全新工具从数据文件中创建Apache Solr的Collections,可以通过该工具轻松的将数据加载到Solr的Collection中。
过去,将数据索引到Solr是相当困难。这项任务涉及到编写一个Solr的Schema和一个morphlines文件,然后将一个Job提交给YARN来建索引。这种做法往往需要较长的时间,现在Hue的新功能可以以界面的方式在几分钟内为您启动一个YARN的作业来创建索引工作。本篇文章主要介绍如何使用Hue通过数据文件创建Collections。
- 内容概述
1.安装依赖库
2.修改Hue配置及集成Solr
3.功能测试
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
- 前置条件
1.集群已安装Solr服务
2.安装依赖库
1.在HDFS上创建一个目录用于存放依赖库
[root@ip-172-31-9-33 conf]# hadoop fs -mkdir /tmp/smart_indexer_lib
2.将/opt/cloudera/parcels/CDH/jars目录下如下jar包上传至/tmp/smart_indexer_lib目录
[root@ip-172-31-6-148 smart_indexer_lib]# cd /opt/cloudera/parcels/CDH/jars
[root@ip-172-31-6-148 jars]# scp argparse4j-0.4.3.jar httpmime-4.2.5.jar search-mr-1.0.0-cdh5.13.0-job.jar kite-morphlines-core-1.0.0-cdh5.13.0.jar solr-core-4.10.3-cdh5.13.0.jar kite-morphlines-solr-core-1.0.0-cdh5.13.0.jar solr-solrj-4.10.3-cdh5.13.0.jar noggit-0.5.jar /root/smart_indexer_lib
[root@ip-172-31-6-148 jars] cd /root/smart_indexer_lib
[root@ip-172-31-6-148 jars] hadoop fs –put *.jar /tmp/smart_indexer_lib
[root@ip-172-31-6-148 smart_indexer_lib]# hadoop fs -ls /tmp/smart_indexer_lib
3.修改目录属主
[root@ip-172-31-6-148 jars]# sudo -u hdfs hadoop fs -chown -R hue:supergroup /tmp/smart_indexer_lib
[root@ip-172-31-6-148 jars]# hadoop fs -ls /tmp/smart_indexer_lib
3.修改Hue配置
1.登录Hue Server所在的服务器,修改/etc/hue/conf目录下的hue.ini文件
[root@ip-172-31-6-148 smart_indexer_lib]# cd /etc/hue/conf/
[root@ip-172-31-6-148 conf]# ll
total 72
-rwxr-xr-x 1 root root 61986 Dec 10 17:19 hue.ini
-rwxr-xr-x 1 root root 1843 Oct 4 20:12 log4j.properties
-rwxr-xr-x 1 root root 1809 Oct 4 20:12 log.conf
[root@ip-172-31-6-148 conf]# vim hue.ini
###########################################################################
# Settings to configure Solr Indexer
###########################################################################
[indexer]
enable_new_indexer=true
config_indexer_libs_path=/tmp/smart_indexer_lib
找到如上图标注部分,将enable_new_indexer设置为true,config_indexer_libs_path目录设置为HDFS上依赖库所在目录。
注意:这里需要将所有Hue Server服务的配置文件进行修改。
你也可以通过CM来配置:Hue Service →Configuration → Service-Wide → Advanced → Hue Service Advanced ConfigurationSnippet (Safety Valve) for hue_safety_valve.ini
4.Hue集成Solr
1.登录Cloudera Manager进入Solr服务
2.点击“配置”
点击“保存更改”,重启Hue服务
5.功能测试
1.在HDFS创建solrtest.csv测试文件
2.进入Indexs界面
3.点击“Create Index”,选择类型为“File”
4.选择HDFS上的数据文件
5.点击“Next”,进入下一步
6.点击“Submit”提交作业
等待作业执行成功
7.作业执行成功,可以看到数据已加载到solrtest的Collection中
搜索测试
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
- 已经重写,源码和文章请跳转http://www.cnblogs.com/ymnets/p/5621706.html
- 有趣 不用js也能创建silverlight
- Hadoop和Spark的异同
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(62)-EF链接串加密
- sl 2.0 重要更新
- 云计算技术原理
- WCF技术剖析之五:利用ASP.NET兼容模式创建支持会话(Session)的WCF服务
- 进入AI时代,你准备好了吗?
- TiDB 在 G7 的实践和未来
- 投资钛值的你,知道钛链是什么吗?
- Is this a MS EnterLib DAAB BUG or not?
- Silverlight 2 has a Timer (DispatcherTimer)
- 难道调用ThreadPool.QueueUserWorkItem()的时候,真是必须调用Thread.Sleep(N)吗?
- silverlight 《Hands-On-Labs》教程系列
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- DFS(小白式超详细讲解以及代码讲解)
- 判断一个序列是否有序(升序或者降序)
- 有关dp问题的机器人走地图
- 有关结构体内重载操作的最详细的讲解~~
- 洛谷 P1002 DP解法
- AtCoder Beginner Contest 163 A~~D 详细代码讲解
- HUD 4841 (vector的用法)
- c++ 优先队列(priority_queue)的详细讲解用法
- HDU 1022(关于栈的详细解法)
- count_if函数的用法
- Codeforces Round #633 (Div. 2) A ~~C
- AtCoder Beginner Contest 162 A~~D
- P1036 选数
- P1028 数的计算
- P1598 垂直柱状图