数据源管理 | 搜索引擎框架,ElasticSearch集群模式
时间:2022-07-22
本文章向大家介绍数据源管理 | 搜索引擎框架,ElasticSearch集群模式,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
一、集群环境搭建
1、环境概览
ES版本6.3.2,集群名称esmaster,虚拟机centos7。
ElasticSearch基础功能和用法:
在真正海量数据的业务场景中,ElasticSearch搜索引擎都是需要集群化管理的,实时搜索几十亿的数据十分常见。
2、集群配置
配置文件
vim /opt/elasticsearch-6.3.2/config/elasticsearch.yml
主节点配置
# 集群主节点配置
cluster.name: esmaster
node.master: true
# 节点名称
node.name: esnode1
# 开发访问
network.host: 0.0.0.0
从节点配置
注意这里两个从节点配置,node.name分别配置为esnode2和esnode3即可。
# 集群名称
cluster.name: esmaster
# 节点名称
node.name: esnode2
# 开发访问
network.host: 0.0.0.0
# 主节点IP
discovery.zen.ping.unicast.hosts: ["192.168.72.133"]
内存权限
vim /etc/sysctl.conf
# 添加内容
vm.max_map_count=262144
# 执行
sysctl -p
3、集群启动
添加esroot用户,并授权。
/opt/elasticsearch-6.3.2/bin/elasticsearch
单服务查看
ps -aux |grep elasticsearch
集群状态查看
http://localhost:9200/_cluster/health?pretty
{
"cluster_name" : "esmaster", # 集群名称
"status" : "green", # 绿:健康,黄:亚健康,红:病态
"timed_out" : false, # 是否超时
"number_of_nodes" : 3, # 节点个数
}
二、集群模式测试
1、环境配置
dev环境
配置单个节点,选择任意单节点,进行数据写入测试。
spring:
data:
elasticsearch:
# 集群名称
cluster-name: esmaster
# 单节点
# cluster-nodes: en-master:9300
# cluster-nodes: en-node01:9300
cluster-nodes: en-node02:9300
test环境
链接集群环境,进行数据读取测试。
spring:
data:
elasticsearch:
# 集群名称
cluster-name: esmaster
# 集群节点
cluster-nodes: en-master:9300,en-node01:9300,en-node02:9300
当然所有的操作都可以基于单节点或者集群环境测试。
2、实例对象
基于注解管理数据对象实例。
import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
@Document(indexName = "usersearchindex",type = "usersearch")
public class UserSearch {
//Id注解Elasticsearch里相应于该列就是主键,查询时可以使用主键查询
@Id
private Long id;
private String userId;
private String userName;
private String sex;
}
3、操作案例
提供一个数据查询操作和数据写入操作。
import com.esearch.cluster.entity.UserSearch;
import org.springframework.stereotype.Service;
import javax.annotation.Resource;
@Service
public class UserSearchServiceImpl implements UserSearchService {
@Resource
private UserSearchRepository userSearchRepository ;
@Override
public String esInsert(Integer num) {
for (int i = 0 ; i < num ; i++){
UserSearch userSearch = new UserSearch() ;
userSearch.setId(System.currentTimeMillis());
userSearch.setUserId("Name"+i);
userSearch.setUserName("ZSan"+i);
userSearch.setSex("Male"+i);
userSearchRepository.save(userSearch) ;
}
return "success" ;
}
@Override
public Iterable<UserSearch> esFindAll (){
return userSearchRepository.findAll() ;
}
}
三、集群控制台
这里是基于Kibana组件做的集群控制台。
1、数据列表
在discover面板中可以查看列表数据,也可以继续搜索。
列表查询
列表搜索
2、开发工具
在dev_tools面板中可以执行ElasticSearch相关命令。
查看集群健康状态
GET /_cat/health?v
查询全部数据
GET _search
{
"query": {
"match_all": {}
}
}
四、源代码地址
GitHub·地址
https://github.com/cicadasmile/data-manage-parent
GitEE·地址
https://gitee.com/cicadasmile/data-manage-parent
- C#调用C和C++函数的一点区别
- EF+MySQL乐观锁控制电商并发下单扣减库存,在高并发下的问题
- 合并求取分组记录的第一条数据
- 一个脑洞“颇大”的恶搞链接
- SQL 行列转换简单示例
- SQLSERVER 2012计算上一条,下一条数据的函数
- 使用命名管道实现进程间通信
- 获取SqlServer存储过程定义的3种方法
- 【自然框架】开源社区活动,会员注册的第一份代码!
- CentOS 7 安装Mono 和 MonoDevelop
- 【自然框架】注册会员活动——第一份代码的修改建议(第一版)
- 【视频】自然框架之分页控件的使用方法(一) PostBack方式的一般分页方式
- Java中的Socket编程学习
- 【视频】自然框架之分页控件的使用方法(二) 下载、DLL说明和web.config的设置
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- vue国际化vue-i18n简单使用
- Kubernetes引入结构化日志
- ServerEndpoint注解无法注入NoticeService
- 警告:有用的警告|让Kubernetes的使用越来越容易
- MySQL索引凭什么让查询效率提高这么多?
- 女朋友问我:Dubbo的服务引用过程
- 一致性hash算法及java实现
- 【Pytorch 】笔记九:正则化与标准化大总结
- 【Pytorch 】笔记十:剩下的一些内容(完结)
- 你知道怎么查看 IP 地址吗?
- spring cloud微服务之间的调用
- 华为网络整体解决方案 | 整体布局思想一定要有!
- java使用influxDB时序数据库
- 网络工程师必看 | 从动态图看VLAN技术,建议收藏!
- 【原创】Java并发编程系列35 | ScheduledThreadPoolExecutor定时器