轻松搞懂elasticsearch概念
本文主要介绍elasticsearch6.0的一些基本概念,有助于深入理解、研究elasticsearch和elk系统
一图胜千言
elasticsearch与mysql参照来看
添加一条数据
紫色箭头所指向的nginx为index名称 红色箭头所指向的logs为type名称 -d 参数后面的整个json串为document(一条数据) 黄色箭头所指向的http_version(json串的key部分)为字段名称 蓝色箭头所指向的HTTP/1.1(json串的value部分)为字段值
Cluster
顾名思义,cluster(集群)由一台及以上主机节点组成并提供存储及搜索服务,为方便理解可以将其看作为mysql集群; elasticsearch集群名称在配置文件ES_HOME/config/elasticsearch.yml中定义,集群名称默认为elasticsearch,可通过cluster.name: my-application属性定义; 单台节点在集群中的名字可通过node.name: node-1属性定义,默认为自动生成的一个uuid值;
Node
node为集群中的单台节点,其可以为master节点亦可为slave节点(节点属性由集群内部选举得出)并提供存储相关数据的功能,为方便理解可以将其看作mysql集群中的某一台主机; 可以通过下述配置设置master节点只提供搜索服务不提供存储服务从而提高该节点的搜索处理效率;
node.master: false
node.data: false
Index
index直译为索引,主要用于存储具体数据,为方便理解可以将其看作mysql数据中的一个库;比如可以定义一个索引名称为nginx-2018-01-11用于存储2018-01-11当天所有的nginx访问日志;
注意:索引名称必须为小写
Type
简单的说可以将type看作mysql数据库中的一张表;
注意:从6.0版本开始type默认只能为log,后续版本中将不再使用type这个概念;
Document
document是可以被索引的最小单元,可以将其看作为mysql中某张表的一条数据;其包含多个字段,比如用户表中可以包含用户名、密码、邮箱等; 在elasticsearch中,存储document数据需使用json格式数据与服务端交互;
Shards
shards(切片)这个概念也比较容易理解,说白了就是把一个大文件分割成多个小文件然后分散存储在集群中的多个节点上;可以将其看作mysql的分库分表概念;这样做的好处是将压力分散到多台机器上,比如你有一张1T的表,要执行一条查询语句,传统方式会只在某一台节点上执行查询语句其所能用到的资源也就是这台节点的最高配置;现在的情况是(假如有5台节点)将1T的表拆分为5分分别存储在5台节点上,查询的时候5台节点都会执行查询操作,然后将5台节点的查询结果汇总在一起返回给用户,这样所能用的资源就是整个集群的资源,处理效率自然也会快很多(不要担心集群汇总查询结果的耗时太大); 默认情况下elasticsearch会将用户的index拆分为5个shard,可以在创建索引的时候通过number_of_shards参数制定shard的数量; 总体来说,shard的数量与集群中的data节点数量成正比但不宜超过data节点数量;
注意: 索引一旦创建,shard值不可改变,但replicas的值可以改变;
Replicas
replicas(副本)简单的理解就是某个文件的拷贝,两个文件一模一样,查询的时候两个都能看,误删除其中一个的时候另一个还在;本质是保证数据不丢失,在elasticsearch中replicas的另一个作用就是提高查询效率; replica是相对与shard而言的,一般成对使用,比如你有一个索引,shard设置为5,replica设置为1,那么总的切片数为shard(5) + shard(5) * replicas(1) = total(10);如果有5台data节点,每台节点上都会存储两个不相同的shard,这样某台data节点坏掉集群能从其它节点上保存了整个index的5个shard,所以不影响正常使用;一旦有新的节点加入,集群可以从其它节点将shard再次存储在该节点,从而保证集群高可用性; replica可在index创建后更改,其值越大搜索效率越高,但写入性能越低(一条数据写入操作需要做(1+replicas)遍),具体值与集群data节点数量相关,不宜超过【data节点数-1】
参考文档
elasticsearch概念介绍: https://www.elastic.co/guide/...
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(9)-MVC与EasyUI结合增删改查
- No.3 啥是数据运营(三):思维方式
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(7)-MVC与EasyUI DataGrid
- MySQL数据同步【双主热备】
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(6)-Unity 依赖注入
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(4)-创建项目解决方案
- 构建ASP.NET MVC4+EF5+EasyUI+Unity2.x注入的后台管理系统(3)-漂亮系统登陆界面
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(2)-easyui构建前端页面框架[附源码]
- 扬言毁灭人类的索菲亚再一次挑战了人类
- SQL Server 存储过程生成insert语句
- silverlight 背景透明
- .Net 转战 Android 4.4 日常笔记(1)--工具及环境搭建
- ASP.NET MVC5+EF6+EasyUI 后台管理系统(33)-MVC 表单验证
- 如何利用深度学习识别千万张图片?
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法