ZooKeeper学习笔记(二)——内部原理
zookeeper学习笔记(二)——内部原理
1. zookeeper的节点的类型
总的来说可以分为持久型和短暂型,主要区别如下:
- 持久:客户端与服务器端断开连接的以后,创建的节点不会被删除;
- 持久化目录节点:客户端与zookeeper断开连接之后,该节点依旧会存在;
- 持久化顺序编号目录节点:客户端与zookeeper断开连接之后,该节点依旧会存在,只是zookeeper会给该节点名称进行顺序编号;
- 短暂:客户端和服务端断开连接之后,创建的节点自己删除
- 临时目录节点:客户端与zookeeper断开连接之后,该节点会被删除;
- 临时顺序编号节点:客户端与zookeeper断开连接之后,该节点被删除,只是zookeeper给该节点名称进行顺序编号。
要说明的是创建znode
的时候设置的顺序标识,znode
名称后边会附加一个值,顺序号只是一个单调递增的计数器,由父节点维护。
在分布式系统中,顺序号可以被用于所有的事件进行全局的排序,这样客户端可以通过顺序号推断事件的顺序。
2. Stat结构体
1)czxid-创建节点的事务zxid,每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。
2)ctime - znode被创建的毫秒数(从1970年开始)
3)mzxid - znode最后更新的事务zxid
4)mtime - znode最后修改的毫秒数(从1970年开始)
5)pZxid-znode最后更新的子节点zxid
6)cversion - znode子节点变化号,znode子节点修改次数
7)dataversion - znode数据变化号
8)aclVersion - znode访问控制列表的变化号
9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果非临时节点则是0。
10)dataLength- znode的数据长度
11)numChildren - znode子节点数量
3. 监听器原理(重点内容)
我们在之前已经了解过,注册进zookeeper的客户端会监听它所关心的节点,当节点发生变化的时候,zookeeper会通知给客户端。zookeeper主要是为了统一分布式系统中各个节点的工作状态,在资源冲突的情况下协调提供节点资源抢占,提供给每个节点了解整个集群所处状态的途径。这一切的实现都依赖于zookeeper中的事件监听和通知机制。
大致原理:zookeeper维护着一个watchList
,里面是对某个节点的观察者对象,一旦发生变化,就会遍历这个watchList
,挨个通知它们。
通过追踪代码,来看一下zookeeper的异步通信原理:
首先代码在执行的时候创建了一个
Zookeeper
对象
代码进入到了
Zookeeper()
方法,可以看到它是在调用自己的另外一个构造方法:
继续跟进:这个方法里面生成了两个线程,zookeeper的客户端和服务端通信时异步的,异步一定有子线程
这是两个
Thread
的子类
在原来创建创建
ClientCnxn
的方法下边,有一个start方法:
继续跟进去:
ok~到这可以清楚的看到,我们在创建Zookeeper
对象的时候就生成了两个子线程,sendTread
和eventThread
总结:所有的注册请求都是通过sendThread
发给服务端的,而eventThread
就是等待着服务端的通知,一旦接收到了通知,就去回调Process()
方法。
一个形象的小栗子:
A老板有两个小秘书,一个叫sendThread,另一个叫做eventThread。有一天A老板要给B老板发消息,那么sendThread小秘书就会去执行老板的发消息任务,而eventThread就等着B老板的回信,它一旦接收到回信,就去通知A老板~ 。
4. ZooKeeper的ZAB理论(重点)
zookeeper是如何保证在分布式高并发情况下数据读写有序并且全局一致的?
通过ZAB协议保证的:Zookeeper Atomic Broadcast ,即Zookeeper 原子广播。
主要内容就是两个部分:① 没有leader选leader【崩溃恢复】,② 有leader就开始干活【正常读写】
那么接下来就讨论,怎么选leader 有了leader之后怎么干活~
4.1 选举机制
4.1.1 zookeeper集群中节点的状态:
- Looking :集群刚启动时,所有的节点都是Looking状态,即寻找leader状态。该状态无法对外提供服务,其他状态都可以。
- Abserving: 为了快速扩展集群,在小范围内leader带着follower投票执行写,投票成功后通知给observers去写,保证了扩展集群时写的性能。【适用场景:集群大 、跨数据中心】
- Following: follower
- Leading:leader
1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。
2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。
3)以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。假设这些服务器依序启动,来看看会发生什么,如图所示。
(1)服务器1启动,发起一次选举。服务器1厚颜无耻投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的ID比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数0票,服务器2票数2票,没有半数以上结果,选举无法完成,服务器1,2状态保持LOOKING
(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;
(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。
注意:选leader时先比较zxid(数据版本),再比较myid。
4.2 写数据流程
1)Client 向 ZooKeeper 的 Server1 上写数据,发送一个写请求。
2)如果Server1不是Leader,那么Server1 会把接受到的请求进一步转发给Leader,因为每个ZooKeeper的Server里面有一个是Leader。这个Leader 会将写请求广播给各个Server,比如Server1和Server2,各个Server会将该写请求加入待写队列,并向Leader发送成功信息。
3)当Leader收到半数以上 Server 的成功信息,说明该写操作可以执行。Leader会向各个Server 发送提交信息,各个Server收到信息后会落实队列里的写请求,此时写成功。
4)Server1会进一步通知 Client 数据写成功了,这时就认为整个写操作成功。
原文地址:https://www.cnblogs.com/simon-1024/p/11866681.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Hacking with iOS: SwiftUI Edition - 潜力客户名单项目(三)
- 大型项目技术栈第四讲 SQL语句构建器
- redis 入门(一)——Linux环境安装测试以及基本命令演示
- 大型项目技术栈第五讲 富文本编辑器
- weblogic 11g StuckThreadMaxTime 问题解决 以及 线程池、数据库连接池参数调优
- 大型项目技术栈第九讲 kaptcha的使用
- 大型项目技术栈第十讲 日志与性能监控
- Mybatis系列第三讲 Mybatis使用详解(1)
- Maven系列第二讲 安装、配置、mvn运行过程详解
- Maven第六讲 生命周期详解 高手必备!
- 鸿蒙 Ability 讲解(页面生命周期、后台服务、数据访问)
- Maven 项目第七讲 Maven插件
- weblogic Schema validation schemaValidationEnabled=false 启动报错解决
- redis 反序列化deserialize异常问题解决
- redis 入门(二)——maven4.0 + Jedis2.9.0 + redis3.2.6 实战