Hadoop如何使用Zookeeper来保障高可用?

时间:2022-05-07
本文章向大家介绍Hadoop如何使用Zookeeper来保障高可用?,主要内容包括问题描述、解决方案、假死问题、小结、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。

问题描述

Hadoop 中有一个分布式调度框架 YARN,是很基础的重要框架,用来支持多种计算模型和进行资源调度。

先看下 YARN 的架构图

不需要了解这个架构的细节,只需要看到其中的一个重点:

中间的 ResourceManager 存在单点问题

从图中就可以看出 ResourceManager 的地位非常重要,负责集群中所有资源的管理分配,与其他部分进行沟通协作,所以,ResourceManager必须是高可用的。

解决方案

下图是官网上的架构图

可以看到,解决方案是:

active/standby模式 + zookeeper

active/standby模式 就是使用多个 ResourceManager,其中一个为 active激活 状态,其余的为 standby就绪状态,简单理解就是主备

这就涉及到两个问题:

  • 如何选主?

让哪个ResourceManageractive状态

  • 如何进行主备切换?

activeResourceManager坏掉后,standbyResourceManager怎么自动变为active

实现方式

  • 选主

所有 ResourceManager在启动时,都去 zookeeper 中创建一个临时节点,例如节点路径为 /YarnActiveResourceManager

zookeeper 可以保证只有一个能创建成功,那么成功的 ResourceManager就是 active,其余的为 standby

  • 主备切换

standbyResourceManager 都会对 /YarnActiveResourceManager这个节点注册一个事件监听。

/YarnActiveResourceManager被删除时,zookeeper 会通知这些 standbyResourceManager,他们立即执行选主动作,就是再次去创建节点 /YarnActiveResourceManager,这样就会产生一个新的 active,完成主备切换。

主ResourceManager 坏掉时,/YarnActiveResourceManager这个节点就会自动被删除,因为当时创建的是临时节点,zookeeper 可以保证临时节点与创建者共存亡。

假死问题

主ResourceManager工作量太大,不堪重负时,可能会出现假死的现象,而这时zookeeper会认为他已经挂掉了,但实际上他只是忙晕了。

zookeeper发现 主ResourceManager 挂掉后,就会删除其对应的临时节点 /YarnActiveResourceManager,那些 standby的ResourceManager 会立即进行选主,选出一个新的 主ResourceManager

当前任 主ResourceManager 缓过来之后,问题就产生了,他认为自己还是主,去进行数据修改等操作,这就发生了冲突,有两个 主ResourceManager 在同时工作。

解决方式

需要用到 zookeeper 数据节点的 ACL 权限控制机制

在创建 /YarnActiveResourceManager节点时,必须携带权限信息(如用户名密码),只有创建者能够访问这个节点,相当于加了一把锁。

这样,假死后复生的那个 ResourceManager 会发现锁被换掉了,就知道有了新的 主ResourceManager,自动切换为 standby 状态。

小结

用到的zookeeper主要特性:

  • 节点唯一

多个client竞相创建相同路径的节点时,只有一个client能成功。

  • 临时节点

client创建节点时,如果指定节点的类型为临时节点,那么此节点的生命周期就是当前的会话,如果client挂了,与zookeeper的连接会话就结束了,此节点便被自动删除。

  • Watcher

client可以对目标节点进行监听,例如监听此节点的状态变化,那么当节点被删除时,client就会收到zookeeper的事件通知,触发client的相应动作。

  • 节点权限

client创建节点时可以指定权限信息,例如限定可以访问的IP、用户名密码,其他client必须进行授权才能进行访问。