从Zookeeper 到 Elastic Job 的原理解析和使用（一）

ZooKeeper

想必大家都对分布式系统有所耳闻，大部分人对分布式都能侃侃而谈，但到了真正实施的时候，才发现其中的不易。今天带大家一起了解一款开源软件，ZooKeeper。它通过一些简单好用的API，来解决分布式系统设计与开发中的难点。

分布式系统是由独立的计算机通过网络连接在一起，并且通过一些组件来相互交流和协作来完成一个共同的目标。

想要更好的判断是否为好的分布式系统，可以看这些特性：

资源共享，例如存储空间，计算能力，数据，和服务等等
扩展性，从软件和硬件上增加系统的规模
并发性多个用户同时访问
性能确保当负载增加的时候，系统响应时间不会有影响
容错性尽管一些组件暂时不可用了，整个系统仍然是可用的
API抽象系统的独立组件对用户隐藏，仅仅暴露服务

有了ZooKeeper，开发者可以很轻松的实现：

配置管理
命名服务
分布式锁
集群关系操作，检测节点的加入和离开

分布式系统的难点

可以想象，假如一台计算机的出错概率为0.1%，那么1000台服务器的出错概率呢？一旦计算机的数量增多，出错的概率就大大的增加。

多个相互独立的计算机，假设集群的配置信息在某个Master节点上，其余的节点从Master节点下载配置信息。假如Master节点挂了呢？假设Master节点是故障冗余的，但是配置信息是动态的传递给所有的其余节点的，而不是直接传过去。所有节点之间的信息如何保证一致呢？

服务发现的问题，为了增加系统的可靠性，我们一般会在系统中增加更多的服务器。让其它机器知道新加入的节点在集群中的关系和服务，这个设计也需要非常周到的考虑

机器数目众多，更容易出现机器故障，软件崩溃，网络延迟，拓扑改变等等，而这些类型的错误没有规律可循，因此在分布式系统，想实现高容错性是很难的。

当然了…ZooKeeper被设计出来的目的就是解决这种类型的问题.

zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难，其他的分布式系统没有必要费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以至于zookeeper成为了各种分布式系统的基础组件，其地位之重要，可想而知。著名的hadoop、kafka、dubbo 都是基于zookeeper而构建。

远程zookeeper启动

1、查看配置

– tickTime 单位为微秒，用于session注册和客户端和ZooKeeper服务的心跳周期。session超时时长最小为 tickTime的两倍 – dataDir ZooKeeper的状态存储位置，看名字就知道是数据目录。在你的系统中检查这个目录是否存在，如果不存在手动创建，并且给予可写权限。 – clientPort 客户端连接的端口。不同的服务器可以设置不同的监听端口，默认是2181

2、启动zookeeper

sh zkServer.sh start ../conf/zoo_sample.cfg

ZooKeeper JMX enabled by default
Using config: ../conf/zoo_sample.cfg
Starting zookeeper ... STARTED

查看是否启动成功

ps -ef | grep zookeeper

好了

3、使用zkCli连接ZooKeeper

sh zkCli.sh -server localhost:2181

Connecting to localhost:2181
2019-12-21 17:26:41,305 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.14-4c25d480e66aadd371de8bd2fd8da255ac140bcf, built on 03/06/2019 16:18 GMT
2019-12-21 17:26:41,312 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=vsz-cdo-yanghong-2
2019-12-21 17:26:41,312 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_171
2019-12-21 17:26:41,316 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2019-12-21 17:26:41,316 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/home/jdk1.8.0_171/jre
2019-12-21 17:26:41,316 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/opt/zookeeper-3.4.14/bin/../zookeeper-server/target/classes:/opt/zookeeper-3.4.14/bin/../build/classes:/opt/zookeeper-3.4.14/bin/../zookeeper-server/target/lib/*.jar:/opt/zookeeper-3.4.14/bin/../build/lib/*.jar:/opt/zookeeper-3.4.14/bin/../lib/slf4j-log4j12-1.7.25.jar:/opt/zookeeper-3.4.14/bin/../lib/slf4j-api-1.7.25.jar:/opt/zookeeper-3.4.14/bin/../lib/netty-3.10.6.Final.jar:/opt/zookeeper-3.4.14/bin/../lib/log4j-1.2.17.jar:/opt/zookeeper-3.4.14/bin/../lib/jline-0.9.94.jar:/opt/zookeeper-3.4.14/bin/../lib/audience-annotations-0.5.0.jar:/opt/zookeeper-3.4.14/bin/../zookeeper-3.4.14.jar:/opt/zookeeper-3.4.14/bin/../zookeeper-server/src/main/resources/lib/*.jar:/opt/zookeeper-3.4.14/bin/../conf:
2019-12-21 17:26:41,316 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2019-12-21 17:26:41,316 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-693.el7.x86_64
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2019-12-21 17:26:41,317 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/opt/zookeeper-3.4.14/bin
2019-12-21 17:26:41,319 [myid:] - INFO  [main:ZooKeeper@442] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@277050dc
Welcome to ZooKeeper!
2019-12-21 17:26:41,356 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1025] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2019-12-21 17:26:41,444 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@879] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
[zk: localhost:2181(CONNECTING) 0] 2019-12-21 17:26:41,485 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x1010d68f94c0000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

连接成功后使用

help

可以使用如下命令

ZooKeeper -server host:port cmd args
        stat path [watch]
        set path data [version]
        ls path [watch]
        delquota [-n|-b] path
        ls2 path [watch]
        setAcl path acl
        setquota -n|-b val path
        history 
        redo cmdno
        printwatches on|off
        delete path [version]
        sync path
        listquota path
        rmr path
        get path [watch]
        create [-s] [-e] path data acl
        addauth scheme auth
        quit 
        getAcl path
        close 
        connect host:port

查看根目录

ls /

就默认的一个，下篇文章，用zk搭建elastic job，并跑一个分布式的分片作业。