数据蜂巢架构演讲之路读后感

阅读文章：数据蜂巢架构演讲之路

文章网址：https://mp.weixin.qq.com/s?__biz=MzU1MzE2NzIzMg==&mid=2247485060&idx=1&sn=2d374061f2f85c453cc27d092a5354ad&chksm=fbf7b66bcc803f7dde316a4edbb40d9e6074640ef95ca7b1095b3d885433c991115ac00f1d9b&scene=21#wechat_redirect

数据蜂巢架构

一、功能整合

离线同步：可理解为将根据一个sql查询出的数据同步到其它目标存储上；

实时订购：通过实时解析mysql-binlog,将数据的变动封装成事件存于消息队列，供用户订阅消费；

实时同步：提供一些常见的订阅客户端料现，实时消费消息，将数据的变动应用于目标存储上。

将离线同步，实时订阅，实时同步三个需求抽象为三种作业，分别为BatchJob,StreamJob,PieJob。

BatchJob参考Sqoop的模式，将需同步的数据先根据指定的规则进行分片，然后将作业根据分片拆分成多个任务，每个任务只同步本分片的数据，多个任务可同时运行，以加快同步效率；

 以BatchJob的模式为基础，StreamJob也可根据需要采集的mysql实例分成多个任务，每个任务负责采集解析一个mysql的binlog，并将解析后的事件封装成消息存于本地供订阅者消费；

PieJob是对订阅客户端的封装，每一个订阅客户端即可看作一个任务。

三种不同的作业最终都可以通过分片分成多个任务去运行，使用统一的模型。

二、任务细节

以下为各个Job进行分片后生成的Task内部具体实现细节

原文地址：https://www.cnblogs.com/lijing925/p/11041945.html