Mycat分库分表全解析 Part 6 Mycat 全局序列号
前期回顾
Mycat分库分表全解析 Part 5 Mycat 分片规则介绍
前面我们介绍了MySQL Galera的相关内容
这期开始讲一个数据库分库分表中间件Mycat
该专题的理论内容我会参考官方的文档,最后实践部分会根据自己的环境
上节说了一些Mycat的一些概念
这节的内容为有关全局序列号的内容
1. 全局序列号方式
在实现分库分表的情况下,表会被分到多个数据库中,这时自增主键已无法保证自增主键的全局唯一。
为此,MyCat提供了全局sequence来解决这个问题,实现表自增主键的全局唯一
并且提供了包含本地配置和数据库配置等多种实现方式。
1.1 本地文件方式
原理
此方式 MyCAT 将 sequence 配置到文件中,当使用到 sequence 中的配置后,MyCAT会更新classpath中的 sequence_conf.properties文件中sequence 当前的值。
配置方式
1. 在 sequence_conf.properties 文件中做如下配置:
GLOBAL_SEQ.HISIDS=
GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000
其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID 表示最小 ID 值,MAXID 表示最大 ID 值,CURID 表示当前 ID 值。
GLOBAL代表默认全局序列号的名称
我们同样可以自定义,如
一般我们以需要用到全局序列号的表名来命名
如COMPANY表需要用到全局序列号,我们定义COMPANY.HISIDS等
2. server.xml中配置:
<system><property name="sequnceHandlerType">0</property></system>
注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。
使用示例
insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);
MYCATSEQ_GLOBAL为固定格式,MYCATSEQ必须大写,GLOBAL为全局序列号的名称
优缺点
缺点
当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值。
优点
本地加载,读取速度较快。
1.2 数据库方式
原理
在数据库中建立一张表,存放全局序列号相关内容
- equence名称(name)
- sequence当前值(current_value)
- 步长(increment int 类型每次读取多少个sequence)
Sequence 获取步骤
- 当初次使用该sequence时,根据传入的sequence名称,从数据库这张表中读取current_value,和increment到MyCat中,并将数据库中的current_value设置为原current_value值+increment值;
- MyCat将读取到current_value+increment作为本次要使用的sequence值,下次使用时,自动加1,当使用increment次后,执行步骤1相同的操作.
- MyCat负责维护这张表,用到哪些sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence没有用完,系统就停掉了,则这次读取的sequence剩余值不会再使用。
配置方式
1. server.xml中配置:
<system><property name="sequnceHandlerType">1</property></system>
注:sequnceHandlerType 需要配置为 1,表示使用数据库方式生成 sequence。
2. 数据库中配置
我们假设将该表建立在dn1节点,关于数据节点(DN)可以看前面的内容,在这里指的是某台物理的MySQL实例
注意:MYCAT_SEQUENCE 表和下面的3个function,需要放在同一个数据节点上。
建议专门独立一个数据库,存放sequence表和相关的function,方便维护管理和隔离。
首先在dn1中创建表
CREATE TABLE MYCAT_SEQUENCE (
name VARCHAR (50) NOT NULL comment "名称",
current_value INT NOT NULL comment "当前值",
increment INT NOT NULL DEFAULT 100 comment "步长",
PRIMARY KEY (name)
) ENGINE = INNODB;
- name sequence 名称
- current_value 当前value
- increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数 据库中读取。
之后插入一条sequence
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 0, 100);
这里创建了一条名为GLOBAL的sequence,如果有名为COMPANY表需要全局序列号,则名称需要为COMPANY
其次,我们创建相关函数
获取当前 sequence 的值 (返回当前值,增量)
DROP FUNCTION IF EXISTS mycat_seq_currval;
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8'
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval='-999999999,NULL';
SELECT CONCAT(CAST(current_value AS CHAR),',',CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END$$
DELIMITER ;
设置 sequence 值
DROP FUNCTION IF EXISTS mycat_seq_setval;
DELIMITER $$
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS VARCHAR(64) CHARSET 'utf8'
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = VALUE WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END$$
DELIMITER ;
取下一个sequence的值
DROP FUNCTION IF EXISTS mycat_seq_nextval;
DELIMITER $$
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) CHARSET 'utf8'
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = current_value + increment
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END$$
DELIMITER ;
3. 指定sequence在哪个节点
sequence_db_conf.properties中指定 sequence相关配置在哪个节点上
GLOBAL=dn1
使用示例:
insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test');
这里同样需要有MYCATSEQ_的前缀
1.3 其他方式
mycat还提供了其他的方式,如
- 本地时间戳方式
- 分布式 ZK ID 生成器
- Zk 递增方式
- 使用 catelet 注解方式
- 利用 zookeeper 方式实现
这里就不一一解释了,后面的实验会以第二种方式进行
3. 自增长主键使用
上面说了一些全局序列号的获取方式,这里我们说明如何在mycat中使用
全局序列号主要用在自增主键中,一般为具有AUTO_INCREMENT属性的id列
3.1 建立使用全局序列号的表
所有dn
DROP TABLE IF EXISTS `company`;
CREATE TABLE `company` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(255) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
注意:需要在创建表的时候指定AUTO_INCREMENT属性
3.2 创建全局序列号表和相关函数
这里具体见1.2节的数据库配置,即在dn1中建立
- MYCAT_SEQUENCE表
- mycat_seq_currval
- mycat_seq_setval
- mycat_seq_nextval
3.3 新增全局序列号
插入数据到MYCAT_SEQUENCE表
insert into MYCAT_SEQUENCE(name,current_value,increment) values('COMPANY',19,5);
这里插入了一个名为COMPANY的全局序列号
3.4 指定sequence在哪个节点
sequence_db_conf.properties中配置
COMPANY=dn1
3.5 测试插入
我们通过mycat连接数据库后执行
insert into company(id,name) values (next value for MYCATSEQ_COMPANY,"test")
或
insert into company(name) values ("test")
之后执行如下命令查看本次插入的id
select LAST_INSERT_ID()
4. 错误处理
如果在建立函数时报如下错误
you might want to use the less safe log_bin_trust_function_creators variable
需要对数据库做如下设置:
set global log_bin_trust_function_creators=1 ;
如需永久生效,需要在配置文件中新增改行
5. 参考资料
http://www.mycat.io/document/mycat-definitive-guide.pdf
https://blog.csdn.net/u010956470/article/details/70837876
- c++课程设计(日历)
- 一个程序,让你理解运算符重载操作
- HDUOJ ---1423 Greatest Common Increasing Subsequence(LCS)
- 在运算符重载++,--,+=,-=...
- 排序一栏(总结帖)
- 编程思想 之「异常及错误处理」
- nyoj-----284坦克大战(带权值的图搜索)
- nyoj-----42一笔画问题
- hdu-------1081To The Max
- nyoj------170网络的可靠性
- HDUOJ-------1052Tian Ji -- The Horse Racing(田忌赛马)
- 初学Java之Pattern与Matcher类
- 初学java之StringBuffer类的常用方法
- 初学java之大数处理
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法