数据库[分库分表]中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL
时间:2022-04-29
本文章向大家介绍数据库[分库分表]中间件 Sharding-JDBC 源码分析 —— SQL 解析(四)之插入SQL,主要内容包括1. 概述、2. InsertStatement、3. #parse()、3.2 #parseColumns()、3.3 #parseValues()、3.4 #parseCustomizedInsert()、3.5 #appendGenerateKey()、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
本文主要基于 Sharding-JDBC 1.5.0 正式版
- 1. 概述
- 2. InsertStatement
- 3. #parse()
- 3.1 #parseInfo()
- 3.2 #parseColumns()
- 3.3 #parseValues()
- 3.4 #parseCustomizedInsert()
- 3.5 #appendGenerateKey()
- 666. 彩蛋
1. 概述
本文前置阅读:
- 《SQL 解析(一)之词法解析》
- 《SQL 解析(二)之SQL解析》
本文分享插入SQL解析的源码实现。
不考虑 INSERT SELECT 情况下,插入SQL解析比查询SQL解析复杂度低的多的多。不同数据库在插入SQL语法上也统一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。
MySQL INSERT 语法一共有 3 种 :
- 第一种:
INSERT{VALUES|VALUES}
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
{VALUES | VALUE} ({expr | DEFAULT},...),(...),...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
- 第二种:
INSERT SET
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
SET col_name={expr | DEFAULT}, ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
- 第三种:
INSERT SELECT
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
SELECT ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
Sharding-JDBC 目前支持:
- 第一种:
INSERT{VALUES|VALUES}
单条记录 - 第二种:
INSERT SET
Sharding-JDBC 插入SQL解析主流程如下:
// AbstractInsertParser.java
public final InsertStatement parse() {
sqlParser.getLexer().nextToken(); // 跳过 INSERT 关键字
parseInto(); // 解析INTO
parseColumns(); // 解析表
if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {
throw new UnsupportedOperationException("Cannot support subquery");
}
if (getValuesKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第一种插入SQL情况
parseValues();
} else if (getCustomizedInsertKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) { // 第二种插入SQL情况
parseCustomizedInsert();
}
appendGenerateKey(); // 自增主键
return insertStatement;
}
2. InsertStatement
插入SQL 解析结果。
public final class InsertStatement extends AbstractSQLStatement {
/**
* 插入字段
*/
private final Collection<Column> columns = new LinkedList<>();
/**
*
*/
private GeneratedKey generatedKey;
/**
* 插入字段 下一个Token 开始位置
*/
private int columnsListLastPosition;
/**
* 值字段 下一个Token 开始位置
*/
private int valuesListLastPosition;
}
我们来看下 INSERT INTO t_order(uid,nickname)VALUES(?,?)
的解析结果:
3. #parse()
3.1 #parseInto()
解析表。
// AbstractInsertParser.java
/**
* 解析表
*/
private void parseInto() {
// 例如,Oracle,INSERT FIRST/ALL 目前不支持
if (getUnsupportedKeywords().contains(sqlParser.getLexer().getCurrentToken().getType())) {
throw new SQLParsingUnsupportedException(sqlParser.getLexer().getCurrentToken().getType());
}
sqlParser.skipUntil(DefaultKeyword.INTO);
sqlParser.getLexer().nextToken();
// 解析表
sqlParser.parseSingleTable(insertStatement);
skipBetweenTableAndValues();
}
/**
* 跳过 表 和 插入字段 中间的 Token
* 例如 MySQL :[PARTITION (partition_name,...)]
*/
private void skipBetweenTableAndValues() {
while (getSkippedKeywordsBetweenTableAndValues().contains(sqlParser.getLexer().getCurrentToken().getType())) {
sqlParser.getLexer().nextToken();
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
sqlParser.skipParentheses();
}
}
}
其中 #parseSingleTable()
请看《SQL 解析(二)之SQL解析》的 #parseSingleTable()
小节。
3.2 #parseColumns()
解析插入字段。
// AbstractInsertParser.java
private void parseColumns() {
Collection<Column> result = new LinkedList<>();
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
String tableName = insertStatement.getTables().getSingleTableName();
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自动生成键信息
int count = 0;
do {
// Column 插入字段
sqlParser.getLexer().nextToken();
String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer().getCurrentToken().getLiterals());
result.add(new Column(columnName, tableName));
sqlParser.getLexer().nextToken();
// 自动生成键
if (generateKeyColumn.isPresent() && generateKeyColumn.get().equalsIgnoreCase(columnName)) {
generateKeyColumnIndex = count;
}
count++;
} while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));
//
insertStatement.setColumnsListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
//
sqlParser.getLexer().nextToken();
}
insertStatement.getColumns().addAll(result);
}
3.3 #parseValues()
解析值字段
/**
* 解析值字段
*/
private void parseValues() {
boolean parsed = false;
do {
if (parsed) { // 只允许INSERT INTO 一条
throw new UnsupportedOperationException("Cannot support multiple insert");
}
sqlParser.getLexer().nextToken();
sqlParser.accept(Symbol.LEFT_PAREN);
// 解析表达式
List<SQLExpression> sqlExpressions = new LinkedList<>();
do {
sqlExpressions.add(sqlParser.parseExpression());
} while (sqlParser.skipIfEqual(Symbol.COMMA));
//
insertStatement.setValuesListLastPosition(sqlParser.getLexer().getCurrentToken().getEndPosition() - sqlParser.getLexer().getCurrentToken().getLiterals().length());
// 解析值字段
int count = 0;
for (Column each : insertStatement.getColumns()) {
SQLExpression sqlExpression = sqlExpressions.get(count);
insertStatement.getConditions().add(new Condition(each, sqlExpression), shardingRule);
if (generateKeyColumnIndex == count) { // 自动生成键
insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));
}
count++;
}
sqlParser.accept(Symbol.RIGHT_PAREN);
parsed = true;
}
while (sqlParser.equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}
/**
* 创建 自动生成键
*
* @param column 字段
* @param sqlExpression 表达式
* @return 自动生成键
*/
private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {
GeneratedKey result;
if (sqlExpression instanceof SQLPlaceholderExpression) { // 占位符
result = new GeneratedKey(column.getName(), ((SQLPlaceholderExpression) sqlExpression).getIndex(), null);
} else if (sqlExpression instanceof SQLNumberExpression) { // 数字
result = new GeneratedKey(column.getName(), -1, ((SQLNumberExpression) sqlExpression).getNumber());
} else {
throw new ShardingJdbcException("Generated key only support number.");
}
return result;
}
3.4.1 GeneratedKey
自动生成键,属于分片上下文信息。
public final class GeneratedKey {
/**
* 字段
*/
private final String column;
/**
* 第几个占位符
*/
private final int index;
/**
* 值
*/
private final Number value;
}
3.4.2 Condition
条件对象,属于分片上下文信息。在插入SQL解析里存储影响分片的值字段。后续《SQL 路由》 会专门分享这块。
public final class Condition {
/**
* 字段
*/
@Getter
private final Column column;
// ... 省略其它属性
}
public final class Column {
/**
* 列名
*/
private final String name;
/**
* 表名
*/
private final String tableName;
}
3.4 #parseCustomizedInsert()
解析第二种插入SQL: INSERT SET
。例如:
INSERT INTO test SET id = 4 ON DUPLICATE KEY UPDATE name = 'doubi', name = 'hehe';
INSERT INTO test SET id = 4, name = 'hehe';
private void parseInsertSet() {
do {
getSqlParser().getLexer().nextToken();
// 插入字段
Column column = new Column(SQLUtil.getExactlyValue(getSqlParser().getLexer().getCurrentToken().getLiterals()), getInsertStatement().getTables().getSingleTableName());
getSqlParser().getLexer().nextToken();
// 等号
getSqlParser().accept(Symbol.EQ);
// 【值】表达式
SQLExpression sqlExpression;
if (getSqlParser().equalAny(Literals.INT)) {
sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser().getLexer().getCurrentToken().getLiterals()));
} else if (getSqlParser().equalAny(Literals.FLOAT)) {
sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser().getLexer().getCurrentToken().getLiterals()));
} else if (getSqlParser().equalAny(Literals.CHARS)) {
sqlExpression = new SQLTextExpression(getSqlParser().getLexer().getCurrentToken().getLiterals());
} else if (getSqlParser().equalAny(DefaultKeyword.NULL)) {
sqlExpression = new SQLIgnoreExpression();
} else if (getSqlParser().equalAny(Symbol.QUESTION)) {
sqlExpression = new SQLPlaceholderExpression(getSqlParser().getParametersIndex());
getSqlParser().increaseParametersIndex();
} else {
throw new UnsupportedOperationException("");
}
getSqlParser().getLexer().nextToken();
// Condition
if (getSqlParser().equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {
getInsertStatement().getConditions().add(new Condition(column, sqlExpression), getShardingRule());
} else {
getSqlParser().skipUntil(Symbol.COMMA, DefaultKeyword.ON);
}
} while (getSqlParser().equalAny(Symbol.COMMA)); // 字段以 "," 分隔
}
3.5 #appendGenerateKey()
当表设置自动生成键,并且插入SQL没写自增字段,增加该字段。例如:
// 主键为user_id
INSERT INTO t_user(nickname, age) VALUES (?, ?)
后续 SQL 改写会生成该自增编号,并改写该 SQL。后续《SQL 改写》 会专门分享这块。
private void appendGenerateKey() {
// 当表设置自动生成键,并且插入SQL没写自增字段
String tableName = insertStatement.getTables().getSingleTableName();
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);
if (!generateKeyColumn.isPresent() || null != insertStatement.getGeneratedKey()) {
return;
}
// ItemsToken
ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition());
columnsToken.getItems().add(generateKeyColumn.get());
insertStatement.getSqlTokens().add(columnsToken);
// GeneratedKeyToken
insertStatement.getSqlTokens().add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition()));
}
3.5.1 GeneratedKeyToken
自增主键标记对象。
public final class GeneratedKeyToken implements SQLToken {
/**
* 开始位置
*/
private final int beginPosition;
}
- go 语言的库文件放在哪里?如何通过nginx代理后还能正确获取远程地址
- 离线Tarjan算法-最近公共祖先问题
- Java文件上传下载实训
- 【网络编程系列】二:socket通信原理及实践
- textrank算法原理与提取关键词、自动提取摘要PYTHON
- 【网络编程系列】一:字节顺序的大端与小端表示法
- Linux下的make命令用法
- 增量数据丢失的原因分析(三)(r8笔记第91天)
- JS之浏览器对象BOM
- 超清晰的makefile解释、编写与示例
- 一个简单的sql审核案例 (r8笔记第90天)
- Linux wait() 和 waitpid()函数介绍
- #if和#ifdef的区别
- 一个MySQL优化案例的初步思路(r8笔记第87天)
- MySQL 教程
- MySQL 安装
- MySQL 管理与配置
- MySQL PHP 语法
- MySQL 连接
- MySQL 创建数据库
- MySQL 删除数据库
- MySQL 选择数据库
- MySQL 数据类型
- MySQL 创建数据表
- MySQL 删除数据表
- MySQL 插入数据
- MySQL 查询数据
- MySQL where 子句
- MySQL UPDATE 查询
- MySQL DELETE 语句
- MySQL LIKE 子句
- mysql order by
- Mysql Join的使用
- MySQL NULL 值处理
- MySQL 正则表达式
- MySQL 事务
- MySQL ALTER命令
- MySQL 索引
- MySQL 临时表
- MySQL 复制表
- 查看MySQL 元数据
- MySQL 序列 AUTO_INCREMENT
- MySQL 处理重复数据
- MySQL 及 SQL 注入
- MySQL 导出数据
- MySQL 导入数据
- MYSQL 函数大全
- MySQL Group By 实例讲解
- MySQL Max()函数实例讲解
- mysql count函数实例
- MYSQL UNION和UNION ALL实例
- MySQL IN 用法
- MySQL between and 实例讲解
- LoRa节点开发——代码详解LoRaWAN发送与接收数据
- java编程思想第四版第十四章 类型信息习题
- 聊一聊,如何解密、分析LoRaWAN数据包?
- java编程思想第四版第十四章 类型信息总结
- 10 . Python之面向对象
- 11 . Python3之异常,调试和测试
- 张孝祥java高新技术 --- jkd1.5 新特性 -- 精华总结
- 12 . Python3之网络编程
- 01 . Zabbix简介原理及部署
- 03 . Zabbix自定义Key及配置触发器邮件报警
- 详解STM32+SX1276 Linux下的编译环境搭建
- 01 . Go语言简介及语言特征
- 02 . Go语言的变量,常量,作用域
- jquery多组时间以对象数组形式保存
- java下读取键盘输入的简单方法