一次线上数据库添加字段造成磁盘不够的问题
时间:2022-06-21
本文章向大家介绍一次线上数据库添加字段造成磁盘不够的问题,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
背景
公司使用的是MySQL数据库,随着业务和用户的增加有张表的数据达到了150000000(1亿5千万)条左右,其中好几个功能都会对这张表进行增删改操作。在并发量比较大的时候,经常会出现死锁问题。 为了解决这个问题找到CTO和其他领导来请教方案。 经过分析之后,由于离业务繁忙期还有几天,并且1月是系统达到最大并发的时期,所以决定暂时先采取比较稳妥的版本号方案,即只往数据库insert和update数据,定时任务删除旧的数据(之后会采取数据分表分区的方案)版本号记录在redis里面。于是花了2天左右的时间把这些业务里面的代码重构和修改了一遍(其中涉及到使用第三方库修改的代码,修改这部分花了很多时间)。经测试人员测试没问题后,准备发到线上。
过程
要刷入得的SQL如下:
ALTER TABLE xxx ADD COLUMN K_VERSION BIGINT(20) DEFAULT 0 COMMENT '版本号';
17年12月29日凌晨左右,运维开始执行sql。到1点多的时候,运维说数据库所在的服务器硬盘满了,导致刷入失败。里面有人开始议论说,不就是刷入字段吗,怎么会造成磁盘满呢?运维当时立马通过阿里云德后台把数据库的服务器磁盘增大。当时我的第一反应:肯定这个SQL在表数据量大的时候会有问题。搜索之后发现,当数据量很大的时候,会占大量的undo空间,同时还会锁表。所以要想解决问题必须分开执行sql 最后执行sql如下: 第一步:
ALTER TABLE xxx ADD COLUMN K_VERSION BIGINT(20) COMMENT '版本
第二步:
ALTER TABLE XXX MODIFY(K_VERSION DEFAULT 0);
第三步:
update table XXX set K_VERSION=0;
之后也没有出现刷sql挂服务器的问题。
- ASP VNext 开源服务容错处理库Polly使用文档
- Node.js力破江苏网警刑侦科推理试题
- Python之dict(或对象)与json之间的互相转化
- datetime.date(2014, 4, 25) is not JSON serializable
- Linux下PAM模块学习总结
- 统计文件中出现的单词次数
- EF批量操作数据与缓存扩展框架
- 前端面试题:JS中的let和var的区别
- 虚拟机字节码执行引擎
- 快速傅里叶变换(FFT)详解
- SQLServer 数据库镜像+复制切换方案
- Handler源码分析
- STM32-对芯片启动读保护,实现加密(详解)
- Django+xadmin打造在线教育平台(一)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【colab pytorch】模型定义
- 初级爬虫--爬取拉勾网职位信息
- requests库
- hadoop之完全分布式集群配置(centos7)
- XPath
- 62. Vue 饿了么Mint UI组件的基本使用
- 【colab pytorch】数据处理
- requests+lxml+xpath爬取豆瓣电影
- python之子类继承父类时进行初始化的一些问题
- 【猫狗数据集】定义模型并进行训练模型
- springmvc之处理模型数据Map
- requests+lxml+xpath爬取电影天堂
- 【python-leetcode90-子集】子集Ⅱ
- 【colab pytorch】保存模型
- 【猫狗数据集】保存训练模型并加载进行继续训练