PHP实现插入100万条数据优化
时间:2019-09-16
本文章向大家介绍PHP实现插入100万条数据优化,主要包括PHP实现插入100万条数据优化使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
第一种方法一条一条执行插入,结果会很慢
<?php header("Content-Type:text/html;charset=utf-8"); date_default_timezone_set("PRC"); $servername = "localhost"; $port = 3306; $username = "root"; $password = "root"; $dbname = "charu"; // 创建连接 $conn = new mysqli($servername, $username, $password, $dbname, $port); // 检测连接 if ($conn->connect_error) { die("connect failed: " . $conn->connect_error); } // 第一种,一条一条插入,结果要2分多钟 $costBegin = time(); echo date('Y-m-d H:s:i',$costBegin)."<br>"; for($i=0;$i<1000000;$i++){ $sql = sprintf("INSERT INTO charu (name, age) VALUES ( '%s', %d);", '测试', 10); $conn->query($sql); } $costEnd = time(); echo date('Y-m-d H:s:i',$costEnd)."<br>"; $cost = $costEnd - $costBegin; echo date('Y-m-d H:s:i',$cost)."<br>"; $conn->close();
第二种使用insert合并插入
mysql里面是可以使用insert语句进行合并插入的,比如
INSERT INTO charu (name, age) VALUES ('name1', 18), ('name2', 19);
表示一次插入两条数据
<?php header("Content-Type:text/html;charset=utf-8"); date_default_timezone_set("PRC"); $servername = "localhost"; $port = 3306; $username = "root"; $password = "root"; $dbname = "charu"; // 创建连接 $conn = new mysqli($servername, $username, $password, $dbname, $port); // 检测连接 if ($conn->connect_error) { die("connect failed: " . $conn->connect_error); } // 第二种,把所有要插入的数据生成为一条sql语句,所以执行的时间会快很多,测试时间是5秒多 $costBegin = time(); echo date('Y-m-d H:s:i',$costBegin)."<br>"; $sql = sprintf("INSERT INTO charu (name, age) VALUES "); for($i=0;$i<1000000;$i++){ $itemStr = '( '; $itemStr .= sprintf("'%s', %d", '测试', 10); $itemStr .= '),'; $sql .= $itemStr; } // 去除最后一个逗号,并且加上结束分号 $sql = rtrim($sql, ','); $sql .= ';'; if ($conn->query($sql) === TRUE) { echo "新记录插入成功". "<br>"; } else { echo "Error: " . $sql . "<br>" . $conn->error; } $costEnd = time(); echo date('Y-m-d H:s:i',$costEnd)."<br>"; $cost = $costEnd - $costBegin; echo date('Y-m-d H:s:i',$cost)."<br>"; $conn->close();
使用第二种方法有可能会出现
MySQL server has gone away错误的解决办法
而我自己是直接在my.ini文件里面直接添加(max_allowed_packet = 30M)然后重启环境就可以了
原文地址:https://www.cnblogs.com/lcxin/p/11527565.html
- 在容器中部署mysql与数据持久化
- silverlight如何在运行时用代码动态控制(或创建)动画
- 小程序深夜连发4大功能!你们要的直播来了!
- 机器学习在现实生活中到底有哪些应用?
- 千锋郑州告诉你未来十年Python市场前景如何
- 读书笔记:基于web的工作流引擎设计
- 地图知识-坐标网
- silverlight/xap如何接收参数?
- Silverlight中多个Xaml("场景"? or "窗口"? )之间的切换/调用/弹出/传参数问题小结
- Keepalived使用梳理
- mysql操作命令梳理(4)-中文乱码问题
- 今日头条李磊:机器写作与 AI 辅助创作
- 【1】CommonCode快速代码集
- mysql操作命令梳理(3)-pager
- php概述
- php教程
- php环境搭建
- PHP书写格式
- php变量
- php常量
- PHP注释
- php数组
- php字符串 string
- PHP整型 integer
- PHP浮点型 float
- php布尔型
- php数据类型之数组
- php数据类型之对象
- php数据类型之null
- php数据类型之间的转换
- php运算符
- php表达式
- PHP循环控制
- PHP流程控制
- php函数
- php全局变量
- PHP魔术变量
- php命名空间
- php 日期
- PHP包含文件
- php文件
- PHP 文件上传
- php Cookies
- php Sessions
- php email
- php安全email
- php错误处理
- PHP异常处理
- php过滤器
- PHP 高级过滤器
- php json
- php 表单
- PHP MySQL 简介
- PHP 连接 MySQL
- php创建数据库
- php 创建表
- php mysq 插入数据
- PHP MySQL 插入多条数据
- PHP MySQL 预处理语句
- php mysql 读取数据
- php mysql where
- PHP MySQL Order By
- PHP MySQL Update
- PHP MySQL Delete
- php ODBC
- MPU6050姿态解算方式1-DMP
- 打卡群刷题总结0729——分隔链表
- 单细胞tSNE细胞降维图还可以这样做?!
- 从IIC实测波形入手,搞懂IIC通信
- FreeRTOS例程4-串口DMA收发不定长数据
- FreeRTOS例程3-串口中断接收不定长的数据与二值信号量的使用
- 前端如何将json数据导出为excel文件
- 使用Postman访问腾讯云API3.0
- C语言将float拆分为4个hex传输与重组
- C语言字符串相关函数使用示例 strtok_r strstr strtok atoi
- FreeRTOS例程1-基础任务创建
- ARouter路由记录
- java的DES和3DES加解密算法
- Flink 批处理算子详解
- Flink 流计算算子函数详解