来,看看MySQL插入速度能有50W每秒吗

数据库 MySQL
MySQL每秒可以插入50w条记录吗? 带着疑问,我们一起看看mysql每秒可以插入多少条记录? 要回答这个问题,首先要考虑影响mysql插入速度的因素有哪些?

[[331769]]

写入速度

  • MySQL每秒可以插入50w条记录吗?
  • 带着疑问,我们一起看看mysql每秒可以插入多少条记录?
  • 要回答这个问题,首先要考虑影响mysql插入速度的因素有哪些?

硬盘的速度,网卡的速度,写入行的数据量,数据在硬盘中的存放位置等等因素。

简单的数据,插入速度肯定快,复杂的插入肯定慢。

所以单纯这个问题不好回答,最好的办法是进行压力测试,最后求一个平均值。

一 测试环境:

MySQL表结构

  1. CREATE TABLE `user_10w` ( 
  2.   `id` int(10) NOT NULL AUTO_INCREMENT, 
  3.   `namevarchar(20) DEFAULT NULL
  4.   `mobile` varchar(11) DEFAULT NULL
  5.   `add_time` int(11) DEFAULT NULL
  6.   `groupid` tinyint(1) DEFAULT NULL
  7.   `login_time` int(11) DEFAULT NULL
  8.   PRIMARY KEY (`id`) 
  9. ) ENGINE=MyISAM AUTO_INCREMENT=4730016 DEFAULT CHARSET=utf8mb4 

电脑配置

4核 Intel(R) Core(TM) i3-8100 CPU @ 3.60GHz

ssd 120G硬盘

二. 开始测试

说明:单机测试,不涉及网卡,网络传输的影响

测试程序php pdo

  1. include_once("tool.php"); 
  2. $dsn = 'mysql:dbname=demo;host=127.0.0.1'
  3. $user = 'root'
  4. $pass = 'root'
  5. try{ 
  6.         $hand = new PDO($dsn, $user, $pass); 
  7. }catch(PDOException $e){ 
  8.         echo 'Connection failed: ' . $e->getMessage(); 
  9. $query = $hand->prepare("insert into user_10w(name,mobile,add_time,groupid,last_login_time) values(?,?,?,?,?)"); 
  10. $n=0; 
  11. $count = 1000000; //每次插入100w 
  12. $t = time(); 
  13. echo 'start write,time is '. $t. "\n"
  14. while(true){ 
  15. $n++; 
  16. $name = Tool::getRandomStr(5); 
  17. $mobile = Tool::getRandNum(9); 
  18. $group = Tool::getRandNum(1); 
  19. $rs = $query->execute([$name,'13'.$mobile,time(),$group,time()]); 
  20. if($n>$count)break; 
  21. echo 'write end, time is '. (time()-$t) . "\n"

1.无任何索引,单进程

  1. start write,time is 1593338798 
  2. write endtime is 50 

耗时50s, 平均2w/秒

2. 给name添加普通索引

  1. write endtime is 60  
  2. root@test:/data/php# php7 pdo.php  
  3. start write,time is 1593393695  
  4. write endtime is 61 

大概慢了10s ,所以索引会导致插入变慢,因为要更新索引

 

来,看看mysql插入速度能有50w每秒吗
负载

3. 多进程测试

用go写了一个简单的多进程执行程序

  1. package main 
  2.  
  3. import( 
  4.         "os/exec" 
  5.         "sync" 
  6. var wg sync.WaitGroup 
  7. func testRun(wg *sync.WaitGroup){ 
  8.         c := exec.Command("php7""./pdo.php"
  9.         c.Run() 
  10.         wg.Done() 
  11. func main(){ 
  12.         var n int = 10 
  13.         wg.Add(n) 
  14.         for i:=0;i<n;i++{ 
  15.                 go testRun(&wg) 
  16.         } 
  17.         wg.Wait(); 

 

来,看看mysql插入速度能有50w每秒吗
4进程负载

结果:

耗时115s ,插入速度平均3.4w/s

MySQL锁表状态

 

来,看看mysql插入速度能有50w每秒吗
mysql status

10进程一起执行

 

来,看看mysql插入速度能有50w每秒吗
10进程

耗时5‘10“ ,插入速度大概3.2w/s

MySQL锁表状态

 

来,看看mysql插入速度能有50w每秒吗
MySQL status

最后:

  • 可见,插入速度并没有网上说的那么高,随着进程数增多,锁冲突逐渐增加,插入效率下降。
  • 通过存储过程批量进行插入 ,插入速度应该会更高,但在实际高并发应用中使用并不多!
  • 抛开业务,单纯测这个好像没什么意义,一定要结合业务复杂度,性能需求来做测试,做优化。
  • 通过分布式、拆表提高并发量。

不足之处,请各位指正。

责任编辑:未丽燕 来源: 今日头条
相关推荐

2020-11-09 09:58:49

架构双十一开发

2019-07-22 10:33:40

程序员Java技术

2012-05-28 10:44:38

Sandy Bridg微服务器

2019-12-19 14:29:51

Python数据分析可视化

2018-04-12 13:24:24

程序员架构师源码

2014-10-30 10:59:45

光纤

2020-04-13 17:17:28

MySQL8.0功能

2020-02-24 17:53:06

5G速度有多快

2019-08-27 08:51:36

计数数据库并发

2021-07-09 05:52:36

架构开发缓存

2021-07-05 13:10:17

技巧MySQL数据库

2010-11-04 13:08:48

Apache加速模块

2019-07-09 14:00:54

架构高并发互联网

2010-07-28 10:08:19

硅光芯片每秒50GB

2010-07-30 09:23:40

50GB英特尔硅光通讯

2019-09-16 09:34:39

2019-09-04 09:15:42

Wi-Fi 网络标准

2012-02-21 15:41:13

爱普生投影机

2021-08-31 15:42:43

技术研发充电

2019-02-14 16:20:04

MySQL索引数据库
点赞
收藏

51CTO技术栈公众号