高效Redis Client多线程操作的并发吞吐设计

数据库 其他数据库 Redis
Redis是一个非常高效的基于内存的NOSQL数据库,它提供非常高效的数据读写效能.在实际应用中往往是带宽和CLIENT库读写损耗过高导致无法更好地发挥出Redis更出色的能力.下面结合一些redis本身的特性和一些client操作上的改变来提高整个redis操作的效能.

Redis是一个非常高效的基于内存的NOSQL数据库,它提供非常高效的数据读写效能.在实际应用中往往是带宽和CLIENT库读写损耗过高导致无法更好地发挥出Redis更出色的能力.下面结合一些redis本身的特性和一些client操作上的改变来提高整个redis操作的效能.

 

上图是反映平常操作redis的情况,每个线程都独立的发起相应连接对redis的网络读写.虽然我们可以通过批操作的方式来把当前多个操作合并成一个, 但这种方式只能针对当单线程,而多线程相互合并则设计上很少关注.从redis的协议来说其实并没有限制,只是在client库的设计一般没有考虑进去.

如果在多线程操作REDIS的同时如果能够合并网络操作,那意味着可以减少操作网络读写的情况把处理能力提升到***化.这样Client总体的性能都会有所提升,而REDIS也因表层的网络读取减少而达到更好的利用率.

 

高效Redis Client多线程操作的并发吞吐设计

以上是设计图,原理并不复杂,其实就是把每个请求的操作放到一个队列中,后面开启一个线程来把前面的指令进行一个合并操操作.一个线程在高并发下可以无法更快速地合并起来,可以根据需要进行合理的操作线程应用.

这种设计的效果是否真的比较理想呢,以下是一个简单的测试

 

  1. public void AnycSet() 
  2.             { 
  3.   
  4.                 CodeTimer.Time("beetle.redis asynset", () => 
  5.                 { 
  6.                     Parallel.For(0, Count, x => 
  7.                     { 
  8.                         ProtobufKey key = x.ToString(); 
  9.                         key.AsynSet(new User() { UserId = x, NickName = "sdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffffbeetlesdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffff" + x }); 
  10.   
  11.                     }); 
  12.                 }); 
  13.             } 
  14.             public void Set() 
  15.             { 
  16.   
  17.                 CodeTimer.Time("beetle.redis set", () => 
  18.                 { 
  19.                     Parallel.For(0, Count, x => 
  20.                     { 
  21.                         ProtobufKey key = x.ToString(); 
  22.                         key.Set(new User() { UserId = x, NickName = "sdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffffbeetlesdffffffffffffffffffffffffffffffffffffffffsdffffffffffffffffffffffffffffffffffffffff" + x }); 
  23.   
  24.                     }); 
  25.                 }); 
  26.             } 

 

测试结果如下

 

以上是10W次的操作测试结果,由于redis在本机所以交互非常可观.

虽然在多线程高并发下这样的设计可以把吞吐能力和效能有一个非常不错的效果,但其也存在缺陷因为每次操作都经过不同线程的调处理,如果并发线程不多操作密集度不高.那效果并不理想;因为网络操作密集度不高,可得到并合的数量不多,这方面的损耗有可能低于操作跨线程调度所带来的损耗。

博文出处:http://www.open-open.com/lib/view/open1431181329085.html
 

责任编辑:Ophira 来源: 开源中国博客
相关推荐

2023-10-24 09:03:05

C++编程

2023-10-18 15:19:56

2019-06-03 09:13:11

线程进程多线程

2022-03-22 07:57:42

Java多线程并发

2010-05-04 08:44:42

Java并发模型

2019-09-26 10:19:27

设计电脑Java

2022-03-04 10:17:04

Redis数据

2024-03-04 08:10:00

C#多线程语言

2020-10-13 07:44:45

理解分布式

2023-10-08 09:34:11

Java编程

2024-02-02 18:29:54

C++线程编程

2020-11-17 06:08:40

Redis多线程

2021-04-26 06:54:15

Redis多线程单线程

2013-05-23 15:59:00

线程池

2022-08-21 17:35:31

原子多线程

2020-12-02 11:00:59

Redis多线程数据库

2020-05-08 08:01:11

多线程Redis处理

2021-10-28 07:56:52

多线程日志系统嵌入式开发

2010-03-16 19:29:26

Java多线程操作

2009-12-29 11:21:55

ADO多线程
点赞
收藏

51CTO技术栈公众号