性能优化技巧之算法

运维 系统运维 算法
算法的种类和实现浩如烟海,但是在这篇文章里面,不讨论单核,单线程的算法,而是讨论多核,多线程的算法;不讨论所有的算法类型(这个不是本文作者能力范围之内的事),而是讨论在多核网络设备里面常见的算法,以及可能的优化途径,这些途径有些经过了验证,有些还是处于想法阶段,暂时没有实现数据的支持。

 算法的种类和实现浩如烟海,但是在这篇文章里面,不讨论单核,单线程的算法,而是讨论多核,多线程的算法;不讨论所有的算法类型(这个不是本文作者能力范围之内的事),而是讨论在多核网络设备里面常见的算法,以及可能的优化途径,这些途径有些经过了验证,有些还是处于想法阶段,暂时没有实现数据的支持。

多核算法优化的目标无非两种:lock-free和lock-less。

lock-free是完全无锁的设计,有两种实现方式:

  • Per-cpu data,顾名思义,每个核或者线程都有自己私有的数据结构(这里的私有和thread local data是有区别的,这里的私有是逻辑上私有,并不意味着别的线程无法访问这些数据;而thread local data是线程私有的数据结构,别的线程是无法访问的。当然,不管是逻辑上私有,还是物理上私有,把共享数据转化成线程私有数据,就可以避免锁,避免竞争)。全局变量是共享的,而局部变量是私有的,所以多使用局部变量,同样可以达到无锁的目的。
  • CAS based,CAS是compare and swap,这是一个原子操作(spinlock的实现同样需要compare and swap,但区别是spinlock只有两个状态LOCKED和UNLOCKED,而CAS的变量可以有多个状态);其次,CAS的实现必须由硬件来保障(原子操作),CAS一次可以操作32 bits,也有MCAS,一次可以 比较修改一块内存。基于CAS实现的数据结构没有一个统一,一致的实现方法,所以有时不如lock based的算法那么简单,直接,针对不同的数据结构,有不同的CAS实现方法,读者可以自己搜索。

lock-less的目的是减少锁的争用(contention),而不是减少锁。这个和锁的粒度(granularity)相关,锁的粒度越小,等待的时间就越短,并发的时间就越长。

锁的争用,需要考虑不同线程在获取锁后,会执行哪些不同的动作。以session pool的分配释放为例:假设多个线程都会访问同一个session pool,分配或者释放session。session pool是个tailq,分配在head上进行;而释放在tail上进行。

如果多个线程同时访问session pool,需要一个spinlock来保护这个session pool。那么分配和释放两个不同的动作,相互之间就会有争用,而且多个线程上的分配,或者释放本身也会有争用。

现在我们可以考虑分配用一个锁,释放用一个锁,生成一个双端队列,这样可以减少分配和释放之间的争用。

http://www.parallellabs.com/2010/10/25/practical-concurrent-queue-algorithm/ (参考这篇文章)。

也可以考虑用两个pool,分配一个pool,释放一个pool,在分配pool用完之后,交换两个pool的指针(这时要考虑两个pool都是空的情况,这里只是减少了分配和释放的争用,但不能完全消除这种争用)。

不管是lock-based还是CAS-based (lock-free)的数据结构,都需要一个状态机。不同状态下,做不同的事,而增加锁的粒度,也就是增加了状态机的数量(不是状态的数量),减小状态保护的范围。这个需要在实践中体会。

原文:性能优化的方法和技巧:算法

【编辑推荐】

  1. 性能优化技巧之必备知识
  2. 性能损耗?文件服务器容量工具告诉你为什么
  3. 性能优化技巧之代码层次优化
责任编辑:黄丹 来源: 弯曲评论
相关推荐

2011-06-14 14:32:46

性能优化

2011-06-14 13:48:07

性能优化工具

2011-06-14 14:17:23

性能优化系统层次

2011-06-14 11:14:10

性能优化代码

2017-12-23 14:38:41

Android编程开发优化

2011-03-11 15:53:02

LAMP优化

2011-09-29 09:50:44

JavaScript

2009-06-16 16:39:49

Hibernate性能

2011-03-11 15:52:57

LAMP优化

2018-11-20 10:50:00

Java性能优化编程技巧

2019-08-21 10:53:29

.NET性能优化

2013-06-08 14:19:05

性能优化KVM

2012-07-23 10:22:15

Python性能优化优化技巧

2009-12-09 17:33:22

PHP性能优化

2019-02-25 07:07:38

技巧React 优化

2011-03-11 15:53:00

LAMP优化

2011-03-11 15:52:59

LAMP优化

2021-07-29 14:20:34

网络优化移动互联网数据存储

2011-07-01 16:05:22

SEO

2022-02-16 14:10:51

服务器性能优化Linux
点赞
收藏

51CTO技术栈公众号