让人头痛的大事务问题到底要如何解决?

开发 项目管理
正好前段时间我在公司处理过这个问题,我们当时由于项目初期时间比较紧张,为了快速完成业务功能,忽略了系统部分性能问题。

[[354795]]

本文转载自微信公众号「苏三说技术」,作者因为热爱所以坚持ing。转载本文请联系苏三说技术公众号。   

前言

最近有个网友问了我一个问题:系统中大事务问题要如何处理?

正好前段时间我在公司处理过这个问题,我们当时由于项目初期时间比较紧张,为了快速完成业务功能,忽略了系统部分性能问题。项目顺利上线后,专门抽了一个迭代的时间去解决大事务问题,目前已经优化完成,并且顺利上线。现给大家总结了一下,我们当时使用的一些解决办法,以便大家被相同问题困扰时,可以参考一下。

大事务引发的问题

在分享解决办法之前,先看看系统中如果出现大事务可能会引发哪些问题

 

从上图可以看出如果系统中出现大事务时,问题还不小,所以我们在实际项目开发中应该尽量避免大事务的情况。如果我们已有系统中存在大事务问题,该如何解决呢?

解决办法

少用@Transactional注解

大家在实际项目开发中,我们在业务方法加上@Transactional注解开启事务功能,这是非常普遍的做法,它被称为声明式事务。

部分代码如下:

  1. @Transactional(rollbackFor=Exception.class) 
  2.   public void save(User user) { 
  3.         doSameThing... 
  4.   } 

然而,我要说的第一条是:少用@Transactional注解。

为什么?

  1. 我们知道@Transactional注解是通过spring的aop起作用的,但是如果使用不当,事务功能可能会失效。如果恰巧你经验不足,这种问题不太好排查。至于事务哪些情况下会失效,可以参考我之前写的《spring事务的这10种坑,你稍不注意可能就会踩中!!!》这篇文章。
  2. @Transactional注解一般加在某个业务方法上,会导致整个业务方法都在同一个事务中,粒度太粗,不好控制事务范围,是出现大事务问题的最常见的原因。

那我们该怎么办呢?

可以使用编程式事务,在spring项目中使用TransactionTemplate类的对象,手动执行事务。

部分代码如下:

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          transactionTemplate.execute((status) => { 
  8.             doSameThing... 
  9.             return Boolean.TRUE
  10.          }) 
  11.    } 

从上面的代码中可以看出,使用TransactionTemplate的编程式事务功能自己灵活控制事务的范围,是避免大事务问题的首选办法。

当然,我说少使用@Transactional注解开启事务,并不是说一定不能用它,如果项目中有些业务逻辑比较简单,而且不经常变动,使用@Transactional注解开启事务开启事务也无妨,因为它更简单,开发效率更高,但是千万要小心事务失效的问题。

将查询(select)方法放到事务外

如果出现大事务,可以将查询(select)方法放到事务外,也是比较常用的做法,因为一般情况下这类方法是不需要事务的。

比如出现如下代码:

  1. @Transactional(rollbackFor=Exception.class) 
  2.    public void save(User user) { 
  3.          queryData1(); 
  4.          queryData2(); 
  5.          addData1(); 
  6.          updateData2(); 
  7.    } 

可以将queryData1和queryData2两个查询方法放在事务外执行,将真正需要事务执行的代码才放到事务中,比如:addData1和updateData2方法,这样就能有效的减少事务的粒度。

如果使用TransactionTemplate的编程式事务这里就非常好修改。

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          queryData1(); 
  8.          queryData2(); 
  9.          transactionTemplate.execute((status) => { 
  10.             addData1(); 
  11.             updateData2(); 
  12.             return Boolean.TRUE
  13.          }) 
  14.    } 

但是如果你实在还是想用@Transactional注解,该怎么拆分呢?

  1. public void save(User user) { 
  2.          queryData1(); 
  3.          queryData2(); 
  4.          doSave(); 
  5.     } 
  6.     
  7.     @Transactional(rollbackFor=Exception.class) 
  8.     public void doSave(User user) { 
  9.        addData1(); 
  10.        updateData2(); 
  11.     } 

这个例子是非常经典的错误,这种直接方法调用的做法事务不会生效,给正在坑中的朋友提个醒。因为@Transactional注解的声明式事务是通过spring aop起作用的,而spring aop需要生成代理对象,直接方法调用使用的还是原始对象,所以事务不会生效。

有没有办法解决这个问题呢?

1.新加一个Service方法

这个方法非常简单,只需要新加一个Service方法,把@Transactional注解加到新Service方法上,把需要事务执行的代码移到新方法中。具体代码如下:

  1. @Servcie 
  2.   public class ServiceA { 
  3.      @Autowired 
  4.      prvate ServiceB serviceB; 
  5.    
  6.      public void save(User user) { 
  7.            queryData1(); 
  8.            queryData2(); 
  9.            serviceB.doSave(user); 
  10.      } 
  11.    } 
  12.     
  13.    @Servcie 
  14.    public class ServiceB { 
  15.     
  16.       @Transactional(rollbackFor=Exception.class) 
  17.       public void doSave(User user) { 
  18.          addData1(); 
  19.          updateData2(); 
  20.       } 
  21.     
  22.    } 

2.在该Service类中注入自己

如果不想再新加一个Service类,在该Service类中注入自己也是一种选择。具体代码如下:

  1. @Servcie 
  2.   public class ServiceA { 
  3.      @Autowired 
  4.      prvate ServiceA serviceA; 
  5.    
  6.      public void save(User user) { 
  7.            queryData1(); 
  8.            queryData2(); 
  9.            serviceA.doSave(user); 
  10.      } 
  11.       
  12.      @Transactional(rollbackFor=Exception.class) 
  13.      public void doSave(User user) { 
  14.          addData1(); 
  15.          updateData2(); 
  16.       } 
  17.    } 

可能有些人可能会有这样的疑问:这种做法会不会出现循环依赖问题?

其实spring ioc内部的三级缓存保证了它,不会出现循环依赖问题。如果你想进一步了解循环依赖问题,可以看看我之前文章《spring解决循环依赖为什么要用三级缓存?》。

3.在该Service类中使用AopContext.currentProxy()获取代理对象

上面的方法2确实可以解决问题,但是代码看起来并不直观,还可以通过在该Service类中使用AOPProxy获取代理对象,实现相同的功能。具体代码如下:

  1. @Servcie 
  2.   public class ServiceA { 
  3.    
  4.      public void save(User user) { 
  5.            queryData1(); 
  6.            queryData2(); 
  7.            ((ServiceA)AopContext.currentProxy()).doSave(user); 
  8.      } 
  9.       
  10.      @Transactional(rollbackFor=Exception.class) 
  11.      public void doSave(User user) { 
  12.          addData1(); 
  13.          updateData2(); 
  14.       } 
  15.    } 

事务中避免远程调用

我们在接口中调用其他系统的接口是不能避免的,由于网络不稳定,这种远程调的响应时间可能比较长,如果远程调用的代码放在某个事物中,这个事物就可能是大事务。当然,远程调用不仅仅是指调用接口,还有包括:发MQ消息,或者连接redis、mongodb保存数据等。

  1. @Transactional(rollbackFor=Exception.class) 
  2.    public void save(User user) { 
  3.          callRemoteApi(); 
  4.          addData1(); 
  5.    } 

远程调用的代码可能耗时较长,切记一定要放在事务之外。

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          callRemoteApi(); 
  8.          transactionTemplate.execute((status) => { 
  9.             addData1(); 
  10.             return Boolean.TRUE
  11.          }) 
  12.    } 

有些朋友可能会问,远程调用的代码不放在事务中如何保证数据一致性呢?这就需要建立:重试+补偿机制,达到数据最终一致性了。

事务中避免一次性处理太多数据

如果一个事务中需要处理的数据太多,也会造成大事务问题。比如为了操作方便,你可能会一次批量更新1000条数据,这样会导致大量数据锁等待,特别在高并发的系统中问题尤为明显。

解决办法是分页处理,1000条数据,分50页,一次只处理20条数据,这样可以大大减少大事务的出现。

非事务执行

在使用事务之前,我们都应该思考一下,是不是所有的数据库操作都需要在事务中执行?

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          transactionTemplate.execute((status) => { 
  8.             addData(); 
  9.             addLog(); 
  10.             updateCount(); 
  11.             return Boolean.TRUE
  12.          }) 
  13.    } 

上面的例子中,其实addLog增加操作日志方法 和 updateCount更新统计数量方法,是可以不在事务中执行的,因为操作日志和统计数量这种业务允许少量数据不一致的情况。

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          transactionTemplate.execute((status) => { 
  8.             addData();            
  9.             return Boolean.TRUE
  10.          }) 
  11.          addLog(); 
  12.          updateCount(); 
  13.    } 

当然大事务中要鉴别出哪些方法可以非事务执行,其实没那么容易,需要对整个业务梳理一遍,才能找出最合理的答案。

异步处理

还有一点也非常重要,是不是事务中的所有方法都需要同步执行?我们都知道,方法同步执行需要等待方法返回,如果一个事务中同步执行的方法太多了,势必会造成等待时间过长,出现大事务问题。

看看下面这个列子:

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          transactionTemplate.execute((status) => { 
  8.             order(); 
  9.             delivery(); 
  10.             return Boolean.TRUE
  11.          }) 
  12.    } 

order方法用于下单,delivery方法用于发货,是不是下单后就一定要马上发货呢?

答案是否定的。

这里发货功能其实可以走mq异步处理逻辑。

  1. @Autowired 
  2.    private TransactionTemplate transactionTemplate; 
  3.     
  4.    ... 
  5.     
  6.    public void save(final User user) { 
  7.          transactionTemplate.execute((status) => { 
  8.             order(); 
  9.             return Boolean.TRUE
  10.          }) 
  11.          sendMq(); 
  12.    } 

总结

本人从网友的一个问题出发,结合自己实际的工作经验分享了处理大事务的6种办法:

  • 少用@Transactional注解
  • 将查询(select)方法放到事务外
  • 事务中避免远程调用
  • 事务中避免一次性处理太多数据
  • 非事务执行
  • 异步处理
责任编辑:武晓燕 来源: 苏三说技术
相关推荐

2012-02-14 09:59:09

NoSQLCouchDB

2023-11-28 08:00:00

SpringJava

2017-12-14 10:35:54

iOSAPPiPhone

2024-01-10 09:44:11

MySQL死锁

2012-09-05 11:09:15

SELinux操作系统

2017-10-17 09:21:06

2010-04-29 17:46:31

Oracle死锁

2009-09-21 17:10:14

struts Hibe

2021-10-20 20:27:55

MySQL死锁并发

2024-01-15 07:05:50

开发大事务数据库

2014-04-10 13:55:24

2019-05-27 09:00:00

苏宁智慧零售平台数据库

2023-07-18 16:05:00

IP地址

2019-11-26 14:30:20

Spring循环依赖Java

2017-07-20 07:30:16

大数据数据互联网

2013-05-21 10:49:59

Windows硬件冲突

2020-01-17 06:15:17

运维架构技术

2012-03-31 14:39:25

戴尔KACE

2021-01-30 19:35:44

HDFS单点Hadoop

2011-05-17 13:22:50

SQL对象名无效
点赞
收藏

51CTO技术栈公众号