张开涛:超时与重试机制(2)

开发 开发工具
本文主要从Web应用/服务化应用的角度出发介绍如何设置超时与重试(系统层面的超时设置本文没有涉及),而Web应用需要在如下链条中设置超时与重试机制。

张开涛:超时与重试机制(2)

数据库客户端超时

在使用数据库客户端时,我们会使用数据库连接池,数据库连接池可以进行如下超时设置。

  1. <bean id="dataSource" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close"> 
  2.     <!--Statement默认超时时间 --> 
  3.     <property name="defaultQueryTimeout" value="3"/> 
  4.   
  5.     <!-- 另外可以通过如下配置来配置socket连接/读超时:--> 
  6.     <property name="connectionProperties" 
  7.              value="connectTimeout=2000; socketTimeout=2000 "/> 
  8.     <!--这个是等待获取连接池连接时间,也不要太大,比如设置在500毫秒--> 
  9.     <property name="maxWaitMillis" value="500"/> 
  10. </bean> 

● 网络连接/读超时:使用connectionProperties配置Mysql超时时间,如果是Oracle则可以通过如下配置。

  1. <property name="connectionProperties" 
  2. value="oracle.net.CONNECT_TIMEOUT=2000;oracle.jdbc.ReadTimeout=2000"/> 

● 默认Statement超时时间,通过defaultQueryTimeout配置,单位是秒。

● 从连接池获取连接的等待时间,通过maxWaitMillis配置。

● Statement超时,如果使用ibatis,则可以通过如下方式配置Statement超时。

因此我们只需要如下配置。

  1. <settings cacheModelsEnabled="false"enhancementEnabled="true" 
  2. lazyLoadingEnabled="false"errorTracingEnabled="true" maxRequests="32" 
  3. defaultStatementTimeout="2"/> 

defaultStatementTimeout单位是秒,根据业务配置。如果数据库连接池配置了,则此处可以不用配置。

如果想只设置某个Statement的超时时间,则可以考虑:

  1. <insert……timeout="2"> 

如上配置其实最终会调用Statement.setQueryTimeout方法设置Statement超时时间。

● 事务超时是总Statement超时设置,比如我们使用Spring管理事务的话,可以使用如下方式配置全局默认的事务级别的超时时间。

  1. <bean id="txManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"> 
  2.   <propertynamepropertyname="dataSource" ref="dataSource" /> 
  3.   <propertynamepropertyname="defaultTimeout" value="3"/> 
  4. </bean> 

这里我们分析下为什么说事务超时是Statement超时的总和,此处我们分析spring的DataSourceTransactionManager,首先开启事务时会调用其doBegin方法。

  1. //先获取@Transactional定义的timeout,如果没有,则使用defaultTimeout 
  2. int timeout =determineTimeout(definition); 
  3. if (timeout !=TransactionDefinition.TIMEOUT_DEFAULT) {  
  4.    txObject.getConnectionHolder().setTimeoutInSeconds(timeout);  
  5. }  

其中determineTimeout用来获取我们设置的事务超时时间,然后设置到ConnectionHolder对象上(其是ResourceHolder子类),接着看ResourceHolderSupport的setTimeoutInSeconds实现。

  1. public voidsetTimeoutInSeconds(int seconds) { 
  2.     setTimeoutInMillis(seconds* 1000); 
  3.   
  4. public voidsetTimeoutInMillis(long millis) { 
  5.     this.deadline = newDate(System.currentTimeMillis() + millis);   

大家可以看到,此处会设置一个deadline时间,用来判断事务超时时间,那什么时候调用呢?首先检查该类中的代码,会发现。

  1. public int getTimeToLiveInSeconds() { 
  2.     double diff = ((double) getTimeToLiveInMillis()) /1000; 
  3.     int secs = (int) Math.ceil(diff); 
  4.     checkTransactionTimeout(secs <= 0); 
  5.     return secs; 
  6.   
  7. public long getTimeToLiveInMillis() throwsTransactionTimedOutException{ 
  8.     if (this.deadline == null) { 
  9.         throw new IllegalStateException("No timeoutspecified for this resource holder"); 
  10.     } 
  11.     long timeToLive = this.deadline.getTime() -System.currentTimeMillis(); 
  12.     checkTransactionTimeout(timeToLive <= 0); 
  13.     return timeToLive; 
  14.   
  15. private void checkTransactionTimeout(booleandeadlineReached) throws TransactionTimedOutException { 
  16.     if (deadlineReached) { 
  17.         setRollbackOnly(); 
  18.        throw newTransactionTimedOutException("Transaction timed out: deadline was " +this.deadline); 
  19.     } 

我们发现调用getTimeToLiveInSeconds和getTimeToLiveInMillis会检查是否超时,如果超时了,则标记事务需回滚,并抛出TransactionTimedOutException异常进行回滚。

DataSourceUtils.applyTransactionTimeout会调用DataSourceUtils. applyTimeout, DataSourceUtils.applyTimeout代码如下。

  1. public static void applyTimeout(Statement stmt,DataSource dataSource, int timeout) throws SQLException { 
  2.     ConnectionHolder holder =         (ConnectionHolder)TransactionSynchronizationManager.getResource(dataSource); 
  3.     if (holder != null && holder.hasTimeout()){ 
  4.         // 计算剩余的事务超时时间覆盖Statement超时 
  5.        stmt.setQueryTimeout(holder.getTimeToLiveInSeconds()); 
  6.     } else if (timeout > 0) { 
  7.         //如果没有配置事务超时,则使用Statement超时 
  8.        stmt.setQueryTimeout(timeout); 
  9.     } 

在stmt.setQueryTimeout(holder.getTimeToLiveInSeconds())时会调用getTimeToLiveIn Seconds(),这会检查事务是否超时。在JdbcTemplate中,执行SQL之前,会调用其applyStatementSettings方法,其将调用DataSourceUtils.applyTimeout(stmt,getDataSource(), getQueryTimeout())设置超时时间。

此处有一个问题,如果设置了事务超时,Statement级别的就不起作用了,整体会使用事务超时覆盖Statement超时。

NoSQL客户端超时

对于MongoDB,我们使用的是spring-data-mongodb客户端,可以通过如下配置设置相关的超时时间。

  1. <mongo:mongo id="tryMongo"replica-set="${try.mongo.hostAndPorts}"> 
  2.    <mongo:options 
  3.            connections-per-host="${mongo.connectionsPerHost}" 
  4.            threads-allowed-to-block-for-connection-multiplier="${mongo.threadsAllowedToBlockForConnectionMultiplier}" 
  5.            max-wait-time="${mongo.maxWaitTime}" 
  6.            connect-timeout="${mongo.connectTimeout}" 
  7.            socket-timeout="${mongo.socketTimeout}" 
  8.            socket-keep-alive="${mongo.socketKeepAlive}" 
  9.            auto-connect-retry="${mongo.autoConnectRetry}" /> 
  10. </mongo:mongo> 

我们曾经就遇到过因为不设置mongodb客户端timeout而导致服务响应慢的情况。

对于Redis,我们使用的是Jedis客户端,可以通过如下配置分配等待获取连接池连接的超时时间和网络连接/读超时时间。

  1. PoolJedisConnectionFactory connectionFactory = new PoolJedisConnectionFactory(); 
  2. connectionFactory.setMaxWaitMillis(maxWaitMillis); 
  3. connectionFactory.setTimeout(timeoutInMillis); 

Jedis在建立Socket时通过如下代码设置超时。

  1. this.socket.connect(new InetSocketAddress(this.host, this.port),this. timeout); 
  2. this.socket.setSoTimeout(this.timeout); 

可以在JVM启动时通过添加-Dsun.net.client.defaultConnectTimeout=60000-Dsun.net.client.defaultReadTimeout=60000来配置默认全局的Socket连接/读超时。即如Httpclient、JDBC等,如果没有配置socket超时,则默认会使用该超时。

业务超时

任务型:比如,订单超时未支付取消,超时活动自动关闭等,这属于任务型超时,可以通过Worker定期扫描数据库修改状态即可。还有如有时候需要调用的远程服务超时了(比如,用户注册成功后,需要给用户发放优惠券),可以考虑使用队列或者暂时记录到本地稍后重试。

服务调用型:比如,某个服务的全局超时时间为500ms,但我们有多处服务调用,每处的服务调用超时时间可能不一样,此时,可以简单地使用Future来解决问题,通过如Future.get(3000,TimeUnit.MILLISECONDS)来设置超时。

前端Ajax超时

我们使用jQuery来进行Ajax请求,可以在请求时带上timeout参数设置超时时间。

  1. $.ajax({ 
  2.     url:"http://ins.jd.com:9090/test", 
  3.     dataType:"jsonp", 
  4.     jsonp:"test", 
  5.     jsonpCallback:"test", 
  6.     timeout:2000, 
  7.     success:function(result,status,xhr) { 
  8.        //success 
  9.     }, 
  10.     error: function(result,status,xhr){ 
  11.         if(status== 'timeout') { 
  12.             //timeout 
  13.         } 
  14.     } 
  15. }); 

当进行跨域JSONP请求时,使用jQuery 1.4.x版本时,IE9、Chrome 52、Firefox 49测试 JSONP时,请求在超时后不能被取消,即使客户端超时了,该脚本也将一直运行;使用jQuery1.5.2时超时是起作用了,但是,发出去的请求是没有取消的(请求还处于执行状态)。

如还有一种办法来进行超时重试,通过setTimeout进行超时重试,比如,京东首页的某个异步接口,其中一个域名(A机房)超时了,想超时后通过另一个域名(B机房)重新获取数据,代码如下所示。

  1. var id = setTimeout(retryCallback, 5000); 
  2. $.ajax({ 
  3.    dataType: 'jsonp', 
  4.     success:function() { 
  5.        clearTimeout(id); 
  6.         ... 
  7.     } 
  8. }); 

除了客户端设置超时外,服务端也一定要配置合理的超时时间。

总结

本文主要介绍了如何在Web应用访问的整个链路上进行超时时间设置。通过配置合理的超时时间,防止出现某服务的依赖服务超时时间太长而响应慢,以致自己响应慢甚至崩溃。

客户端和服务端都应该设置超时时间,而且客户端根据场景可以设置比服务端更长的超时时间。如果存在多级依赖关系,如A调用B,B调用C,则超时设置应该是A>B>C,否则可能会一直重试,引起DDoS攻击效果。不过最终如何选择还是要看场景,有时候客户端设置的就是要比服务端的超时时间短,通过在服务端实施限流/降级等手段防止DDoS攻击。

超时之后应该有相应的策略来处理,常见的策略有重试(等一会儿再试、尝试其他分组服务、尝试其他机房服务,重试算法可考虑使用如指数退避算法)、摘掉不存活节点(负载均衡/分布式缓存场景下)、托底(返回历史数据/静态数据/缓存数据)、等待页或者错误页。

对于非幂等写服务应避免重试,或者可以考虑提前生成唯一流水号来保证写服务操作通过判断流水号来实现幂等操作。

在进行数据库/缓存服务器操作时,记得经常检查慢查询,慢查询通常是引起服务出问题的罪魁祸首。也要考虑在超时严重时,直接将该服务降级,待该服务修复后再取消降级。

对于有负载均衡的中间件请考虑配置心跳/存活检查,而不是惰性检查。

超时重试必然导致请求响应时间增加,最坏情况下的响应时间=重试次数×单次超时时间,这很可能严重影响到用户体验,导致用户会不断刷新页面来重复请求,最后导致服务接收的请求太多而挂掉,因此除了控制单次超时时间,也要控制好用户能忍受的最坏超时时间。

超时时间太短会导致服务调用成功率降低,超时时间太长又导致本应成功的调用却失败了,这也要根据实际场景来选择最适合当前业务的,甚至是程序动态自动计算超时时间。比如商品详情页的库存状态服务,可以设置较短的超时时间,当超时时降级返回有货,而结算页服务就需要设置稍微长一些的超时时间保证确实有货。

 

在实际开发中,不要轻视超时时间,很多重大事故都是因为超时时间不合理导致的,设置超时时间一定是只有好处没有坏处的,请立即Review你的代码吧。

【本文是51CTO专栏作者“张开涛”的原创文章,作者微信公众号:开涛的博客( kaitao-1234567)】

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2017-06-16 15:16:15

2017-06-04 16:24:27

线程线程池中断

2017-05-18 16:07:23

回滚数据库代码

2022-11-14 08:19:59

重试机制Kafka

2022-05-06 07:44:10

微服务系统设计重试机制

2020-07-19 15:39:37

Python开发工具

2021-02-20 10:02:22

Spring重试机制Java

2017-05-01 17:03:01

Java缓存分布式

2017-05-10 11:40:29

缓存Nginx HTTP

2023-11-27 07:44:59

RabbitMQ机制

2023-10-27 08:20:12

springboot微服务

2017-04-18 14:49:38

应用层API代码

2023-11-06 08:00:38

接口高可用机制

2017-04-21 08:51:42

API缓存分布式

2017-05-05 10:13:03

应用级缓存缓存代码

2024-01-04 18:01:55

高并发SpringBoot

2012-12-13 17:38:48

2012年度IT博客大IT博客大赛博客

2020-08-24 07:34:39

网络超时请求

2022-08-28 19:58:59

LinkerdKubernetes

2023-08-24 08:11:39

断路器监控报警
点赞
收藏

51CTO技术栈公众号