贼厉害,手撸的 SpringBoot缓存系统,性能杠杠的!

开发 后端
本文结合实际开发经验,从简单概念原理和代码入手,一步一步搭建一个简单的二级缓存系统。

 缓存是最直接有效提升系统性能的手段之一。个人认为用好用对缓存是优秀程序员的必备基本素质。

本文结合实际开发经验,从简单概念原理和代码入手,一步一步搭建一个简单的二级缓存系统。

一、通用缓存接口

1、缓存基础算法

FIFO(First In First Out),先进先出,和OS里的FIFO思路相同,如果一个数据最先进入缓存中,当缓存满的时候,应当把最先进入缓存的数据给移除掉。

LFU(Least Frequently Used),最不经常使用,如果一个数据在最近一段时间内使用次数很少,那么在将来一段时间内被使用的可能性也很小。

LRU(Least Recently Used),最近最少使用,如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时,应当把最久没有被访问到的数据移除。

2、接口定义

简单定义缓存接口,大致可以抽象如下: 

  1. package com.power.demo.cache.contract;  
  2. import java.util.function.Function;  
  3. /**  
  4.  * 缓存提供者接口  
  5.  **/  
  6. public interface CacheProviderService {  
  7.     /**  
  8.      * 查询缓存  
  9.      *  
  10.      * @param key 缓存键 不可为空  
  11.      **/  
  12.     <T extends Object> T get(String key);  
  13.     /**  
  14.      * 查询缓存  
  15.      *  
  16.      * @param key      缓存键 不可为空  
  17.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  18.      **/  
  19.     <T extends Object> T get(String key, Function<String, T> function); 
  20.     /**  
  21.      * 查询缓存  
  22.      *  
  23.      * @param key      缓存键 不可为空  
  24.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  25.      * @param funcParm function函数的调用参数  
  26.      **/  
  27.     <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm); 
  28.     /**  
  29.      * 查询缓存  
  30.      *  
  31.      * @param key        缓存键 不可为空  
  32.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  33.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  34.      **/  
  35.     <T extends Object> T get(String key, Function<String, T> function, Long expireTime);  
  36.     /**  
  37.      * 查询缓存  
  38.      *  
  39.      * @param key        缓存键 不可为空  
  40.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  41.      * @param funcParm   function函数的调用参数  
  42.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  43.      **/  
  44.     <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm, Long expireTime);  
  45.     /**  
  46.      * 设置缓存键值  
  47.      *  
  48.      * @param key 缓存键 不可为空  
  49.      * @param obj 缓存值 不可为空  
  50.      **/  
  51.     <T extends Object> void set(String key, T obj);  
  52.     /**  
  53.      * 设置缓存键值  
  54.      *  
  55.      * @param key        缓存键 不可为空  
  56.      * @param obj        缓存值 不可为空  
  57.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  58.      **/  
  59.     <T extends Object> void set(String key, T obj, Long expireTime);  
  60.     /**  
  61.      * 移除缓存  
  62.      *  
  63.      * @param key 缓存键 不可为空  
  64.      **/  
  65.     void remove(String key);  
  66.     /**  
  67.      * 是否存在缓存  
  68.      *  
  69.      * @param key 缓存键 不可为空  
  70.      **/  
  71.     boolean contains(String key);  

注意,这里列出的只是常见缓存功能接口,一些在特殊场景下用到的统计类的接口、分布式锁、自增(减)等功能不在讨论范围之内。

Get相关方法,注意多个参数的情况,缓存接口里面传人的Function,这是Java8提供的函数式接口,虽然支持的入参个数有限(这里你会非常怀念.NET下的Func委托),但是仅对Java这个语言来说,这真是一个重大的进步^_^。

接口定义好了,下面就要实现缓存提供者程序了。按照存储类型的不同,本文简单实现最常用的两种缓存提供者:本地缓存和分布式缓存。

二、本地缓存

本地缓存,也就是JVM级别的缓存(本地缓存可以认为是直接在进程内通信调用,而分布式缓存则需要通过网络进行跨进程通信调用),一般有很多种实现方式,比如直接使用Hashtable、ConcurrentHashMap等天生线程安全的集合作为缓存容器,或者使用一些成熟的开源组件,如EhCache、Guava Cache等。本文选择上手简单的Guava缓存。

1、什么是Guava

Guava,简单来说就是一个开发类库,且是一个非常丰富强大的开发工具包,号称可以让使用Java语言更令人愉悦,主要包括基本工具类库和接口、缓存、发布订阅风格的事件总线等。在实际开发中,我用的最多的是集合、缓存和常用类型帮助类,很多人都对这个类库称赞有加。

2、添加依赖 

  1. <dependency>  
  2.      <groupId>com.google.guava</groupId>  
  3.      <artifactId>guava</artifactId>  
  4. /dependency> 

3、实现接口 

  1. /*  
  2.  * 本地缓存提供者服务 (Guava Cache)  
  3.  * */  
  4. @Configuration  
  5. @ComponentScan(basePackages = AppConst.BASE_PACKAGE_NAME)  
  6. @Qualifier("localCacheService")  
  7. public class LocalCacheProviderImpl implements CacheProviderService {  
  8.     private static Map<String, Cache<String, Object>> _cacheMap = Maps.newConcurrentMap();  
  9.     static {  
  10.         Cache<String, Object> cacheContainer = CacheBuilder.newBuilder()  
  11.                 .maximumSize(AppConst.CACHE_MAXIMUM_SIZE)  
  12.                 .expireAfterWrite(AppConst.CACHE_MINUTE, TimeUnit.MILLISECONDS)//最后一次写入后的一段时间移出  
  13.                 //.expireAfterAccess(AppConst.CACHE_MINUTE, TimeUnit.MILLISECONDS) //最后一次访问后的一段时间移出  
  14.                 .recordStats()//开启统计功能  
  15.                 .build();  
  16.         _cacheMap.put(String.valueOf(AppConst.CACHE_MINUTE), cacheContainer);  
  17.     }  
  18.     /**  
  19.      * 查询缓存  
  20.      *  
  21.      * @param key 缓存键 不可为空  
  22.      **/  
  23.     public <T extends Object> T get(String key) {  
  24.         T obj = get(key, null, null, AppConst.CACHE_MINUTE);  
  25.         return obj;  
  26.     } 
  27.     /**  
  28.      * 查询缓存  
  29.      *  
  30.      * @param key      缓存键 不可为空  
  31.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  32.      **/  
  33.     public <T extends Object> T get(String key, Function<String, T> function) {  
  34.         T obj = get(key, function, key, AppConst.CACHE_MINUTE);  
  35.         return obj;  
  36.     }  
  37.     /**  
  38.      * 查询缓存  
  39.      *  
  40.      * @param key      缓存键 不可为空  
  41.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  42.      * @param funcParm function函数的调用参数  
  43.      **/  
  44.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm) {  
  45.         T obj = get(key, function, funcParm, AppConst.CACHE_MINUTE);  
  46.         return obj;  
  47.     }  
  48.     /**  
  49.      * 查询缓存  
  50.      *  
  51.      * @param key        缓存键 不可为空  
  52.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  53.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  54.      **/  
  55.     public <T extends Object> T get(String key, Function<String, T> function, Long expireTime) {  
  56.         T obj = get(key, function, key, expireTime);  
  57.         return obj;  
  58.     }   
  59.     /**  
  60.      * 查询缓存  
  61.      *  
  62.      * @param key        缓存键 不可为空  
  63.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  64.      * @param funcParm   function函数的调用参数  
  65.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  66.      **/  
  67.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm, Long expireTime) {  
  68.         T obj = null 
  69.         if (StringUtils.isEmpty(key) == true) {  
  70.             return obj;  
  71.         }  
  72.         expireTime = getExpireTime(expireTime);  
  73.         Cache<String, Object> cacheContainer = getCacheContainer(expireTime);  
  74.         try {  
  75.             if (function == null) {  
  76.                 obj = (T) cacheContainer.getIfPresent(key);  
  77.             } else {  
  78.                 final Long cachedTime = expireTime 
  79.                 obj = (T) cacheContainer.get(key, () -> {  
  80.                     T retObj = function.apply(funcParm);  
  81.                     return retObj;  
  82.                 });  
  83.             }  
  84.         } catch (Exception e) {  
  85.             e.printStackTrace();  
  86.         }  
  87.         return obj;  
  88.     }  
  89.     /**  
  90.      * 设置缓存键值  直接向缓存中插入值,这会直接覆盖掉给定键之前映射的值  
  91.      *  
  92.      * @param key 缓存键 不可为空  
  93.      * @param obj 缓存值 不可为空  
  94.      **/  
  95.     public <T extends Object> void set(String key, T obj) {  
  96.         set(key, obj, AppConst.CACHE_MINUTE);  
  97.     }  
  98.     /**  
  99.      * 设置缓存键值  直接向缓存中插入值,这会直接覆盖掉给定键之前映射的值  
  100.      *  
  101.      * @param key        缓存键 不可为空  
  102.      * @param obj        缓存值 不可为空  
  103.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  104.      **/  
  105.     public <T extends Object> void set(String key, T obj, Long expireTime) {  
  106.         if (StringUtils.isEmpty(key) == true) {  
  107.             return;  
  108.         }  
  109.         if (obj == null) {  
  110.             return;  
  111.         }  
  112.         expireTime = getExpireTime(expireTime);  
  113.         Cache<String, Object> cacheContainer = getCacheContainer(expireTime);  
  114.         cacheContainer.put(key, obj);  
  115.     }  
  116.     /**  
  117.      * 移除缓存  
  118.      *  
  119.      * @param key 缓存键 不可为空  
  120.      **/  
  121.     public void remove(String key) {  
  122.         if (StringUtils.isEmpty(key) == true) {  
  123.             return;  
  124.         }  
  125.         long expireTime = getExpireTime(AppConst.CACHE_MINUTE);  
  126.         Cache<String, Object> cacheContainer = getCacheContainer(expireTime);  
  127.         cacheContainer.invalidate(key); 
  128.     }  
  129.     /**  
  130.      * 是否存在缓存  
  131.      *  
  132.      * @param key 缓存键 不可为空  
  133.      **/  
  134.     public boolean contains(String key) {  
  135.         boolean exists = false 
  136.         if (StringUtils.isEmpty(key) == true) {  
  137.             return exists;  
  138.         }  
  139.         Object obj = get(key);  
  140.         if (obj != null) {  
  141.             exists = true 
  142.         }  
  143.         return exists;  
  144.     }  
  145.     private static Lock lock = new ReentrantLock();  
  146.     private Cache<String, Object> getCacheContainer(Long expireTime) {  
  147.         Cache<String, Object> cacheContainer = null 
  148.         if (expireTime == null) {  
  149.             return cacheContainer;  
  150.         } 
  151.         String mapKey = String.valueOf(expireTime);  
  152.         if (_cacheMap.containsKey(mapKey) == true) {  
  153.             cacheContainer = _cacheMap.get(mapKey);  
  154.             return cacheContainer;  
  155.         }  
  156.         try {  
  157.             lock.lock();  
  158.             cacheContainer = CacheBuilder.newBuilder()  
  159.                     .maximumSize(AppConst.CACHE_MAXIMUM_SIZE)  
  160.                     .expireAfterWrite(expireTime, TimeUnit.MILLISECONDS)//最后一次写入后的一段时间移出  
  161.                     //.expireAfterAccess(AppConst.CACHE_MINUTE, TimeUnit.MILLISECONDS) //最后一次访问后的一段时间移出  
  162.                     .recordStats()//开启统计功能  
  163.                     .build();  
  164.             _cacheMap.put(mapKey, cacheContainer);  
  165.         } finally {  
  166.             lock.unlock(); 
  167.         }  
  168.         return cacheContainer;  
  169.     }  
  170.     /**  
  171.      * 获取过期时间 单位:毫秒  
  172.      *  
  173.      * @param expireTime 传人的过期时间 单位毫秒 如小于1分钟,默认为10分钟  
  174.      **/  
  175.     private Long getExpireTime(Long expireTime) {  
  176.         Long result = expireTime 
  177.         if (expireTime == null || expireTime < AppConst.CACHE_MINUTE / 10) {  
  178.             result = AppConst.CACHE_MINUTE;  
  179.         }  
  180.         return result; 
  181.     }  

4、注意事项

Guava Cache初始化容器时,支持缓存过期策略,类似FIFO、LRU和LFU等算法。

expireAfterWrite:最后一次写入后的一段时间移出。

expireAfterAccess:最后一次访问后的一段时间移出。

Guava Cache对缓存过期时间的设置实在不够友好。常见的应用场景,比如,有些几乎不变的基础数据缓存1天,有些热点数据缓存2小时,有些会话数据缓存5分钟等等。

通常我们认为设置缓存的时候带上缓存的过期时间是非常容易的,而且只要一个缓存容器实例即可,比如.NET下的ObjectCache、System.Runtime.Cache等等。

但是Guava Cache不是这个实现思路,如果缓存的过期时间不同,Guava的CacheBuilder要初始化多份Cache实例。

好在我在实现的时候注意到了这个问题,并且提供了解决方案,可以看到getCacheContainer这个函数,根据过期时长做缓存实例判断,就算不同过期时间的多实例缓存也是完全没有问题的。

三、分布式缓存

分布式缓存产品非常多,本文使用应用普遍的Redis,在Spring Boot应用中使用Redis非常简单。

1、什么是Redis

Redis是一款开源(BSD许可)的、用C语言写成的高性能的键-值存储(key-value store)。它常被称作是一款数据结构服务器(data structure server)。它可以被用作缓存、消息中间件和数据库,在很多应用中,经常看到有人选择使用Redis做缓存,实现分布式锁和分布式Session等。作为缓存系统时,和经典的KV结构的Memcached非常相似,但又有很多不同。

Redis支持丰富的数据类型。Redis的键值可以包括字符串(strings)类型,同时它还包括哈希(hashes)、列表(lists)、集合(sets)和有序集合(sorted sets)等数据类型。对于这些数据类型,你可以执行原子操作。例如:对字符串进行附加操作(append);递增哈希中的值;向列表中增加元素;计算集合的交集、并集与差集等。

Redis的数据类型:

Keys:非二进制安全的字符类型( not binary-safe strings ),由于key不是binary safe的字符串,所以像“my key”和“mykey\n”这样包含空格和换行的key是不允许的。

Values:Strings、Hash、Lists、 Sets、 Sorted sets。考虑到Redis单线程操作模式,Value的粒度不应该过大,缓存的值越大,越容易造成阻塞和排队。

为了获得优异的性能,Redis采用了内存中(in-memory)数据集(dataset)的方式。同时,Redis支持数据的持久化,你可以每隔一段时间将数据集转存到磁盘上(snapshot),或者在日志尾部追加每一条操作命令(append only file,aof)。

Redis同样支持主从复制(master-slave replication),并且具有非常快速的非阻塞首次同步( non-blocking first synchronization)、网络断开自动重连等功能。

同时Redis还具有其它一些特性,其中包括简单的事物支持、发布订阅 ( pub/sub)、管道(pipeline)和虚拟内存(vm)等 。

2、添加依赖 

  1. <dependency>  
  2.           <groupId>org.springframework.boot</groupId>  
  3.           <artifactId>spring-boot-starter-data-redis</artifactId>  
  4.       </dependency> 

3、配置Redis

在application.properties配置文件中,配置Redis常用参数: 

  1. ## Redis缓存相关配置  
  2. #Redis数据库索引(默认为0)  
  3. spring.redis.database=0  
  4. #Redis服务器地址  
  5. spring.redis.host=127.0.0.1  
  6. #Redis服务器端口  
  7. spring.redis.port=6379    
  8. #Redis服务器密码(默认为空)  
  9. spring.redis.password=123321  
  10. #Redis连接超时时间 默认:5分钟(单位:毫秒)  
  11. spring.redis.timeout=300000ms  
  12. #Redis连接池最大连接数(使用负值表示没有限制)  
  13. spring.redis.jedis.pool.max-active=512  
  14. #Redis连接池中的最小空闲连接  
  15. spring.redis.jedis.pool.min-idle=0  
  16. #Redis连接池中的最大空闲连接  
  17. spring.redis.jedis.pool.max-idle=8  
  18. #Redis连接池最大阻塞等待时间(使用负值表示没有限制)  
  19. spring.redis.jedis.pool.max-wait=-1ms 

常见的需要注意的是最大连接数(spring.redis.jedis.pool.max-active )和超时时间(spring.redis.jedis.pool.max-wait)。Redis在生产环境中出现故障的频率经常和这两个参数息息相关。

接着定义一个继承自CachingConfigurerSupport(请注意cacheManager和keyGenerator这两个方法在子类的实现)的RedisConfig类: 

  1. package com.power.demo.cache.config;  
  2. import org.springframework.cache.CacheManager;  
  3. import org.springframework.cache.annotation.CachingConfigurerSupport;  
  4. import org.springframework.cache.annotation.EnableCaching;  
  5. import org.springframework.context.annotation.Bean;  
  6. import org.springframework.context.annotation.Configuration;  
  7. import org.springframework.data.redis.cache.RedisCacheManager;  
  8. import org.springframework.data.redis.connection.RedisConnectionFactory;  
  9. import org.springframework.data.redis.core.RedisTemplate;  
  10. import org.springframework.data.redis.serializer.StringRedisSerializer;  
  11. /**  
  12.  * Redis缓存配置类  
  13.  */  
  14. @Configuration  
  15. @EnableCaching  
  16. public class RedisConfig extends CachingConfigurerSupport {  
  17.     @Bean  
  18.     public CacheManager cacheManager(RedisConnectionFactory connectionFactory) {  
  19.         return RedisCacheManager.create(connectionFactory);  
  20.     }  
  21.     @Bean  
  22.     public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {  
  23.         RedisTemplate<String, Object> template = new RedisTemplate<>(); 
  24.         //Jedis的Key和Value的序列化器默认值是JdkSerializationRedisSerializer  
  25.         //经实验,JdkSerializationRedisSerializer通过RedisDesktopManager看到的键值对不能正常解析  
  26.         //设置key的序列化器  
  27.         template.setKeySerializer(new StringRedisSerializer());  
  28.         ////设置value的序列化器  默认值是JdkSerializationRedisSerializer  
  29.         //使用Jackson序列化器的问题是,复杂对象可能序列化失败,比如JodaTime的DateTime类型  
  30.         //        //使用Jackson2,将对象序列化为JSON  
  31.         //        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);  
  32.         //        //json转对象类,不设置默认的会将json转成hashmap  
  33.         //        ObjectMapper om = new ObjectMapper();  
  34.         //        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);  
  35.         //        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);  
  36.         //        jackson2JsonRedisSerializer.setObjectMapper(om);  
  37.         //        template.setValueSerializer(jackson2JsonRedisSerializer);  
  38.         //将redis连接工厂设置到模板类中  
  39.         template.setConnectionFactory(factory);  
  40.         return template; 
  41.     }  
  42. //    //自定义缓存key生成策略  
  43. //    @Bean  
  44. //    public KeyGenerator keyGenerator() {  
  45. //        return new KeyGenerator() {  
  46. //            @Override  
  47. //            public Object generate(Object target, java.lang.reflect.Method method, Object... params) {  
  48. //                StringBuffer sb = new StringBuffer();  
  49. //               &nbsp;sb.append(target.getClass().getName());  
  50. //               &nbsp;sb.append(method.getName());  
  51. //                for (Object obj : params) {  
  52. //                    if (obj == null) {  
  53. //                        continue;  
  54. //                    }  
  55. //                   &nbsp;sb.append(obj.toString());  
  56. //                }  
  57. //                return&nbsp;sb.toString();  
  58. //            }  
  59. //        };  
  60. //    }  

在RedisConfig这个类上加上@EnableCaching这个注解,这个注解会被Spring发现,并且会创建一个切面(aspect) 并触发Spring缓存注解的切点(pointcut)。据所使用的注解以及缓存的状态,这个切面会从缓存中获取数据,将数据添加到缓存之中或者从缓存中移除某个值。

cacheManager方法,申明一个缓存管理器(CacheManager)的bean,作用就是@EnableCaching这个切面在新增缓存或者删除缓存的时候会调用这个缓存管理器的方法。keyGenerator方法,可以根据需求自定义缓存key生成策略。

而redisTemplate方法,则主要是设置Redis模板类,比如键和值的序列化器(从这里可以看出,Redis的键值对必须可序列化)、redis连接工厂等。

RedisTemplate支持的序列化器主要有如下几种:

JdkSerializationRedisSerializer:使用Java序列化;

StringRedisSerializer:序列化String类型的key和value;

GenericToStringSerializer:使用Spring转换服务进行序列化;

JacksonJsonRedisSerializer:使用Jackson 1,将对象序列化为JSON;

Jackson2JsonRedisSerializer:使用Jackson 2,将对象序列化为JSON;

OxmSerializer:使用Spring O/X映射的编排器和解排器(marshaler和unmarshaler)实现序列化,用于XML序列化;

注意:RedisTemplate的键和值序列化器,默认情况下都是JdkSerializationRedisSerializer,它们都可以自定义设置序列化器。

推荐将字符串键使用StringRedisSerializer序列化器,因为运维的时候好排查问题,JDK序列化器的也能识别,但是可读性稍差(是因为缓存服务器没有JRE吗?),见如下效果:

而值序列化器则要复杂的多,很多人推荐使用Jackson2JsonRedisSerializer序列化器,但是实际开发过程中,经常有人碰到反序列化错误,经过排查多数都和Jackson2JsonRedisSerializer这个序列化器有关。

4、实现接口

使用RedisTemplate,在Spring Boot中调用Redis接口比直接调用Jedis简单多了。 

  1. package com.power.demo.cache.impl;  
  2. import com.power.demo.cache.contract.CacheProviderService;  
  3. import com.power.demo.common.AppConst;  
  4. import org.springframework.beans.factory.annotation.Qualifier;  
  5. import org.springframework.context.annotation.ComponentScan;  
  6. import org.springframework.context.annotation.Configuration;  
  7. import org.springframework.data.redis.core.RedisTemplate;  
  8. import org.springframework.data.redis.core.ValueOperations;  
  9. import org.springframework.util.StringUtils;  
  10. import javax.annotation.Resource;  
  11. import java.io.Serializable;  
  12. import java.util.concurrent.TimeUnit;  
  13. import java.util.function.Function;  
  14. @Configuration  
  15. @ComponentScan(basePackages = AppConst.BASE_PACKAGE_NAME)  
  16. @Qualifier("redisCacheService")  
  17. public class RedisCacheProviderImpl implements CacheProviderService {  
  18.     @Resource  
  19.     private RedisTemplate<Serializable, Object> redisTemplate;  
  20.     /**  
  21.      * 查询缓存  
  22.      *  
  23.      * @param key 缓存键 不可为空  
  24.      **/  
  25.     public <T extends Object> T get(String key) {  
  26.         T obj = get(key, null, null, AppConst.CACHE_MINUTE);  
  27.         return obj;  
  28.     }  
  29.     /**  
  30.      * 查询缓存  
  31.      *  
  32.      * @param key      缓存键 不可为空  
  33.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  34.      **/  
  35.     public <T extends Object> T get(String key, Function<String, T> function) {  
  36.         T obj = get(key, function, key, AppConst.CACHE_MINUTE); 
  37.         return obj;  
  38.     }  
  39.     /**  
  40.      * 查询缓存  
  41.      *  
  42.      * @param key      缓存键 不可为空  
  43.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  44.      * @param funcParm function函数的调用参数 
  45.      **/  
  46.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm) {  
  47.         T obj = get(key, function, funcParm, AppConst.CACHE_MINUTE);  
  48.         return obj;  
  49.     }  
  50.     /**  
  51.      * 查询缓存  
  52.      *  
  53.      * @param key        缓存键 不可为空  
  54.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  55.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  56.      **/  
  57.     public <T extends Object> T get(String key, Function<String, T> function, Long expireTime) {  
  58.         T obj = get(key, function, key, expireTime); 
  59.         return obj;  
  60.     }  
  61.     /**  
  62.      * 查询缓存  
  63.      *  
  64.      * @param key        缓存键 不可为空  
  65.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  66.      * @param funcParm   function函数的调用参数  
  67.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  68.      **/  
  69.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm, Long expireTime) {  
  70.         T obj = null 
  71.         if (StringUtils.isEmpty(key) == true) {  
  72.             return obj;  
  73.         }  
  74.         expireTime = getExpireTime(expireTime);  
  75.         try {  
  76.             ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();  
  77.             obj = (T) operations.get(key);  
  78.             if (function != null && obj == null) {  
  79.                 obj = function.apply(funcParm);  
  80.                 if (obj != null) {  
  81.                     set(key, obj, expireTime);//设置缓存信息  
  82.                 }  
  83.             }  
  84.         } catch (Exception e) {  
  85.             e.printStackTrace();  
  86.         }  
  87.         return obj;  
  88.     }  
  89.     /**  
  90.      * 设置缓存键值  直接向缓存中插入值,这会直接覆盖掉给定键之前映射的值  
  91.      *  
  92.      * @param key 缓存键 不可为空  
  93.      * @param obj 缓存值 不可为空  
  94.      **/  
  95.     public <T extends Object> void set(String key, T obj) {  
  96.         set(key, obj, AppConst.CACHE_MINUTE);  
  97.     }  
  98.     /**  
  99.      * 设置缓存键值  直接向缓存中插入值,这会直接覆盖掉给定键之前映射的值  
  100.      *  
  101.      * @param key        缓存键 不可为空  
  102.      * @param obj        缓存值 不可为空  
  103.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  104.      **/  
  105.     public <T extends Object> void set(String key, T obj, Long expireTime) {  
  106.         if (StringUtils.isEmpty(key) == true) {  
  107.             return; 
  108.         }  
  109.         if (obj == null) {  
  110.             return; 
  111.          }  
  112.         expireTime = getExpireTime(expireTime);  
  113.         ValueOperations<Serializable, Object> operations = redisTemplate.opsForValue();  
  114.         operations.set(key, obj);  
  115.         redisTemplate.expire(key, expireTime, TimeUnit.MILLISECONDS);  
  116.     }  
  117.     /**  
  118.      * 移除缓存  
  119.      *  
  120.      * @param key 缓存键 不可为空  
  121.      **/  
  122.     public void remove(String key) {  
  123.         if (StringUtils.isEmpty(key) == true) {  
  124.             return;  
  125.         }  
  126.         redisTemplate.delete(key);  
  127.     }  
  128.     /**  
  129.      * 是否存在缓存  
  130.      *  
  131.      * @param key 缓存键 不可为空  
  132.      **/  
  133.     public boolean contains(String key) {  
  134.         boolean exists = false 
  135.         if (StringUtils.isEmpty(key) == true) {  
  136.             return exists;  
  137.         }  
  138.         Object obj = get(key);  
  139.         if (obj != null) {  
  140.             exists = true 
  141.         } 
  142.         return exists;  
  143.     }  
  144.     /**  
  145.      * 获取过期时间 单位:毫秒  
  146.      *  
  147.      * @param expireTime 传人的过期时间 单位毫秒 如小于1分钟,默认为10分钟  
  148.      **/  
  149.     private Long getExpireTime(Long expireTime) {  
  150.         Long result = expireTime 
  151.         if (expireTime == null || expireTime < AppConst.CACHE_MINUTE / 10) {  
  152.             result = AppConst.CACHE_MINUTE;  
  153.         }  
  154.         return result;  
  155.     } 

注意:很多教程里都讲到通过注解的方式(@Cacheable,@CachePut、@CacheEvict和@Caching)实现数据缓存,根据实践,我个人是不推崇这种使用方式的。

四、缓存“及时”过期问题

这个也是开发和运维过程中非常经典的问题。

有些公司写缓存客户端的时候,会给每个团队分别定义一个Area,但是这个只能做到缓存键的分布区分,不能保证缓存“实时”有效的过期。

多年以前我写过一篇结合实际情况的文章,也就是加上缓存版本,请猛击这里 ,算是提供了一种相对有效的方案,不过高并发站点要慎重,防止发生雪崩效应。

Redis还有一些其他常见问题,比如:Redis的字符串类型Key和Value都有限制,且都是不能超过512M,请猛击这里。还有最大连接数和超时时间设置等问题,本文就不再一一列举了。

五、二级缓存

在配置文件中,加上缓存提供者开关: 

  1. ##是否启用本地缓存  
  2. spring.power.isuselocalcache=1  
  3. ##是否启用Redis缓存  
  4. spring.power.isuserediscache=1 

缓存提供者程序都实现好了,我们会再包装一个调用外观类PowerCacheBuilder,加上缓存版本控制,可以轻松自如地控制和切换缓存,code talks: 

  1. package com.power.demo.cache;  
  2. import com.google.common.collect.Lists;  
  3. import com.power.demo.cache.contract.CacheProviderService;  
  4. import com.power.demo.common.AppConst;  
  5. import com.power.demo.common.AppField;  
  6. import com.power.demo.util.ConfigUtil;  
  7. import com.power.demo.util.PowerLogger;  
  8. import org.springframework.beans.factory.annotation.Autowired;  
  9. import org.springframework.beans.factory.annotation.Qualifier;  
  10. import org.springframework.context.annotation.ComponentScan;  
  11. import org.springframework.context.annotation.Configuration;  
  12. import org.springframework.util.StringUtils;  
  13. import java.util.List;  
  14. import java.util.UUID;  
  15. import java.util.concurrent.TimeUnit;  
  16. import java.util.concurrent.locks.Lock;  
  17. import java.util.concurrent.locks.ReentrantLock;  
  18. import java.util.function.Function;  
  19. /*  
  20.  * 支持多缓存提供程序多级缓存的缓存帮助类  
  21.  * */  
  22. @Configuration  
  23. @ComponentScan(basePackages = AppConst.BASE_PACKAGE_NAME)  
  24. public class PowerCacheBuilder {  
  25.     @Autowired  
  26.     @Qualifier("localCacheService")  
  27.     private CacheProviderService localCacheService;  
  28.     @Autowired  
  29.     @Qualifier("redisCacheService")  
  30.     private CacheProviderService redisCacheService;  
  31.     private static List<CacheProviderService> _listCacheProvider = Lists.newArrayList();  
  32.     private static final Lock providerLock = new ReentrantLock();  
  33.     /**  
  34.      * 初始化缓存提供者 默认优先级:先本地缓存,后分布式缓存  
  35.      **/  
  36.     private List<CacheProviderService> getCacheProviders() { 
  37.         if (_listCacheProvider.size() > 0) {  
  38.             return _listCacheProvider;  
  39.         }  
  40.         //线程安全  
  41.         try {  
  42.             providerLock.tryLock(1000, TimeUnit.MILLISECONDS); 
  43.             if (_listCacheProvider.size() > 0) {  
  44.                 return _listCacheProvider;  
  45.             }  
  46.             String isUseCache = ConfigUtil.getConfigVal(AppField.IS_USE_LOCAL_CACHE);  
  47.             CacheProviderService cacheProviderService = null 
  48.             //启用本地缓存  
  49.             if ("1".equalsIgnoreCase(isUseCache)) {  
  50.                 _listCacheProvider.add(localCacheService);  
  51.             }  
  52.             isUseCache = ConfigUtil.getConfigVal(AppField.IS_USE_REDIS_CACHE);  
  53.             //启用Redis缓存  
  54.             if ("1".equalsIgnoreCase(isUseCache)) {  
  55.                 _listCacheProvider.add(redisCacheService);  
  56.                 resetCacheVersion();//设置分布式缓存版本号  
  57.             }  
  58.             PowerLogger.info("初始化缓存提供者成功,共有" + _listCacheProvider.size() + "个");  
  59.         } catch (Exception e) {  
  60.             e.printStackTrace();  
  61.             _listCacheProvider = Lists.newArrayList();  
  62.             PowerLogger.error("初始化缓存提供者发生异常:{}", e);  
  63.         } finally {  
  64.             providerLock.unlock();  
  65.         }  
  66.         return _listCacheProvider;  
  67.     }  
  68.     /**  
  69.      * 查询缓存  
  70.      *  
  71.      * @param key 缓存键 不可为空  
  72.      **/  
  73.     public <T extends Object> T get(String key) {  
  74.         T obj = null 
  75.         //key = generateVerKey(key);//构造带版本的缓存键  
  76.         for (CacheProviderService provider : getCacheProviders()) {  
  77.             obj = provider.get(key);  
  78.             if (obj != null) {  
  79.                 return obj;  
  80.             }  
  81.         }  
  82.         return obj;  
  83.     }  
  84.     /**  
  85.      * 查询缓存  
  86.      *  
  87.      * @param key      缓存键 不可为空  
  88.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  89.      **/  
  90.     public <T extends Object> T get(String key, Function<String, T> function) {  
  91.         T obj = null 
  92.         for (CacheProviderService provider : getCacheProviders()) {  
  93.             if (obj == null) {  
  94.                 obj = provider.get(key, function);  
  95.             } else if (function != null && obj != null) {//查询并设置其他缓存提供者程序缓存  
  96.                 provider.get(key, function);  
  97.             }  
  98.             //如果callable函数为空 而缓存对象不为空 及时跳出循环并返回  
  99.             if (function == null && obj != null) {  
  100.                 return obj;  
  101.             }  
  102.         }  
  103.         return obj;  
  104.     }  
  105.     /**  
  106.      * 查询缓存  
  107.      *  
  108.      * @param key      缓存键 不可为空  
  109.      * @param function 如没有缓存,调用该callable函数返回对象 可为空  
  110.      * @param funcParm function函数的调用参数  
  111.      **/  
  112.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm) {  
  113.         T obj = null
  114.         for (CacheProviderService provider : getCacheProviders()) {  
  115.             if (obj == null) {  
  116.                 obj = provider.get(key, function, funcParm);  
  117.             } else if (function != null && obj != null) {//查询并设置其他缓存提供者程序缓存  
  118.                 provider.get(key, function, funcParm);  
  119.             }  
  120.             //如果callable函数为空 而缓存对象不为空 及时跳出循环并返回  
  121.             if (function == null && obj != null) {  
  122.                 return obj;  
  123.             }  
  124.         }  
  125.         return obj;  
  126.     }  
  127.     /**  
  128.      * 查询缓存  
  129.      *  
  130.      * @param key        缓存键 不可为空  
  131.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  132.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  133.      **/  
  134.     public <T extends Object> T get(String key, Function<String, T> function, long expireTime) {  
  135.         T obj = null 
  136.         for (CacheProviderService provider : getCacheProviders()) { 
  137.             if (obj == null) {  
  138.                 obj = provider.get(key, function, expireTime);  
  139.             } else if (function != null && obj != null) {//查询并设置其他缓存提供者程序缓存  
  140.                 provider.get(key, function, expireTime);  
  141.             } 
  142.             //如果callable函数为空 而缓存对象不为空 及时跳出循环并返回  
  143.             if (function == null && obj != null) {  
  144.                 return obj;  
  145.             }  
  146.         }  
  147.         return obj;  
  148.     }  
  149.     /**  
  150.      * 查询缓存  
  151.      *  
  152.      * @param key        缓存键 不可为空  
  153.      * @param function   如没有缓存,调用该callable函数返回对象 可为空  
  154.      * @param funcParm   function函数的调用参数  
  155.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  156.      **/  
  157.     public <T extends Object, M extends Object> T get(String key, Function<M, T> function, M funcParm, long expireTime) {  
  158.         T obj = null 
  159.         for (CacheProviderService provider : getCacheProviders()) { 
  160.             if (obj == null) {  
  161.                 obj = provider.get(key, function, funcParm, expireTime);  
  162.             } else if (function != null && obj != null) {//查询并设置其他缓存提供者程序缓存  
  163.                 provider.get(key, function, funcParm, expireTime);  
  164.             }  
  165.             //如果callable函数为空 而缓存对象不为空 及时跳出循环并返回  
  166.             if (function == null && obj != null) {  
  167.                 return obj;  
  168.             }  
  169.         }  
  170.         return obj;  
  171.     }  
  172.     /**  
  173.      * 设置缓存键值  直接向缓存中插入或覆盖值  
  174.      *  
  175.      * @param key 缓存键 不可为空  
  176.      * @param obj 缓存值 不可为空  
  177.      **/  
  178.     public <T extends Object> void set(String key, T obj) {  
  179.         //key = generateVerKey(key);//构造带版本的缓存键 
  180.         for (CacheProviderService provider : getCacheProviders()) {  
  181.             provider.set(key, obj); 
  182.         }  
  183.     }  
  184.     /** 
  185.      * 设置缓存键值  直接向缓存中插入或覆盖值  
  186.      *  
  187.      * @param key        缓存键 不可为空  
  188.      * @param obj        缓存值 不可为空  
  189.      * @param expireTime 过期时间(单位:毫秒) 可为空  
  190.      **/ 
  191.      public <T extends Object> void set(String key, T obj, Long expireTime) {  
  192.         //key = generateVerKey(key);//构造带版本的缓存键  
  193.         for (CacheProviderService provider : getCacheProviders()) {  
  194.             provider.set(key, obj, expireTime); 
  195.         }  
  196.     }  
  197.     /**  
  198.      * 移除缓存  
  199.      *  
  200.      * @param key 缓存键 不可为空  
  201.      **/  
  202.     public void remove(String key) {  
  203.         //key = generateVerKey(key);//构造带版本的缓存键  
  204.         if (StringUtils.isEmpty(key) == true) {  
  205.             return;  
  206.         }  
  207.         for (CacheProviderService provider : getCacheProviders()) {  
  208.             provider.remove(key); 
  209.         }  
  210.     }  
  211.     /**  
  212.      * 是否存在缓存  
  213.      *  
  214.      * @param key 缓存键 不可为空  
  215.      **/  
  216.     public boolean contains(String key) {  
  217.         boolean exists = false
  218.         //key = generateVerKey(key);//构造带版本的缓存键  
  219.         if (StringUtils.isEmpty(key) == true) {  
  220.             return exists;  
  221.         }  
  222.         Object obj = get(key);  
  223.         if (obj != null) {  
  224.             exists = true 
  225.         }  
  226.         return exists;  
  227.     }  
  228.     /**  
  229.      * 获取分布式缓存版本号  
  230.      **/  
  231.     public String getCacheVersion() {  
  232.         String version = "" 
  233.         boolean isUseCache = checkUseRedisCache();  
  234.         //未启用Redis缓存  
  235.         if (isUseCache == false) {  
  236.             return version;  
  237.         }  
  238.         version = redisCacheService.get(AppConst.CACHE_VERSION_KEY);  
  239.         return version;  
  240.     }  
  241.     /**  
  242.      * 重置分布式缓存版本  如果启用分布式缓存,设置缓存版本 
  243.      **/  
  244.     public String resetCacheVersion() {  
  245.         String version = "" 
  246.         boolean isUseCache = checkUseRedisCache();  
  247.         //未启用Redis缓存  
  248.         if (isUseCache == false) {  
  249.             return version;  
  250.         }  
  251.         //设置缓存版本  
  252.         version = String.valueOf(Math.abs(UUID.randomUUID().hashCode()));  
  253.         redisCacheService.set(AppConst.CACHE_VERSION_KEY, version); 
  254.         return version;  
  255.     }  
  256.     /**  
  257.      * 如果启用分布式缓存,获取缓存版本,重置查询的缓存key,可以实现相对实时的缓存过期控制  
  258.      * <p>  
  259.      * 如没有启用分布式缓存,缓存key不做修改,直接返回  
  260.      **/  
  261.     public String generateVerKey(String key) {  
  262.         String result = key 
  263.         if (StringUtils.isEmpty(key) == true) {  
  264.             return result;  
  265.         }  
  266.         boolean isUseCache = checkUseRedisCache();  
  267.         //没有启用分布式缓存,缓存key不做修改,直接返回  
  268.         if (isUseCache == false) {  
  269.             return result;  
  270.         }  
  271.         String version = redisCacheService.get(AppConst.CACHE_VERSION_KEY);  
  272.         if (StringUtils.isEmpty(version) == true) {  
  273.             return result;  
  274.         }  
  275.         result = String.format("%s_%s", result, version); 
  276.          return result;  
  277.     } 
  278.     /**  
  279.      * 验证是否启用分布式缓存  
  280.      **/  
  281.     private boolean checkUseRedisCache() {  
  282.         boolean isUseCache = false 
  283.         String strIsUseCache = ConfigUtil.getConfigVal(AppField.IS_USE_REDIS_CACHE);  
  284.         isUseCache = "1".equalsIgnoreCase(strIsUseCache);  
  285.         return isUseCache;  
  286.     }  

单元测试如下: 

  1. @Test  
  2.     public void testCacheVerson() throws Exception {  
  3.         String version = cacheBuilder.getCacheVersion();  
  4.         System.out.println(String.format("当前缓存版本:%s", version));  
  5.         String cacheKey = cacheBuilder.generateVerKey("goods778899");  
  6.         GoodsVO goodsVO = new GoodsVO();  
  7.         goodsVO.setGoodsId(UUID.randomUUID().toString());  
  8.         goodsVO.setCreateTime(new Date());  
  9.         goodsVO.setCreateDate(new DateTime(new Date()));  
  10.         goodsVO.setGoodsType(1024);  
  11.         goodsVO.setGoodsCode("123456789");  
  12.         goodsVO.setGoodsName("我的测试商品");  
  13.         cacheBuilder.set(cacheKey, goodsVO);  
  14.         GoodsVO goodsVO1 = cacheBuilder.get(cacheKey);  
  15.         Assert.assertNotNull(goodsVO1);  
  16.         version = cacheBuilder.resetCacheVersion();  
  17.         System.out.println(String.format("重置后的缓存版本:%s", version));  
  18.         cacheKey = cacheBuilder.generateVerKey("goods112233"); 
  19.         cacheBuilder.set(cacheKey, goodsVO);  
  20.         GoodsVO goodsVO2 = cacheBuilder.get(cacheKey);  
  21.         Assert.assertNotNull(goodsVO2); 
  22.         Assert.assertTrue("两个缓存对象的主键相同", goodsVO1.getGoodsId().equals(goodsVO2.getGoodsId()));  
  23.     } 

一个满足基本功能的多级缓存系统就好了。

在Spring Boot应用中使用缓存则非常简洁,选择调用上面包装好的缓存接口即可。 

  1. String cacheKey = _cacheBuilder.generateVerKey("com.power.demo.apiservice.impl.getgoodsbyid." + request.getGoodsId());  
  2. GoodsVO goodsVO = _cacheBuilder.get(cacheKey, _goodsService::getGoodsByGoodsId, request.getGoodsId()); 

到这里Spring Boot业务系统开发中最常用到的ORM,缓存和队列三板斧就介绍完了。

在开发的过程中你会发现,Java真的是非常非常中规中矩的语言,你需要不断折腾并熟悉常见的开源中间件和工具,开源的轮子实在是太丰富,多尝试几个,实践出真知。

预告一下,后面的文章我将继续学习分享介绍常用中间件和工具,如定时任务,MongoDB,ES,分布式文件系统以及各种实用工具。总之Java下工具链非常完备,我们要给自己更多动力。 

 

责任编辑:庞桂玉 来源: java版web项目
相关推荐

2021-03-15 07:57:02

SpringBoot 脚手架系统

2022-01-21 07:35:06

LRU缓存java

2023-09-18 09:10:11

Golang高性能缓存库

2020-08-03 08:10:52

UDPTCP通信

2021-11-02 14:19:15

插件MavengroupId

2022-03-01 11:38:51

RPC框架后端

2011-09-19 14:30:47

Vista缓存

2020-09-23 09:24:01

堆栈开发实现

2019-06-21 14:40:52

缓存系统性能操作系统

2021-11-04 17:23:03

Java对象 immutable

2020-10-21 08:17:11

队列数据

2022-03-15 08:22:31

Ehcachespring缓存

2021-10-12 09:24:02

Java线程池源码

2020-12-31 07:57:25

JVM操作代码

2021-05-14 13:30:17

Mybatis分表插件

2013-05-09 09:45:29

2021-05-31 07:22:46

ORM框架程序

2023-11-22 17:00:10

ElectronWeb

2021-10-04 09:29:41

对象池线程池

2022-02-08 09:09:45

智能指针C++
点赞
收藏

51CTO技术栈公众号