手把手教你在Kubernetes上部署Redis高可用集群

系统 Linux Redis
在Kubernetes中部署Redis集群面临挑战,因为每个 Redis 实例都依赖于一个配置文件,该文件可以跟踪其他集群实例及其角色。为此,我们需要结合使用Kubernetes StatefulSets和PersistentVolumes。

 Redis 介绍

Redis 代表REmote DIctionary Server是一种开源的内存中数据存储,通常用作数据库,缓存或消息代理。它可以存储和操作高级数据类型,例如列表,地图,集合和排序集合。由于Redis接受多种格式的密钥,因此可以在服务器上执行操作,从而减少了客户端的工作量。它仅将磁盘用于持久性,而将数据库完全保存在内存中。Redis是一种流行的数据存储解决方案,并被GitHub,Pinterest,Snapchat,Twitter,StackOverflow,Flickr等技术巨头所使用。

为什么使用 Redis

  •  它的速度非常快。它是用 ANSI C 编写的,并且可以在 POSIX 系统上运行,例如 Linux,Mac OS X 和 Solaris。
  •  Redis 通常被排名为最流行的键/值数据库和最流行的与容器一起使用的 NoSQL 数据库。
  •  其缓存解决方案减少了对云数据库后端的调用次数。
  •  应用程序可以通过其客户端 API 库对其进行访问。
  •  所有流行的编程语言都支持 Redis。
  •  它是开源且稳定的。

什么是 Redis 集群

Redis Cluster 是一组 Redis 实例,旨在通过对数据库进行分区来扩展数据库,从而使其更具弹性。群集中的每个成员(无论是主副本还是辅助副本)都管理哈希槽的子集。如果主机无法访问,则其从机将升级为主机。在由三个主节点组成的最小 Redis 群集中,每个主节点都有一个从节点(以实现最小的故障转移),每个主节点都分配有一个介于 0 到 16,383 之间的哈希槽范围。节点 A 包含从 0 到 5000 的哈希槽,节点 B 从 5001 到 10000,节点 C 从 10001 到 16383。群集内部的通信是通过内部总线进行的,使用协议传播有关群集的信息或发现新节点。

在 Kubernetes 中部署 Redis 集群

在Kubernetes中部署Redis集群面临挑战,因为每个 Redis 实例都依赖于一个配置文件,该文件可以跟踪其他集群实例及其角色。为此,我们需要结合使用Kubernetes StatefulSets和PersistentVolumes。

克隆部署文件 

  1. git clone https://github.com/llmgo/redis-sts.git 

创建 statefulset 类型资源 

  1. [root@node01 redis-sts]# cat redis-sts.yml   
  2. ---  
  3. apiVersion: v1  
  4. kind: ConfigMap  
  5. metadata:  
  6.   name: redis-cluster  
  7. data:  
  8.   update-node.sh: |  
  9.     #!/bin/sh  
  10.     REDIS_NODES="/data/nodes.conf"  
  11.     sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}  
  12.     exec "$@"  
  13.   redis.conf: |+  
  14.     cluster-enabled yes  
  15.     cluster-require-full-coverage no  
  16.     cluster-node-timeout 15000  
  17.     cluster-config-file /data/nodes.conf 
  18.     cluster-migration-barrier 1 
  19.      appendonly yes  
  20.     protected-mode no  
  21. ---  
  22. apiVersion: apps/v1  
  23. kind: StatefulSet  
  24. metadata:  
  25.   name: redis-cluster  
  26. spec:  
  27.   serviceName: redis-cluster  
  28.   replicas: 6  
  29.   selector:  
  30.     matchLabels:  
  31.       app: redis-cluster  
  32.   template:  
  33.     metadata:  
  34.       labels:  
  35.         app: redis-cluster  
  36.     spec:  
  37.       containers:  
  38.       - name: redis  
  39.         image: redis:5.0.5-alpine  
  40.         ports:  
  41.         - containerPort: 6379  
  42.           name: client  
  43.         - containerPort: 16379  
  44.           name: gossip  
  45.         command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]  
  46.         env:  
  47.         - name: POD_IP  
  48.           valueFrom:  
  49.             fieldRef:  
  50.               fieldPath: status.podIP  
  51.         volumeMounts:  
  52.         - name: conf  
  53.           mountPath: /conf  
  54.           readOnly: false  
  55.         - name: data  
  56.           mountPath: /data  
  57.           readOnly: false  
  58.       volumes:  
  59.       - name: conf  
  60.         configMap:  
  61.           name: redis-cluster  
  62.           defaultMode: 0755  
  63.   volumeClaimTemplates:  
  64.   - metadata: 
  65.        name: data  
  66.     spec:  
  67.       accessModes: [ "ReadWriteOnce" ]  
  68.       resources:  
  69.         requests:  
  70.           storage: 5Gi  
  71.       storageClassName: standard  
  72. $ kubectl apply -f redis-sts.yml  
  73. configmap/redis-cluster created  
  74. statefulset.apps/redis-cluster created  
  75. $ kubectl get pods -l app=redis-cluster  
  76. NAME              READY   STATUS    RESTARTS   AGE  
  77. redis-cluster-0   1/1     Running   0          53s  
  78. redis-cluster-1   1/1     Running   0          49s  
  79. redis-cluster-2   1/1     Running   0          46s  
  80. redis-cluster-3   1/1     Running   0          42s  
  81. redis-cluster-4   1/1     Running   0          38s  
  82. redis-cluster-5   1/1     Running   0          34s 

创建 service 

  1. [root@node01 redis-sts]# cat redis-svc.yml   
  2. ---  
  3. apiVersion: v1  
  4. kind: Service  
  5. metadata:  
  6.   name: redis-cluster  
  7. spec:  
  8.   type: ClusterIP  
  9.   clusterIP: 10.96.0.100  
  10.   ports:  
  11.   - port: 6379  
  12.     targetPort: 6379  
  13.     name: client  
  14.   - port: 16379  
  15.     targetPort: 16379  
  16.     name: gossip  
  17.   selector:  
  18.     app: redis-cluster  
  19. $ kubectl apply -f redis-svc.yml  
  20. service/redis-cluster created  
  21. $ kubectl get svc redis-cluster  
  22. NAME            TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)              AGE  
  23. redis-cluster   ClusterIP   10.96.0.100   <none>        6379/TCP,16379/TCP   35s 

初始化 redis cluster

下一步是形成Redis集群。为此,我们运行以下命令并键入yes以接受配置。前三个节点成为主节点,后三个节点成为从节点。 

  1. $ kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 '
  2. >>> Performing hash slots allocation on 6 nodes...  
  3. Master[0] -> Slots 0 - 5460  
  4. Master[1] -> Slots 5461 - 10922  
  5. Master[2] -> Slots 10923 - 16383  
  6. Adding replica 10.244.2.11:6379 to 10.244.9.19:6379  
  7. Adding replica 10.244.9.20:6379 to 10.244.6.10:6379  
  8. Adding replica 10.244.8.15:6379 to 10.244.7.8:6379  
  9. M: 00721c43db194c8f2cacbafd01fd2be6a2fede28 10.244.9.19:6379  
  10.    slots:[0-5460] (5461 slots) master  
  11. M: 9c36053912dec8cb20a599bda202a654f241484f 10.244.6.10:6379  
  12.    slots:[5461-10922] (5462 slots) master  
  13. M: 2850f24ea6367de58fb50e632fc56fe4ba5ef016 10.244.7.8:6379  
  14.    slots:[10923-16383] (5461 slots) master  
  15. S: 554a58762e3dce23ca5a75886d0ccebd2d582502 10.244.8.15:6379  
  16.    replicates 2850f24ea6367de58fb50e632fc56fe4ba5ef016  
  17. S: 20028fd0b79045489824eda71fac9898f17af896 10.244.2.11:6379  
  18.    replicates 00721c43db194c8f2cacbafd01fd2be6a2fede28  
  19. S: 87e8987e314e4e5d4736e5818651abc1ed6ddcd9 10.244.9.20:6379  
  20.    replicates 9c36053912dec8cb20a599bda202a654f241484f  
  21. Can I set the above configuration? (type 'yes' to accept): yes  
  22. >>> Nodes configuration updated  
  23. >>> Assign a different config epoch to each node  
  24. >>> Sending CLUSTER MEET messages to join the cluster  
  25. Waiting for the cluster to join  
  26. ...  
  27. >>> Performing Cluster Check (using node 10.244.9.19:6379)  
  28. M: 00721c43db194c8f2cacbafd01fd2be6a2fede28 10.244.9.19:6379  
  29.    slots:[0-5460] (5461 slots) master  
  30.    1 additional replica(s)  
  31. M: 9c36053912dec8cb20a599bda202a654f241484f 10.244.6.10:6379  
  32.    slots:[5461-10922] (5462 slots) master  
  33.    1 additional replica(s)  
  34. S: 87e8987e314e4e5d4736e5818651abc1ed6ddcd9 10.244.9.20:6379  
  35.    slots: (0 slots) slave  
  36.    replicates 9c36053912dec8cb20a599bda202a654f241484f  
  37. S: 554a58762e3dce23ca5a75886d0ccebd2d582502 10.244.8.15:6379 
  38.    slots: (0 slots) slave  
  39.    replicates 2850f24ea6367de58fb50e632fc56fe4ba5ef016  
  40. S: 20028fd0b79045489824eda71fac9898f17af896 10.244.2.11:6379  
  41.    slots: (0 slots) slave  
  42.    replicates 00721c43db194c8f2cacbafd01fd2be6a2fede28  
  43. M: 2850f24ea6367de58fb50e632fc56fe4ba5ef016 10.244.7.8:6379  
  44.    slots:[10923-16383] (5461 slots) master  
  45.    1 additional replica(s)  
  46. [OK] All nodes agree about slots configuration.  
  47. >>> Check for open slots...  
  48. >>> Check slots coverage...  
  49. [OK] All 16384 slots covered. 

验证集群 

  1. [root@node01 redis-sts]# kubectl exec -it redis-cluster-0 -- redis-cli cluster info  
  2. cluster_state:ok  
  3. cluster_slots_assigned:16384  
  4. cluster_slots_ok:16384  
  5. cluster_slots_pfail:0  
  6. cluster_slots_fail:0 
  7. cluster_known_nodes:6  
  8. cluster_size:3  
  9. cluster_current_epoch:6  
  10. cluster_my_epoch:1  
  11. cluster_stats_messages_ping_sent:16  
  12. cluster_stats_messages_pong_sent:22  
  13. cluster_stats_messages_sent:38  
  14. cluster_stats_messages_ping_received:17  
  15. cluster_stats_messages_pong_received:16  
  16. cluster_stats_messages_meet_received:5  
  17. cluster_stats_messages_received:38  
  18. [root@node01 redis-sts]# for x in $(seq 0 5); do echo "redis-cluster-$x"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done  
  19. redis-cluster-0  
  20. master  
  21. 14  
  22. 10.244.2.11  
  23. 6379  
  24. 14  
  25. redis-cluster-1  
  26. master  
  27. 28  
  28. 10.244.9.20  
  29. 6379  
  30. 28  
  31. redis-cluster-2  
  32. master  
  33. 28  
  34. 10.244.8.15  
  35. 6379  
  36. 28  
  37. redis-cluster-3  
  38. slave  
  39. 10.244.7.8  
  40. 6379  
  41. connected  
  42. 28  
  43. redis-cluster-4  
  44. slave  
  45. 10.244.9.19  
  46. 6379  
  47. connected  
  48. 14 
  49. redis-cluster-5  
  50. slave  
  51. 10.244.6.10  
  52. 6379  
  53. connected  
  54. 28 

测试集群

我们想使用集群,然后模拟节点的故障。对于前一项任务,我们将部署一个简单的 Python 应用程序,而对于后者,我们将删除一个节点并观察集群行为。

部署点击计数器应用

我们将一个简单的应用程序部署到集群中,并在其前面放置一个负载平衡器。此应用程序的目的是在将计数器值作为 HTTP 响应返回之前,增加计数器并将其存储在 Redis 集群中。 

  1. $ kubectl apply -f app-deployment-service.yml  
  2. service/hit-counter-lb created  
  3. deployment.apps/hit-counter-app created 

在此过程中,如果我们继续加载页面,计数器将继续增加,并且在删除Pod之后,我们看到没有数据丢失。 

  1. $  curl `kubectl get svc hit-counter-lb -o json|jq -r .spec.clusterIP`  
  2. I have been hit 20 times since deployment.  
  3. $  curl `kubectl get svc hit-counter-lb -o json|jq -r .spec.clusterIP`  
  4. I have been hit 21 times since deployment.  
  5. $ curl `kubectl get svc hit-counter-lb -o json|jq -r .spec.clusterIP`  
  6. I have been hit 22 times since deployment.  
  7. $ kubectl delete pods redis-cluster-0  
  8. pod "redis-cluster-0" deleted  
  9. $ kubectl delete pods redis-cluster-1  
  10. pod "redis-cluster-1" deleted  
  11. $  curl `kubectl get svc hit-counter-lb -o json|jq -r .spec.clusterIP`  
  12. I have been hit 23 times since deployment.  

 

责任编辑:庞桂玉 来源: 奇妙的Linux世界
相关推荐

2021-03-17 10:05:42

KubernetesRedis数据库

2023-04-26 12:46:43

DockerSpringKubernetes

2021-08-31 10:02:10

KubernetesLinux集群

2020-07-27 10:15:51

LinuxJenkins命令

2020-06-01 16:25:43

WindowsLinux命令

2011-05-03 15:59:00

黑盒打印机

2011-01-10 14:41:26

2021-07-14 09:00:00

JavaFX开发应用

2022-08-04 10:39:23

Jenkins集成CD

2011-02-22 14:36:40

ASP.NETmsdnC#

2009-06-02 15:38:36

eclipse streclipse开发steclipse str

2011-02-22 13:46:27

微软SQL.NET

2021-12-28 08:38:26

Linux 中断唤醒系统Linux 系统

2021-02-26 11:54:38

MyBatis 插件接口

2023-08-26 09:20:23

2022-01-08 20:04:20

拦截系统调用

2022-03-14 14:47:21

HarmonyOS操作系统鸿蒙

2022-07-27 08:16:22

搜索引擎Lucene

2022-12-07 08:42:35

2009-06-12 18:21:46

App Engine上
点赞
收藏

51CTO技术栈公众号