Kubernetes集群如何用Ipvs替换Iptables

系统 Linux 云原生
iptables 和 ipvs 都是 Linux 内核中的网络代理技术,都可以用于实现负载均衡和服务发现。但两种模式之间存在以下几个区别:

我们都知道k8s中的 kube-proxy 是一个网络代理(proxy),它负责为 Kubernetes 集群中的服务提供负载均衡和服务发现功能。kube-proxy 会以不同的模式运行,其中 iptables 模式和 ipvs 模式是其中两种常见的模式。

iptables 和 ipvs 都是 Linux 内核中的网络代理技术,都可以用于实现负载均衡和服务发现。但两种模式之间存在以下几个区别:

实现方式不同

iptables 基于 iptables 规则实现,每个节点都会在 iptables 中添加一组规则来实现负载均衡和服务发现;而 ipvs 则是基于内核层面的负载均衡技术,可以实现更高效的网络代理处理。

性能不同

在高负载的情况下,ipvs 模式下的 kube-proxy 性能更好,因为它对网络的负载均衡处理是基于内核层面的,更加高效。但是,Iptables 模式在部分场景下也可以获得更好的性能。

功能不同

Iptables 模式下的 kube-proxy 在 Kubernetes 1.16 版本之前,使用 iptables 实现端口转发,只能实现基于TCP的负载均衡和服务发现,且不能支持四层负载均衡。而在 Kubernetes 1.16 版本中新增了 iptables-nat 模式,可以支持四层负载均衡。相比之下,ipvs 模式支持 TCP、UDP、SCTP 和四层负载均衡,支持 Online Hashed、IP Hash、Round Robin 和 Least Connection 等多种负载均衡算法。

iptable 的一个缺点在于由于工作在 Kernel 级别,如果 iptables 规则过于复杂,可能会对系统产生性能影响,并且由于 iptables 规则集中在 Kernel 中,修改比较困难。

在 Kubernetes 系统中,kubeadm 管理工具将默认选择 ipvs 模式来处理 kube-proxy,同时 Kubernetes 还提供了多种异常处理机制,如自动拉起、Rollback、故障转移等,以确保系统的可靠性、高可用性和容错性,从而避免了 iptables 处理过程中可能出现的问题,并且改善了整个系统在故障处理和容错性方面的性能。

操作是在所有节点上

开启内核支持

cat >> /etc/sysctl.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

sysctl -p

开启ipvs支持

yum -y install ipvsadm ipset

临时生效

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4

永久生效

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

配置kube-proxy,在master上操作

因使用kubeadmin安装,所以操作方式如下

[root@master] # kubectl edit cm kube-proxy -n kube-system
configmap/kube-proxy edited

修改如下

kind: MasterConfiguration
apiVersion: kubeadm.k8s.io/v1alpha1
...
ipvs:
    excludeCIDRs: null
    minSyncPeriod: 0s
    scheduler: ""
    syncPeriod: 30s
  kind: KubeProxyConfiguration
  metricsBindAddress: 127.0.0.1:10249
  mode: "ipvs"                 #修改

在master重启kube-proxy

kubectl get pod -n kube-system | grep kube-proxy | awk '{print $1}' | xargs kubectl delete pod -n kube-system  

验证ipvs是否开启

kubectl logs kube-proxy-cvzb4 -n kube-system
I0409 03:37:29.194391       1 server_others.go:170] Using ipvs Proxier.
W0409 03:37:29.194779       1 proxier.go:401] IPVS scheduler not specified, use rr by default
I0409 03:37:29.194981       1 server.go:534] Version: v1.15.3
I0409 03:37:29.214255       1 conntrack.go:52] Setting nf_conntrack_max to 524288
I0409 03:37:29.216744       1 config.go:96] Starting endpoints config controller
I0409 03:37:29.216812       1 controller_utils.go:1029] Waiting for caches to sync for endpoints config controller
I0409 03:37:29.217445       1 config.go:187] Starting service config controller
I0409 03:37:29.218320       1 controller_utils.go:1029] Waiting for caches to sync for service config controller
I0409 03:37:29.318218       1 controller_utils.go:1036] Caches are synced for endpoints config controller
I0409 03:37:29.318564       1 controller_utils.go:1036] Caches are synced for service config controller

验证

进入pod内,现在可以ping通servicename了,使用iptables时,发现ping的时候出现了如下错误,执行完上述操作,一切正常

root@xxxxxx-cb4c9cb8c-hpzdl:/opt# ping xxxxxx
PING xxxxxx.xxxxx.svc.cluster.local (172.16.140.78) 56(84) bytes of data.
From 172.16.8.1 (172.16.8.1) icmp_seq=1 Time to live exceeded
From 172.16.8.1 (172.16.8.1) icmp_seq=2 Time to live exceeded

错误

图片图片

解决(降低kube-proxy 版本)

kubectl -n kube-system set image daemonset/kube-proxy *=registry.aliyuncs.com/k8sxio/kube-proxy:v1.17.6
责任编辑:武晓燕 来源: 步步运维步步坑
相关推荐

2011-03-15 14:26:23

iptablesNAT

2011-03-15 09:10:47

iptablesNAT

2022-11-30 09:39:44

KubeadmDebian 11Kubernetes

2011-03-14 16:05:52

IPtables流量

2021-08-19 09:30:03

Kubernetes集群IPVS

2019-09-03 10:19:58

Kubernetes本地负载命令

2021-10-13 16:00:53

KubeProxyIptables

2020-06-15 14:31:26

Google容器Kubernets

2023-04-06 08:00:36

VPC虚拟私有云Amazon

2020-08-25 07:48:17

Kubernetes集群系统

2010-10-09 21:51:30

2020-09-09 07:00:00

Kubernetes集群容器

2023-06-25 18:53:03

2023-12-18 09:37:37

2023-07-29 11:54:44

KuberneteNFS

2021-03-16 08:35:14

Kubernetes Docker容器

2021-07-14 13:30:44

KubernetesLinux文件

2022-03-07 10:41:09

云计算容器Kubernetes

2022-09-07 15:57:41

KubernetesCRD

2011-03-15 14:50:03

使用IPTables
点赞
收藏

51CTO技术栈公众号