前言
LVS大家应该很熟悉，这款优秀的开源软件基本成为了IP负载均衡的代言词。但在实际的生产环境中会发现，LVS调度在大压力下很容易就产生瓶颈，其中瓶颈包括ipvs内核模块的限制，CPU软中断，网卡性能等，当然这些都是可以调优的，关于LVS的调优，会在这里详细讲LVS调优攻略。回到主题，那当无法避免的单台LVS调度机出现了性能瓶颈，有什么办法呢？在本文就来介绍如何横向扩展LVS调度机
架构简图
如上图三层设备的路由表，VIP地址183.60.153.100对应nexthop有三个地址，这三个地址是三台lvs调度机的地址。这样便可达到效果：用户访问------>VIP------>三台LVS调度机------>分发到多台RealServe
架构优势
1.LVS调度机自由伸缩，横向扩展（最大8台，受限于三层设备允许的等价路由数目）
2.LVS调度资源全利用，All Active。不存在备份机
部署方法
1.硬件资源准备
三层设备： 本文用的是h3c 5800三层交换机
LVS调度机三台： 192.168.0.2 192.168.2.2 192.168.3.2
Realserver三台: 183.60.153.101 183.60.153.102 183.60.153.103
2.三层设备OSPF配置
- #查找与三层交换与lvs调度相连的端口，在本文端口分别为 g1/0/2 g1/0/3 g1/0/6
- #把g1/0/2改为三层端口，并配上IP
- interface GigabitEthernet1/0/2
- port link-mode route
- ip address 192.168.0.1 255.255.255.0
- #配置ospf的参数, timer hello是发送hello包的间隔,timer dead是存活的死亡时间。默认是10，40。
- #hello包是ospf里面维持邻居关系的报文，这里配置是每秒发送一个，当到4秒还没有收到这个报文，就会认为这个邻居已经丢失，需要修改路由
- ospf timer hello 1
- ospf timer dead 4
- ospf dr-priority 100
- #如此类推，把g1/0/3 g1/0/6都配置上
- interface GigabitEthernet1/0/3
- port link-mode route
- ip address 192.168.3.1 255.255.255.0
- ospf timer hello 1
- ospf timer dead 4
- ospf dr-priority 99
- interface GigabitEthernet1/0/6
- port link-mode route
- ip address 192.168.2.1 255.255.255.0
- ospf timer hello 1
- ospf timer dead 4
- ospf dr-priority 98
- #配置ospf
- ospf 1
- area 0.0.0.0
- network 192.168.0.0 0.0.0.255
- network 192.168.3.0 0.0.0.255
- network 192.168.2.0 0.0.0.255
3.LVS调度机的OSPF配置
a.安装软路由软件quagga
- yum –y install quagga
b.配置zerba.conf
vim /etc/quagga/zebra.conf
- hostname lvs-route-1
- password xxxxxx
- enable password xxxxxx
- log file /var/log/zebra.log
- service password-encryption
c.配置ospfd.conf
vim /etc/quagga/ospfd.conf
- #ospf的配置类似于上面三层设备，注意需要把vip声明出去(183.60.153.100)
- log file /var/log/ospf.log
- log stdout
- log syslog
- interface eth0
- ip ospf hello-interval 1
- ip ospf dead-interval 4
- router ospf
- ospf router-id 192.168.0.1
- log-adjacency-changes
- auto-cost reference-bandwidth 1000
- network 183.60.153.100/32 area 0.0.0.0
- network 192.168.0.0/24 area 0.0.0.0
d.开启IP转发
- sed –i ‘/net.ipv4.ip_forward/d’ /etc/sysctl.conf
- echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.confsysctl –p
e.开启服务
- /etc/init.d/zebra start
- /etc/init.d/ospfd start
- chkconfig zebra on
- chkconfig ospfd on
#p#
4.LVS keepalived配置
在此架构下，LVS只能配置成DR模式。如果要配置成NAT模式，我的想法是，需要参照上面的方式让LVS调度机与内网三层设备配置ospf，此方法未验证，有其他方案请告知。
a.修改配置文件 keepalived.conf ，在Cluster架构中，所有调度机用相同的配置文件
vim /etc/keepalived/keepalived.conf
- #keepalived的全局配置global_defs {
- notification_email {
- lxcong@gmail.com
- }
- notification_email_from lvs_notice@gmail.com
- smtp_server 127.0.0.1
- smtp_connect_timeout 30
- router_id Ospf_LVS_1
- }
- #VRRP实例，在这个架构下所有的LVS调度机都配置成MASTER
- vrrp_instance LVS_Cluster{ ##创建实例 实例名为LVS_Cluster
- state MASTER #备份服务器上将MASTER改为BACKUP
- interface eth0 ##VIP 捆绑网卡
- virtual_router_id 100 ##LVS_ID 在同一个网络中，LVS_ID是唯一的
- priority 100 #选举的优先级，优先级大的为MASTER 备份服务上将100改为99
- advert_int 1 #发送vrrp的检查报文的间隔，单位秒
- authentication { ##认证信息。可以是PASS或者AH
- auth_type PASS
- auth_pass 08856CD8
- }
- virtual_ipaddress {
- 183.60.153.100
- }
- }
- #LVS实例，在本文采用的是DR模式，WRR调度方式。其实在这种架构下也只能使用DR模式
- virtual_server 183.60.153.100 80 {
- delay_loop 6
- lb_algo wrr
- lb_kind DR
- persistence_timeout 60
- protocol TCP
- real_server 183.60.153.101 80 {
- weight 1 # 权重
- inhibit_on_failure # 若此节点故障，则将权重设为零（默认是从列表中移除）
- TCP_CHECK {
- connect_timeout 3
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- real_server 183.60.153.102 80 {
- weight 1 # 权重
- inhibit_on_failure # 若此节点故障，则将权重设为零（默认是从列表中移除）
- TCP_CHECK {
- connect_timeout 3
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- real_server 183.60.153.103 80 {
- weight 1 # 权重
- inhibit_on_failure # 若此节点故障，则将权重设为零（默认是从列表中移除）
- TCP_CHECK {
- connect_timeout 3
- nb_get_retry 3
- delay_before_retry 3
- connect_port 80
- }
- }
- }
b.启动keepalived
- /etc/init.d/keepalived start
- chkconfig keepalived on
5.realserver配置
a.添加启动服务脚本/etc/init.d/lvs_realserver
请自行按需要修改脚本中SNS_VIP变量
- #!/bin/sh
- ### BEGIN INIT INFO
- # Provides: lvs_realserver
- # Default-Start: 3 4 5
- # Default-Stop: 0 1 6
- # Short-Description: LVS real_server service scripts
- # Description: LVS real_server start and stop controller
- ### END INIT INFO
- # Copyright 2013 kisops.com
- #
- # chkconfig: - 20 80
- #
- # Author: k_ops_yw@ijinshan.com
- #有多个虚拟IP，以空格分隔
- SNS_VIP="183.60.153.100"
- . /etc/rc.d/init.d/functions
- if [[ -z "$SNS_VIP" ]];then
- echo 'Please set vips in '$0' with SNS_VIP!'
- fi
- start(){
- num=0
- for loop in $SNS_VIP
- do
- /sbin/ifconfig lo:$num $loop netmask 255.255.255.255 broadcast $loop
- /sbin/route add -host $loop dev lo:$num
- ((num++))
- done
- echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
- sysctl -e -p >/dev/null 2>&1
- }
- stop(){
- num=0
- for loop in $WEB_VIP
- do
- /sbin/ifconfig lo:$num down
- /sbin/route del -host $loop >/dev/null 2>&1
- ((num++))
- done
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
- echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
- sysctl -e -p >/dev/null 2>&1
- }
- case "$1" in
- start)
- start
- echo "RealServer Start OK"
- ;;
- stop)
- stop
- echo "RealServer Stoped"
- ;;
- restart)
- stop
- start
- ;;
- *)
- echo "Usage: $0 {start|stop|restart}"
- exit 1
- esac
- exit 0
b.启动服务
- service lvs_realserver start
- chkconfig lvs_realserver on
总结
到这里，LVS Cluster架构已部署完了，如果各位有其他更好的LVS扩展方式请留意或者联系我，互相交流 QQ:83766787。另外以前做了一个LVS的管理平台，但是一直都做得不好，也希望有相关平台开发经验的能联系我，交流交流、
原文链接：http://my.oschina.net/lxcong/blog/143904
