Ubuntu10.04.4 Server下基于LVS DR模式+Keepalived的负载均衡高可用集群
LVS+Keepalived 介绍 2
LVS 2
Keepalvied 2
ubuntu系统环境准备工作 2
更换Ubuntu软件源 2
架构拓扑图 2
服务安装 3
安装LVS 3
安装Keepalived 3
服务配置 4
配置LVS实现负载均衡 4
LVS Server 4
Real Server 4
测试LVS 5
配置keepalived实现高可用 5
LVS Server 5
测试keepalived 6
附录A lvs参数简介 6
LVS+Keepalived 介绍
申明：这只是我照着网络上的相关技术文档做实验后的整理
LVS
LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；
十种调度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。
Keepalvied
Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现，对lvs的单点故障提供高可用接管方案
ubuntu系统环境准备工作
更换Ubuntu软件源
将源配置为：http://old-releases.ubuntu.com/ubuntu/（国内163等源对旧版本的ubuntu已不支持了）
架构拓扑图
服务安装
安装LVS
分别在lbserver1、lbserver2上安装lvs
它是基于linux内核实现的，2.6.X内核默认集成了lvs模块，需要安装管理工具ipvsadm。如果已安装过会提示已经是最新版本)
#apt-get install ipvsadm
第一次运行ipvsadm前需要配置下ipvsadm（#vi /etc/init.d/ipvsadm）
#dpkg–reconfigure ipvsadm
[no](不自动启动)-->[master](设为主LB Server)-->“eth0”(默认第一块网卡)-->[yes](确定后返回)
查看ipvsadm安装路径
#which ipvsadm
查看ipvsadm的版本
#ipvsadm -v
其他的命令可使用 ipvsadm --help | less 查看，关于lvs的具体知识见附录A
安装Keepalived
分别在lbserver1、lbserver2上安装lvs
#apt-get install keepalived
查找Keepalived的安装路径
#which keepalived
查找Keepalived的版本
#keepalived -v
查看init.d文件夹下是否有LVS、Keepalived启动文件
#ls -/etc/init.d/ | grep “ipvsadm\|keepalived”
服务配置
配置LVS实现负载均衡
LVS Server
分别在lbserver1、lbserver2上创建启动脚本 (* 附录B)
#vi /root/lvs.sh
#!/bin/bash
vip=192.168.56.200
rs1=192.168.56.201
rs2=192.168.56.202
#clear ipvs tables
ipvsadm -C
#set LVS Server
ipvsadm -A -t $vip:80 -s rr
ipvsadm -a -t $vip:80 -r $rs1:80 -g -w 1 #-w表示权重，默认为1
ipvsadm -a -t $vip:80 -r $rs2:80 -g #不加-w 1效果同上句
# update /etc/sysctl.conf，以下配置重启后将复原
echo "1" >/proc/sys/net/ipv4/ip_forward #启用ip转发
echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects
echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects
echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects
#sysctl -p #查看sysctl的配置变化，可不执行
*：这里rr表示ipvsadm的8种算法中的轮询，做实验选这个算法，效果比较明显。-g,就是lvs的三种模式中的LVS-DR模式。-i 就是遂道LVS-TUN.为什么eth0:0的broadcast就是它的IP，因为他的netmask为/32.(the VIP is a /32 addr, so the brd addr is the VIP, not x.x.x.255.)
Real Server
分别在real server1、real server2上创建启动脚本 (* 附录B)
#vi /root/rs.sh
#!/bin/bash
vip=192.168.56.200
ifconfig lo:0 $vip netmask 255.255.255.255 broadcast $vip up #网关要和虚ip一样，掩码不能同于eth0的
route add -host $vip dev lo:0 #添加永久路由
#echo "0" >/proc/sys/net/ipv4/ip_forward #关闭real server ip转发，2.6.*内核默认是关闭的
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
#sysctl -p #查看sysctl的配置变化，可不执行
测试LVS
要在未开启Cookie情况下刷新效果明显，2min流转一次估计
查看lvs的运行状况
查看lvs日志
配置keepalived实现高可用
LVS Server
查看Keepalived启动文件
#cat /etc/init.d/keepalived
编辑主机keepalived配置文件
#vi /etc/keepalived/keepalived.conf
备机的配置文件，加 * 号处需要注意或做修改
# Global Configuration
global_defs {
router_id ubuntu-lvs-a # * 当前Server主机名
}
# VRRP Configuration
vrrp_instance LVS {
state MASTER # * 主机或备机(MASTER/BACKUP)
interface eth0 # * 绑定到哪个网卡
virtual_router_id 51 #VRID标记(0~255),主备要保持相同
priority 150 # * 优先级,MASTER要高于BACKUP的优先级(至少50)
advert_int 1 #检查间隔时间,默认1秒
authentication {
auth_type PASS #指定要使用哪一种认证(PASS|AH)
auth_pass 123456 #指定要使用的密码字符串
}
virtual_ipaddress {
192.168.56.200 # * VIP
}
}
# Virtual Server Configuration - for WWW service
virtual_server 192.168.56.200 80 {
delay_loop 1
lb_algo rr #调度算法,这里用了最简单的rr
lb_kind DR #包转发模式
persistence_timeout 60 #长连接超时设置为60秒
protocol TCP
# Real Server 1 configuration
real_server 192.168.56.201 80 { #real_server就是用来定义真实服务器的
weight 3 #权重,默认设为3
TCP_CHECK {
connection_timeout 10 #连接远程真实服务器超时时间(秒)
nb_get_retry 3 #最大重试次数
delay_before_retry 3 #连续两次重试的延迟时间(秒)
}
}
real_server 192.168.56.202 80 {
weight 1
TCP_CHECK {
connection_timeout 10
nb_get_retry 3
delay_before_retry 3
}
}
}
启动keepalived
#/etc/init.d/keepalived start
测试keepalived
查看keepalived日志
#tail -f /var/log/message
附录A lvs参数简介
部分参数如下：man ipvsadm可以全部看到。
-A, --add-service Add a virtual service
-E, --edit-service Edit a virtual service
-D, --delete-service Delete a virtual service
-C, --clear Clear the virtual server table.
-R, --restore
-S, --save
-a, --add-server Add a real server to a virtual service
-e, --edit-server Edit a real server in a virtual service
-d, --delete-server Remove a real server from a virtual service
-L, -l, --list List the virtual server table if no argument is specified
-t, --tcp-service Use TCP service.
-u, --udp-service Use UDP service
-s 指定服务采用的算法，常用的算法参数如下：
rr 轮叫（Round Robin）
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载。
wrr 加权轮叫（Weighted Round Robin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
lc 最少链接（Least Connections）
调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载。
wlc 加权最少链接（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值。
lblc 基于局部性的最少链接（Locality-Based Least Connections）
"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器。
lblcr 带复制的基于局部性最少链接（Locality-Based Least Connections with Replication）
"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。
dh 目标地址散列（Destination Hashing）
"目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
sh 源地址散列（Source Hashing）
"源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。
-a 表示往一个服务内增加一个real server
-r 指定real server的IP地址
-w 表示权重
-g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。
附录B lvs server、real server故障/增加
增加、故障lvs server
现有的lvs和keepalived无须重配置
增加、故障real server
需要对lvs server的lvs和keepalived都要配置，且要在新加的real server创建启动脚本
