1、软件介绍
①Keepalived
keepalive是一个用c语言编写的路由软件，这个项目的主要目标是为Linux系统和基于Linux的基础设施提供简单而健壮的负载平衡和高可用性设施。负载均衡框架依赖于众所周知且广泛使用的Linux Virtual Server (IPVS)内核模块提供第4层负载均衡。keepalive实现了一组检查器，可以根据负载均衡服务器池的运行状况动态地、自适应地维护和管理它们。另一方面，通过VRRP协议实现高可用性。VRRP是路由器故障转移的基本组件。此外，keepalive实现了一组到VRRP有限状态机的钩子，提供低级和高速的协议交互。为了提供最快的网络故障检测，keepalive实现了BFD协议。VRRP状态转换可以利用BFD提示实现状态快速转换。keepalive框架可以单独使用，也可以一起使用，以提供弹性基础设施。
keepalive是一款免费软件;您可以根据自由软件基金会发布的GNU通用公共许可证条款重新发布和/或修改它;许可证的版本2，或者(根据您的选择)任何更新的版本。（Keepalived for Linux 官方定义）
Keepalived是Linux下一个轻量级别的高可用解决方案，它基于VRRP（虚拟路由冗余协议）实现，能够避免单点故障导致的系统不可用问题。Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。
②HAProxy
HAProxy是一款开源的高性能负载均衡器和代理服务器。它可以将传入的请求分发到多台后端服务器上，以提高系统的负载能力和可用性。HAProxy支持多种负载均衡算法，如轮询、加权轮询、源IP哈希等，可以根据实际需求选择合适的算法。
HAProxy不仅仅是一个负载均衡器，它还提供了许多其他功能。它可以进行SSL终端代理，实现HTTPS的负载均衡；还可以进行内容转换和过滤，并提供高级的HTTP请求和响应管理功能。HAProxy还支持健康检查，可以自动剔除故障的后端服务器，并动态调整请求的分发策略。
HAProxy具有高性能和低延迟的优势，可以处理大量的并发请求。它支持多线程和多进程模型，可以利用多核处理器的性能。此外，HAProxy还提供了详细的统计信息和日志记录，以便进行分析和监控。
由于其可靠性和灵活性，HAProxy被广泛应用于各种场景，包括Web应用程序、API网关、数据库负载均衡、云服务等。它是一个强大而可靠的负载均衡解决方案，为系统的可扩展性和可靠性提供了重要支持。
HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。HAProxy具备媲美商用负载均衡器的性能和稳定性。
2、实验环境
准备4台Linux 服务器，分别作为 负载均衡器 和web服务器。 虚拟机及IP规划如下：
序号 |
主机名 |
IP |
1 |
LB-01 |
RIP:192.168.56.2 |
2 |
LB-01 |
RIP:192.168.56.3 |
3 |
VIP: 192.168.56.4 |
|
4 |
Web-01 |
RIP:192.168.56.5 |
5 |
Web-02 |
RIP:192.168.56.6 |
2、底层原理
Linux VIP(Virtual IP)原理：
VIP原理基于Linux内核和网络子系统。它利用了Linux内核网络层的能力来拦截网络数据包，然后将他们重定向到多个系统共享的一个虚拟IP上。这里的虚拟IP地址是一个不是分配给任何特定系统的IP地址，而是分配给一个虚拟网络接口。
具体来说，VIP技术的实现需要以下步骤：
①创建虚拟网络接口：在Linux系统中，可以使用ifconfig,ip等命令来创建虚拟网络接口。该接口会被分配一个新的IP地址，但实际上并不会连接到任何实际的网络设备上，它只是一个普通的网络接口。
②绑定真实IP地址到虚拟网络接口上
③配置ARP协议：为了让其他系统知道这个虚拟IP地址的存在，需要配置ARP协议。他可以通过向网络中的其他系统发送ARP广播包来实现。当其他系统收到这个ARP广播包时，他们会更新他们的ARP缓存表，将虚拟IP地址映射到此广播包所在的实际系统的MAC地址上。
Linux VIP(Virtual IP)漂移原理：
是指在一个Linux集群中，当主节点(Primary)故障或不可用时，集群中的备用节点（Secondary）会接管主节点的VIP地址，以保证服务的高可用性。
漂移原理包括以下几个步骤：
①心跳检测：集群中的主节点和备用节点之间通过心跳检测来确认主节点的状态。一般使用专门的心跳设备或网络连接来实现心跳检测
②主节点失效检测：当备用节点无法通过心跳检测到主节点时，会判断主节点已经失效。
③VIP漂移：备用节点检测到主节点失效后，会接管主节点的VIP地址，并将其绑定到自己的网络接口上。这样，客户端访问VIP地址时就会被转发到备用节点上。
④服务接管：备用节点接管VIP地址后，会启动并运行主节点上的服务，以保证服务的连续性。
对于实现VIP漂移，常见的工具有keepalived，他提供了一系列用于自动检测和控制VIP的功能，通过心跳检测、状态切换等机制，实现Linux集群中VIP的漂移。
3、Keepalived 安装配置
HAProxy作为负载均衡器，Keepalived则作为两台负载均衡器的高可用组件，其原理就是VRRP协议。 打开IP转发： 首先，Linux默认只会处理目标IP地址为自己的数据包，否则会丢弃。服务器作为反向代理/负载均衡器需要打开IP转发功能，才能处理转发目标地址非自己的数据包。
# 修改/etc/sysctl.conf配置文件
vim /etc/sysctl.confnet.ipv4.ip_forward=1# 使生效
sysctl -pcat /proc/sys/net/ipv4/ip_forward安装Keepalived： 通过源码的方式进行安装。
# 先安装依赖
yum install gcc gcc-c++ make zlib-devel bzip2-devel openssl-devel -ycd /usr/local/src
wget https://www.keepalived.org/software/keepalived-2.3.0.tar.gztar -zxvf keepalived-2.3.0.tar.gz# 编译及安装
cd /usr/local/src/keepalived-2.3.0
./configure --prefix=/usr/local/keepalived-2.3.0make && make install将Keepalived注册为系统服务：
# 拷贝启动文件到/etc/rc.d/init.d目录中
cp /usr/local/src/keepalived-2.3.0/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/# 拷贝环境变量文件
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/# 在bash中使用keepalived命令
cp /usr/local/keepalived/sbin/keepalived /usr/local/sbin/接下来就可以编辑Keepalived的配置文件：
cd /usr/local/keepalived/etc/keepalived
vim keepalived.conf# MASTER配置：
! Configuration File for keepalivedglobal_defs { notification_email { root@localhost } notification_email_from keepalived@localhost smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id HAProxy_DEVEL_1}vrrp_script chk_haproxy { script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh" #用shell命令检查haproxy服务是否运行 interval 1 #时间间隔为1秒检测一次 weight -2 #当haproxy的服务不存在了，就把当前的权重-2 fall 2 #测试失败的次数 rise 1 #测试成功的次数}vrrp_instance VI_1 { state MASTER #实例状态，只有MASTER 和 BACKUP两种状态，并且需要全部大写。抢占模式下，其中MASTER为工作状态，BACKUP为备用状态。 interface enp0s8 #指定绑定虚拟IP的网络接口 virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一个VRRP组 priority 101 #主节点的优先级（1--255），备节点必须比主节点优先级低 advert_int 1 #组播信息发送间隔，两个节点设置必须一样 authentication { #设置验证信息，两个节点设置必须一样 auth_type PASS auth_pass 1111 } track_script { chk_haproxy } virtual_ipaddress { #指定虚拟IP（VIP），两个节点设置必须一样，虚拟IP地址池，可以有多个IP，每个IP占一行，不需要指定子网掩码。注意：这个IP必须与我们的设定的vip保持一致 192.168.56.4 }}
# BACKUP配置
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id HAProxy_DEVEL_2
}
vrrp_script chk_haproxy {
script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh" #用shell命令检查haproxy服务是否运行
interval 1 #时间间隔为1秒检测一次 weight -2 #当haproxy的服务不存在了，就把当前的权重-2 fall 2 #测试失败的次数 rise 1 #测试成功的次数}
vrrp_instance VI_1 {
state MASTER #实例状态，只有MASTER 和 BACKUP两种状态，并且需要全部大写。抢占模式下，其中MASTER为工作状态，BACKUP为备用状态。
interface enp0s8 #指定绑定虚拟IP的网络接口
virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一个VRRP组
priority 100 #主节点的优先级（1--255），备节点必须比主节点优先级低
advert_int 1 #组播信息发送间隔，两个节点设置必须一样
authentication { #设置验证信息，两个节点设置必须一样
auth_type PASS
auth_pass 1111
}
track_script {
chk_haproxy
}
virtual_ipaddress { #指定虚拟IP（VIP），两个节点设置必须一样，虚拟IP地址池，可以有多个IP，每个IP占一行，不需要指定子网掩码。注意：这个IP必须与我们的设定的vip保持一致
192.168.56.4
}
}
vim /usr/local/keepalived/etc/keepalived/check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 1 ];then
exit 0
else
exit 1
fi
配置文件里优先级（priority）高的那台服务器会正为主，较低的会成为备。
以下是对部分参数的说明：
router-id，唯一，自定义
vrrp_instance VI_1，一个VRRP组
virtual_router_id 51，一个组内的路由器的值要一样
advert_int 1，每隔一秒发一次包
priority，优先级高的为主
virtual_ipaddress，虚拟的IP地址，也就是我们实际发布服务的IP地址
启动Keepalived：
systemctl enable keepalivedsystemctl start keepalivedsystemctl status keepalived正常启动后，可以通过ip addr查看VIP地址是否已在MASTER节点的网卡显示。
4、HAProxy 安装配置
下载及安装：
yum install gcc gcc-c++ make zlib-devel bzip2-devel openssl-devel -yyum install lua -ycd /usr/local/src
wget https://www.haproxy.org/download/2.9/src/haproxy-2.9.9.tar.gztar -zxvf haproxy-2.9.9.tar.gz# 编译安装
cd haproxy-2.9.9
make TARGET=linux-glibc PREFIX=/usr/local/haproxy-2.9.9 make install PREFIX=/usr/local/haproxy-2.9.9编写HAProxy的配置文件：
mkdir /etc/haproxyvim /etc/haproxy/haproxy.cfg# 两台负载均衡服务器配置需要一致
global
maxconn 4096 #默认最大连接数
pidfile /var/run/haproxy.pid #haproxy的pid存放路径
daemon #以后台形式运行haproxy
defaults
log global
mode http #所处理的类别 (#7层 http;4层tcp )
retries 3 #三次连接失败就认为是服务器不可用
option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
maxconn 4096 #最大连接数
timeout connect 50000 #连接超时
timeout client 50000 #客户端超时
timeout server 50000 #服务器超时
balance roundrobin #默认的负载均衡的方式,轮询方式
listen web_proxy
bind *:18080 #监听端口
mode http #http的7层模式
balance roundrobin
option httpclose
server web01 192.168.56.5:8080 check inter 3000 fall 3 rise 5
server web02 192.168.56.6:8080 check inter 3000 fall 3 rise 5
listen stats
bind *:8888
mode http
maxconn 10
balance roundrobin
stats refresh 5s
stats uri / #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503
stats realm Haproxy\ Statistics
stats auth admin:admin #账号密码
defaults块里配置的参数是默认参数，如web_proxy未配置相关参数则会继承defaults里的。如果web_proxy里对相关参数进行了重新配置，则web_proxy里的配置会优先于defaults的配置。
启动HAProxy
systemctl enable haproxysystemctl start haproxysystemctl stauts haproxy另外，haproxy自带了监控页面，非常详细好用。已经在配置文件中配置，可以通过访问http://192.168.56.2:8888/status查看。
5、高可用测试
1）Keepalived节点本身网络故障倒换测试
默认的keepalived配置，MASTER节点在LB-01上，BACKUP节点在LB-02上。所以访问VIP地址192.168.56.4都由LB-01这台服务器转发。
为了验证keepalived的可用性，我们测试将LB-01这台服务器的网卡连接给断开，模拟网络或服务器故障的场景，验证VIP是否能自动切换到LB-02这个节点上。
由于实验环境为虚拟机，把虚拟网卡连接断开即可。在断开之前，在物理机上发起一个长ping 192.168.56.4，观察节点切换的情况。 ping 192.168.56.4 -t
可以看到，在断开LB-01的网卡连接后，此时可以查看VIP 192.168.56.4已经漂移到了LB-02上。
接下来恢复LB-01的网络，由于没有配置抢占，所以MASTER节点仍然会在LB-02上。不配置抢占的好处是当故障节点恢复后不会导致抖动。
2）HAProxy进程故障倒换测试
除了Keepalived本身的故障外，HAProxy进程可能也会出现故障，如果keepalived无法判断haproxy是否异常，那么就无法进行故障切换。
因此，需要增加一个探测脚本，以判断haproxy服务是否正常。当退出码为0，keepalived就会认为探测成功，如退出码为1，keepalived就会认为探测失败，就会进入FAULT状态并把VIP给移除。
vim /usr/local/keepalived/etc/keepalived/check_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 1 ];then
exit 0
else
exit 1
fi
在keepalived配置文件中，加入以下脚本检测
vrrp_script chk_http_port { script "/usr/local/keepalived/etc/keepalived/check_haproxy.sh" #用shell命令检查haproxy服务是否运行 interval 1 #时间间隔为1秒检测一次 weight -2 #当haproxy的服务不存在了，就把当前的权重-2 fall 2 #测试失败的次数 rise 1 #测试成功的次数}vrrp_instance VI_1 { track_script { chk_haproxy }}
然后停掉haproxy的进程，模拟进程故障。 systemctl stop haproxy 此时LB-01节点的keepalived进入FAULT状态，VIP被移除，备机接管了VIP。
3）后端服务器故障倒换测试
接下来模拟一下当web01故障能否重新把请求分发到web02上。 直接通过停止web01的运行，再通过浏览器发起请求，可以看到已经切换到web02上了。
通过登录HAProxy自带的监控页面，可以看到健康检查web01已经down掉，所以负载均衡直接把web01剔除了。
6、小结
通过实验可以基本验证到基于HAProxy的七层负载均衡的功能，以及通过Keepalived搭建的高可用集群，还是非常好用的。
另外一个问题就是，通过keepalived实现的高可用，MASTER节点只能在一台服务器上，即同时只能一个节点工作，如果需要横向扩展，需要另外一种实现高可用的方案：比如说不采用Keepalived的方式，在HAPorxy前面再部署LVS或者硬件F5，用这种L4+L7的架构来实现L7负载均衡的横向扩展和高可用。
