Keepalive
vrrp技术
VRRP 相关术语
- 虚拟路由器:Virtual Router 不是真实存在 ,虚构出来的
- 虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器
- VIP:Virtual IP 192.168.91.100 路由1 路由2
- VMAC:Virutal MAC (00-00-5e-00-01-VRID)
- 物理路由器:
- master:主设备
- backup:备用设备
- priority:优先级
网络vrrp那章已详细说明,
状态机 心跳线: 1s
虚拟路由器的主备 是由priority:优先级决定的
VRRP相关技术
通告:心跳,优先级等;周期性
工作方式:抢占式,非抢占式,延迟抢占模式,
安全认证:
- 无认证
- 简单字符认证:预共享密钥
- MD5
工作模式:
- 主/备:单虚拟路径器
- 主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)
#通告:
是宣告自己的主权,不要妄想抢班夺权,不停的向外
#抢占式:
主服务器宕机,过了一段时间修好了,再把主权抢过来
#非抢占式:
主服务器宕机,过了一段时间修好了,原来的主就作为备了
#延迟抢占:
主修好后,等待一定的时间(300s)后再次成为主
#抢占式好还是非抢占式好?
非抢占式,防止因抢占造成数据丢失
#安全认证:
如没有安全认证,不在集群中的keeplive服务器设置超高的优先级,会造成事故
#主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)见下图:
环境:
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主,服务器2为备,那么虚拟IP1就飘在服务器1上,真正工作的只有服务器1
第二台虚拟路由器中服务器2为主,服务器1为备,那么虚拟IP2就飘在服务器2上,真正工作的只有服务器2
优点:
#提高了资源利用率:
这样主,备服务器同时干活,可以同时运行两个项目
#同样有备份功能:
如果服务器1坏了,服务器2 将同时拥有虚拟IP1和虚拟IP2
缺点:
虽然有备份冗余功能但是对机器的性能要求非常高,当其中一台出现故障,本来一台运行一个任务,现在所有的业务全部压在了一台上,有十分大的风险
keepalive介绍
官网:http://keepalived.org/
lvs 调度 虚拟ip 手动配置
keepalived 会lvs
lvs
ipvsadm
功能:
基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务
Keepalived 架构
官方文档:
https://keepalived.org/doc/
http://keepalived.org/documentation.html
用户空间核心组件:
1. vrrp stack:VIP消息通告 虚拟ip
2. checkers:监测real server(简单来说 就是监控后端真实服务器的服务)是否存活
3. system call:实现 vrrp 协议状态转换时调用脚本的功能
4. SMTP:邮件组件(报警邮件)
5. IPVS wrapper:生成IPVS规则(直接生成ipvsadm)
6. Netlink Reflector:网络接口(将虚拟地址ip(vip)地址飘动)
WatchDog:监控进程(整个架构是否有问题)
- 控制组件:提供keepalived.conf 的解析器,完成Keepalived配置
- IO复用器:针对网络目的而优化的自己的线程抽象
- 内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限
keeplive可以配合ngnix等软件,反向代理
安装keepalive
yum install keepalived -y
Keepalived 相关文件
- 软件包名:keepalived
- 主程序文件:/usr/sbin/keepalived
- 主配置文件:/etc/keepalived/keepalived.conf
- 配置文件示例:/usr/share/doc/keepalived/
- Unit File:/lib/systemd/system/keepalived.service
- Unit File的环境配置文件:
- /etc/sysconfig/keepalived CentOS
配置组成
/etc/keepalived/keepalived.conf 配置组成
- GLOBAL CONFIGURATION
Global definitions(全局配置):定义邮件配置,route_id,vrrp配置,组播地址 等
- VRRP CONFIGURATION
VRRP instance(s):定义vrrp协议中的每个vrrp虚拟路由器的规则,基本信息
- LVS CONFIGURATION(lvs调度服务器的规则设置)
Virtual server group(s)
Virtual server(s):LVS集群的VS和RS
全局配置
#/etc/keepalived/keepalived.conf
global_defs {
notification_email {
root@localhost
#keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个
root@localhost
123456@qq.com
}
notification_email_from keepalived@localhost
#发邮件的地址
smtp_server 127.0.0.1
#邮件服务器地址
smtp_connect_timeout 30
#邮件服务器连接timeout
router_id R1
#每个keepalived主机唯一标识,建议使用当前主机名,但多节点重名不影响
vrrp_skip_check_adv_addr
#对所有通告报文都检查,会比较消耗性能,启用此配置后,如果收到的通告报文和上一个报文是同一个路由器,则跳过检查,默认值为全检查
vrrp_strict
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址,开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则,默认导致VIP无法访问,建议不加此项配置。
vrrp_garp_interval 0
#gratuitous ARP messages 免费ARP报文发送延迟,0表示不延迟
vrrp_gna_interval 0
#unsolicited NA messages (不请自来)消息发送延迟
vrrp_mcast_group4 224.0.0.18
#指定组播IP地址,范围:224.0.0.0到239.255.255.255,默认值:224.0.0.18
vrrp_iptables
#此项和vrrp_strict同时开启时,则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}
组播地址分类:
自定义组播,一般都有规划,不能瞎配
主和备要一样
A类:1-126
B 128-191
C 192-223
D 224-239
E 240-
#修改组播
默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
注意:启用 vrrp_strict 时,不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP,建议设置为专用于对应心跳线网络的地址,而非使用业务网络
配置虚拟路由器
vrrp_instance <STRING> {
#<String>为vrrp的实例名,一般为业务名称
配置参数
......
}
#配置参数:
state MASTER|BACKUP
#当前节点在此虚拟路由器上的初始状态,状态为MASTER或者BACKUP
interface IFACE_NAME
#绑定为当前虚拟路由器使用的物理接口,如:eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID
#每个虚拟路由器惟一标识,范围:0-255,每个虚拟路由器此值必须唯一,否则服务无法启动,同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100
#当前物理节点在此虚拟路由器的优先级,范围:1-254,值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1
#vrrp通告的时间间隔,默认1s
authentication {
#认证机制
auth_type AH|PASS
#AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
auth_pass <PASSWORD>
#预共享密钥,仅前8位有效,同一个虚拟路由器的多个keepalived节点必须一样
}
include /etc/keealived/conf.d/*.conf
virtual_ipaddress {
#虚拟IP,生产环境可能指定上百个IP地址
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
192.168.200.100
#指定VIP,不指定网卡,默认为,注意:不指定/prefix,默认为/32
192.168.200.101/24 dev eth1
#指定VIP的网卡,建议和interface指令指定的岗卡不在一个网卡
192.168.200.102/24 dev eth2 label eth2:1
#指定VIP的网卡label
}
track_interface {
#配置监控网络接口,一旦出现故障,则转为FAULT状态实现地址转移
eth0
eth1
…
}
(下面一段可复制使用)(注意需要修改IP地址)
1 ! Configuration File for keepalived
2
3 global_defs {
4 notification_email {
5 acassen@firewall.loc
6 failover@firewall.loc
7 sysadmin@firewall.loc
8 }
9 notification_email_from Alexandre.Cassen@firewall.loc
10 smtp_server 127.0.0.1
11 smtp_connect_timeout 30
12 router_id LVS_01
13 vrrp_skip_check_adv_addr
14 #vrrp_strict
15 vrrp_garp_interval 0
16 vrrp_gna_interval 0
17 }
18
19 vrrp_instance VI_1 {
20 state MASTER
21 #nopreempt
22 interface ens33
23 virtual_router_id 51
24 priority 100
25 advert_int 1
26 authentication {
27 auth_type PASS
28 auth_pass abc123
29 }
30 virtual_ipaddress {
31 192.168.67.35
32 }
33
34 virtual_server 192.168.67.35 80 {
35 delay_loop 6
36 lb_algo rr
37 lb_kind DR
38 persistence_timeout 0
39 protocol TCP
40
41 real_server 192.168.67.13 80 {
42 weight 1
43 TCP_CHECK {
44 connect_port 80
45 connect_timeout 3
46 nb_get_retry 3
47 delay_before_retry 3
48 }
49 }
50
51 real_server 192.168.67.14 80 {
52 weight 1
53 TCP_CHECK {
54 connect_port 80
55 connect_timeout 3
56 nb_get_retry 3
57 delay_before_retry 3
58 }
59 }
60 }
各种模式实验(依托于大实验成功后)
抢占模式,非抢占模式,延迟抢占模式
[root@localhost keepalived]#tcpdump -i ens33 -nn host 224.0.0.18
#启动服务可以抓包查看
[root@localhost ~]#ping 192.168.67.11
#真实服务器ping是可以通的
可以做实验 一直抓包
#非抢占模式
默认模式 使用的 抢占式
主节点会抢占回来,会造成 两次网络动荡。
#注意:要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP
#非抢占式
#1主机配置
vrrp_instance VI_1 {
state BACKUP #都为BACKUP
interface ens33
virtual_router_id 66
priority 100 #优先级高
advert_int 1
nopreempt #添加此行,都为nopreempt
#2主机配置
vrrp_instance VI_1 {
state BACKUP #都为BACKUP
interface ens33
virtual_router_id 66
priority 80 #优先级低
advert_int 1
nopreempt #添加此行,都为nopreempt
#延迟抢占
preempt_delay # #指定抢占延迟时间为#s,默认延迟300s
#注意:需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
#1主机配置
vrrp_instance VI_1 {
state BACKUP #都为BACKUP
interface ens33
virtual_router_id 51
priority 100 #优先级高
advert_int 1
preempt_delay 30 #抢占延迟模式,默认延迟300s
#2主机配置
vrrp_instance VI_1 {
state BACKUP #都为BACKUP
interface ens33
virtual_router_id 51
priority 80 #优先级低
advert_int 1
preempt_delay 60 #抢占延迟模式,默认延迟300s
单播多播地址
修改多播
#在从服上抓包主服网卡流量
tcpdump -i ens33 -nn src host 192.168.67.11
ens33 抓包的网卡
-nn 查看详细信息,n越多越详细
IP地址 指定主机
抓包看一下
在主/备的keepalive配置文件中添加地址即可更改默认组播地址
修改单播
修改单播:
#在所有节点vrrp_instance语句块中设置对方主机的IP,建议设置为专用于对应心跳线网络的地址,而非使用业务网络
unicast_src_ip <IPADDR> #指定发送单播的源IP
unicast_peer {
<IPADDR> #指定接受单播的目标主机IP
}
在vrrp_instance块的虚拟IP下一段添加(记得删除上面添加的指定组播地址那一段)
#在从节点抓包验证
tcpdump -i ens33 host -nn 192.168.67.11
通知脚本
当前节点成为主节点时触发的脚本
notify_master <STRING>|<QUOTED-STRING>
当前节点转为备节点时触发的脚本
notify_backup <STRING>|<QUOTED-STRING>
当前节点转为“失败”状态时触发的脚本
notify_fault <STRING>|<QUOTED-STRING>
通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知
notify <STRING>|<QUOTED-STRING>
当停止VRRP时触发的脚本
notify_stop <STRING>|<QUOTED-STRING>
配置邮箱
#配置邮箱
vim /etc/mail.rc
set from=1234567@qq.com
set smtp=smtp.qq.com
set smtp-auth-user=1234567@qq.com
set smtp-auth-password=
###
cd /opt
vim keepalive.sh
#!/bin/bash
#
contact='1234567@qq.com'
notify() {
mailsubject="$(hostname) to be $1, vip floating"
mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
notify master
;;
backup)
notify backup
;;
fault)
notify fault
;;
*)
echo "Usage: $(basename $0) {master|backup|fault}"
exit 1
;;
esac
###
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
preempt_delay 30
advert_int 1
authentication {
auth_type PASS
auth_pass abc123
}
virtual_ipaddress {
192.168.67.35
}
notify_master "/opt/keepalive.sh master"
notify_backup "/opt/keepalive.sh backup"
notify_fault "/opt/keepalive.sh fault"
}
#添加执行权限(有了执行权限后,将无法再启动/重启keepalive.conf文件)
chmod +x /etc/keepalived/keepalived.conf
#模拟master故障(killall 用来结束同名的所有进程)
killall keepalived
日志功能
开启单独日志功能
#查看帮助
keepalived --help
[root@test1 opt]# ps aux | grep keep
root 22777 0.0 0.0 118636 1344 ? Ss 01:15 0:00 /usr/sbin/keepalived -D
root 22778 0.0 0.1 127500 3324 ? S 01:15 0:00 /usr/sbin/keepalived -D
root 22779 0.0 0.1 129524 2832 ? S 01:15 0:00 /usr/sbin/keepalived -D
root 22980 0.0 0.0 112660 964 pts/1 R+ 01:18 0:00 grep --color=auto keep
vim /lib/systemd/system/keepalived.service
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/sbin/keepalived $KEEPALIVED_OPTIONS
[root@test1 opt]# vim /etc/sysconfig/keepalived
13
14 KEEPALIVED_OPTIONS="-D -S 6"
15
[root@test1 opt]# vim /etc/rsyslog.conf
72 # Save boot messages also to boot.log
73 local7.* /var/log/boot.log
74 local6.* /opt/keepalived.log
[root@test1 opt]# ls
fdisk.sh keepalive.sh rh
[root@test1 opt]# systemctl restart keepalived.service rsyslog.service
[root@test1 opt]# ls
fdisk.sh keepalived.log keepalive.sh rh
#查看日志文件
[root@test1 opt]# cat /opt/keepalived.log
Mar 10 01:21:29 test1 Keepalived[23160]: Starting Keepalived v1.3.5 (03/19,2017), git commit v1.3.5-6-g6fa32f2
Mar 10 01:21:29 test1 Keepalived[23160]: Opening file '/etc/keepalived/keepalived.conf'.
Mar 10 01:21:29 test1 Keepalived[23161]: Starting Healthcheck child process, pid=23162
实际操作:
LVS + Keepalived 高可用群集
环境
主keepalived:192.168.91.100 lvs
备keepalived:192.168.91.101 lvs
web1:192.168.91.102
web2:192.168.91.103
vip:192.168.91.188
客户机访问
systemctl stop firewalld.service
setenforce 0
[root@localhost ~]#systemctl stop firewalld.service
[root@localhost ~]#setenforce 0
[root@localhost ~]#yum install ipvsadm keepalived -y
[root@localhost ~]#modprobe ip_vs
[root@localhost ~]#cat /proc/net/ip_vs
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@localhost keepalived]#ipvsadm-save > /etc/sysconfig/ipvsadm
[root@localhost keepalived]#systemctl start ipvsadm.service
[root@localhost keepalived]#cd /etc/keepalived/
[root@localhost keepalived]#cp keepalived.conf keepalived.conf.bak
#复制一份
[root@localhost keepalived]#vim keepalived.conf
global_defs {
router_id HA_TEST_R2 ####本路由器的服务器名称 HA_TEST_R2
}
vrrp_instance VI_1 { ####定义VRRP热备实列
state BACKUP ####热备状态,backup表示辅服务器
interface ens33 ####表示承载VIP地址的物理接口
virtual_router_id 1 ####虚拟路由器的ID号,每个热备组保持一致
priority 99 ####优先级,优先级越大优先级越高
advert_int 1 ####通告间隔秒数(心跳频率)
authentication { ####认证信息,每个热备组保持一致
auth_type PASS ####认证类型
auth_pass 123456 ####认证密码
}
virtual_ipaddress { ####漂移地址(VIP),可以是多个
192.168.100.10
}
}
#需要修改项
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
#修改邮箱指向自己(10行)
smtp_connect_timeout 30
router_id LVS_01
#指定服务器名称主备需要不一样(12行)
vrrp_skip_check_adv_addr
#vrrp_strict
#14行需要注释否则服务启动有问题
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
#指定服务器类型MASTER为主 BACKUP为备(20行)
interface ens33
#修改网卡名称为ens33(21)
virtual_router_id 10
#指定虚拟路由器的ID号主备需要一致
#nopreempt
#非抢占模式两个节点都需要配置去掉注释
priority 100
#设定优先级数字越大优先级越高,准备需要不一样
advert_int 1
#通告间隔(查看是否存活)
authentication {
auth_type PASS
#认证类型
auth_pass 123456
#修改验证密码,主备需要一样(27行)
}
virtual_ipaddress {
192.168.91.188
#指定群集vip地址
}
}
virtual_server 192.168.91.188 80 {
delay_loop 6
#健康间隔时间6秒
lb_algo rr
#调度算法轮询
lb_kind DR
#lvs模式为DR
persistence_timeout 0
#连接保持时间改为0 否则 无法体现效果
protocol TCP
#采用协议
real_server 192.168.91.103 80 {
#43行修改地址为真实主机地址
weight 1
#45行删除
#节点权重
TCP_CHECK{
connect_port 80
#检查目标端口
connect_timeout 3
#连接超时
nb_get_retry 3
#重试次数
delay_before_retry 3
#重试间隔时间
}
}
real_server 192.168.91.105 80 {
#第二个
weight 1
TCP_CHECK{
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
#从服务器配置
systemctl stop firewalld.service
setenforce 0
[root@localhost ~]#systemctl stop firewalld.service
[root@localhost ~]#setenforce 0
[root@localhost ~]#yum install ipvsadm keepalived -y
[root@localhost keepalived]#scp keepalived.conf root@192.168.91.101:/etc/keepalived/
#将配置文件拷入 从服务器
[root@localhost keepalived]#systemctl start keepalived.service
[root@localhost keepalived]#ip a
[root@localhost keepalived]#vim /etc/sysctl.conf
[root@localhost keepalived]#sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost keepalived]#vim keepalived.conf
#备份keepalive
12 router_id LVS_02
20 state BACKUP
23 priority 99
[root@localhost keepalived]#systemctl start keepalived.service
[root@localhost keepalived]#ipvsadm
[root@localhost keepalived]#ipvsadm -ln
[root@localhost keepalived]#vim /etc/sysctl.conf
[root@localhost keepalived]#sysctl -p
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
节点模式
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#systemctl start httpd
[root@localhost ~]#yum install httpd -y
[root@localhost html]#ifconfig lo:0 192.168.91.188 netmask 255.255.255.255
[root@localhost html]#vim /etc/sysctl.conf
[root@localhost html]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@localhost network-scripts]#route add -host 192.168.91.188 dev lo:0
#设置路由
面试重点
#模拟脑裂
[root@localhost keepalived]#iptables -A INPUT -s 192.168.91.100 -j REJECT
#在备份主机中加入此项
[root@localhost keepalived]#ip a
#可以在主备上都发现vip地址
脑裂解释
什么是脑裂?
在高可用(HA)系统中,当联系2个节点的“心跳线”断开时,本来为一整体、动作协调的HA系统,
就分裂成为2个独立的个体。
由于相互失去了联系,都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样,争抢“共享
资源”、争起“应用服务”,就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了;或者两边
“服务”都起来了,但同时读写“共享存储”,导致数据损坏
都有哪些原因导致脑裂?
高可用服务器对之间心跳线链路发生故障,导致无法正常通信。
因心跳线坏了(包括断了,老化)。
因网卡及相关驱动坏了,ip配置及冲突问题(网卡直连)
因心跳线间连接的设备故障(网卡及交换机)
高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
高可用服务器上心跳网卡地址等信息配置不正确,导致发送心跳失败
其他服务配置不当等原因,如心跳方式不同,心跳广插冲突、软件Bug等。
多组keepalive服务器造成 组播冲突 1.换组播地址 2.改成单播
默认:
单播:
组播:
广播:
A 1 -127
B 128-191
C 192-223
D 224-239 224.0.0.18
如何解决keepalived脑裂问题?
在实际生产环境中,我们从以下方面防止脑裂:
#同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路,这样一条线路断了,另外一条还是好的,依然能传送心跳消息
#当检查脑裂时强行关闭一个心跳节点(这个功能需要特殊设备支持,如stonith、fence)相当于备节点接收不到心跳消息,通过单独的线路发送关机命令关闭主节点的电源
rsyslog 分割日志
#做好对脑裂的监控报警解决常见方案:
如果开启防火墙,一定要让心跳消息通过,一般通过允许IP段的形式解决
可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余
开发检测程序通过监控软件检测脑裂
keepalived lvs 负载均衡 反向代理
lvs 高可用
后端服务器的 健康性检查问题
正向代理作用: 加快访问速度 可以绕过防火墙
代理的客户端
我要访问 google 正向代理服务器 google 服务器
反向代理: 负载均衡 优化资源
代理的服务端的
客户端 不需要知道服务端到底是什么样子的,只要能访问就行
keepalived 脑裂
vrrp 协议 心跳线收不到
实现其它应用的高可用性 VRRP Script
keepalived利用 VRRP Script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先动态调整,从而实现其它应用的高可用性功能
参考配置文件:
/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck
VRRP Script 配置
[root@test1 opt]# killall -0 nginx
nginx: no process found
[root@test1 opt]# echo $?
1