1、LVS DR模式
DR 模式是通过改写请求报文的目标 MAC 地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户。DR 模式可以极大的提高集群系统的伸缩性。但是要求调度器 LB 与真实服务器 RS 都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。DR 模式是互联网使用比较多的一种模式。 如果要提供互联网业务，要求每台服务器都具有外网 IP 地址。
工作原理
① 客户端 192.168.1.10 向目标 vip：192.168.1.88 发出请求
② 调度器收到客户端请求后，根据负载均衡算法选择一台 active 的 real server（假设是 cong12），并把数据包的目标地址的 MAC 地址修改为 cong12 的 MAC 地址，然后把数据包发送到局域网里。
③ cong12 服务器在局域网收到这个数据包，发现数据包的目的地址和本机匹配（因为所有的 realserver 配置了相同的 VIP），MAC 地址和本机匹配，于是这个包被合法接受，开始处理数据包，随后重新封装报文，发送到局域网。
注意：RS 返回响应时，直接向源 IP（即客户端的 IP）返回数据包，不再经过 LVS 调度器。
④ 如果 client 与 LVS 同一网段，那么 client(192.168.1.10)将收到这个回复报文。如果跨了网段，那么报文通过 gateway/路由器经由 Internet 返回给用户。
lvs-dr 做的事情很少，也很简单，所以它的效率很高，不比硬件负载均衡设备差 多少。数据包、数据帧的大致流向是这样的：client --> lVS --> RS --> client
模式特点
① 保证前端路由将目标地址为 VIP 报文统统发给 Director Server，而不是 RS
② RS 可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对 RIP 进行直接访问。
③ RS 跟 Director Server 必须在同一个物理网络中
④ 所有的请求报文经过 Director Server，但响应报文不会经过 Director Server
⑤ 不支持地址转换，也不支持端口映射
⑥ RS 可以是大多数常见的操作系统
⑦ RS 的网关绝不允许指向 DIP
⑧ RS 上的 lo 接口配置 VIP 地址
缺陷：唯一的缺陷在于它要求 LVS 调度器及所有应用服务器在同一个网段中，因此不能实现集群的跨网段应用。
实验拓扑
主机 |
内网/外网 IP |
VIP |
角色 |
JClouds |
192.168.137.253 |
192.168.137.88 |
LVS |
Book |
192.168.137.252 |
192.168.137.88 |
httpd |
Client01 |
192.168.137.6 |
192.168.137.88 |
httpd |
配置负载调度器
从 lvs-dr 模式的工作原理我们可以看出负载调度器 ens33 有 2 个 IP 地址，所以我们需要配置 ens33 和 ens33:0 两个 IP
# 配置 VIP
ifconfig ens33:0 192.168.1.88/24
ifconfig ens33:0
# 加载 ip_vs 模块并安装 ipvsadm 软件包
modprobe ip_vs
yum -y install ipvsadm
# 使用 ipvsadm 创建负载分配策略
ipvsadm -A -t 192.168.1.88:80 -s wrr
# -g 表示 DR 模式 ， -m 表示 IP NAT 模式
ipvsadm -a -t 192.168.137.88:80 -r 192.168.137.252:80 -g -w 1
ipvsadm -a -t 192.168.137.88:80 -r 192.168.137.6:80 -g -w 2
# 保存配置或规则
ipvsadm --save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm
systemctl enable ipvsadm
# 查看负载均衡策略
ipvsadm -Ln
注：三个 LVS 模式中，只有 NAT 模式需要开启路由转发功能。 DR 和 TUN 模式不需要开启,也不需要把网关指向调度器。
配置真实服务器
Book & Client01 配置相同
① 关闭 ARP 转发
同一个广播域：配置了多个相同的 VIP 是不允许的, 要想实现，就必须让外面的网络, 无法发现这个 VIP 的存在。因此在 Linux 里面, 可以修改内核参数, 实现接口 IP 的广播不响应、不广播。
# 临时配置
echo 1 > /proc/sys/net/ipv4/conf/ens33/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens33/arp_announce
# 永久生效：在配置文件最后添加
vim /etc/sysctl.conf
net.ipv4.conf.ens33.arp_ignore = 1
net.ipv4.conf.ens33.arp_announce = 2
# 或：
net.ipv4.conf.ens33.arp_ignore = 1
net.ipv4.conf.ens33.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2arp_ignore：定义了网卡在响应外部 ARP 请求时候的响应级别，即当 ARP 请求发过来后发现自己正是请求的地址是否响应。
- 0：默认值，不管哪块网卡接收到了 ARP 请求，只要发现本机有这个 MAC 都给与响应
- 1：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了 ARP 请求，发现所请求的 MAC 是本机另一块网卡的，这个时候接收到 ARP 请求的这块网卡就一定不响应，只有发现请求的 MAC 是自己的才给与响应。
arp_announce: 的作用是控制系统在对外发送 arp 请求时，如何选择 arp 请求数据包的源 IP 地址：
- 0：默认值，允许使用任意网卡上的 IP 地址作为 arp 请求的源 IP。
- 1：尽量避免使用不属于该发送网卡子网的本地地址作为发送 arp 请求的源 IP 地址。
- 2：选择该发送网卡上最合适的本地地址作为 arp 请求的源 IP 地址。
② 配置虚拟IP地址
# 生成回环口配置文件：
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim ifcfg-lo:0
#--------------------------
DEVICE=lo:0
IPADDR=192.168.1.88
NETMASK=255.255.255.255
ONBOOT=yes
NAME=loopback
#----------------------------
systemctl restart network
ifconfig lo:0③ 配置Http服务
yum install -y httpd
systemctl start httpd
systemctl enable httpd
echo "192.168.137.5" > /var/www/html/index.html
2、LVS NAT模式
工作原理
通过网络地址转换，客户端访问调度器时，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端真实服务器；真实服务器的响应报文通过调度器时，报文源地址被重写再返回给客户，完成整个负载调度过程。但通常在流量比较大的情况下会造成调度器的瓶颈。因为服务数据的返回必须通过调度器出去。
客户端访问VIP1
CIP 客户端的 IP
VIP 是域名解析的 IP, 是集群对外的公网 IP
DIP 用来和后端服务器进行数据交互的 IP, 请求报文转发给后端服务器从此口出去
RIP 真实服务器的 IP
调度器使用 NAT 进行地址转换
客户端访问调度器时，调度器通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器。
真实服务器返回处理结果
真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程
实验拓扑
主机名 |
内网ip |
外网ip |
角色 |
JClouds |
192.168.137.253 |
192.168.2.253 |
LVS |
Book |
192.168.137.252 |
httpd |
|
Client01 |
192.168.137.6 |
httpd |
前期准备
# 关闭防火墙和 selinux（所有服务器）
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config配置真实服务器
#--------------------配置Book------------------------------
# 安装 httpd
yum install -y httpd
systemctl enable httpd
# 生成测试网页
echo "192.168.1.12" > /var/www/html/index.html
# 修改本机网关为JClouds的IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
# 测试网页
curl 192.168.1.12
#--------------------配置Client01------------------------------
yum install -y httpd
systemctl restart httpd
echo "192.168.137.6" > /var/www/html/index.html
# 修改本机网关为JClouds的IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
curl 192.168.137.6director 配置负载均衡器
JClouds主机 添加一块网卡
配置宿主机 vmnet1 ip 地址
cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens37
vim ifcfg-ens37
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="none"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens36"
DEVICE="ens36"
ONBOOT="yes"
IPADDR="192.168.2.10"
PREFIX="24"
systemctl restart network
ifconfig ens36
# 打开路由转发功能
echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
sysctl -p
加载LVS内核模块
LVS 现在已成为 Linux 内核的一部分，默认编译为 ip_vs 模块，必要时能够自动调 用。以下操作可以手动加载 ip_vs 模块，并查看当前系统中 ip_vs 模块的版本信息。
modprobe ip_vs
lsmod | grep ip_vs
cat /proc/net/ip_vs
# 安装 LVS 管理工具:ipvsadm
yum install -y ipvsadmipvsadm 命令
- -A 添加虚拟服务器
- -t 用来指定 VIP 地址及 TCP 端口
- -s 指定调度算法，rr（轮询）、wrr（加权轮询）、lc（最少连接）、wlc（加权最少连 接）。
- -a 表示添加 real server 的地址
- -r 指定 real server 的 IP 地址和端口
- -m 表示 masquerade 也就是 NAT 方式的 LVS，（-g： DR 模式、-i：TUN 模式）
- -w 用来设置权重（权重为 0 时表示暂停节点）。
- -C 清除内核虚拟服务器表中的所有记录
- -Z 虚拟服务表计数器清零
- -d 删除服务器节点
- -D 删除整个虚拟服务器
# 清除内核虚拟服务器表中的所有记录
ipvsadm -C
# 创建虚拟服务器
ipvsadm -A -t 192.168.2.10:80 -s rr
ipvsadm -a -t 192.168.2.10:80 -r 192.168.137.252:80 -m
ipvsadm -a -t 192.168.2.10:80 -r 192.168.137.6:80 -m
# 查看配置
ipvsadm -Ln
# 保存配置或规则
#LVS 的规则配置文件：/etc/sysconfig/ipvsadm
ipvsadm --save >/etc/sysconfig/ipvsadm
# 查看客户端连接分发器和 real server 的情况
ipvsadm -Lnc
# 查看分发情况
ipvsadm -Ln --stats
# 查看速率
ipvsadm -Ln --rate
# 清空当前的连接数量
ipvsadm -Z #虚拟服务表计数器清零
ipvsadm -Ln --stats
# 删除服务器节点
ipvsadm -d -t 192.168.2.10:80 -r 192.168.137.252:80
ipvsadm -Ln
# 删除整个虚拟服务器
ipvsadm -D -t 192.168.2.11:80
ipvsadm -Ln3、LVS TUN模式
DR 方式是通过 MAC，规模是一个交换网络。而 TUN 方式，是通过给数据包加上新的 IP 头部来实现，这个可以跨整个广域网。TUN 模式可以解决 DR 模式下不能跨网段的问题，甚至可以跨公网进行。
LVS/TUN 使用 IP Tunneling 技术，在 Director 机器和 Real Server 机器之间架设一个IP Tunnel，通过 IP Tunnel 将负载分配到 Real Server 机器上。Director 和 Real Server 之间的关系比较松散，可以是在同一个网络中，也可以是在不同的网络中，只要两者能够通过 IP Tunnel 相连就行。收到负载分配的 Real Server 机器处理完后会直接将反馈数据送回给客户，而不必通过 Director 机器。实际应用中，服务器必须拥有正式的 IP 地址用于与客户机直接通信，并且所有服务器必须支持 IP 隧道协议。
工作原理
在原有的 IP 报文外再次封装一层 IP 首部，内部 IP 首部(源地址为 CIP，目标 IP 为 VIP)，外层 IP 首部(源地址为 DIP，目标 IP 为 RIP)
① 当用户请求到达 Director Server，此时请求的数据报文会先到内核空间的 PREROUTING 链。 此时报文的源 IP 为 CIP，目标 IP 为 VIP 。
② PREROUTING 检查发现数据包的目标 IP 是本机，将数据包送至 INPUT 链
③ IPVS 比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层 IP 报文，封装源 IP 为 DIP，目标 IP 为 RIP。然后发至 POSTROUTING 链。 此时源 IP 为 DIP，目标 IP 为 RIP
④ POSTROUTING 链根据最新封装的 IP 报文，将数据包发至 RS（因为在外层封装多了一层 IP 首部，所以可以理解为此时通过隧道传输）。 此时源 IP 为 DIP，目标IP 为 RIP
⑤ RS 接收到报文后发现是自己的 IP 地址，就将报文接收下来，拆除掉最外层的 IP 后，会发现里面还有一层 IP 首部，而且目标是自己的 lo 接口 VIP，那么此时 RS 开始处理此请求，处理完成之后，通过 lo 接口送给 ens33 网卡，然后向外传递。此时的源 IP 地址为 VIP，目标 IP 为 CIP
⑥ 响应报文最终送达至客户端
模型特性
① RIP、VIP、DIP 全是公网地址
② RS 的网关不会也不可能指向 DIP
③ 所有的请求报文经由 Director Server，但响应报文必须不能进过 Director Server
④ 此模式不支持端口映射
⑤ RS 的操作系统得支持隧道功能
缺点：由于后端服务器 RS 处理数据后响应发送给用户，此时需要租借大量 IP（特别是后端服务器使用较多的情况下）。
优点：实现 lvs-tun 模式时，LVS 调度器将 TCP/IP 请求进行重新封装并转发给后端服务器，由目标应用服务器直接回复用户。负载调度器和应用服务器之间是通过 IP 隧道来进行转发，故两者可以存在于不同的网段中（如异地机房，好处是可以容灾， 通过智能 dns（DNS view）实现边界 最近访问）。
注：其实企业中最常用的是 DR 实现方式。
实验拓扑
主机 |
外网 IP |
VIP |
角色 |
JClouds |
192.168.137.253 |
192.168.137.88 |
LVS |
Book |
192.168.137.252 |
192.168.137.88 |
httpd |
Client01 |
192.168.137.6 |
192.168.137.88 |
httpd |
配置负载调度器
① 加载 ipip 隧道模块
modprobe ipip
lsmod | grep ipip
② 为 tunl0 设备配置 VIP
# 激活隧道
ip link set up tunl0
# 添加虚拟 ip
ip addr add 192.168.137.88 dev tunl0
ifconfig tunl0
# 加载 ip_vs 模块并安装 ipvsadm 软件包
modprobe ip_vs
yum -y install ipvsadm
systemctl enable ipvsadm
# 使用 ipvsadm 创建负载分配策略
ipvsadm -C
ipvsadm -A -t 192.168.137.88:80 -s rr
# -i 隧道模式
ipvsadm -a -t 192.168.137.88:80 -r 192.168.137.252:80 -i
ipvsadm -a -t 192.168.137.88:80 -r 192.168.137.6:80 -i
ipvsadm --save > /etc/sysconfig/ipvsadm
# 查看配置
ipvsadm -ln
配置真实服务器
Book & Client01 配置相同
① 查看加载 ipip 模块
modprobe ipip
lsmod | grep ipip
# 查看tunl0
ifconfig -a
② 关闭 ARP 转发
# 文件最后添加以下内容
vim /etc/sysctl.conf
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.tunl0.rp_filter = 0- rp_filter 定义系统是否开启对数据包源地址的校验
- net.ipv4.conf.tunl0.rp_filter 默认为 1 ，改为 0，关闭此功能。Linux 的 rp_filter用于实现反向过滤技术，它验证反向数据包的流向，以避免伪装 IP 攻击 。然而，在 LVS TUN 模式中，我们的数据包是有问题的，因为从 realserver ens33 出去的 IP 数据包的源 IP 地址应该为 192.168.1.12，而不是 VIP 地址。所以必须关闭这一项功能。 DR 和 TUN 在网络层实际上使用了一个伪装 IP 数据包的功能。
- net.ipv4.conf.all.rp_filter = 0 #这个值默认就是 0，此功能就是关闭的。所以在 LVS DR 模式中，不需要修改这一样内核参数。
③ 配置VIP
ifconfig tunl0 192.168.137.88 netmask 255.255.255.255 up
ifconfig tunl0
④ 配置 Httpd 服务
yum install -y httpd
systemctl start httpd
systemctl enable httpd
echo "192.168.137.253" > /var/www/html/index.html
# 查看调度情况
ipvsadm -Lnc
4、DR VS NAT VS TUN
