Docker方式创建keepalived连接MGR集群

记录一下简单的搭建步骤以便后期查验

前言

假设已经搭建了MySQL8的MGR集群方式（一主两从）。

MGR本身有故障转移重新选举新的主节点功能，但是上游的应用程序需要自己手动修改数据库连接地址重新指向主节点。

为了了能不用手动方式切换主节点需要中间代理访问程序，提供的方案有很多例如 nginx、keepalived、proxysql等，这里我们先选择使用keepalived，后期使用proxysql代理。

步骤

1. 安装环境

安装Docker和MGR 这里略过

2. 重新制作镜像

登录任意一个节点服务器，下载原始镜像

docker pull osixia/keepalived:2.0.20

创建临时容器

docker run --name keepalivedtest --cap-add=NET_ADMIN --cap-add=NET_BROADCAST --cap-add=NET_RAW -e KEEPALIVED_INTERFACE=enp6s0 --net=host -d osixia/keepalived:2.0.20

登录进临时容器

docker exec -it keepalivedtest /bin/bash

然后安装mysql客户端

apk add mysql mysql-client
...稍等片刻
...
安装完成后
退出容器 exit

从零时容器生成一个新的镜像：mgr_keepalived

docker commit keepalivedtest  mgr_keepalived:2.0.20

导出镜像文件，上传其他MGR节点服务器

 docker save -o mgr_keepalived2.tar mgr_keepalived:2.0.20

3. 导入新镜像

在每一个MGR节点服务器上导入镜像

docker load -i mgr_keepalived2.tar

4. 创建容器

这里假设3台服务器环境如下：

各服务器文件路径都一致， mysql_master_check.sh 脚本文件内容如下：

#!/bin/bash

# 替换以下变量为你的实际MySQL用户、密码和端口
MYSQL_USER="rpl_user"
MYSQL_PASS="请填写账号密码"
MYSQL_PORT="请填写端口号"
MYSQL_HOST="请填写节点主机IP"

# 检查MySQL服务是否运行
if nc -z "$MYSQL_HOST" "$MYSQL_PORT"; then
    echo "MySQL 服务在 $MYSQL_HOST:$MYSQL_PORT 上正在运行"
else
    echo "MySQL 服务在 $MYSQL_HOST:$MYSQL_PORT 上未运行"
    exit 1
fi

# 检查当前节点是否为主节点
IS_MASTER=$(mysql -u"$MYSQL_USER" -p"$MYSQL_PASS" -P"$MYSQL_PORT" -h"$MYSQL_HOST" -e "SHOW GLOBAL VARIABLES LIKE 'read_only';" | grep -c "OFF")

if [[ $IS_MASTER -eq 1 ]]; then
    echo "当前节点是主节点"
    exit 0
else
    echo "当前节点不是主节点"
    exit 1
fi

各个节点上的文件注意
MYSQL_USER=“rpl_user”
MYSQL_PASS=“请填写账号密码”
MYSQL_PORT=“请填写端口号”
MYSQL_HOST=“请填写节点主机IP”
这几个变量的修改！
用户 rpl_user是用于MGR复制用的，也可以填写其他的用户名，但是用户的密码认证方式必须是之前老式的 mysql_native_password ，因为镜像里面的mysql客户端暂不支持MySQL8默认的密码认证方式。

keepalived.conf 文件内容大致如下：

vrrp_script chk_mysql {
    script "/usr/local/bin/mysql_master_check.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER
    interface enp6s0
    virtual_router_id 51
    priority 101
    advert_int 1  
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.110
    }
    track_script {
        chk_mysql
    }
}

主要是如下几个变量要注意：

• interface 当前节点服务器的网卡名称
• priority 优先级，每一个节点上不一样
• virtual_ipaddress 虚拟ip

3台节点服务器上创建容器如下：

docker run -d --name mgr8keepalived \
	--cap-add=NET_ADMIN \
	--cap-add=NET_BROADCAST \
	--cap-add=NET_RAW \
	--net=host \
	-e KEEPALIVED_INTERFACE=enp6s0 \
	-v /apps/keepalived/keepalived.conf:/container/service/keepalived/assets/keepalived.conf \
	-v /apps/keepalived/mysql_master_check.sh:/usr/local/bin/mysql_master_check.sh \
	mgr_keepalived:2.0.20 --loglevel debug --copy-service

变量 KEEPALIVED_INTERFACE 是指当前节点服务器的网卡名称，如果不想开启debug模式去掉–loglevel debug

查看docker日志一般会有如下信息：

...
Wed Jan 31 09:32:53 2024:    Reset ARP config counter 0
Wed Jan 31 09:32:53 2024:    Original arp_ignore 0
Wed Jan 31 09:32:53 2024:    Original arp_filter 0
Wed Jan 31 09:32:53 2024:    Original promote_secondaries 1
Wed Jan 31 09:32:53 2024:    Reset promote_secondaries counter 0
Wed Jan 31 09:32:53 2024:    Tracking VRRP instances = 0
Wed Jan 31 09:32:53 2024: (VI_1) Entering BACKUP STATE (init)
Wed Jan 31 09:32:53 2024: VRRP sockpool: [ifindex(2), family(IPv4), proto(112), unicast(0), fd(11,12)]
Wed Jan 31 09:32:53 2024: VRRP_Script(chk_mysql) succeeded
Wed Jan 31 09:32:53 2024: (VI_1) Changing effective priority from 101 to 103
Wed Jan 31 09:32:57 2024: (VI_1) Receive advertisement timeout
Wed Jan 31 09:32:57 2024: (VI_1) Entering MASTER STATE
Wed Jan 31 09:32:57 2024: (VI_1) setting VIPs.
Wed Jan 31 09:32:57 2024: Sending gratuitous ARP on enp6s0 for 192.168.1.110
Wed Jan 31 09:32:57 2024: (VI_1) Sending/queueing gratuitous ARPs on enp6s0 for 192.168.1.110
Wed Jan 31 09:32:57 2024: Sending gratuitous ARP on enp6s0 for 192.168.1.110
Wed Jan 31 09:32:57 2024: Sending gratuitous ARP on enp6s0 for 192.168.1.110
...

可以使用虚拟IP 192.168.1.110 连上看下是否可以操作数据库。

可以关闭一个MySQL实例看下keepalived的效果，是否还正常使用，虚拟IP此时是否浮动到新的主节点服务器上了。