Docker搭建Keepalived+Haproxy+PXC集群 - HelloWorld开发者社区

准备环境：

　　1.4台CentOS7主机

　　2.主机名对应的IP地址：

　　　　docker1　　192.168.113.21

　　　　docker2　　192.168.113.22

　　　　docker3　　192.168.113.23

　　　　docker4　　192.168.113.24

操作步骤：

1.4台主机上关闭防火墙，安装并启动Docker服务

2.在docker1主机上搭建Docker Swarm集群，并创建共享网络。

　值得一提的是，我们并不适用Swarm管理容器的技术，仅仅通过共享网络来实现容器跨主机通信，自己搭建Keepalived+Haproxy实现高可用和负载均衡集群

## docker1主机上的操作
docker swarm init
#获取以manager身份加入集群的token
docker swarm join-token manager
#获取以worker身份加入集群的token
docker swarm join-token worker

## 然后docker2、docker3执行worker身份加入集群的命令
## docker4执行manager身份加入集群的命令

## 在docker1主机上创建共享网络
docker network create -d overlay --attachable swarm_test

3.创建存储卷，启动容器

##docker1主机
# 创建存储卷
docker volume craete v1
docker volume create v2
docker volume create backup
# 拉取镜像并改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 启动第一个容器
docker run -d -p 3306:3306 -v v1:/var/lib/mysql -v backup:/data -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A --privileged --name=node1 --net=swarm_test pxc
# 启动第二个pxc容器
docker run -d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -v v2:/var/lib/mysql -v backup:/data --privileged --name=node2 --net=swarm_test -e CLUSTER_JOIN=node1 pxc

##docker2主机
#创建存储卷
docker volume create v3
docker volume create backup
# 拉取镜像并改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 启动容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v3:/var/lib/mysql -v backup:/data --privileged --name=node3 --net=swarm_test pxc


##docker3主机
#创建存储卷
docker volume create v4
docker volume create backup
# 拉取镜像并改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 启动容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v4:/var/lib/mysql -v backup:/data --privileged --name=node4 --net=swarm_test pxc

##docker4主机
# 创建存储卷
docker volume create v5
docker volume create backup
# 拉取镜像并改名
docker pull percona/percona-xtradb-cluster
docker tag percona/percona-xtradb-cluster pxc
docker rmi percona/percona-xtradb-cluster
# 启动容器
docker run -d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123qqq...A -e CLUSTER_NAME=PXC -e XTRABACKUP_PASSWORD=123qqq...A -e CLUSTER_JOIN=node1 -v v5:/var/lib/mysql -v backup:/data --privileged --name=node5 --net=swarm_test pxc

4.docker1和docker4主机部署Haproxy容器，两台机器的操作都一样，这里就只写一台的操作步骤了

//查看pxc容器信息，确定容器的ip,其他几台都这样查看，然后写到下面的配置文件中集群设置中docker inspect node1//准备haproxy.cfg配置文件,这里我将它放在/root/soft/haproxy目录下
vim /root/soft/haproxy/haproxy.cfg
global
    #工作目录
    chroot /usr/local/etc/haproxy
    #日志文件，使用rsyslog服务中local5日志设备（/var/log/local5），等级info
    log 127.0.0.1 local5 info
    #守护进程运行
    daemon

defaults
    log     global
    mode    http
    #日志格式
    option  httplog
    #日志中不记录负载均衡的心跳检测记录
    option  dontlognull
    #连接超时（毫秒）
    timeout connect 5000
    #客户端超时
    timeout client  5000
    #服务器超时
　　 timeout server  50000

#监控界面
listen  admin_stats
    #监控界面的访问的IP和端口
    bind    0.0.0.0:8888
    #访问协议
    mode    http
    #URI相对地址
    stats uri   /dbs
    #统计报告格式'
    stats realm Global\ statistics
    #登陆帐户信息
    stats auth  admin:123qqq...A

#数据库负载均衡
listen  proxy-mysql
    #访问的IP和端口
    bind 0.0.0.0:3306
    #网络协议
    mode tcp
    #负载均衡算法（轮询算法）
　　 #轮询算法：roundrobin
    #权重算法：static-rr
    #最少连接算法：leastconn
    #请求源IP算法：source
    balance roundrobin
    #日志格式
    option  tcplog
    #MySQL中创建一个没有权限的haproxy用户，密码为空。Haproxy使用这个账户对MySQL>数据库心跳检测
    option  mysql-check user haproxy
    server  MySQL_1 10.0.0.2:3306 check weight 1 maxconn 2000
    server  MySQL_2 10.0.0.3:3306 check weight 1 maxconn 2000
    server  MySQL_3 10.0.0.4:3306 check weight 1 maxconn 2000
    server  MySQL_4 10.0.0.5:3306 check weight 1 maxconn 2000
    server  MySQL_5 10.0.0.6:3306 check weight 1 maxconn 2000
    #使用keepalive检测死链
    option  tcpka


//拉取并启动容器
docker run -d -p 4001:8888 -p 4002:3306 -v /root/soft/haproxy:/usr/local/etc/haproxy --name h1 --privileged --net=swarm_test --ip 10.0.0.7 haproxy

//进入容器，加载映射到容器中的配置文件
docker exec -it h1 bash
root@d67237ec2c6a:/# haproxy -f /usr/local/etc/haproxy

5.进入Haproxy容器中，搭建keepalived服务。两台主机的配置依旧是一样，keepalived.conf配置文件都是一样，抢占虚拟ip。所以这里就行写一台的配置

docker exec -it h1 bash

# 因为haproxy容器环境是ubutun系统，我们使用ubutun命令
# 将系统的镜像更换为国内的镜像源
mv /etc/apt/sources.list apt-sources-list.ba
cat << EOF > /etc/apt/sources.list
> deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
> deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse12345678910
> EOF

#更新镜像源
apt-get update
#安装keepalived
apt-get install keepalived
#安装vim
apt-get install vim

#修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
vrrp_instance  VI_1 {
    state  MASTER
    interface  eth0
    virtual_router_id  51
    priority  100
    advert_int  1
    authentication {
        auth_type  PASS
        auth_pass  123456
    }
    virtual_ipaddress {
        10.0.0.10
    }
}


#启动keepalived
service keepalived restart

#下载ping和ifconfig工具，便于测试
apt-get install inetutils-ping
apt-get install net-tools

# 测试
ping 10.0.0.10

6.后续的配置，就只是需要后端集群访问10.0.0.10这个虚拟ip，来实现访问pxc集群。当然后端集群也得是在swarm_test这个网段上的