基于docker实现MySQL主从复制

参考:

MySQL 主从分离(读写分离)原理_mysql 读写分离实现原理-CSDN博客

mysql复制数据兵插入_跟大家聊聊mysql主从复制原理-CSDN博客

windows下mysql主从复制配置_哪个配置设置主从复制方式-CSDN博客

Windows下MySQL主从复制的配置 - gdjlc - 博客园 (cnblogs.com)

主从复制的原理:

图:

img

执行流程说明:
Master 主库进行 update、insert、delete 操作,按照顺序写入 bin log 中。当 Slave 连接到 Master 主库后,Master 主库会为 Slave 开启 binlog dump thread 线程,该线程会去读取 bin log日志
Slave 从库生成两个线程,一个 I/O thread 线程,一个 SQL thread 线程
I/O thread 线程去请求 Master 主库的 big log,请求通过 binlog dump thread 读取 bin log日志,并将得到的 big log 日志写入到 relay log(中继日志)文件中,中继日志记录数据更新的信息
Slave 从库的 SQL thread 线程会实时监控 relay log 日志中内容是否有更新,如果有就会将更新的内容同步到 Slave 从库数据库中,这样就保证了主从的数据的同步
MySQL 主从复制的作用:
在企业实际的开发中,后端 MySQL 数据库只有一台的时候,会有以下问题:
单台 MySQL 服务故障不可用无法处理大量的并发数据请求数据会有丢失的风险
如果是通过主从复制,它的优点就很明显,如下:

如果 Master 主节点出现故障,那么我们就直接将服务切到 Slave 从节点,来保证服务立马可用如果并发请求特别大的时候,我们可用进行读写分离操作,让 Master 主库负责写,Slave 从库负责读如果 Master 主库数据丢失,Slave 从库还保存一份,减少数据丢失的风险

1、通过docker镜像搭建MySQL主从

我们采用一主二从的方式

主服务器:容器名star-mysql-master,端口3306

从服务器:容器名star-mysql-slave1,端口3307

从服务器:容器名star-mysql-slave2,端口3308

2、防火墙开放端口,和服务器的安全组也需要开放对应的端口(也可以不开防火墙,省掉防火墙的添加端口的步骤)

防火墙一系列命令,我们需要添加主从数据库需要的端口3306、3307、3308

防火墙设置
查看防火墙状态
systemctl status firewalld
开启防火墙
systemctl start firewalld
关闭防火墙
systemctl stop firewalld
重启防火墙
service firewalld start

若遇到无法开启 先用:
systemctl unmask firewalld.service
然后:
systemctl start firewalld.service
查询指定端口是否已开
firewall-cmd --query-port=666/tcp

开放端口保存
添加指定需要开放的端口:
firewall-cmd --add-port=123/tcp --permanent
重载入添加的端口:
firewall-cmd --reload
查询指定端口是否开启成功:
firewall-cmd --query-port=123/tcp
移除端口
移除指定端口:
firewall-cmd --permanent --remove-port=123/tcp
查询开放的防火墙列表
firewall-cmd --zone=public --list-ports
若开放了端口还是连接不上你想要的端口,
注意:有可能是你阿里云自带安全组策略限制的原因,这种情况需要在阿里云官方云服务器管理控制台手动开放。
查看防火墙状态 
systemctl status firewalld
开启防火墙
systemctl start firewalld
添加3306端口
firewall-cmd --add-port=3306/tcp --permanent
重载入添加的端口:
firewall-cmd --reload
查询开放的防火墙列表
firewall-cmd --zone=public --list-ports
按照以上步骤依次添加3306、3307、3308端口
注意云服务器上的防火墙的安全组也需要开放对应的端口 3306、3307、3308

3、启动docker

这里需要你已经有安装docker的情况,如果没有安装docker就自己按照网上直接去安装一个

#启动docker
systemctl start docker
#查看当前docker 镜像
docker images
#查看当前docker容器的运行情况
docker ps -a

4、搭建主服务器master(主机中创建slave用户)

解释

-d 是后台运行

-p 是暴露的端口号

-v 是我们的数据卷

–name 这个容器的名称

-e MYSQL_ROOT_PASSWORD=123456 设置密码

mysql:8.0.31 mysql镜像的版本

docker run -d \
-p 3306:3306 \
-v /home/mysql/master/conf:/etc/mysql/conf.d \
-v /home/mysql/master/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name star-mysql-master \
mysql:8.0.31

如果docker本地镜像中没有MySQL,会默认去下载镜像

创建MySQL主服务器配置文件:

默认情况下MySQL的binlog日志是自动开启的,可以通过如下配置定义一些可选配置

创建mysql配置文件

vim /home/mysql/master/conf/my.cnf

配置文件内容:

通过vim命令写入到my.cnf即可

[mysqld]
# 服务器唯一id,默认值1
server-id=1
# 设置日志格式,默认值ROW
binlog_format=STATEMENT
# 二进制日志名,默认binlog
# log-bin=binlog
# 设置需要复制的数据库,默认复制全部数据库
#binlog-do-db=mytestdb
# 设置不需要复制的数据库
#binlog-ignore-db=mysql
#binlog-ignore-db=infomation_schema

解释:

主库配置详解
server-id = 1 #服务器 id,随意,但要唯一
log_bin = /var/log/mysql/mysql-bin.log #二进制文件存放路径
read-only = 0 #[可选] 0(默认)表示读写(主机),1表示只读(从机)
binlog_expire_logs_seconds = 2592000 #设置日志文件保留的时长,单位是秒
max_binlog_size = 100M #控制单个二进制日志大小。此参数的最大和默认值是1GB
binlog_do_db = test #待同步的数据库日志
binlog_ignore_db = mysql,sys #不同步的数据库日志
注意:binlog日志

binlog格式说明:

binlog_format=STATEMENT:日志记录的是主机数据库的写指令,性能高,但是now()之类的函数以及获取系统参数的操作会出现主从数据不同步的问题。

binlog_format=ROW(默认):日志记录的是主机数据库的写后的数据,批量操作时性能较差,解决now()或者 user()或者 @@hostname 等操作在主从机器上不一致的问题。

binlog_format=MIXED:是以上两种level的混合使用,有函数用ROW,没函数用STATEMENT,但是无法识别系统变量

我们此处采用STATEMENT模式

因为修改了mysql的配置文件,需要重启MySQL容器

docker ps -a 
找到刚刚跑的3306端口的mysql 找到容器的id
docker restart 容器的id
重启成功后

到这里如果防火墙关闭关闭(或者是服务器和安全组的防火墙对应端口有开) 就可以通过通过navicati进行远程连接了

如果访问不了可参考:Docker配置MySQL容器+远程连接(全流程)_连接docker中的mysql-CSDN博客

使用命令行登录MySQL主服务

mysql5.7与8.0密码加密方式_mysql_native_password-CSDN博客

#进入容器:env LANG=C.UTF-8 避免容器中显示中文乱码
docker exec -it 3306端口的容器id env LANG=C.UTF-8 /bin/bash
或者使用 docker exec -it 3306端口的容器id /bin/bash

#进入容器内的mysql命令行
mysql -uroot -p
# 如果SQLyog或Navicat测试连接报错,修改默认加密方式
#修改默认密码校验方式
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
因为版本是8.0的,修改密码改成了以上的方式,password()函数已经没用了

MySql 从8.0开始修改密码有了变化,password字段没了,在user表加了字段authentication_string
select host,user,authentication_string from user;
+-----------+------------------+------------------------------------------------------------------------+
| host | user | authentication_string |
+-----------+------------------+------------------------------------------------------------------------+
| % | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| % | slave | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| localhost | mysql.infoschema | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED |
| localhost | mysql.session | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED |
| localhost | mysql.sys | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED |
| localhost | root | $A$005$MZ>~3bCfZCrKL:9Odk5F3onHCfbtidA4VW.FFevMHJRdEHYF/OyuXbsvwM6 |
+-----------+------------------+------------------------------------------------------------------------+
6 rows in set (0.00 sec)
可以查看到对应的信息

主机中创建slave用户

-- 创建slave用户

CREATE USER 'slave'@'%';

-- 设置密码

ALTER USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

-- 授予复制权限

GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%';

-- 刷新权限

FLUSH PRIVILEGES;

主机中查询master状态

执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化

SHOW MASTER STATUS;
注意:记下File和Position的值。执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化。【file和position后续配置从服务器会使用】

5、搭建从服务器slave1、slave2

在docker中创建并启动MySQL从服务器

复制shell会话或者新建两个终端,分别创建slave服务器

docker中创建并启动MySQL从服务器slave1:端口3307

docker run -d \

-p 3307:3306 \

-v /home/mysql/slave1/conf:/etc/mysql/conf.d \

-v /home/mysql/slave1/data:/var/lib/mysql \

-e MYSQL_ROOT_PASSWORD=123456 \

--name star-mysql-slave1 \

mysql:8.0.31

docker中创建并启动MySQL从服务器slave2:端口3308

docker run -d \

-p 3308:3306 \

-v /home/mysql/slave2/conf:/etc/mysql/conf.d \

-v /home/mysql/slave2/data:/var/lib/mysql \

-e MYSQL_ROOT_PASSWORD=123456 \

--name star-mysql-slave2 \

mysql:8.0.31

创建MySQL从服务器配置文件:

slave1:

vim /home/mysql/slave1/conf/my.cnf
[mysqld]
# 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id
server-id=2
# 中继日志名,默认xxxxxxxxxxxx-relay-bin
#relay-log=relay-bin

slave2:

vim /home/mysql/slave2/conf/my.cnf
[mysqld]
# 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id
server-id=3
# 中继日志名,默认xxxxxxxxxxxx-relay-bin
#relay-log=relay-bin

解释:

server-id = 2    #服务器 id,随意,但要唯一
log_bin = /var/log/mysql/mysql-bin.log #二进制文件存放路径
read-only = 1 #[可选] 0(默认)表示读写(主机),1表示只读(从机)
binlog_expire_logs_seconds = 2592000 #设置日志文件保留的时长,单位是秒
max_binlog_size = 100M #控制单个二进制日志大小。此参数的最大和默认值是1GB
replicate_do_db = test #待同步的数据库日志
replicate_ignore_db = mysql,sys #不同步的数据库日志

重启MySQL容器(slave1、slave2)

docker restart 3307端口的从库容器id

docker restart 3308端口的从库容器id

使用命令行登录MySQL从服务器:

slave1:

#进入容器:

docker exec -it 3307端口的从库容器id env LANG=C.UTF-8 /bin/bash
或者使用 docker exec -it 3307端口的从库容器id /bin/bash

#进入容器内的mysql命令行

mysql -uroot -p

#修改默认密码校验方式

ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

slave2:

docker exec -it 3308端口的从库容器id env LANG=C.UTF-8 /bin/bash
或者使用 docker exec -it 3308端口的从库容器id /bin/bash
#进入容器内的mysql命令行

mysql -uroot -p

#修改默认密码校验方式

ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

在从机上配置主从关系:

注意:此处就需要用到我们之前记录好的主库的file和position:
通过在主库执行SHOW MASTER STATUS;可以查看主库这两项配置,但是执行命令后不要再操作主库,以免发生改变

解释设置主库的命令

设置主库的ip
CHANGE MASTER TO MASTER_HOST='主库的IP地址',
//这是我们在主库创建的从库用户,通过他来进行连接,用户名,密码,端口
MASTER_USER='slave',MASTER_PASSWORD='123456', MASTER_PORT=3306,
//主库的SHOW MASTER STATUS查到的 file和position
MASTER_LOG_FILE='主库的file',MASTER_LOG_POS=主库的position;
slave1、slave2:
都执行配置主库的操作
CHANGE MASTER TO MASTER_HOST='192.168.145.48', 
MASTER_USER='slave',MASTER_PASSWORD='123456', MASTER_PORT=3306,
MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=1357;
启动主从同步

slave1、slave2:都执行开启主从同步

启动从机的复制功能,执行SQL:

START SLAVE;

-- 查看状态(不需要分号) \G表示纵向显示, G需要大写

SHOW SLAVE STATUS\G

Slave_IO_State: Waiting for source to send event
Master_Host: 39.108.121.100
Master_User: slave
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: binlog.000001
Read_Master_Log_Pos: 1514
Relay_Log_File: 757024baf128-relay-bin.000002
Relay_Log_Pos: 1346
Relay_Master_Log_File: binlog.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

Slave_IO_Running: Yes,Slave_SQL_Running: Yes时说明两个线程已启动,主从复制配置成功。

最后在主库测试一下新建库,新建表,新增数据,从库那边都会跟着同步

说明主从复制成功了

如果需要取消主从复制

参考:Mysql取消主从复制_mariadb 删除slave-CSDN博客

1、slave流程
首先停止slave
mysql>stop slave;

清除slave信息
mysql>reset slave all;

# 可以通过以下命令查看当前状态
mysql> show slave status\G

Emptyset (0,00 sec)

之后slave可以直接关闭下线。

2、master流程
清除master上主从信息
mysql> reset master;

修改配置重启mysql
如果想彻底清除主从的机制,可以修改配置文件,删除主从相关的配置项,然后重启mysql即可