基于docker实现MySQL主从复制 参考:
MySQL 主从分离(读写分离)原理_mysql 读写分离实现原理-CSDN博客
mysql复制数据兵插入_跟大家聊聊mysql主从复制原理-CSDN博客
windows下mysql主从复制配置_哪个配置设置主从复制方式-CSDN博客
Windows下MySQL主从复制的配置 - gdjlc - 博客园 (cnblogs.com)
主从复制的原理: 图:
执行流程说明: Master 主库进行 update、insert、delete 操作,按照顺序写入 bin log 中。当 Slave 连接到 Master 主库后,Master 主库会为 Slave 开启 binlog dump thread 线程,该线程会去读取 bin log日志 Slave 从库生成两个线程,一个 I/O thread 线程,一个 SQL thread 线程 I/O thread 线程去请求 Master 主库的 big log,请求通过 binlog dump thread 读取 bin log日志,并将得到的 big log 日志写入到 relay log(中继日志)文件中,中继日志记录数据更新的信息 Slave 从库的 SQL thread 线程会实时监控 relay log 日志中内容是否有更新,如果有就会将更新的内容同步到 Slave 从库数据库中,这样就保证了主从的数据的同步
MySQL 主从复制的作用: 在企业实际的开发中,后端 MySQL 数据库只有一台的时候,会有以下问题: 单台 MySQL 服务故障不可用无法处理大量的并发数据请求数据会有丢失的风险 如果是通过主从复制,它的优点就很明显,如下: 如果 Master 主节点出现故障,那么我们就直接将服务切到 Slave 从节点,来保证服务立马可用如果并发请求特别大的时候,我们可用进行读写分离操作,让 Master 主库负责写,Slave 从库负责读如果 Master 主库数据丢失,Slave 从库还保存一份,减少数据丢失的风险
1、通过docker镜像搭建MySQL主从 我们采用一主二从的方式
主服务器:容器名star-mysql-master,端口3306
从服务器:容器名star-mysql-slave1,端口3307
从服务器:容器名star-mysql-slave2,端口3308
2、防火墙开放端口,和服务器的安全组也需要开放对应的端口(也可以不开防火墙,省掉防火墙的添加端口的步骤) 防火墙一系列命令,我们需要添加主从数据库需要的端口3306、3307、3308
防火墙设置 查看防火墙状态 systemctl status firewalld 开启防火墙 systemctl start firewalld 关闭防火墙 systemctl stop firewalld 重启防火墙 service firewalld start 若遇到无法开启 先用: systemctl unmask firewalld.service 然后: systemctl start firewalld.service 查询指定端口是否已开 firewall-cmd --query-port=666/tcp 开放端口保存 添加指定需要开放的端口: firewall-cmd --add-port=123/tcp --permanent 重载入添加的端口: firewall-cmd --reload 查询指定端口是否开启成功: firewall-cmd --query-port=123/tcp 移除端口 移除指定端口: firewall-cmd --permanent --remove-port=123/tcp 查询开放的防火墙列表 firewall-cmd --zone=public --list-ports 若开放了端口还是连接不上你想要的端口, 注意:有可能是你阿里云自带安全组策略限制的原因,这种情况需要在阿里云官方云服务器管理控制台手动开放。
查看防火墙状态 systemctl status firewalld 开启防火墙 systemctl start firewalld 添加3306端口 firewall-cmd --add-port=3306/tcp --permanent 重载入添加的端口: firewall-cmd --reload 查询开放的防火墙列表 firewall-cmd --zone=public --list-ports 按照以上步骤依次添加3306、3307、3308端口 注意云服务器上的防火墙的安全组也需要开放对应的端口 3306、3307、3308
3、启动docker 这里需要你已经有安装docker的情况,如果没有安装docker就自己按照网上直接去安装一个
#启动docker systemctl start docker #查看当前docker 镜像 docker images #查看当前docker容器的运行情况 docker ps -a
4、搭建主服务器master(主机中创建slave用户) 解释
-d 是后台运行
-p 是暴露的端口号
-v 是我们的数据卷
–name 这个容器的名称
-e MYSQL_ROOT_PASSWORD=123456 设置密码
mysql:8.0.31 mysql镜像的版本
docker run -d \ -p 3306:3306 \ -v /home/mysql/master/conf:/etc/mysql/conf.d \ -v /home/mysql/master/data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=123456 \ --name star-mysql-master \ mysql:8.0.31
如果docker本地镜像中没有MySQL,会默认去下载镜像
创建MySQL主服务器配置文件:
默认情况下MySQL的binlog日志是自动开启的,可以通过如下配置定义一些可选配置
创建mysql配置文件 vim /home/mysql/master/conf/my.cnf
配置文件内容: 通过vim命令写入到my.cnf即可
[mysqld] # 服务器唯一id,默认值1 server-id=1 # 设置日志格式,默认值ROW binlog_format=STATEMENT # 二进制日志名,默认binlog # log-bin=binlog # 设置需要复制的数据库,默认复制全部数据库 #binlog-do-db=mytestdb # 设置不需要复制的数据库 #binlog-ignore-db=mysql #binlog-ignore-db=infomation_schema
解释:
主库配置详解 server-id = 1 #服务器 id,随意,但要唯一 log_bin = /var/log/mysql/mysql-bin.log #二进制文件存放路径 read-only = 0 #[可选] 0(默认)表示读写(主机),1表示只读(从机) binlog_expire_logs_seconds = 2592000 #设置日志文件保留的时长,单位是秒 max_binlog_size = 100M #控制单个二进制日志大小。此参数的最大和默认值是1GB binlog_do_db = test #待同步的数据库日志 binlog_ignore_db = mysql,sys #不同步的数据库日志
注意:binlog日志 binlog格式说明: binlog_format=STATEMENT:日志记录的是主机数据库的写指令,性能高,但是now()之类的函数以及获取系统参数的操作会出现主从数据不同步的问题。 binlog_format=ROW(默认):日志记录的是主机数据库的写后的数据,批量操作时性能较差,解决now()或者 user()或者 @@hostname 等操作在主从机器上不一致的问题。 binlog_format=MIXED:是以上两种level的混合使用,有函数用ROW,没函数用STATEMENT,但是无法识别系统变量 我们此处采用STATEMENT模式
因为修改了mysql的配置文件,需要重启MySQL容器 docker ps -a 找到刚刚跑的3306端口的mysql 找到容器的id docker restart 容器的id 重启成功后
到这里如果防火墙关闭关闭(或者是服务器和安全组的防火墙对应端口有开) 就可以通过通过navicati进行远程连接了
如果访问不了可参考:Docker配置MySQL容器+远程连接(全流程)_连接docker中的mysql-CSDN博客
使用命令行登录MySQL主服务
mysql5.7与8.0密码加密方式_mysql_native_password-CSDN博客
#进入容器:env LANG=C.UTF-8 避免容器中显示中文乱码 docker exec -it 3306端口的容器id env LANG=C.UTF-8 /bin/bash 或者使用 docker exec -it 3306端口的容器id /bin/bash #进入容器内的mysql命令行 mysql -uroot -p # 如果SQLyog或Navicat测试连接报错,修改默认加密方式 #修改默认密码校验方式 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456'; 因为版本是8.0的,修改密码改成了以上的方式,password()函数已经没用了 MySql 从8.0开始修改密码有了变化,password字段没了,在user表加了字段authentication_string select host,user,authentication_string from user; +-----------+------------------+------------------------------------------------------------------------+ | host | user | authentication_string | +-----------+------------------+------------------------------------------------------------------------+ | % | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | | % | slave | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 | | localhost | mysql.infoschema | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | | localhost | mysql.session | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | | localhost | mysql.sys | $A$005$THISISACOMBINATIONOFINVALIDSALTANDPASSWORDTHATMUSTNEVERBRBEUSED | | localhost | root | $A$005$MZ>~3bCfZCrKL:9Odk5F3onHCfbtidA4VW.FFevMHJRdEHYF/OyuXbsvwM6 | +-----------+------------------+------------------------------------------------------------------------+ 6 rows in set (0.00 sec) 可以查看到对应的信息
主机中创建slave用户 -- 创建slave用户 CREATE USER 'slave'@'%'; -- 设置密码 ALTER USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '123456'; -- 授予复制权限 GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%'; -- 刷新权限 FLUSH PRIVILEGES;
主机中查询master状态 执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化
注意:记下File和Position的值。执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化。【file和position后续配置从服务器会使用】 5、搭建从服务器slave1、slave2 在docker中创建并启动MySQL从服务器
复制shell会话或者新建两个终端,分别创建slave服务器
docker中创建并启动MySQL从服务器slave1:端口3307 docker run -d \ -p 3307:3306 \ -v /home/mysql/slave1/conf:/etc/mysql/conf.d \ -v /home/mysql/slave1/data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=123456 \ --name star-mysql-slave1 \ mysql:8.0.31
docker中创建并启动MySQL从服务器slave2:端口3308 docker run -d \ -p 3308:3306 \ -v /home/mysql/slave2/conf:/etc/mysql/conf.d \ -v /home/mysql/slave2/data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=123456 \ --name star-mysql-slave2 \ mysql:8.0.31
创建MySQL从服务器配置文件: slave1: vim /home/mysql/slave1/conf/my.cnf
[mysqld] # 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id server-id=2 # 中继日志名,默认xxxxxxxxxxxx-relay-bin #relay-log=relay-bin
slave2: vim /home/mysql/slave2/conf/my.cnf
[mysqld] # 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id server-id=3 # 中继日志名,默认xxxxxxxxxxxx-relay-bin #relay-log=relay-bin
解释:
server-id = 2 #服务器 id,随意,但要唯一 log_bin = /var/log/mysql/mysql-bin.log #二进制文件存放路径 read-only = 1 #[可选] 0(默认)表示读写(主机),1表示只读(从机) binlog_expire_logs_seconds = 2592000 #设置日志文件保留的时长,单位是秒 max_binlog_size = 100M #控制单个二进制日志大小。此参数的最大和默认值是1GB replicate_do_db = test #待同步的数据库日志 replicate_ignore_db = mysql,sys #不同步的数据库日志
重启MySQL容器(slave1、slave2) docker restart 3307端口的从库容器id docker restart 3308端口的从库容器id
使用命令行登录MySQL从服务器: slave1: #进入容器: docker exec -it 3307端口的从库容器id env LANG=C.UTF-8 /bin/bash 或者使用 docker exec -it 3307端口的从库容器id /bin/bash #进入容器内的mysql命令行 mysql -uroot -p #修改默认密码校验方式 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
slave2: docker exec -it 3308端口的从库容器id env LANG=C.UTF-8 /bin/bash 或者使用 docker exec -it 3308端口的从库容器id /bin/bash #进入容器内的mysql命令行 mysql -uroot -p #修改默认密码校验方式 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
在从机上配置主从关系: 注意:此处就需要用到我们之前记录好的主库的file和position: 通过在主库执行SHOW MASTER STATUS;可以查看主库这两项配置,但是执行命令后不要再操作主库,以免发生改变 解释设置主库的命令
设置主库的ip CHANGE MASTER TO MASTER_HOST='主库的IP地址', //这是我们在主库创建的从库用户,通过他来进行连接,用户名,密码,端口 MASTER_USER='slave',MASTER_PASSWORD='123456', MASTER_PORT=3306, //主库的SHOW MASTER STATUS查到的 file和position MASTER_LOG_FILE='主库的file',MASTER_LOG_POS=主库的position;
slave1、slave2: 都执行配置主库的操作 CHANGE MASTER TO MASTER_HOST='192.168.145.48', MASTER_USER='slave',MASTER_PASSWORD='123456', MASTER_PORT=3306, MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=1357;
启动主从同步 slave1、slave2:都执行开启主从同步
启动从机的复制功能,执行SQL: START SLAVE; -- 查看状态(不需要分号) \G表示纵向显示, G需要大写 SHOW SLAVE STATUS\G Slave_IO_State: Waiting for source to send event Master_Host: 39.108.121.100 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: binlog.000001 Read_Master_Log_Pos: 1514 Relay_Log_File: 757024baf128-relay-bin.000002 Relay_Log_Pos: 1346 Relay_Master_Log_File: binlog.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes
Slave_IO_Running: Yes,Slave_SQL_Running: Yes时说明两个线程已启动,主从复制配置成功。
最后在主库测试一下新建库,新建表,新增数据,从库那边都会跟着同步 说明主从复制成功了 如果需要取消主从复制 参考:Mysql取消主从复制_mariadb 删除slave-CSDN博客
1、slave流程 首先停止slave mysql>stop slave; 清除slave信息 mysql>reset slave all; # 可以通过以下命令查看当前状态 mysql> show slave status\G Emptyset (0,00 sec) 之后slave可以直接关闭下线。 2、master流程 清除master上主从信息 mysql> reset master; 修改配置重启mysql 如果想彻底清除主从的机制,可以修改配置文件,删除主从相关的配置项,然后重启mysql即可