MySQL主从复制无法过滤binlog event的缺陷,ProxySQL给补齐了

贺春旸 2024-09-23 17:47:43
作者介绍

贺春旸,dbaplus社群金牌专家,凡普金科和爱钱进DBA团队负责人,《MySQL管理之道:性能调优、高可用与监控》第一&二版、《MySQL运维进阶指南》作者,曾任职于中国移动飞信、安卓机锋网。五次荣获dbaplus年度MVP,致力于MariaDB、MongoDB等开源技术的研究,主要负责数据库性能调优、监控和架构设计。

 

MySQL主从复制,在最新的9.0版本里,仍旧无法实现过滤binlog event事件,例如主库上执行drop和truncate操作,从库同步复制后,直接过滤掉drop和truncate操作。

 

DBA、运维或者研发一旦手滑误操作,直接P0,将是毁灭性的伤害。那么,我们就需要借助ProxySQL来解决MySQL主从复制这一缺陷。

 

一、思路

 

如果主库执行drop和truncate,临时关闭binlog,在命令前面增加set sql_log_bin=0,这样主库执行完以后,binlog不会记录,从库也就不会执行。

 

二、实施

 

1、安装ProxySQL

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
# cat <<EOF | tee /etc/yum.repos.d/proxysql.repo[proxysql_repo]name=ProxySQL repositorybaseurl=https://repo.proxysql.com/ProxySQL/proxysql-2.6.x/centos/\$releasevergpgcheck=1gpgkey=https://repo.proxysql.com/ProxySQL/proxysql-2.6.x/repo_pub_keyEOF# yum install proxysql -y# systemctl start proxysql

 

2、配置ProxySQL规则

 

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
## 连接到ProxySQL管理界面# mysql -u admin -padmin -h 127.0.0.1 -P6032 --prompt='Admin> '
-- 配置MySQL服务器 - 写主节点VIP地址INSERT INTO mysql_servers(hostgroup_id,hostname,port) VALUES (1,'127.0.0.1',6666);
-- 配置用户INSERT INTO mysql_users(username,password,default_hostgroup) VALUES ('rd','123456',1);
-- 设置查询规则来重写DROP和TRUNCATE语句INSERT INTO mysql_query_rules (rule_id, active, match_pattern, replace_pattern, destination_hostgroup, apply)VALUES (1, 1, '^DROP (.*)$', 'SET sql_log_bin=0; DROP \1; SET sql_log_bin=1;', 1, 1);
INSERT INTO mysql_query_rules (rule_id, active, match_pattern, replace_pattern, destination_hostgroup, apply)VALUES (2, 1, '^TRUNCATE (.*)$', 'SET sql_log_bin=0; TRUNCATE \1; SET sql_log_bin=1;', 1, 1);
-- 加载配置到运行时环境LOAD MYSQL SERVERS TO RUNTIME;LOAD MYSQL USERS TO RUNTIME;LOAD MYSQL QUERY RULES TO RUNTIME;
-- 保存配置SAVE MYSQL SERVERS TO DISK;SAVE MYSQL USERS TO DISK;SAVE MYSQL QUERY RULES TO DISK;

 

3、这个配置的工作原理如下

 

  • 我们定义了一个主服务器组:主库(hostgroup 1)

  • 我们创建了一个DBA、运维、Java研发使用的用户名 rd,默认连接到主库。

  • 我们设置了两个查询规则:

    规则1和2:匹配DROP和TRUNCATE语句,在它们前面添加SET sql_log_bin=0,这可以确保只有特定的DROP或TRUNCATE操作不被记录到binlog,且在执行完后再开启binlog。

 

例如,如果原始查询是DROP TABLE t6;  重写后的查询将变为:

 

  •  
SET sql_log_bin=0; DROP TABLE t6; SET sql_log_bin=1;

 

4、使用这种方法的优势

 

  • 它只影响DROP和TRUNCATE操作,其他操作不受影响。

  • 它自动在这些操作前禁用binlog记录,操作后重新启用,无需手动干预。

  • 这些更改对应用程序是透明的,不需要修改应用代码。

 

三、使用

 

DBA、运维或者Java研发直接访问ProxySQL的6033端口:

 

  •  
# mysql -u rd -p123456 -h 127.0.0.1 -P6033

 

当执行drop和truncate操作时,只会在主库上执行,从库上不会执行,从而实现了过滤binlog event事件。

 

注:rd用户需要在后端MySQL主库上创建。

 

图片

最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告