工具研发者介绍
贺春旸，凡普金科和爱钱进DBA团队负责人，《MySQL管理之道：性能调优、高可用与监控》第一、二版作者，曾任职于中国移动飞信、安卓机锋网。四次荣获dbaplus年度MVP，致力于MariaDB、MongoDB等开源技术的研究，主要负责数据库性能调优、监控和架构设计。
工具下载：
https://github.com/hcymysql/MHA-Re-Edition
由于MHA（mha4mysql-manager）工具在2018年已经停止维护更新，且不支持GTID复制模式，在原版基础上增补功能难度较大，因此考虑将其重构。
参考了原版MHA的故障切换思路，改进的地方如下：
1、无需打通ssh公私钥互信认证，只需在app1.cnf配置文件里提供用户名和密码（root权限）即可，这一步的作用是漂移VIP，工具会直接进入远程主机上执行ip addr add VIP。
2、目前主流版本MySQL 5.7和8.0的复制模式是基于Gtid，因事务号是唯一的，更改同步复制源不需要知道binlog文件名和position位置点，固简化了在客户端部署agent做数据补齐。
3、无需安装，就两个文件，一个是（环境配置检查）可执行文件masterha_check_repl_mysql，一个是（故障自动转移autofailover和在线平滑切换online switch）可执行文件masterha_manager_mysql。
4、 基于主从复制（GTID复制模式）才可以运行，masterha_check_repl_mysql工具会检测，如果是基于binlog和position（位置点复制模式）不能运行。可开启半同步复制确保切换以后数据完整性（至少有一个从库确认已接收到所有事件）。
5、masterha_manager_mysql守护进程主控文件，集成了（masterha_master_switch + master_ip_failover + masterha_secondary_check + shutdown_script + weixin_alarm）捆绑在一起。
6、AutoFailover自动故障切换（转移）VIP后，会发送微信公众号报警通知。
7、支持远控卡重启服务器（避免脑裂问题）。例如删除VIP失败，主机已经hang住，只能通过远程管理卡去重启机器。在这里可以调用远控卡命令，比如DELL服务器的ipmitool命令（可参考：https://www.cnblogs.com/EricDing/p/8995263.html）。
请按照app1.cnf范例模板严丝合缝地进行设置。
1、log日志输出文件。
manager_workdir = /root/mha_log/app1.log
2、监控间隔时间，单位秒。
connect_interval = 1
3、开启调用其他从库去连接主库，如果不需要，则删除masterha_secondary_check这行内容，脚本会调用从库的mysql命令，默认读取路径是/usr/bin/mysql（已经写死在脚本里），如没有请创建一个软连接。
masterha_secondary_check = slave1,slave2
4、当从库出现延迟时，超过60秒内未同步完数据，强制开启VIP故障切换转移。
running_updates_limit = 60
5、设置远程管理卡，当VIP无法卸载时，通过调用命令重启服务器。
# ipmitool -I lanplus -H 远控卡主库IP -U 远程console用户 -P 远程console密码 power reset
# 如果不需要，则删除shutdown_script这行内容
shutdown_script = ipmitool -I lanplus -H 172.31.198.239 -U root -P calvin power reset
6、设置主库故障切换后触发微信报警（wechar.py和masterha_manager_mysql文件放在同一目录下）。
weixin_alarm = /usr/bin/python wechat.py yourweixin
注：微信企业号设置请移步看此教程配置：https://github.com/X-Mars/Zabbix-Alert-WeChat/blob/master/README.md
微信报警需要安装第三方模块。
shell> pip install simplejson
-i "http://mirrors.aliyun.com/pypi/simple"
--trusted-host "mirrors.aliyun.com"
1、环境配置检查（先执行通过后，再执行主程序masterha_manager_mysql）。
shell> chmod 755 masterha_check_repl_mysql
shell> ./masterha_check_repl_mysql --conf=app1.cnf
2、开启守护进程，主库故障后，VIP自动故障转移，其他从库自动change master to 指向新主库。
shell> chmod 755 masterha_manager_mysql
shell> ./masterha_manager_mysql --conf=app1.cnf start
注：app1.cnf为配置文件，你可以配置多个监控配置文件，监控多套MySQL集群环境。
3、Online master switch在线平滑切换。
shell> ./masterha_manager_mysql --conf=app1.cnf switch
1、MHA Re-Edition管理机每隔app1.cnf配置文件参数connect_interval=1（秒），去连接主库，当试图连接3次失败后，尝试去其它从库上连接并执行select 1探测，这里需要你在app1.cnf配置文件里设置masterha_secondary_check = slave1,slave2。
设置完后，slave1和slave2去连接，如果有一台从库可以连接到主库，不认定主库down掉，不进行故障转移操作，会在log日志中输出warning警告信息，提示网络有问题，请排查。
如果MHA Re-Edition管理机和其它slave从库都无法访问连接，则认定主库挂掉，开始进行故障切换。
2、如果你在app1.cnf配置文件里设置candidate_master = 1，指定了候选主库，则默认提升该新主库。
如果你没有在app1.cnf配置文件里设置candidate_master = 1，则根据从库执行的Gtid事件最新的将其提升为主库。
3、当从库出现延迟时，在app1.cnf配置文件里，超过参数running_updates_limit = 60 单位（秒）内，且未同步完数据，则强制开启VIP故障切换转移，并在log日志中输出warning警告信息。否则会一直等待60秒内执行完从库的Gtid事件。
4、其它从库会change master to改变同步源为候选主库，并在log日志中输出show master status新主库的状态信息。
5、关闭候选主库的set global super_read_only = 0只读权限。
6、候选主库不执行reset slave all清空同步信息，这一步操作交给用户处理。
7、漂移VIP至新的主库。至此故障转移流程跑完。
1、首先检测当前存活主机master(172.19.136.32:3306)、slave1(172.19.136.33:3307)和slave2(172.19.136.34:3308)。
2、输入YES后，在原master上执行FLUSH NO_WRITE_TO_BINLOG TABLES操作，将会强制把打开的表关闭，这一步会耗费很长时间，尤其是业务繁忙的时候，请务必在凌晨执行。
3、之后会询问是否要把master(172.19.136.32:3306) 切换到(172.19.136.33:3307)？输入yes。
如果在app1.cnf配置文件里设置candidate_master = 1，指定了候选主库，则默认提升该新主库。
如果没有在app1.cnf配置文件里设置candidate_master = 1，则根据从库执行的Gtid事件最新的将其提升为主库。
4、将原master上的虚拟VIP摘除。
5、设置原master为只读模式set global read_only=1。
6、原master上KILL掉所有应用连接的线程。
7、原master上执行FLUSH TABLES WITH READ LOCK全局读锁。
8、在候选master上执行 select SELECT WAIT_FOR_EXECUTED_GTID_SET(master_gtid_executed, timeout)，等待执行完Gtid事件。当候选主库出现延迟时，在app1.cnf配置文件里，超过参数running_updates_limit = 60 单位（秒）内，且未同步完数据，则强制开启VIP切换转移，并在log日志中输出warning警告信息。否则会一直等待60秒内执行完从库的Gtid事件。
9、新提升的master为读写模式set global read_only=0。
10、在slave2上，执行CHANGE MASTER TO new_master。
11、在原master上解除锁表UNLOCK TABLES。
12、在原master上，执行CHANGE MASTER TO new_master。
13、新提升的master上，执行stop slave; 不执行reset slave all清空同步信息，这一步操作交给用户处理。
14、将VIP切换到新提升的master上。
15、整个切换流程结束。
此工具现通过dbaplus社群免费为大家提供下载使用。若使用过程中有任何问题或建议，可随时与我们联系，欢迎大家试用。
登录以下链接即可下载：
https://github.com/hcymysql/MHA-Re-Edition
更多开源工具及脚本获取方式：
关注微信公众号【dbaplus社群】，点击菜单栏【资源下载】
登陆dbaplus社群官网：http://dbaplus.cn/list-142-1.html
相关图谱推荐 - 分布式数据库评测指南
《分布式数据库评测指南》由dbaplus社群联合发起人韩锋老师与社群共同编制，浓缩了数据库选型评测项精要，评测维度覆盖6大功能（数据库基本功能、数据库内核功能、数据库管理功能、数据库架构功能、数据库开发功能、数据库其他功能）共300+技术项，明晰数据库选型要点及设计思路，让广大数据库从业者在选型路上不再迷茫。
获取方式：关注微信公众号【dbaplus社群】，消息栏回复【图谱】，即可获取下载链接
相关活动推荐 - Gdevops峰会·广州站
2022 Gdevops全球敏捷运维峰会·广州站将于5月13日举办，精选数据库热门议题，共同探讨数据库走向技术融合及国产化下的挑战和突破，部分议题抢先剧透：
【工商银行】核心应用MySQL治理实践（拟）
【平安银行】数据库智能化运维实践之故障自愈
【哔哩哔哩】B站大型活动背后的数据库保障
【vivo】万级实例规模下的数据库可用性保障实践
（持续更新……）
230721
1、导入Mongo Monitor监控工具表结构（mongo_monitor…
上面提到： 在问题描述的架构图中我们可以看到，Click…
PMM不香吗？
如今看都很棒