神马?!近期 GitHub 多次宕机的罪魁祸首竟是 MySQL?

苏宓 2022-03-29 10:11:02
宕机时时有,但近期特别多。这边苹果服务器发生大规模宕机,导致 App Store、Apple Music、Books 等十几项服务中断,另一边全球知名代码托管平台 GitHub 也出现了此种情况。

 

不过,针对宕机事件,GitHub 迅速进行跟进并公开了最新的调查报告,究其原因,GitHub 多次宕机竟与 MySQL 数据库有关。

 

一、GitHub 宕机原因分析

 

有媒体统计,GitHub 在过去一周中多次中断影响的开发者数量高达 7300 万。根据网友投诉以及 GitHub 官方统计,过去一段时间内的宕机分别发生在 3 月 16 日、17 日、22 日、23 日,每起事件持续时长在 2-5 小时。

 

GitHub 高级工程副总裁 Keith Ballinger 发文表示,「我知道这会影响许多客户的生产力,我们也非常重视这一点。过去几周发生的宕机事件根本原因是我们的‘MySQL1’集群中的资源争夺,在负载高峰期,影响了 GitHub 大量服务和功能。」

 

根据官方公告,宕机的主要时间线如下:

 

  • 3 月 16 日 14:09(持续 5 小时 36 分钟)

 

第一次宕机发生时,GitHub  MySQL1 数据库负载增加,导致数据库访问达到最大连接数。这个数据库接收大量的读/写流量,也被多个服务程序应用。

 

当中断发生时,GitHub 发现 MySQL1 数据库所有的写入操作都无法进行,影响 Git 操作、webhook、拉取请求、API 请求、issue、GitHub Packages、GitHub Codespaces、GitHub Actions 和 GitHub 页面服务。

 

经过调查发现,这种情况似乎与峰值负载以及特定情况下查询性能不佳有关。

 

值得注意的是,GitHub 使用 MySQL 作为所有非 git 仓库数据的主要存储,对其高可用性也有很大的要求。

 

GitHub 的 MySQL 集群使用经典的主从配置,主集群中的某个节点能够接受写入,其余的从集群节点异步同步来自主服务器的更改,并提供数据的读取服务。基于此,GitHub 可以实现故障转移,即在一个写入失败时,提示主节点崩溃的场景中,会有另一个新的主节点被启用,用以支撑场景实现,避免宕机。

 

但是这个选项失败了,宕机还是发生了。

 

  • 3 月 17 日 13:46 (持续 2 小时 28 分钟)

 

次日,GitHub 还是宕机了,虽然持续时间比前一天要少,但 MySQL1 中呈现的是相同的峰值流量模式和负载。

 

对此,GitHub 解释道,“在这个峰值前,我们无法确定和解决查询性能问题,我们决定在问题升级前主动进行故障转移。

 

不幸的是,这导致了一种新的负载模式。在新的故障转移主服务器过程中引入了连接问题,并且 GitHub 努力重置这些连接时,应用服务再次无法连接到 MySQL1。”

 

基于此,GitHub 能够确定负载模式,随后实施了一个索引来修复主要的性能问题。

 

  • 3 月 22 日 15:53 UTC(持续 2 小时 53 分钟)

 

虽然 GitHub 在前两次中减少了负载,但是对于最终结果他们也并不是有 100% 的信心。

 

因此,在第三次宕机发生之前,GitHub 在数据库代理上启用了内存剖析,以便更仔细地观察峰值负载期间的性能特征。同时,当故障发生,以及客户对 MySQL1 的连接失败时,GitHub 再次执行主故障切换进行了恢复。

 

  • 3 月 23 日 14:49 (持续 2 小时 51 分钟)

 

发生了第四次宕机时,GitHub 限制了 webhook 的流量,并在其数据库无法处理峰值负载时使用该控件来缓解未来的问题。 

 

二、解决方案

 

截至目前,GitHub 并不能完全阻断宕机事件再次发生的可能性。

 

不过,为了防止这些类型的事件在未来发生,GitHub 表示,“我们已经开始对这个特定数据库在高峰期的负载模式进行审计,并根据这些审计进行一系列的性能修复。作为其中的一部分,我们正在将流量转移到其他数据库,以减少负载并加快故障切换时间,同时审查我们的变更管理程序,特别是与生产中高负载期间的监控和变更有关的程序。”

 

作为一家托管服务平台,GitHub 时不时的宕机事件,无疑对开发者而言是一种不好的体验。对于此,GitHub 表示,对这些中断造成的负面影响深表歉意。也承诺将快速处理中断问题并最大限度地减少宕机的时间。

 

在此次宕机事件中,你是否受到了影响?

 

>>>>

参考资料


  https://github.blog/2022-03-23-an-update-on-recent-service-disruptions/

 

整理丨苏宓
来源丨CSDN(ID:CSDNnews)
dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn
最新评论
访客 2022年05月03日

写的很好呀!

访客 2022年04月07日

你好,看完文章,有点地方不太明白,想请教下两个问题…

访客 2022年03月30日

想问一下,如何才能发现数据冲突呢

访客 2022年03月30日

d

访客 2022年03月28日

梁老师,您好,看了您写的exadata image升级方案,请…

活动预告