曾经有一段时间，Netflix 通过邮件提供 DVD 租赁服务，但由于增长率有限，因此他们转而创建流媒体服务，并建立一个整体技术栈。

随着业务的爆炸性增长，IT基础设施拓展也迎来了挑战。

继而Netflix 团队建立了微服务，但这也带来了一些新挑战：

计算机网络受到以下影响：

因此服务之间存在通信失败的风险。

分布式系统的弹性能力取决于其最薄弱的组件，而最薄弱的组件通常等到发生故障影响服务后才会被发现。

为了更好地管理分布式系统，Netflix 团队进行了混沌工程实践。方法如下：

不存在停机时间为0的系统，但可以通过自动化来最大限度地减少停机时间。

因此，Netflix 团队会在办公时间主动发现潜在故障，然后自动修复。

这意味着如果故障再次发生，可以通过自动化快速修复，这种在受控实验中观察分布式系统的行为称为混沌工程，有助于在潜在问题导致生产中断之前发现它。

Chaos Monkey 关闭主数据库的流量

Netflix 团队创建了一个随机关闭服务器的工具，并将其命名为Chaos Monkey：

然后他们检查流量是否被路由到另一台服务器而不会影响用户。

混沌工程的系统方法

他们进行混沌工程的方法如下：

然后重新运行测试以检查自动修复是否按预期工作，并在生产中运行混沌工程以确保准确性，但爆炸半径必须加以控制，以免影响用户。方法如下：

此外，他们适当测量测试影响以防止不必要的损坏。

混沌工程原理

Netflix 团队围绕以下原则创建了混沌工程：

混沌工程用例

以下是Netflix 团队利用混沌工程所做的事情：

此外，他们还创建了Chaos Monkey变体来处理更多用例。

他们用 Go 编写了 Chaos Monkey，并将其开源。

目前， Netflix 每年的停机时间仅有几分钟，并且仍然是全球最大的流媒体服务平台。

这个案例研究表明，测试对确保复杂系统稳定运行至关重要。