58智能监控系统的目标是为集团旗下各业务线提供灵活易用的监控产品，通过覆盖网络层、服务器层、系统层、应用层、业务层的立体化监控体系，实现7*24无死角的实时监控，保障公司各产品的稳定运行。

除传统监控产品支持的数据采集、存储、告警、展示等功能外，58智能监控系统还支持了关键指标的智能预测和异常检测、告警合并、告警关联分析、故障自愈、故障预警、自动化添加监控、灵活的自定义监控等功能。

网站可能出现各种访问异常，造成故障的因素多种多样，在这么多可能故障的情况下，保障网站的服务稳定性必须要依赖智能的监控系统。

我们先来看一下监控系统的核心功能：

我们希望监控系统成为线上服务的守护神，它是服务稳定性的重要保障。

• 平时，监控系统是运维和研发、测试人员的眼睛，协助我们快速发现和排查故障；

• 通过将运维数据进行量化和可视化，便于技术人员对网站进行优化；

• 另外，我们还要求监控系统具有一定的智能，可以根据大量信息给出有价值的结论，例如：告警的关联分析、故障的根因分析、自动给出系统的优化建议等。

根据大型网站的通用架构，我们构建了立体化的监控体系，如下图所示：

监控纵向覆盖了：

横向覆盖了：

由于互联网公司的服务器数量非常多，往往都达到万台、甚至几十万台，提供同一个服务的节点（服务器或容器）的数量非常多，为了便于管理，我们使用了基于集群的监控模型。

我们将提供同样功能、部署同样服务、监控方法一致的一组服务节点称为一个集群，所有监控配置项（节点列表，监控模板，告警接收人）与集群关联。该监控管理模型如下图所示：

这种监控业务模型可以允许业务非常方便的更新各种监控配置项。例如：

• 对服务进行扩容或将故障节点剔除时，只需要从节点列表中做变更即可，无需更改其他项；

• 需要增加、修改或删除告警策略的时候，仅需关注策略的变更，无需关注其他信息；

• 用户订阅或取消订阅告警的时候，仅仅影响告警组中的用户列表，与其他项无关。

系统整体根据集群关联的节点列表、监控模板中的策略、告警接收人列表去实时的下发到告警控制模块，对告警产生影响。

用户可以在PC版的监控系统使用监控系统的所有功能。为了方便用户的使用，我们的界面分为三个区域，分别是菜单、服务树和业务展示区。

菜单供用户选择要使用的功能，选择了服务树的某个节点就确定了关注的业务范围，前两者确定了业务展示区展现什么数据和功能。如下图所示：

为了方便在移动场景使用监控系统，还提供了微信版的监控系统。在微信告警中，可以方便看到告警详情，及告警相关的监控指标的数据视图，另外还可以对无需处理的告警做屏蔽告警操作，备注告警的处理进展，便于多个负责人同步消息等。

为了确保发现各维度的异常，我们使用了多维度的监控方法，包括如下层级：

下面分别介绍一下实现原理。

上述三种类型的监控数据都由部署在服务器上的监控agent进行采集，数据采集后做数据的存储和异常判断，进而做视图展示和异常告警。

数据采集示意图：

网站的首页，或者重要的列表页、详情页是对用户体验影响较大的页面；APP端为了展现数据需要调用接口获取数据，接口的可用性也是非常影响用户体验的。为了及时、准确的发现关键的页面、接口的功能是否正常，我们开发了该项功能。

为了及时发现网站用户能够感知到的异常，我们通过域名解析出来的VIP，从外网访问指定的页面或接口，并验证域名解析、建立连接、HTTP状态码、响应时间等指标。并对页面监控验证数据长度、是否包含指定关键词等指标；对接口监控验证业务状态返回码、接口中特定字段的数据长度等指标。

由于现在的服务一般都是按照集群进行部署，单个节点出现问题，Nginx会做重试，少量节点出现问题外部用户不会感知到异常。为了及时发现该类问题，我们根据用户配置的参数，按照服务器的维度进行探测，该种监控方式能够及时发现服务器级别的异常，从而进行故障的预警。

网站的所有流量经过四层负载均衡设备、Nginx集群转发到后端业务集群。在Nginx集群上可以看到后端业务集群的运行状况，我们通过实时收集和传输Nginx日志，使用Storm集群实时计算集群维度和域名维度的各种状态码数量和比例、响应时间等指标，进而做数据展示和异常告警。并在集群维度也按照服务器统计了上述指标，可以发现个别服务器的异常，做到对集群故障的预警。

一些宏观的业务指标往往能够更准确、有效的反映业务的运行状况。我们对这些关键的业务指标使用了机器学习相关的技术，对数据做了预测和异常检测。该部分将在本文中稍后的智能监控部分详细介绍。

综上所述，我们对各维度的监控方法归纳总结如下：

我们以open-falcon为基础，打造了基础的监控系统，基本结构如下：

我们在基础监控系统的基础上做了大量的优化、升级（图中黄色部分），增加了大量与智能监控相关模块（图中红色部分）。

我们希望做到对监控业务的全流程覆盖，如下图所示：

一些宏观的业务指标往往能够更准确、有效的反映业务的运行状况，例如：机房网络流量，业务访问量，订单数，成交额等指标。我们对这些关键的业务指标使用了机器学习相关的技术，对数据做了预测和异常检测。如下是一个业务指标的数据视图：

使用机器学习的方法分为四大步骤：明确问题，处理数据，训练模型，使用模型。按照如下的方式与我们的业务结合起来：

在技术框架上分为离线部分和在线部分，如下图所示：

智能预测的效果如下图所示，可以看到预测数据与实际数据的吻合程度较高，预测的效果还是比较好的。

智能异常检测的效果如下图所示，基于数据异常程度将异常分为：普通异常、严重异常、陡变异常。

普通的异常一般是一些突发的数据毛刺，一般不重要。

如果实际流量持续偏离正常值，我们将其识别为严重异常，这是需要相关研发和运维人员关注的，可能会造成故障。

当数据出现突然下降时，一般出现了严重的事故。例如：机房出口的带宽被攻击流量打满，系统出现严重问题等。这种异常是需要运维和研发人员及时知晓、立即处理的。

我们在实现了异常检测的基础上，又对异常做了分级，并实现了告警分级，不同级别的异常使用不同的告警方式。例如：陡变异常使用语音的方式告警，严重异常使用短信、微信的方式告警。

该异常检测模型有较好的普适性：

如果每个异常都发送一条告警，那么告警的数量将是非常多的，对人的干扰也是较大的，需要人对大量数据做处理才能得到有价值的信息。我们通过智能告警合并的方式解决了该问题。

我们采用了基于基尼值的自创告警合并算法：

算法的执行步骤简述：

告警合并树由根节点向下生成，如图所示：

下图所示为告警合并算法上线前后告警数量的对比图：

在保证了很高的告警合并质量的前提下，告警数量减少76.65%。从下图中可以看到，系统根据合并的多条告警给出了合并后告警概况信息，该信息已经达到或超出人与人之间沟通传递的信息量，便于技术人员快速判断异常的影响面和影响程度。

网站中大量服务的关联关系是非常复杂的，如果出现故障，很难在大量信息中快速、准确的判断故障点。为了解决该问题，我们试图用智能的方式做告警的关联分析。关联的告警事件之间有一定的相关性：

举一个实际的例子，58和APP端流量在一个时间端内出现较大的增长，如下图所示：

相关的集群访问量也出现变化，如下图所示：

按照传统的方法，运维人员要排查总流量的变化是由于哪些业务和集群引起的，需要耗费大量的时间和精力，从大量的集群中去做数据的分析。

我们使用皮尔逊相关系数的方法，对大量可能有关联的监控指标做相关度计算，从而快速的发现告警之间的关联。

在微信告警信息中，不但能看到告警的详情，还可以看到系统根据算法自动给出的根因分析，且能看到数据的变化趋势。点击根因分析可以看到图形化展示的告警关联关系，如下图所示：

最后做一个总结，在各方面对比一下传统的监控和智能监控的差别：

58智能监控系统建设经历了多个阶段：自动化、立体化、产品化、智能化。

自动化：保证监控系统基础监控添加的自动化，从CMDB系统自动同步集群名称、负责人信息、节点列表，自动关联基础的监控模板，保证了基础服务器监控的自动化。

立体化：指对监控覆盖的立体化，从横向和纵向两个维度保证了对网站的立体化监控。

产品化：随着监控系统的功能越来越丰富、越来越强大，使用门槛越来越高，为了让内部用户方便、有效的使用，我们做了大量提升用户体验的工作。

智能化：随着网站中服务器数量的增加和业务复杂程度的增长，依靠传统的方式已经不能有效的满足需求了，我们引入了人工智能相关的技术，与运维相关的业务相结合，逐渐朝着智能化的方向前进。