本文根据DBAplus社群第117期线上分享整理而成。

陶会祥

乐视云数据库负责人

 

• 先后任职于人人网、新浪、多点等公司。 期间任高级DBA，数据库架构师等职。

• 拥有丰富的数据运维管理、自动化平台建设经验。

分享大纲：

1、数据库平台介绍

我们数据库部门的数据库种类较多：有MySQL、Oracle、MongoDB、Redis等。从另一角度，可分为传统的DB (MySQL、MongoDB..) 及云数据库RDS。其中，MySQL在公司内部广泛使用，今天将就乐视MySQL的运维情况进行分享。

2、数据库产品现状

• MySQL版本较多，有官方MySQL5.5、MariaDB10、PXC5.6等； 

• 架构有1主多从、1主多层、PXC（Percona-XtraDB-Cluster）等结构；

• 硬件有SAS盘、SATA SSD，主要使用SATA SSD。

3、数据库架构

Master-Slave 结构有：

• 1主N从

• 1主N从+MB (master-backup)

• 1主N从+Relay 

提个问题，图中1主N从+Relay结构，引入relay有什么优缺点？

• 优点：在跨机房高可用时，布署一台同步用的relay 在异地机房可减少跨机房同步带宽。

• 缺点:  增加了架构复杂度，主从关系变成多层树结构。若是使用不当，比较乱，易出错。我见过超过4层的主从，梳理关系就很麻烦，建议不超过3层。

4、数据库监控

我们的数据库监控以开源软件为主，有天兔Lepus、Prometheus、Open-Falcon等。

（1）天兔

• Lepus是一个由Python+PHP开发的数据库企业级监控系统

• 支持MySQL/Oracle/MongoDB/Redis等数据库的监控

对于不是特别大的DB规模，天兔监控就够用，也挺好用，可省去大量开发成本。

（2）Prometheus

Prometheus是一个开源的服务监控系统，它通过HTTP协议从远程的机器收集数据并存储在本地的时序数据库上。它提供简单的网页界面、一个功能强大的查询语言以及HTTP接口等。

（3）Open-Falcon

我们用Open-Falcon来做服务器基础监控。对Open-Falcon进行了一些2次开发，如增加电话报警功能、IDC 的概念。

（4）作为补充还有Zabbix、微信告警等

此外，公司监控平台提供email报警，短信报警，电话语音报警。

作为补充，数据库平台增加了微信告警。 优点是方便，成本低。 重要性大于邮件的，不到电话或短信级别的可以用微信。

5、数据库备份

数据备份是非常重要的，我们的DBA也非常重视数据库的备份工作。在这我把备份概念略微扩展，我认为数据库实时从库也是一种备份。

实时从库

• 大存储机器 单机多实例布署（20-30+）

• 重要业务 异地机房从库

• 多源复制从库

说明： 

1. 我们找了一些大磁盘存储10T+，在具布署了30+左右的MySQL数据库，不提供线上服务。 这样相当于在一台机器上有30个DB的热备份。 

2. 对重要业务，进行异地跨机房从库制作。可避免单一IDC异常，引发故障。

3. 乐视有一些统计分析数据库，使用MariaDB多源复制，一个实例同时同步多个主库。某些情况也可以使用分析库来恢复数据。

冷备份

• xtrabackup 物理热备份

• 全备+增备

• Mount 挂载大存储

• 定期清理历史备份

主要使用xtrabackup来物理备份MySQL。使用了全备+增备，每周至少一次全备，多个增备。为了简便，增备只做基于全备份的增备，并没有使用增备的增备。利用Mount 挂载大的存储 30T，做为备份存储。为避免存储容量满，会有脚本定期压缩，清理历史备份。

1、私有云RDS项目背景

为什么做私有云RDS？ 有各种理由： PaaS平台的流行，老板提出需要把数据库服务化、容器技术兴起、成本优化(硬件成本+管理成本)、用户体验等。

但是最真实原因：忙！

2、RDS介绍

乐视云RDS基于Docker + Mcluster 开发的一种高可用、可弹性伸缩的在线数据库服务（Relational Database Service，简称RDS）。

其中，Mcluster（MySQL Server Cluster）是MySQL数据库集群。

• Mcluster是我们开发出的一种私有云MySQL集群

• 基于PXC (Percona Xtradb Cluster)封装和调优

• 真正的多主架构没有单点故障，高可用性

• 是RDS的根基

• 良好的扩展性

PXC官方的链接： https://www.percona.com/doc/percona-xtradb-cluster/5.6/index.html

3、私有云RDS架构

（1）架构图

RDS整体架构主要分为以下几大部分：

1. Docker：乐视云RDS是跑在Docker容器内部

2. Database：为具体的数据库。可以是MySQL，也可以是PostgreSQL等任何数据库

3. Matrix：负责前端数据库创建、管理、监控、维护和相关资源调度

4. BeeHive：负责资源的调度管理，BeeHive类似Kubernete

5. Data Analysis：负责数据库日志的分析还有用户行为分析

（2）RDS架构图2

普通用户登录私有云平台matrix，申请创建RDS。  BeeHive计算分析机群中的资源情况，选择合适的3台机器布署Mcluster DB，同时还会额外布署一个VIP容器来做DB高可用和负戴均衡。

用户可以通过此VIP来访问MySQL。RDS管理员可通过matrix后台对平台全部的RDS进行管理、监控运行状态等。

4、Mcluster架构

Mcluster是乐视云基于PXC (Percona XtraDB Cluster)封装和调优的私有云MySQL集群。因为基于PXC封装，故Mcluster具有和PXC 相同的特点。

• 多点读写

  机群中任一DB节点都可以写入

• 并行复制

  可以多个线程复制，以事务为单位，多个事务同时并行推送到所有集群节点

• 强一致性

  各节点数据强一致性

• 高可用性

  单一节点故障不会影响机群的可用性

• 兼容传统MySQL

  与传统MySQL几乎完全兼容，数据可以直接使用不需要任何转换

Mcluster和主从MySQL对比