Mesos是Apache下的开源分布式资源管理框架，它被称为分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发，后在Twitter得到广泛使用。

Mesos-Master是整个系统的核心，负责管理接入Mesos的各个framework(由frameworks_manager管理)和slave(由slaves_manager管理)，并将slave上的资源按照某种策略分配给framework(由独立插拔模块Allocator管理)。

Mesos-Slave负责接受并执行来自Mesos-master的命令、管理节点上的mesos-task，并为各个task分配资源。Mesos-slave将自己的资源量发送给mesos-master，由mesos-master中的Allocator模块决定将资源分配给哪个framework，当前考虑的资源有CPU和内存两种，也就是说，Mesos-slave会将CPU个数的内存量发送给mesos-master，而用户提交作业时，需要指定每个任务需要的CPU个数和内存。这样当任务运行时，mesos-slave会将任务放导包含固定资源Linux container中运行，以达到资源隔离的效果。很明显，master存在单点故障问题，为此Mesos采用了Zookeeper解决该问题。

Framework是指外部的计算框架，如果Hadoop、Mesos等，这些计算框架可通过注册的方式接入Mesos，以便Mesos进行统一管理和资源分配。Mesos要求可接入的框架必须有一个调度模块，该调度器负责框架内部的任务调度。当一个framework想要接入Mesos时，需要修改自己的调度器，以便向Mesos注册，并获取Mesos分配给自己的资源，这样再由自己的调度器将这些资源分配给框架中的任务，也就是说，整个Mesos系统采用了双层调度框架：第一层，由Mesos将资源分配给框架。第二层，框架自己的调度器将资源分配给自己内部的任务。

当前Mesos支持三中语言编写的调度器，分别是C++、Java、Python。为了向各种调度器提供统一的接入方式，Mesos内部采用C++实现了一个MesosSchedulerDriver(调度驱动器)，framework的调度器可调用该driver中的接口与Mesos-master交互，完成一系列功能(如注册，资源分配等。)

Executor主要用于启动框架内部的task。由于不同的框架，启动task的接口或者方式不同，当一个新的框架要接入mesos时，需要编写一个Executor，告诉Mesos如何启动该框架中的task。为了向各种框架提供统一的执行器编写方式，Mesos内部采用C++实现了一个MesosExecutorDiver(执行器驱动器)，framework可通过该驱动器的相关接口告诉Mesos启动task的方式。

整体架构如图1.1-1所示：

图1.1-1总体架构

图1.1-1展示了Mesos的重要组成部分，Mesos由一个master进程管理运行着每个客户端节点的slave进程和跑任务的Mesos计算框架。

Mesos进程通过计算框架可以很细致的管理cpu和内存等,从而提供资源。每个资源提供都包含了一个清单(slave ID,resource1：amount1,resource2,amount2,…)master会根据现有的资源决定提供每个计算框架多少资源。例如公平分享或者根据优先级分享。

为了支持不同种的政策，master通过插件机制新增额一个allocation模块使之分配资源更简单方便。

一个计算框架运行在两个组建之上，一个是Scheduler，他是master提供资源的注册中心，另一个是Executor程序，用来发起在slave节点上运行计算框架的任务。master决定给每个计算框架提供多少计算资源，计算框架的调度去选择使用哪种资源。当一个计算框架接受了提供的资源，他会通过Mesos的任务描述运行程序。Mesos也会在相应的slave上发起任务。

资源提供案例,如图1.1-2所示：

图1.1-2资源提供案例

下面我带大家一起熟悉图1.1-2的流程步骤：

除此之外，当任务完成，新的资源成为空闲时，这个资源提供程序将会重复。

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chuby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。

1.2.1Zookeeper角色

1.2.2Zookeeper工作原理

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式(选主)和广播模式(同步)。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和Leader的状态同步以后，回复模式就结束了。状态同步保证了Leader和Server具有相同的系统状态。

为了保证事物的顺序一致性，Zookeeper采用了递增的事物ID号(zxid)来标识事物。所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64位的数字，它高32位是epoch用来标识Leader关系是否改变，每次一个Leader被选出来，它都会有每一个Server在工作过程中三种状态。

1.2.3Zookeeper选举流程

当Leader崩溃或者Leader失去大多数的Follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的Leader，让所有的Server都恢复到一个正确的状态。

ZK的选举算法有两种：

1. 基于Basic paxos实现

2. 基于fast paxos算法实现

系统默认的选举算法为fast paxos。

1.2.4Zookeeper同步流程

选完Leader以后，zk就进入状态同步过程。

1.2.5Zookeeper工作流程

Leader三大功能：

PING消息是指Learner的心跳信息；REQUEST消息是Follower发送的提议信息，包括写请求及同步请求；ACK消息是Follower的对提议的回复，超过半数的Follower通过，则commit该提议；REVALIDATE消息是用来延长SESSION有效时间。

Follower主要四大功能：

Follower的消息循环处理如下几种来自Leader的消息：

Marathon是一个Mesos框架，能够支持运行长服务，比如Web应用等。它是集群的分布式init.d能够原样运行任何Linux二进制发布版本，如Tomcat、Play等等。它也是一种私有的PaSS，实现服务的发现，为部署提供REST API服务，有授权和SSL、配置约束，通过HaProxy实现服务发现和负载平衡。

1.4.1集群环境准备

1.4.2Zookeeper伪集群安装部署

部署Zookeeper需要java支持, 主流1.7，稳定最新1.8，开发最新1.9，这边选择yum安装即可支持Zookeeper

1.4.2.1Zookeeper配置文件详解

1.4.2.2Zookeeper配置文件修改

由于是伪集群的配置方式，B(IP地址)都是一样，所以不同的Zookeeper实例通信端口号不能一样，所以要给它分配不同的端口号。

1、创建三个目录来存放Zookeeper的数据

2、生成三份Zookeeper配置文件

3、修改zk2、zk3对应的数据存放目录以及端口

1.4.2.3Zookeeper角色查看

1、启动Zookeeper并查看角色

2、连接Zookeeper

安装Mesosphere仓库，需要在Mesos Master和Mesos Slave节点安装。

1.5.1Mesos_Master部署

1.5.2Mesos_Slave部署

1.5.3Mesos_Web界面

访问：http://192.168.56.11:5050，如图1.5-1所示：

图1.5-1Tasks表格没有任何条目

运行Mesos任务，可以在Web界面查看task如图1.5-2所示：

图1.5-2运行Mesos任务

1.5.4Marathon调用Mesos运行Docker容器

通过marathon默认监听8080端口,通过marathon创建项目，如图1.5-3所示：

图1.5-3Marathon界面

下面通过Mesos调度，使用marathon来创建一个nginx镜像的Docker容器,Marathon启动时会读取/etc/mesos/zk配置文件，Marathon通过Zookeeper来找到Mesos Master。

Marathon有自己的REST API，我们通过API的方式来创建一个Nginx的Docker容器。首先创建如下的配置文件nginx.json

使用curl的方式调用

访问Docker随机启动的端口31011，如图1.5-4所示：

图1.5-4成功访问Nginx界面

在MarathonWeb界面查看，如图1.5-5所示：

图1.5-5MarathonWeb界面查看Nginx已经在运行

在Mesos界面查看，如图1.5-6所示：

图1.5-5Mesos界面查看Nginx Tasks

也可以点击Marathon左上角的创建进行创建容器。

作者介绍  徐亮伟 

• 高级工程师，专攻自动化运维、监控、云计算领域。

• 个人博客：http://www.xuliangwei.com