搜狐公司CEO张朝阳和COO古永锵(左)  2002年12月20日18-20点，搜狐首席执行官兼总裁张朝阳、姚明经纪人陆皓、《英雄》电影制片方新画面公司总经理余玉熙、福布斯中国首席观察员中国百富榜主编胡润共聚北京国宾酒店，就“英雄·品质·财富”进行对话。

MySQL 云数据库服务的架构探索

在过去一年里，我们在MySQL托管平台方向做了大量工作，设计和实现了一套UMP（Unifield MySQL Platform）系统，提供低成本和高性能的MySQL云数据库服务。开发者从平台上申请MySQL实例资源，通过平台提供的单一入口来访问数据。 UMP系统内部维护和管理资源池，以透明的形式提供主从热备、数据备份、迁移、容灾、读写分离和分库分表等一系列服务。平台通过在一台物理机上运行多个 MySQL实例的方式来降低成本，并且实现了资源隔离，按需分配和限制CPU、内存和I/O资源，同时在不影响提供数据服务的前提下，支持根据用户业务的发展来动态扩容和缩容。

架构的演变

UMP系统第一版基于 MySQL Proxy 0.8版修复了若干Bug，并对Proxy插件中管理用户连接和数据库连接的状态机流程进行了修改；编写了Lua脚本实现到中心数据库获取用户认证信息和 后台数据库地址，来对用户进行验证；建立了到后台数据库的连接和转发数据包等逻辑（如图1所示）。

图1  UML系统的第一版（当时称作RDS系统）采用MySQL Proxy

在开发和部署第一版的过程中，我们逐渐认识到几个问题。

首先，MySQL Proxy 0.8版对多线程的支持比较简单粗暴，多个工作线程共享同一个消息队列，同时监听着同一个socketpair通道。当有新事件进入消息队列 后，socketpair会被写入一个字节，所有休眠中的线程都会被唤醒，去竞争一个互斥锁从消息队列中取任务。这种实现有几个问题：一是造成“惊群”现 象，多个线程被唤醒但只有一个线程需要去完成任务；二是任务的CPU亲缘性比较差，在同一个状态机上触发的事件会在多个处理器上来回切换执行。此外，MySQL Proxy中还使用了全局Lua锁，同时仅允许一个工作线程执行Lua脚本（计划在0.9版本中改进）。因此，在多线程模式下，MySQL Proxy的性能远不能同CPU核数保持线性增长，甚至在16核上的性能还不如4核。

其次，由于MySQL Proxy的框架在功能上不容易扩展，所以实现用户的连接数限制、QPS限制及主从切换、读写分离、分库分表等功能比较困难。

最后，MySQL Proxy的社区近些年并不活跃，且C语言对开发者功底的要求比较高，很难要求团队所有成员协同开发出兼顾优雅和正确性的代码。

因此，我们决定用Erlang语言重新编写Proxy服务器，替换了原有的MySQL Proxy模块。目前，整个项目拥有5万行Erlang源码，3万行C/C++源码，2万行其他语言源码。

为什么选择Erlang语言

Erlang 是一个结构化的、动态的、函数式的编程语言。常见的一种说法是Erlang是面向并发的（Concurrent-Oriented），Erlang进程特别轻量级，它是在Erlang虚拟机内管理和调度的“绿进程”， 即用户态进程（如图2所示）。举个例子，在关闭了HiPE和SMP支持的Erlang虚拟机中，一个新创建的进程占用的内存仅为309个字，创建和结束一个进程约耗时1~3微秒，而一个Erlang虚拟机中可以同时支持几十万甚至更多个进程。

OTP（Open Telecom Platform，开放电信平台）是用于开发分布式的、高容错性的Erlang应用程序的框架与平台。例如，一个Erlang节点连接并注册到 Erlang集群上，发现集群中的其他节点，并与它们进行RPC通信，这些都在OTP里的Kernel服务中实现。Erlang/OTP 很好地抽象了开发一个分布式的、高容错性的应用程序所需的要素，包括网络编程框架、序列化和反序列化、容错、热部署。

图2  Erlang的轻量级进程

为了支持并发，服务器端多采用多进程/多线程模型，即每个进程/线程处理一个客户端连接。而开发高并发、高性能服务器一般采用事件驱动的状态机模型，每个进程/线程可 处理成千上万个客户端连接。虽然事件驱动的状态机模型并发量更大、性能更好，但把业务逻辑表达成状态机是一件困难的事情。相比之下，多进程/多线程模型中的业务逻辑可以实现为顺序执行的代码，开发起来要简单得多。

Erlang/OTP中的网络编程模型则结合了两者的优点，每个Erlang进程处理一个客户端连接，业务逻辑是顺序执行的。Erlang进程是极轻量级的，可以认为每个Erlang进程是一个状态机，堆和栈上的数据是这个状态机的状态。Erlang进程收到数据包或者其他进程发来的消息后执行处理例程，相当于状态机的跳转，因此也具有高并发和高性能的优势。

Erlang/OTP定义了“External Term Format”协议将Erlang数据结构与二进制字符串相互转化，并用C实现在Erlang虚拟机中，在进行跨节点通信时遵从这个协议。因此，开发者无须额外考虑序列化和反序列化问题。

在容错方面，Erlang进程的数据空间是相互隔离的，没有共享内存，因此一个Erlang进程崩溃不会影响其他Erlang进程运行，更不会造成 Erlang虚拟机崩溃。OTP提供了监督树机制和heart模块，前者在监控到Erlang进程崩溃时进行故障恢复，后者在发现Erlang虚拟机失去响应时重启程序。

Erlang/OTP提供热部署方式，可以避免服务升级时造成不可用时间。此外，OTP还提供了一些在系统运行时观察系统状态的工具。例如lcnt工具，可以统计虚拟机内部的锁使用次数和冲突次数，指导系统的优化。

当前系统架构

在设计UMP系统时，我们遵循了以下几条原则。

• 系统对外保持单一入口，对内维护单一资源池。

• 保证服务的高可用性，消除单点故障。

• 保证系统是弹性可伸缩的，可以动态地增加、删减计算与存储节点。

• 保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离。

UMP系统中的角色包括：Controller服务器、Proxy服务器、Agent服务器、API/Web服务器、日志分析服务器和信息统计服务器。图3是当前UMP系统的架构图。UMP系统依赖Mnesia、LVS、RabbitMQ、ZooKeeper等开源组件。

图3  当前UMP系统架构图

Controller服务器向UMP集群提供各种管理服务，实现元数据存储、集群成员管理、MySQL实例管理、故障恢复、 备份、迁移和扩容等功能。Controller服务器上运行了一组Mnesia分布式数据库服务，系统的元数据如集群成员、用户的配置和状态信息，以及用户名到后端MySQL实例地址的映射关系（路由表）等都存储在Mnesia里，其他服务器组件通过发送请求到Controller服务器获取用户数据。

为了达到高可用性，系统中会部署多台Controller服务器，它们通过ZooKeeper提供的分布式锁算法选举出一个leader，这个leader负责调度和监控各种系统任务，例如创建和删除数据库实例、备份和迁移等。这些系统任务可以分成多个步骤，而且会涉及系统中的多个组件，例如主库、从库和 Proxy服务器等，还需要提供失败时回滚的方法。因此，我们采用类似工作流的方式来实现。每个系统任务都分成多个阶段的Erlang进程，每执行完一个步骤跳进下个步骤之前会把中间状态持久化到Mnesia中。如果任务因为节点故障停止的话，leader能检测到并重新发起该任务，任务重启后会从上一次失败的“断点”继续向下执行。

API/Web服务器向用户提供了系统管理界面。它们是基于开源项目Mochiweb和Chicago Boss开发的，Mochiweb提供HTTP/HTTPS服务，而Chicago Boss是由Nginx的作者之一Evan Miller开发的，提供类似Rails的MVC框架。与Rails比，Erlang开发的框架天生就对并发有很好的支持，每个请求占用一个轻量级的 Erlang进程。

Proxy服务器向用户提供访问MySQL数据库的服务，它完全实现了 MySQL协议，用户可以使用已有的MySQL客户端连接到Proxy服务器，Proxy服务器通过用户名获取到用户的认证信息、资源配额的限制（例如最大连接数、QPS和IOPS等），以及后台MySQL实例的地址（列表），再将用户的SQL查询请求转发到正确的MySQL实例上。

除了数据路由的基本功能外，Proxy服务器中还实现了资源限制、屏蔽MySQL实例故障、读写分离、分库分表、记录用户访问日志等功能。Proxy服务器是无状态的，服务器宕机不会对系统中其他服务器造成影响，只会造成连接到该Proxy的用户连接断开。多台Proxy服务器采用LVS HA方案实现负载均衡，用户应用重连后会被LVS定向到其他的Proxy上。

Agent服务器部署在运行MySQL进程的机器上，用来管理每台物理机上的MySQL实例，执行创建、删除、备份、迁移和主从切换等操作，收集和分析MySQL进程的统计信息、bin log和slow query log。

日志分析服务器会存储和分析Proxy服务器传入的用户访问日志，并实现了实时索引供用户查询一段时间内的慢日志和统计报表。信息统计服务器定期将采集到的用户连接数、QPS数值，以及MySQL实例的进程状态用RRDtool进行统计，可画图展示到Web界面上，也可为今后实现弹性的资源分配和自动化的MySQL实例迁移提供依据。

UMP系统中各节点间的通信（不包括SQL查询、日志等大数据流的传输，这些还是直接走TCP的）都通过RabbitMQ，作为消息通信的中间件来使用，以保证消息发送的可靠性。ZooKeeper则主要发挥配置服务器、分布式锁，以及监控所有MySQL实例的作用。

在多个组件的协同作业下，整个系统实现了对用户透明的容灾、读写分离、分库分表功能。系统内部还通过多个小规模用户共享同一个MySQL实例，中等规模用户独占一个MySQL实例，多个MySQL实例共享同一个物理机的方式实现资源的虚拟化，降低整体成本。在资源隔离方面，通过Cgroup限制MySQL进程资源，以及在Proxy服务器端限制QPS相结合的方法，UMP系统能在实现资源虚拟化的同时保障用户的服务质量。此外，UMP系统综合运用SSL数据库连接、数据访问IP白名单、记录用户操作日志、SQL拦截等技术保护用户的数据安全。

结束语

UMP 系统的一些组件，例如Proxy服务器和日志分析服务器，目前已经运用在天猫的聚石塔平台中，为电商和ISV提供安全的数据云服务。此外，UMP系统还运 用在淘宝的店铺装修平台中，为开发者提供数据服务。下一阶段，我们希望UMP系统能进一步为企业降低数据存储的成本。

花名鸣嵩，淘宝核心系统数据库组技术专家，目前从事高性能服务器、IM、P2P、微博等各类型分布式系统、海量存储产品的开发。