暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

决胜数据之巅 | Vertica助力游戏大咖突破数据天花板!

Vertica 2021-04-13
348

Vertica是目前市场上最好的分析平台。其关键优势在于速度快、可扩展性好,并能独立于底层基础设施部署。”

——Shemer Mashiach

Playtika“DataInfra解决方案”负责人

 



自2010年以来,数字娱乐公司Playtika一直是全世界游戏市场的先驱。它不仅是最早提供免费社交游戏的公司之一(并很快将其搬上了社交媒体的移动端),同时也是游戏直播的鼻祖之一。

Playtika着重为用户提供个性化的日常游戏体验。通过不断上新的多样化游戏组合,该公司正一步步创造着备受喜爱的娱乐体验。

目前,Playtika的MAU(月活用户数)已经超过3,500W,公司每天要处理高达数百TB的运营数据这意味着机遇,也是艰巨的挑战


本篇推文基于Vertica区域销售经理Sivan Tziring Rosenberg与Playtika“DataInfra解决方案”负责人Shemer Mashiach的采访。Shemer与数据库打交道多年,同样也是资深的企业数据架构专家。

接下来,就让我们走进Playtika的游戏数据世界。了解其分析数据库是如何在Vertica底层核心支持之下开展工作,并且在业务与数据量成倍增长的挑战下、持续向新的数据高峰不断进发的。

P.S.下文问题均来自于Sivan Tziring Rosenberg,回答均来自于Shemer Mashiach。

 


您的Vertica之旅始于何处?

Playtika用Vertica已经很多年了。对我来说,Vertica是目前市场上最好的分析平台。其关键优势在于速度快、可扩展性好,并能独立于底层基础设施部署。

同时,它将SQL查询引擎与库内高级分析、机器学习功能相结合,为关键分析提供速度、规模和可靠性,帮助我们进一步优化数据模式、释放数据潜力。


您是如何应对新的数据挑战的?

随着近年来并发量与处理性能的要求越来越高,我们发现Vertica(Eon模式)是非常理想的选择

Vertica(Eon模式)支持主要副本共享存储系统,而本地缓存可以作为辅助副本使用,额外添加或删除节点不会导致主副本重新分配,这种弹性模式充分节省了时间与经济成本。

同时,节点故障恢复在Vertica(Eon模式)中更加简化。如果某个节点宕机,共享存储能确保其他节点不受到任何影响;崩溃节点无需恢复,且重启速度非常快,能保证我们的正常运行不受干扰。

本文采访者与受访者合照

在Vertica专业工程团队的出色支持下,从Vertica(企业模式)迁移至Vertica(Eon模式)的过程既迅速又顺利,我们不需要对任何数据查询进行调整。

整体迁移后,我们能够按需灵活地调动子集群、扩大容量,并通过专用资源(resource dedication)和热数据缓存以充分提升性能表现。

 

能否具体描述您的数据计划?(比如为何将计算与存储资源分开,以及您的集群环境是怎样部署的?)

作为雄心勃勃的创新者,Playtika的核心价值观之一就是“敢于挑战”。

作为一个完全由数据驱动的企业,Playtika依靠Vertica来实现管理ETL(提取、转化与加载数据)、执行高级分析。但当每日数据载量超过10TB,基础硬件就出现了问题,与此同时更多深入分析与高级报告的要求也在不断涌现。这时,我们需要大胆尝试新的方法。

最终,我们决定将计算和存储工作分开,这种方法能在不牺牲性能的情况下重新平衡系统。

通过S3 Pure Storage FlashBlade与Vertica(Eon模式)的结合,前者提供存储灵活性,后者使我们有能力实现资源的动态分配,我们最终达到了创新的目标。


我们目前的数据架构大致是这样的: 

在Vertica(Eon模式)中,目录被分解为分片。我们在Vertica每个集群中都部署了24个分片(shard)与24个节点(node),各节点都部署有512 GB RAM、88核、6TB的NVMe。

加载后的数据并不直接映射到分片(在Vertica中也称为“段”)上,而是成为投影(projection)。在数据加载过程中,如果1个节点服务于1个分片,该节点会同步存储数据,并根据分片具体情况维护其子集元数据,这一功能也被称为“节点订阅”,并可以实现自动管理。因此,未来在改动节点集时花费会更少,整体行动也会更灵活。


有了Vertica(Eon模式)和S3 Pure Storage,我们再也不受数据增长的限制了。现在,可以自由地从集群中添加或删除节点,无论怎么操作,都不会对性能产生消极影响。我们拥有了一个稳定、可靠、灵活和高性能的数据分析方案。

 

您认为Vertica对企业的核心价值是什么呢?

一定是三个字:“高性能”。

首先,Playtika内部的14个游戏部门,每个部门在同一个单一数据库上都拥有独立的隔离计算集群与专属能力。数据科学团队的查询并不会影响另一个部门正在生成的月末报告,更不会影响数据分析的仪表盘。

其次,当游戏数据被发送到后端服务器,Vertica(Eon模式)能及时消化并准备将其用于机器学习、能力探索、业务和财务报表生成等各项流程。随着数据量持续增加,活动数据、或说热数据缓存就进一步地凸显了作用。

一般来说,数据策略决定了计算能力的实现上限,而Vertica(Eon模式)是与生俱来为可变工作负载而专门设计的。比如,我们可以根据不同的工作负载需求,灵活选择扩大或者缩小集群规模。这是因为在Vertica环境中改变节点非常简单,节点恢复也极其高效,我们可以基于可靠的预测,在短短几分钟内就建立起具备质量保证(QA)、开发性能或灾难恢复的新环境。

同时,Vertica(Eon模式)的子集群能力也很关键。我们可以为用户提供更广泛的计算能力,并且为我们的业务伙伴提供更好的洞察力。

 

今天,您如何形容Vertica项目成功之处?

基于Vertica解决方案的高性价比,我们可以直接将数据平台的成本分摊给业务部门。比如,Veritca在为其查询提供恰到好处的计算资源的同时,也为数据团队提供恰到好处的存储资源。

同时,我们的数据架构将Vertica与数据湖Apache Spark(基于Apache Hadoop)集成。Vertica(Eon模式)不仅完全支持所有的这些集成,还使我们能够额外扩展分析能力,其好处是显而易见的。

不仅如此,将Vertica(Eon模式)与S3 Pure Storage相结合之后,不仅仅针对每天要处理的超过10B的事件而言,我们再也不用受数据载量的限制了。而且,无论是执行复杂的定量分析、建立高级商业智能模型,还是为整个组织提供准确的洞察力,这些统统不在话下,我们拥有一个稳定、强大、灵活和高性能的数据分析解决方案。

当然,我们无比期待新功能的上线。比如Vertica和Pure Storage集成的高可用性(HA)解决方案,它将专门用于灾难恢复。我们还在探索Vertica和Micro Focus Voltage的集成,以进一步符合GDPR合规要求。




想更了解驱动全球的数据引擎Vertica?

点击上方,一键直达Vertica大数据学堂

点亮您的数据灵感!



*如您对Vertica存在任何问题、建议或需要进一步深入了解

请在后台回复“联系”二字,获取与Vertica中国团队的联系渠道



Vertica 精彩看点

Vertica 近期动态


▼▼▼

关注Vertica,同步数据智能前沿讯息:

猛戳下方阅读原文,获取Vertica免费试用!

文章转载自Vertica,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论