【应用案例】Comcast.pdf
100墨值下载
案例研究： Comcast
通过优化混合云数据访问实现效率最大化并降低S3流量成本
更高效地创造数据价值
1/3
Comcast概况
企业概况 部署环境 Alluxio带来的优势
✓ 企业：Comcast(康卡斯特)
✓ 行业：电信、媒体和娱乐
✓ 地点：美国
✓ 员工人数：18万以上
✓ 部署环境：混合云
✓ 数据技术栈
• 计算：Trino(本地）
• 存储：Amazon S3(
云）
✓ 显著降低S3流量成本
✓ 高效地进行数据管理，无需拷贝
数据副本
✓ 稳定且高性能地访问远程S3存储
✓ 简化数据访问模式，确保数据安
全
Comcast是全球营收排名第二的广播和有线电视公司，也是美国最大的家庭互联网服务供应商。
Comcast的数据体验团队(DX)负责Comcast数据平台的数据工程和数据治理，专注于收集、组织
数据并使数据可用于业务分析。
Comcast实现了混合云架构的数据平台，该数据平台使用Trino作为查询引擎，Amazon S3作为存
储。这种混合云架构提供了连续的“build v.s. buy”(开发v.s.采购)成本模型，使得公司既能够利用
其现有的本地计算资源，也能发挥公有云的优势，例如可按需进行配置和扩展并确保高可靠性。尽
管混合云架构有很多优势，但也带来了一些挑战。
挑战：混合云的数据访问效率低，成本高且复杂
✓ 远程数据访问时出现网络延迟。由于数据中心之间存在物理距离，远程数据访问时可能会出
现网络延迟，这会影响对时延有严格要求的工作负载并导致数据访问速度变慢。
案例研究
DX团队选择了Alluxio——为各类数据驱动型应用提供位于存储和计算引擎之间的中间层，Alluxio可
充当数据从AWS 传输到本地时的通用数据访问层。
✓ 通过缓存减少混合云中的数据副本。Alluxio为本地运行的Trino引擎在查询AWSS3中的
数据时提供缓存。Alluxio 缓存热数据并将频繁访问的数据提供给 Trino，无需再将数据从云端
拷贝到本地存储。
✓ 提供可连接计算和存储的灵活API。Alluxio 将来自应用程序的数据访问请求转换为底层存
储接口。本地应用可以继续使用HDFSAPI，无需针对S3重新编程。因此，应用程序不再需要针
对特定的存储类型进行适配。
✓ 提供可与ApacheRanger集成的通用安全模式。Alluxio 可通过Ranger 插件与Apache
Ranger 进行集成，因此 Comcast 可以使用本地安全基础设施并继续在云上执行相同的访问控
制策略。
2/3
✓ 频繁访问S3会产生高昂的流量成本。查询公有云上的数据会产生网络流量成本，从而显著
增加数据平台的长期TCO（总拥有成本）。
✓ 数据拷贝既复杂又耗费资源。由于远程访问大型数据集会显著影响性能，因此团队不得不将
数据拷贝到本地存储，这一过程会耗费大量资源、复杂且容易出错。
✓ 存储协议缺乏统一的数据访问模式。本地和公有云上部署的应用程序与存储协议不匹配，
本地应用需重新编程后才能与云存储兼容。
解决方案：无缝、安全的混合云数据访问
<diagram link>
of 3
100墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论