Apache Kylin 与 ClickHouse 合体啦！Kyligence 智能分层存储闪亮登场

Kyligence 2021-08-11

971

Kyligence 4.5 全新产品发布，推出了业内期盼已久的智能分层存储（Smart Tiered Storage™️）功能，将 ClickHouse 有机融合在 Kyligence 产品的基座中。无论是数据中心还是多云部署，Kyligence 都能全面覆盖各类分析场景，用户无需维护复杂的数据平台，即可获得统一的查询分析体验。

今天本文就将带大家一览智能分层存储功能的技术原理、实现方式和核心优势，同时8月12日我们也将举办网络研讨会，您可以在文末点击“阅读原文”或扫码报名参与。

Demo视频也同步奉上~！

分层存储势在必行

在过去的十年里，市面上涌现出大量的以性能著称的各种引擎，但这些引擎往往都是适用于较为有限的场景。当出现一些新的业务场景时，则要引入一些新的引擎和新的数据 pipeline，这样的做法确实可以满足业务需求，但会使得整体分析平台的架构变得非常庞大、臃肿，带来以下几个问题：

维护成本高：不同的系统所带来的学习成本和维护成本都很高；
数据一致性低：数据会分布在不同的系统中，容易导致数据不一致以及数据孤岛问题；
问题排查难：一旦出现问题，排查链路长，难度高；
低效工作多：上下游需要做很多的对接工作。

正是为了帮助企业解决这些问题，Kyligence 结合了在十亿以上数据量和聚合查询上有明显优势的 Apache Kylin 引擎，以及近年发展神速的列式 MPP 数据仓库 ClickHouse 引擎，发布了全新的智能分层存储功能。在 Kyligence 产品的基座中，在原有聚合分析的高性能之上，更有效提升了明细分析、Ad-Hoc 查询等场景的性能和优势。

智能分层存储 VS ClickHouse

首先分层存储不等于 Clickhouse，这是一个理解上的误区。这个功能之所以名叫智能分层存储，是因为 Kyligence 在产品存储的架构进行了分层的设计：

第一层：MPP 引擎层——将数据存储在 MPP 引擎中（存放表索引 Table Index）
第二层：分布式存储层——将数据存储在 HDFS 对象存储中（存放预计算后的聚合索引）
第三层：查询下压层——查询可下推到其他数据源，如 SparkSql

在未来，我们可以利用其他引擎来构建更多的层。例如，添加Redis来构建一个缓存层。这就是分层存储的思想：由一个平台提供统一的数据服务，不同类型的数据存储在不同的存储引擎当中，但对外暴露统一的元数据和查询接口。

因此，在 Kyligence 智能分层存储功能中，Clickhouse 仅是其中 MPP 引擎层的一种实现。在存储数据的同时，提供数据计算能力，从而提高产品查询引擎的执行效率。

适用场景

Kyligence 智能分层存储功能可以帮助用户完成如下的一些场景:

超多维度列的 ad-hoc 查询（如标签）
明细查询
点查场景

总结来说，分层存储目前适用的分析场景，是业务需求能够被一张大宽表来描述的。由于 ClickHouse 无法很好支持的 Join 场景，故不适用于表和表之间的 Join 关联。

业务价值

随着业务的使用和查询，系统可以根据查询历史来进行推荐合适的聚合索引，这样一些经常被用户查询到的 pattern 就会被性价比更高的聚合索引来进行回答。这样会直接带来三个好处：

降低单条查询的成本；
增加系统整体的并发度；
赋能用户灵活优化模型，进行聚合索引的创建。

在有机结合 Kylin 引擎与 ClickHouse 引擎后，IT 将更好地去支撑业务中碰到的各种分析场景，实现更加敏捷的业务模式。

简单、高效、统一的用户体验

Kyligence 智能分层存储功能给用户带来了适用于全场景的 OLAP 统一分析平台，满足以下几种不同的用户角色的体验：

数据分析师: 对于分析师来讲，分层存储是透明的，所有的查询分析由系统来进行智能路由，用户无法感知到底层的区别，用户也无需关心底层查询是由哪个引擎来回答的，系统会智能的挑选最优的引擎来回答。通过分层存储功能，同时屏蔽了 ClickHouse SQL 兼容性的问题，可以无缝对接各种主流 BI 应用，第三方数据应用等。
数据开发工程师: 对于数据开发工程师来讲，系统可以根据模型的数据表采样结果，维度和度量的设置，对用户智能提示是否需要启用分层存储功能。已启用分层存储功能的模型数据将会自动随着构建任务导入至 ClickHouse 集群中，无需用户手动导入。
运维人员: 对于运维人员来讲，已有的 ClickHouse 集群可以轻松对接，若没有现有 ClickHouse 集群，则能够轻松部署，并提供了监控报警，弹性伸缩，数据恢复等功能，大大减少运维成本。

如要了解智能分层存储功能详情及更多 Kyligence 能给您带来的服务和价值，请立即报名参加8月12日 Kyligence 网络研讨会「ClickHouse 与 Apache Kylin 的有机融合」。

长按二维码立即报名

更有惊喜礼品等你领

↓↓↓

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUM、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。

点击“阅读原文”即刻报名

↓↓↓

数据库 clickhouse

文章转载自Kyligence，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

Apache Kylin 与 ClickHouse 合体啦！Kyligence 智能分层存储闪亮登场

评论