暂无图片
暂无图片
2
暂无图片
暂无图片
暂无图片
ByConity
编辑
简介:ByConity 是字节跳动开源的云原生数据仓库,它采用计算-存储分离的架构,支持多个关键功能特性,如计算存储分离、弹性扩缩容、租户资源隔离和数据读写的强一致性等。通过利用主流的 OLAP 引擎优化,如列存储、向量化执行、MPP 执行、查询优化等,ByConity 可以提供优异的读写性能。
简介:ByConity 是字节跳动开源的云原生数据仓库,它采用计算-存储分离的架构,支持多个关键功能特性,如计算存储分离、弹性扩缩容、租户资源隔离和数据读写的强一致性等。通过利用主流的 OLAP 引擎优化,如列存储、向量化执行、MPP 执行、查询优化等,ByConity 可以提供优异的读写性能。
产品概览 用户评价

目录

产品简介

ByConity 是字节跳动开源的云原生数据仓库,它采用计算-存储分离的架构,支持多个关键功能特性,如计算存储分离、弹性扩缩容、租户资源隔离和数据读写的强一致性等。通过利用主流的 OLAP 引擎优化,如列存储、向量化执行、MPP 执行、查询优化等,ByConity 可以提供优异的读写性能。

字节在 ClickHouse 架构基础上进行了升级,于 2020 年在内部启动了 ByConity 项目,并于 2023 年 1 月发布 Beta 版本,5月底正式对外开源。

功能特性

ByConity 计算与存储分离的架构,将原本计算和存储分别在每个节点本地管理的架构,转换为在分布式存储上统一管理整个集群内所有数据的架构,使得每个计算节点成为一个无状态的单纯计算节点,并利用分布式存储的扩展能力和计算节点的无状态特性实现动态的扩缩容。这种改进使得 ByConity 具有以下重要特性:

  • 资源隔离:对不同的租户进行资源的隔离,租户之间不会受到相互影响;
  • 读写分离:计算资源和存储资源解耦,确保读操作和写操作不会相互影响;
  • 弹性扩缩容:支持弹性的扩缩容,能够实时、按需的对计算资源进行扩缩容,保证资源的高效利用;
  • 数据强一致:数据读写的强一致性,确保数据始终是最新的,读写之间没有不一致;
  • 高性能:采用了主流的 OLAP 引擎优化,例如列存、向量化执行、MPP 执行、查询优化等提供优异的读写性能。

技术架构

ByConity 的架构分为三层,包括服务接入层,计算层和数据存储层。 服务接入层负责客户端数据和服务的接入,也就是 ByConity Server;ByConity 的计算资源层,由一个或者多个计算组构成,每个 Virtual Warehouse(VW)是一个计算组;数据存储层由分布式文件系统,如 HDFS、S3 等构成。

图片.png

所属公司

北京字节跳动科技有限公司

相关资料

GitHub 地址:https://github.com/ByConity/ByConity
开源规划:https://github.com/ByConity/ByConity/issues/26
开源组织:https://byconity.github.io/

如何获取和部署
单机Docker:https://github.com/ByConity/byconity-docker
K8s集群部署:https://github.com/ByConity/byconity-deploy
物理机部署:https://github.com/ByConity/ByConity/tree/master/packages
源代码编译:https://github.com/ByConity/ByConity#build-byconity

用户评价

1
2
词条统计
创建者:小小亮
编辑次数:1
浏览次数:2313
API调用次数:0
贡献者