暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

吴大师的Databend那些事

黄宏亮数字 2024-09-22
91

吴炳锡|Databend,吴大师的Databend

Databend一家技术领先的数据仓库服务商,《解析云上实时数仓的挑战与应对》

Databend : https://www.bilibili.com/read/cv37820610/

私有化的部署:

1. 国产 CPU 

2. S3 网关并发能力上限低 

3. S3接入 DNS 无缓存, Databend 所有请求过 DNS 不控制,容易出现 DNS 报错 

4. 不能快速扩展。

优势:能等,大表清洗类工作一晚上能跑完也行。

Databend是一款使用Rust研发、基于对象存储设计的新一代云原生数据仓库产品,致力于提供极速的弹性扩展能力和按需、按量的Data Cloud产品体验,打造开源版的Snowflake

产品特性包括高性能低成本的查询解决方案、支持标准SQL和自动索引,以及减少研发运维的学习成本。

Databend 是面向云设计的数仓平台,架构上分为三部分:

第一层是元数据服务。只需要少量本次盘存储,可能 100G 都不到。但单实例可以支持几万级的库表,每秒万级的并发能力;

第二层是Databend-Query 层,这是一个无状态的计算和存储引擎管理层;最下层是存储层,使用对象存储持久化存储数据。

此外,Databend 是基于 Rust 0 1 开发出来的,这也让 Databend 占了一个特别大的优势:只要你能安装 Rust 编译器,就可以编译通过,就可以在这个环境里运行。所以我们基本实现了所有国产化平台都能运行,所有的 Arm 平台都能运行。而且Arm 平台可以运行得更好,跑得更稳。

Databend已经服务于广告投放、医疗健康、AIGC、电信服务、快递物流、企业服务等多个行业,为技术栈现代化、数据汇聚平台、数据归档、广告投放分析、用户行为分析等多个场景贡献力量。服务的用户包括多点、微盟、茄子快传、南北医药集团、尼泊尔电信、苹果中国、国内汽车厂商等。

Databend CloudAWS上,已在美国东一区、西一区以及欧洲区都提供了云服务, 未来计划随着用户需求继续开拓新的可用区。

SnowflakeRedshiftBigQuery的替换上,用户从这些技术栈迁移到Databend上面,基本上2-3周都能完成,且过程非常顺利。

性能与成本优势:

Databend通过ClickHouse的向量化计算和Rust语言大幅提升了产品性能,并基于Snowflake的存算分离思想提升了分布式计算能力。

产品在性能与成本上表现出色,如在TPC-H SF100测试中,Databend Cloud以不到一半的成本实现了更高性能。

用户案例与反馈:

Databend Cloud已成功支持多个海外用户,包括海外的区块链公司等,用户反馈良好,特别是在数据迁移、性能提升和成本控制方面。

综上所述,Databend在国内外均展现出强劲的发展势头和广泛的应用前景,通过持续的技术创新和社区支持,不断满足用户多样化的需求。

朋友转发的

“开放再出发”,否则落后就挨揍

1、全球视野下的合作:在全球化的背景下,以更加开放的姿态参与国际合作与竞争,全面扩大开放,利用多云模式为企业的数字化转型和创新提供新质生产力。

2加强科技创新:投入研发,培养创新人才,鼓励传统产业改造升级,发展新兴产业

3、推广绿色技术:支持绿色低碳技术的研发与应用,促进公平竞争。

4强化环保意识:提高公众环保意识,促进可持续发展。

以上,既然看到这里了,如果觉得不错,随手点个赞,下次再见。

HaloDB招人啦

数据库工程师

工作地点:杭州/北京
工作职责:
1
、负责易景科技数据库产品Halo的测试、交付、实施;
2
、能独立对数据库的问题进行定位和排查;
3
、能独立进行SQL性能优化;
4
、对业务开发人员进行数据库开发技术的培训;
5
、能处理异构数据库之间(OracleSQL ServerHalo)之间的数据同步和转换。
任职要求:
1
、全日制本科及以上学历,计算机相关专业;
2
1年以上PostgreSQL/Oracle DBA经验;
3
、熟悉PostgreSQL/Oracle体系结构;
4
、熟悉PostgreSQL/Oracle的高可用架构,有一定的数据库实施规划和设计能力;
5
、熟悉ShellPythonGo语言;
6
、有金融行业数据库工作经验优先;
7
、责任心强,善于学习,具备良好的团队合作精神和承受压力的能力,能接受出差。

联系方式

电话: 0571-87168929
邮箱: yijingkeji@halodbtech.com

学习HaloDB

这里除了从HaloDB官网(http://www.halodbtech.com/)中可以获得相关信息,也可以关注公众号:


文章转载自黄宏亮数字,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论