Doris 知识要点.docx
5墨值下载
Doris
体系结构
Frontend:
前端节点，负责
用户请求的接入、查询解析规划、元数据的管理、节点管理、生成
查询计划相关工作。
磁盘注意事项：
的磁盘空间主要用于存储元数据
包括日志和
。通常从几百
到几个
不等。
部署注意事项：
一个节点只能部署一个
内部角色
角色分为
和
可以选举
只能同比
数
据不能参加选举
节点数据至少为
个
当部署
个
和
个
时
可以实现读
高可用。当部署
个
时
可以实现读写高可用
。
的数量必须为奇数
数量随意。
Backend:
后端节点
负责数据存储
、查询计划的执行
、副本管理等
磁盘注意事项：
的磁盘空间主要用于存放用户数据
总磁盘空间按用户总数据量
副本
计算
然后再
预留额外
!
的空间用作后台
"#"$%
以及一些中间数据的存放。
部署注意事项：
一个节点可以部署多个
但只建议部署一个实例
Broker:
用于访问外部数据源
如
&'
的进程。通常
在每台机器上部署一个
(
实例即可。
)
元数据管理
*
采用
++,-
协议以及
./)0&"(#%1)/)23%
的机制
++
来确保元数据的高性能
及高可靠。元数据的每次更新，都会遵照以下几步：
首先写入到磁盘的日志文件中
然后再写到内存中
最后定期
"&"(#%1
到本地磁盘上
数据模型
1)4.)
模型：相同
4.)
的
53)
列合并，通过提前聚合大幅提升性能
6%73)4.)
模型：
4.)
唯一，相同
4.)
的数据覆盖，实现行级别数据更新
*3#"1)4.)
模型：明细数据模型，满足事实表的明细存储
Doris Join
方式
BroadCast Join)
要求把右表全量的数据都发送到左表上，即每一个参与
2%)
的节点，
它都拥有右表全量的数据
Shue Join)
只支持
&&)8%
场景
即等值匹配
)
当进行
&)2%)
时候，可以通过
2%)
列计算对应的
&)
值，并进行
&)
分桶，并将分桶后的数据分散到节点中进行计算
Bucket Shue Join)
右表数据扫描出来之后进行数据分区的
&)
计算，根据左表本身
的数据分布发送到右表对应的
2%)
计算节点上。
Colocaon)
导入数据时，提前将
8%
表的数据分散到一个节点
Broadcast Join
说明：默认
2%
，将小表加载到内存中，形成一张
&
内存表，然后将
&
表广播到大
表所在的各个节点。
注意点：
如果小表数据过大，
*
将自动转换为
9&3:)8%
。
of 5
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论