29、大数据Hadoop之——DorisDB介绍与环境部署（StarRocks）.docx

手机用户8105

150

28页

1次

2023-05-04

5墨值下载

大数据

Hadoop

之——

DorisDB

介绍与环境部署

（

StarRocks

）

一、

Apache Doris

和

DorisDB

、

StarRocks

之间

的关系

 Doris

最早是解决百度凤巢统计报表的专用系统，随着百度业务的飞速发

展对系统进行了多次迭代，逐渐承担起百度内部业务的统计报表和多维分

析需求。

2013

年，我们把

Doris

进行了

MPP

框架的升级，并将新系统

命名为

Palo

，

2017

年我们以百度

Palo

的名字在

GitHub

上进行了开

源，

2018

年贡献给

Apache

基金会时，由于与国外数据库厂商重名，

因此选择用回最初的名字，这就是

Apache Doris

的由来。



2020

年

月，百度

Doris

团队的个别同学离职创业，基于

Apache

Doris

做了自己的商业化闭源产品

DorisDB

，这就是

StarRocks

的前身。

【总结】

Doris

属于百度的，

Apache Doris

是有百度贡献给

Apache

的，

DorisDB

是百度前员工基于

Apache Doris

做的商业版本属于另外的公司，后面因为版权的问

题，将

DorisDB

改名为

StarRocks

，所以

StarRocks

和

DorisDB

是属于一个产品，

一个公司的。不知道小伙伴，还记不记得另外一个产品的经历跟

Doris

的经历非常的相

似，那就是

presto

。这里主要讲

StarRocks

，因为

StarRocks

更新迭代很快，活跃

度也高。

Apache Doris GitHub

地址：

https://github.com/apache/doris

Apache Doris

官网文档：

https://doris.apache.org/docs/get-starting/get-

starting.html

StarRocks GitHub

地址：

https://github.com/StarRocks/starrocks

StarRocks

官方文档：

https://docs.starrocks.com/zh-

cn/main/introduction/StarRocks_intro

二、

StarRocks

概述

StarRocks

是一款高性能分析型数据仓库，使用向量化、

MPP

（

Massively

Parallel Processing

：大规模并行处理）架构、可实时更新的列式存储引擎等技

术实现多维、实时、高并发的数据分析。

StarRocks

既支持从各类实时和离线的数据

源高效导入数据，也支持直接分析数据湖上各种格式的数据。

StarRocks

兼容

MySQL

协议，可使用

MySQL

客户端和常用

工具对接。同时

StarRocks

具备水

平扩展，高可用，高可靠，易运维等特性。广泛应用于实时数仓、

OLAP

报表、数据湖

分析等场景。

）特征



原生向量化

SQL

引擎：

StarRocks

采用向量化技术，充分利用

CPU

的

并行计算能力，在多维分析中实现亚秒级的查询返回，比之前的系统快

到

倍。



标准

SQL

：

StarRocks

支持

ANSI SQL

语法（完全支持

TPC-H

和

TPC-DS

）。它还与

MySQL

协议兼容。可以使用各种客户端和

软件来

访问

StarRocks

。



智能查询优化：

StarRocks

可以通过

CBO

（

Cost Based Optimizer

）

优化复杂查询。有了更好的执行计划，数据分析效率会大大提高。



实时更新：

StarRocks

的更新模型可以根据主键进行

upsert/delete

操作，

在并发更新的同时实现高效查询。



智能物化视图：

StarRocks

的物化视图可以在数据导入过程中自动更新，

在执行查询时自动选择。



直接查询数据湖中的数据：

StarRocks

允许直接访问来自

Apache

Hive™

、

Apache Iceberg™

和

Apache Hudi™

的数据，而无需导入。



资源管理：该特性允许

StarRocks

限制查询的资源消耗，实现同一集群

内租户之间的资源隔离和高效使用。



易于维护：简单的架构使

StarRocks

易于部署、维护和横向扩展。

StarRocks

敏捷调整查询计划，在集群扩容或扩容时均衡资源，在节点故

障下自动恢复数据副本。



列式存储：

StarRocks

实现了列式存储引擎，数据以按列的方式进行存储。

通过这样的方式，相同类型的数据连续存放。一方面，数据可以使用更加

高效的编码方式，获得更高的压缩比，降低存储成本。另一方面，也降低

了系统读取数据的

总量，提升了查询性能。此外，在大部分

OLAP

场景

中，查询只会涉及部分列。相对于行存，列存只需要读取部分列的数据，

能够极大地降低磁盘

吞吐。



原子性：

StarRocks

的存储引擎在数据导入时能够保证每一次操作的

ACID

。一个批次的导入数据生效是原子性的，要么全部导入成功，要么全

部失败。并发进行的各个事务相互之间互不影响，对外提供

Snapshot

Isolation

的事务隔离级别。



支持

Upsert

类操作：

StarRocks

存储引擎不仅能够提供高效的

Append

操作，也能高效的处理

Upsert

类操作。使用

Delete-and-

insert

的实现方式，通过主键索引快速过滤，消除了读取时

Sort merge

of 28

5墨值下载

关注

评论