暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

A产品对比Doris进行clickbench性能测试报告

原创 %Lucky 2023-05-10
997

测试背景

利用clickhouse的clickbench测试数据与查询SQL对A产品进行了性能测试,所有的测试方法均与其他clickbench上的其他产品一致。预期将A产品的测试结果与其他数据库产品进行对比,寻找出性能差异,便于后期产品进行性能优化,并清楚当前A产品若打榜存在的优劣势。

测试环境

类型 资源规格(CPU/MEM/DISK) IP地址
A产品 RC 16C/24G/100G 192.168.32.40
worker1 16C/64G/300G 192.168.32.41
worker2 16C/64G/300G 192.168.32.42
Doris 16C/64G/500G
(1)clickbench上的打榜配置;

(2)cluster_size:1
具体的详情结果均可查看打榜平台 |

测试结论

Doris的查询性能总体优于A产品。详细的数据见下面分析:

注:Doris直接取的结果是clickbench打榜上的测试数据

cold run总耗时(s) hot run总耗时(s)
A产品 299.65 109.48
Doris 130.42 40.55
  1. 如上数据所示,Doris的hot run性能提升比A产品更明显。
    1. 【A产品】hot run比cold run查询性能快 2.73倍
    2. 【Doris】hot run比cold run查询性能快了 3.21倍
  2. 无论是cold run还是hot run,Doris的性能均优于A产品
    1. 【cold run】Doris比A产品快2.29倍
    2. 【hot run】Doris比A产品快2.69倍
  3. 所有的导入数据需采用load data方式,由于A产品在load data数据导入中报错,此bug未解决,因此采用了minio的方式导入,由于A产品与Doris的导入方式不同,因此本次不进行导入数据的耗时对比。

【cold run】A产品对比Doris

在这里插入图片描述

【hot run对比】A产品对比Doris

在这里插入图片描述

测试流程

1、创建hits表:见create_table.sql
2、下载hit数据:https://datasets.clickhouse.com/hits_compatible/hits.csv.gz
3、对下载的数据进行处理
(1)总数据大小76G,切割文件为小文件:split -a3 -l 10000000 -d hits.csv ./hits/hits-
(2)将下载数据进行处理,有些数据中包含转义字符,导致导入数据报错,需要进行处理:sed ‘s/NH^\/NH/g’ hits-001 >./hits-0001(注:根据拆分的小文件,每个都进行数据处理)
(3)将处理好的数据导入到minio中,利用外表来导入数据:192.168.30.71目录/home/minio/data/clickbench
4、创建外表hits-0000等。见minio_create_table.sql,并查看数据是否在外表中写入成功,每个执行一次select count(*);
5、执行外表中的数据导入到hits表:见load_data.sql
6、校验hits表中的数据已全部写入成功
7、执行43条query查询,观察耗时结果

测试脚本

create_table.sql
minio_create_table.sql
query.sql
load_data.sql

测试结果

A产品

cold run hot run
第一次 第二次 第三次 第四次 hot run(min)
Q0 0.18 0.109 0.08 0.072 0.07
Q1 0.81 0.434 0.434 0.424 0.42
Q2 1.50 0.914 0.696 0.874 0.70
Q3 0.62 0.484 0.374 0.389 0.37
Q4 6.11 5.418 5.855 5.842 5.42
Q5 9.74 5.471 7.278 6.647 5.47
Q6 1.03 0.991 0.707 0.806 0.71
Q7 0.43 0.37 0.511 0.43 0.37
Q8 10.74 1.476 9.923 0.671 0.67
Q9 17.46 4.253 7.058 4.249 4.25
Q10 2.05 1.091 0.976 0.935 0.94
Q11 1.52 1.078 1.038 0.991 0.99
Q12 4.38 3.287 3.337 2.926 2.93
Q13 7.21 6.432 6.652 6.872 6.43
Q14 4.05 3.629 3.743 3.621 3.62
Q15 6.44 6.612 7.694 6.709 6.61
Q16 9.98 0.037 0.358 0.402 0.04
Q17 11.03 9.583 9.853 8.845 8.85
Q18 15.87 6.852 4.69 5.37 4.69
Q19 0.09 0.059 0.062 0.059 0.06
Q20 10.43 0.093 0.072 0.093 0.07
Q21 5.71 0.807 0.603 0.396 0.40
Q22 17.87 2.283 2.211 2.061 2.06
Q23 13.27 6.303 6.372 7.266 6.30
Q24 1.60 0.938 0.799 0.612 0.61
Q25 1.27 0.673 0.836 0.828 0.67
Q26 0.92 1.003 0.658 0.775 0.66
Q27 3.71 4.517 3.257 3.009 3.01
Q28 18.83 7.391 7.779 6.561 6.56
Q29 11.14 8.389 8.535 7.852 7.85
Q30 2.98 2.642 2.543 2.816 2.54
Q31 3.32 3.392 3.406 3.346 3.35
Q32 21.80 1.595 1.81 2.342 1.60
Q33 24.96 7.29 7.326 6.87 6.87
Q34 28.82 5.896 7.571 5.19 5.19
Q35 11.51 0.34 0.064 0.076 0.06
Q36 2.59 2.335 2.201 2.304 2.20
Q37 2.30 2.259 2.202 2.142 2.14
Q38 0.73 0.921 0.305 0.325 0.31
Q39 2.68 2.471 2.416 2.356 2.36
Q40 0.51 0.583 0.411 0.417 0.41
Q41 0.51 0.447 0.448 0.445 0.45
Q42 0.96 1.121 0.241 0.211 0.21
299.65 122.269 133.385 115.427 109.48

Doris

cold run hot run
Q0 0.07 0.03 0.03
Q1 0.13 0.04 0.04
Q2 0.11 0.04 0.03
Q3 1.12 0.04 0.06
Q4 1.06 1.06 1.05
Q5 0.85 0.78 0.76
Q6 0.01 0.02 0.02
Q7 0.04 0.03 0.03
Q8 0.57 0.56 0.54
Q9 0.61 0.61 0.63
Q10 0.16 0.11 0.11
Q11 0.15 0.13 0.13
Q12 0.59 0.58 0.58
Q13 0.89 0.91 0.88
Q14 0.79 0.77 0.77
Q15 0.37 0.37 0.38
Q16 1.09 1.07 1.09
Q17 0.26 0.26 0.30
Q18 2.10 2.02 2.04
Q19 0.03 0.01 0.02
Q20 10.82 1.14 1.14
Q21 9.00 2.87 0.94
Q22 12.17 1.29 0.98
Q23 32.09 2.35 2.27
Q24 1.28 0.13 0.14
Q25 0.12 0.13 0.12
Q26 0.14 0.15 0.14
Q27 10.55 1.19 1.18
Q28 10.04 9.56 9.52
Q29 0.71 0.72 0.65
Q30 1.84 0.44 0.42
Q31 2.13 0.50 0.51
Q32 3.17 3.16 3.37
Q33 12.00 4.40 4.51
Q34 11.83 4.46 4.27
Q35 1.16 1.11 1.12
Q36 0.07 0.05 0.05
Q37 0.03 0.02 0.02
Q38 0.02 0.02 0.02
Q39 0.15 0.14 0.12
Q40 0.04 0.02 0.02
Q41 0.03 0.02 0.02
Q42 0.03 0.02 0.02
130.42 43.33 41.04

测试记录

数据量为76G,单表105列,对单表进行查询(43个query),总行数89998010行,

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论