暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

推荐 | benchmarksql 使用指南

7550

|前言

BenchmarkSQL 是一款经典的开源数据库测试工具,其包含 TPCC 测试脚本,支持 MySQL、Oracle 、EnterpriseDB、PostgreSQL 以及 SQL Server 等数据库的性能压力测试。本文介绍 基于 Linux 系统安装 benchmark-5.1 版本 并且测试 postgresql。

|实践

下载

  1. 从 github 直接下载源码进行编译安装

    git clone https://github.com/petergeoghegan/benchmarksql

  2. 安装 ant 编译工具

    yum install -y ant

还有一种是直接从官网下载 zip 安装包,直接解压缩即可。

安装

鉴于 BenchmarkSQL 是使用 Java 语言开发的,所以在安装压测工具之前,必须先安装 JDK 并且配置 JAVA 环境变量

PATH=$PATH:$HOME/bin:/usr/local/polardb_o_current/binJAVA_HOME=/usr/local/jdk1.8.0_111export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

将对应的数据库驱动配置到 path/benchmarksql-5.1/lib/ 目录下,比如要针对 pg 进行压测,需要将驱动放到 path/benchmarksql-5.1/lib/postgres

配置

配置文件

//数据库类型,postgresdb=postgres //驱动程序,每种数据库有对应的驱动driver=org.postgresql.Driver  conn= jdbc:postgresql//127.0.0.1:5444/benchmarkuser=benchmarkpassword=benchmark//仓库数量warehouses=4    //初始化数据的加载进程数量,默认为4,实际使用可以结合os性能做配置loadWorkers=4   //终端数,即并发客户端数量,通常设置为CPU线程总数的2~6倍terminals=4  //每个终端运行的固定事务数量,如该值为10, 则每个terminal运行10个事务,如果有32个终端,那整体运行320个事务后,测试结束。该参数配置为非0值时,下面的runMins参数必须设置为0。runTxnsPerTerminal=0//runMins表示要压测的时间长度,单位为分钟。该值为非0值时,runTxnsPerTerminal参数必须设置为0。这两个参数不能同时设置为正整数,如果设置其中一个,另一个必须为0,主要区别是runMins定义时间长度来控制测试时间;runTxnsPerTerminal定义事务总数来控制时间。runMins=5//Number of total transactions per minutelimitTxnsPerMin=0//终端和仓库的绑定模式,设置为true时可以运行4.x兼容模式,意思为每个终端都有一个固定的仓库。设置为false时可以均匀的使用数据库整体配置。TPCC规定每个终端都必须有一个绑定的仓库,所以一般使用默认值true。terminalWarehouseFixed=true //下面五个值的总和必须等于100,默认值为:45, 43, 4, 4,4 ,与TPC-C测试定义的比例一致,实际操作过程中,可以调整比重来适应各种场景。newOrderWeight=45paymentWeight=43orderStatusWeight=4deliveryWeight=4stockLevelWeight=4

测试过程中的整体逻辑通过一个例子来说明:

  1. 假如 limitTxnsPerMin 参数使用默认300,termnals 终端数量设置为150并发,实际会计算一个值 A=limitTxnsPerMin/terminals=2(此处需要注意,A为 int 类型,如果 terminals 的值大于 limitTxnsPerMin,得到的 A 值必然为0,为0时该参数失效),此处记住 A=2;
  2. 接下来,在整个测试运行过程中,软件会记录一个事务的开始时间和结束时间,假设为 B=2000毫秒;
  3. 然后用60000 ms 除以 A 得到一个值 C=60000/2=30000,假如事务运行时间B<C,那么该事务执行完后,sleep C-B 秒再开启下一个事务;假如 B>C,意味着事务超过了预期时间,那么马上进行下一个事务。在本例子中,每分钟300个事务,设置了150个并发,每分钟执行2个并发,每个并发执行2秒钟完成,每个并发 sleep 28秒,这样可以保证一分钟有两个并发,反推回来整体并发数为300/分钟。

压测

benchmarksql 其实和 sysbench 使用方法类似,先生成压测数据,然后压测 ,收尾的时候。

生成数据

sh runDatabaseBuild.sh props.polar

该操作会生成10个表 和一个 sequence 

压测

./runBenchmark.sh props.polar

+-------------------------------------------------------------+00:59:23,752 [main] INFO   jTPCC : Term-00,      BenchmarkSQL v5.1devel00:59:23,752 [main] INFO   jTPCC : Term-00, +-------------------------------------------------------------+00:59:23,752 [main] INFO   jTPCC : Term-00,  (c) 2003, Raul Barbosa00:59:23,752 [main] INFO   jTPCC : Term-00,  (c) 2004-2016, Denis Lussier00:59:23,754 [main] INFO   jTPCC : Term-00,  (c) 2016, Jan Wieck00:59:23,754 [main] INFO   jTPCC : Term-00, +-------------------------------------------------------------+00:59:23,754 [main] INFO   jTPCC : Term-00,00:59:23,755 [main] INFO   jTPCC : Term-00, db=postgres00:59:23,755 [main] INFO   jTPCC : Term-00, driver=com.aliyun.polardb.Driver00:59:23,755 [main] INFO   jTPCC : Term-00, conn=jdbc:polardb://127.0.0.1:5444/benchmark00:59:23,755 [main] INFO   jTPCC : Term-00, user=benchmark00:59:23,755 [main] INFO   jTPCC : Term-00,00:59:23,755 [main] INFO   jTPCC : Term-00, warehouses=400:59:23,755 [main] INFO   jTPCC : Term-00, terminals=400:59:23,757 [main] INFO   jTPCC : Term-00, runMins=500:59:23,757 [main] INFO   jTPCC : Term-00, limitTxnsPerMin=000:59:23,757 [main] INFO   jTPCC : Term-00, terminalWarehouseFixed=true00:59:23,758 [main] INFO   jTPCC : Term-00, useStoredProcedures=null00:59:23,758 [main] INFO   jTPCC : Term-00,00:59:23,758 [main] INFO   jTPCC : Term-00, newOrderWeight=4500:59:23,758 [main] INFO   jTPCC : Term-00, paymentWeight=4300:59:23,758 [main] INFO   jTPCC : Term-00, orderStatusWeight=400:59:23,758 [main] INFO   jTPCC : Term-00, deliveryWeight=400:59:23,758 [main] INFO   jTPCC : Term-00, stockLevelWeight=400:59:23,758 [main] INFO   jTPCC : Term-00,00:59:23,758 [main] INFO   jTPCC : Term-00, resultDirectory=null00:59:23,758 [main] INFO   jTPCC : Term-00, osCollectorScript=null00:59:23,758 [main] INFO   jTPCC : Term-00,00:59:23,874 [main] INFO   jTPCC : Term-00, C value for C_LAST during load: 16500:59:23,875 [main] INFO   jTPCC : Term-00, C value for C_LAST this run:    23700:59:23,875 [main] INFO   jTPCC : Term-00,Term-00, Running Average tpmTOTAL: 37572.94    Current tpmTOTAL: 1239168    Memory Usage: 787MB / 1042MB01:04:24,135 [Thread-2] INFO   jTPCC : Term-00,01:04:24,135 [Thread-2] INFO   jTPCC : Term-00,01:04:24,135 [Thread-2] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 16982.4901:04:24,135 [Thread-2] INFO   jTPCC : Term-00, Measured tpmTOTAL = 37572.6701:04:24,135 [Thread-2] INFO   jTPCC : Term-00, Session Start     = 2021-10-17 00:59:2401:04:24,135 [Thread-2] INFO   jTPCC : Term-00, Session End       = 2021-10-17 01:04:2401:04:24,135 [Thread-2] INFO   jTPCC : Term-00, Transaction Count = 187868
结果解释

Running Average tpmTOTAL:每分钟平均执行事务数(所有事务) 

Memory Usage:客户端内存使用情况 

Measured tpmC (NewOrders) :每分钟执行的事务数(只统计 NewOrders 事务) 

Transaction Count:执行的交易总数量

删除数据

./runDatabaseDestroy.sh props.polar

报告解析和生成 html 报告

benchmarksql 除了提供文字版输出, 还有 通过工具生成 html 版本的报告 ,不过需要安装R语言和提前配置

resultDirectory=poc_%tY-%tm-%td_%tH%tM%tS 压测结束之后,使用命令

sh generateReport.sh  poc_2021-10-17_191525

其中 poc_2021-10-17_191525 为 报告的路径。比如此次测试的案例的结果如下:


|总结

工欲善其事必先利其器,不过工具只是其中的一部分,性能优化的路还很长,还需要结合 OS 系统网络,cpu,io ,db 系统整体进行调优。


关于 RadonDB

RadonDB开源社区 是一个面向云原生、容器化的数据库开源社区。为数据库技术爱好者提供围绕主流开源数据库(MySQL、PostgreSQL、Redis、MongoDB、ClickHouse 等)的技术分享平台,并提供企业级 RadonDB 开源产品及服务。

目前 RadonDB 开源数据库系列产品已被 光大银行、浦发硅谷银行、哈密银行、泰康保险、太平保险、安盛保险、阳光保险、百年人寿、安吉物流、安畅物流、蓝月亮、天财商龙、罗克佳华、升哲科技、无锡汇跑体育、北京电信、江苏交通控股、四川航空、昆明航空、国控生物 等上千家企业及社区用户采用。

RadonDB 可基于云平台与 Kubernetes 容器平台交付,不仅提供覆盖多场景的数据库产品解决方案,而且提供专业的集群管理和自动化运维能力,主要功能特性包括:高可用主从切换、数据强一致性、读写分离、一键安装部署、多维指标监控&告警、弹性扩容&缩容、横向自由扩展、自动备份&恢复、同城多活、异地灾备 等。RadonDB 仅需企业及社区用户专注于业务层逻辑开发,无需关注集群高可用选型、管理和运维等复杂问题,帮助企业及社区用户大幅度提升业务开发与价值创新的效率!

GitHub:

https://github.com/radondb


微信群: 请搜索添加群助手微信号 radondb


文章转载自RadonDB 开源社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论