百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

分布式数据库基础性能测试(分布式数据库实验)

ztj100 2025-05-02 14:52 37 浏览 0 评论

最近对原生HTAP(cockroach db 和tidb)数据库同时以数仓为起点做HTAP数据库的greenplum 进行了相关场景性能测试,场景分为OLTP的TPC-C和TPC-B测试以及简单的OLAP统计聚合场景,所有测试都是通过186代理节点进行测试,crdb和greenplum使用相同的节点进行分段测试,由于是使用的虚拟机性能对三个分布式来说不会太高,废话不多说直接上测试数据,我们先看下整体的对比情况:、

一、 基础环境



二、 整体的OLTP测试情况对比

sysbench测试中由于for update 对greenplum的影响测试结果不太理想,所以通过pgbench对greenplum再进行一轮测试

greenplum 6.7.1pgbench测试,通过自己写的脚本实现的三个场景


三、 OLAP简单场景统计性能对比

t1、t2表各生成1亿记录:包含id、int类型、字符类型、时间类型、浮点型,由于HTAP对复杂的统计分析场景不支持(如窗口函数、高级sql),所以采取通用场景测试:

准备测试表:

-------------crdb-------------create table t1 (id int primary key, c1 float4, c2 text, c3 timestamp, c4 float4);create table t2 (id int primary key, c1 float4, c2 text, c3 timestamp, c4 float4);

------------TiDB--------------

create table t1 (id int, c1 float, c2 text, c3 timestamp, c4 float);

create table t2 (id int, c1 float, c2 text, c3 timestamp, c4 float);

------------GPDB--------------

create table t1 (id int, c1 float, c2 text, c3 timestamp, c4 float);

create table t2 (id int, c1 float, c2 text, c3 timestamp, c4 float);

由于crdb、tidb一个事务中生成1亿记录未能完成(crdb异常、tidb异常缓慢),所以通过程序实现分段提交实现:insert into t1 select id, random()*1000, md5(random()::text), clock_timestamp(), random()*1000 from generate_series(1,100000000) t(id);insert into t2 select id, random()*1000, md5(random()::text), clock_timestamp(), random()*1000 from generate_series(1,100000000) t(id);

-------------crdb-------------

20线程 每线程500万数据,双表同时写入,共耗时3200359毫秒

按开始-结束时间统计单事务耗时:总耗时=单个事务提交*(2亿/1000/20),反推出单个事务提交320毫秒,这320包含了生成数据时间。程序逻辑:生成1000条数据 ->t1→t2。

按日志输出统计单事务耗时:

#cat nohup.out |grep t1 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 225.017

# cat nohup.out |grep t2 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 249.99

------------TiDB--------------

#cat nohup.out |grep t1 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'

Average = 295.407

cat nohup.out |grep t2 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 350.562


四、 总结

综合来看greenplum的目前对oltp场景支持的已经足够好,但是greenplum在oltp场景目前存在Master单节点的性能瓶颈,后续希望greenplum做出突破,新型的htap分布式数据库,目前节点性能损耗还是比较严重的,htap 的优势应该是在节点足够多,能够成线性的增长,对特性这块的支持也是不尽相同,greenplum是对原生关系型数据库支持特性最好的(完全支持,如触发器需要单节点使用)。

注:本文涉及的测试用例内容过于繁杂,故没有在文中过多体现,如有兴趣的同学可以联系我们获取详情(可发送邮件到partner@postgresqlchina.com)。


作者:马晓亮 金风科技数据库工程师


相关推荐

30天学会Python编程:16. Python常用标准库使用教程

16.1collections模块16.1.1高级数据结构16.1.2示例...

强烈推荐!Python 这个宝藏库 re 正则匹配

Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...

Python爬虫中正则表达式的用法,只讲如何应用,不讲原理

Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...

Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)

实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...

python爬虫教程之爬取当当网 Top 500 本五星好评书籍

我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...

深入理解re模块:Python中的正则表达式神器解析

在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...

如何使用正则表达式和 Python 匹配不以模式开头的字符串

需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...

先Mark后用!8分钟读懂 Python 性能优化

从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

简单学Python——re库(正则表达式)2(split、findall、和sub)

1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...

Lavazza拉瓦萨再度牵手上海大师赛

阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...

ArkUI-X构建Android平台AAR及使用

本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...

Deepseek写歌详细教程(怎样用deepseek写歌功能)

以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...

“AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测

“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...

AI音乐制作神器揭秘!3款工具让你秒变高手

在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...

取消回复欢迎 发表评论: