分布式数据库基础性能测试(分布式数据库实验)
ztj100 2025-05-02 14:52 4 浏览 0 评论
最近对原生HTAP(cockroach db 和tidb)数据库同时以数仓为起点做HTAP数据库的greenplum 进行了相关场景性能测试,场景分为OLTP的TPC-C和TPC-B测试以及简单的OLAP统计聚合场景,所有测试都是通过186代理节点进行测试,crdb和greenplum使用相同的节点进行分段测试,由于是使用的虚拟机性能对三个分布式来说不会太高,废话不多说直接上测试数据,我们先看下整体的对比情况:、
一、 基础环境
二、 整体的OLTP测试情况对比
sysbench测试中由于for update 对greenplum的影响测试结果不太理想,所以通过pgbench对greenplum再进行一轮测试
greenplum 6.7.1pgbench测试,通过自己写的脚本实现的三个场景
三、 OLAP简单场景统计性能对比
t1、t2表各生成1亿记录:包含id、int类型、字符类型、时间类型、浮点型,由于HTAP对复杂的统计分析场景不支持(如窗口函数、高级sql),所以采取通用场景测试:
准备测试表:
-------------crdb-------------create table t1 (id int primary key, c1 float4, c2 text, c3 timestamp, c4 float4);create table t2 (id int primary key, c1 float4, c2 text, c3 timestamp, c4 float4);
------------TiDB--------------
create table t1 (id int, c1 float, c2 text, c3 timestamp, c4 float);
create table t2 (id int, c1 float, c2 text, c3 timestamp, c4 float);
------------GPDB--------------
create table t1 (id int, c1 float, c2 text, c3 timestamp, c4 float);
create table t2 (id int, c1 float, c2 text, c3 timestamp, c4 float);
由于crdb、tidb一个事务中生成1亿记录未能完成(crdb异常、tidb异常缓慢),所以通过程序实现分段提交实现:insert into t1 select id, random()*1000, md5(random()::text), clock_timestamp(), random()*1000 from generate_series(1,100000000) t(id);insert into t2 select id, random()*1000, md5(random()::text), clock_timestamp(), random()*1000 from generate_series(1,100000000) t(id);
-------------crdb-------------
20线程 每线程500万数据,双表同时写入,共耗时3200359毫秒
按开始-结束时间统计单事务耗时:总耗时=单个事务提交*(2亿/1000/20),反推出单个事务提交320毫秒,这320包含了生成数据时间。程序逻辑:生成1000条数据 ->t1→t2。
按日志输出统计单事务耗时:
#cat nohup.out |grep t1 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 225.017
# cat nohup.out |grep t2 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 249.99
------------TiDB--------------
#cat nohup.out |grep t1 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'
Average = 295.407
cat nohup.out |grep t2 |awk -F '1000条,耗时:' '{sum += $2} END {print "Average =",sum/NR}'Average = 350.562
四、 总结
综合来看greenplum的目前对oltp场景支持的已经足够好,但是greenplum在oltp场景目前存在Master单节点的性能瓶颈,后续希望greenplum做出突破,新型的htap分布式数据库,目前节点性能损耗还是比较严重的,htap 的优势应该是在节点足够多,能够成线性的增长,对特性这块的支持也是不尽相同,greenplum是对原生关系型数据库支持特性最好的(完全支持,如触发器需要单节点使用)。
注:本文涉及的测试用例内容过于繁杂,故没有在文中过多体现,如有兴趣的同学可以联系我们获取详情(可发送邮件到partner@postgresqlchina.com)。
作者:马晓亮 金风科技数据库工程师
相关推荐
- Java 8 新特性全面解读:解锁现代编程的魅力
-
Java8新特性全面解读:解锁现代编程的魅力Java8作为Java语言发展史上里程碑式的版本,不仅带来了诸多新特性,更深刻地改变了我们编写代码的方式。无论是简洁的Lambda表达式,还是强大的S...
- 教程:克隆公司饭卡 然后优雅地“蹭饭”
-
最近借了Proxmark3来娱乐性的玩下RFID技术,工资甚低的我只好拿公司饭卡实验,优雅地蹭几顿。物业大叔表打我啊!以下操作纯属学习目的,初学难免错误较多,望斧正。首先了解M1卡的结构:请参考htt...
- 新课标高中教材1030个短语大汇总(高中新课标英语词汇)
-
1.anamountof+不可数名词许多...
- 看完这篇文章你就懂 AQS 了(赛科龙aqs401参数详情)
-
前言谈到并发,我们不得不说AQS(AbstractQueuedSynchronizer),所谓的AQS即是抽象的队列式的同步器,内部定义了很多锁相关的方法,我们熟知的ReentrantLock、Ree...
- Java 8新特性全面解析:开启现代化编程之旅
-
Java8新特性全面解析:开启现代化编程之旅Java8作为Java语言发展历程中的重要里程碑,在2014年正式发布。它的到来标志着Java从传统面向对象编程向支持函数式编程迈进的重要一步。在这一版...
- Java 8新特性全面剖析:让代码更优雅、更高效
-
Java8新特性全面剖析:让代码更优雅、更高效Java8,作为Java语言发展史上的一座里程碑,带来了众多令人振奋的新特性。这些新特性不仅极大地提升了开发效率,还让代码变得更优雅、更简洁。今天,我...
- 线程安全编程方法总结(线程安全编程方法总结)
-
保护线程安全是多线程编程中的核心问题,关键在于控制共享资源的访问并协调线程间的执行顺序。以下是常用的基本方法及其适用场景:1.互斥锁(MutexLocks)机制:通过锁(如synchronize...
- 考勤数据标准化处理(考勤标准化管理制度)
-
经常做考勤的同学有没有遇到过这样的考勤数据呢?没错,从考勤机里导出来的,要统计那叫一个麻烦啊(有同学说可以导出txt文件,然后再处理会省事很多,有条件的小伙伴可以自己研究研究)看这表格数据其实挺规范的...
- SQL语句大全,所有的SQL都在这里(sql语句百度百科)
-
一、基础1、说明:创建数据库CREATEDATABASEdatabase-name2、说明:删除数据库dropdatabasedbname3、说明:备份sqlserver---创建备份数...
- 手搓Agno智能体使用Ollama模型(ollama本地智能体)
-
轻量化智能体开源框架Agno有兴趣了解WhatisAgno-Agno安装python3.12...
- 高级排序算法之快速排序(高效排序)
-
前言今天继续算法学习,本次学习的是高级排序之快速排序。本文代码部分存在调用公共方法,可在文章:...
- Linux cmp 命令使用详解(linux常用命令cp)
-
简介Linux中的...
- N张图告诉你K-DB为什么能全面兼容Oracle?
-
不是每一款数据库都能全面兼容Oracle,就像不是所有数据库都可以被称之为K-DB。一般数据库能做到的SQL标准和函数上兼容Oracle,而K-DB则能实现更多,在数据库体系架构、集群方式、数据库对象...
- 12. Langchain评估与调试:用LangSmith优化模型表现
-
引言:从"感觉不错"到"数据说话"2025年某电商平台通过LangSmith系统化的评估优化,将客服机器人的问题解决率从68%提升至92%。本文将详解如何用...
- 那些有用但不为大家所熟知的 Java 特性
-
本文最初发表于PiotrMińkowski的个人站点Medium网站,经作者授权,由InfoQ中文站翻译分享。...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- node卸载 (33)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- exceptionininitializererror (33)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)