内存空间节约利器redis的bitmap(位图)应用场景有哪些你知道吗
ztj100 2025-05-05 20:15 122 浏览 0 评论
在前面我们分享过一次Redis常用数据结构和使用场景,文章对Redis基本使用做了一个简单的API说明,但是对于其中String类型中的bitmap(位图)我们需要重点说明一下,因为他的作用真的不容忽略,因为bitmap在内存资源节约上真的是太棒啦!同时因为计算机是基于二进制来运算的,所以bitmap还有天然的计算优势,如果使用bitmap来进行计算逻辑的话,性能会有大幅度提升。下面我们来分享下Redis中bitmap的实际应用场景。
统计用户每日签到
一年固定有365天或366天,这样可以用366个二进制位,即最多50个字节就可以记录每个用户一年的登录情况。某天登录把对应的二进制位改为1即可,当查询时,使用bitcount计算即可。既节省了空间,又提高了效率。假如说有1000W用户,500M空间存储足以。
统计活跃用户(去重),窗口随机
以每天的日期作为key,每个用户ID是一个二进制位,举个例子:假如说2020-01-01这一天,用户A(第一个bit位)登录了,用户B(第七个bit位)登录了;2020-01-02这一天,只有用户A登录,那么统计2020-01-01~2020-01-02这两天的活跃用户数。即可用以下命令计算:
setbit 2020-01-01 1 1
setbit 2020-01-01 7 1
setbit 2020-01-02 1 1
统计:
先去重:bitop or destkey 2020-01-01 2020-01-02
获取结果:bitcount destkey 0 -1
用户在线状态实时统计
用户ID为offset,如果在线就设置为1,不在线就设置为0,5000W用户只需要6MB的空间。还是使用bitcount命令进行统计汇总。
数据双写去重
以上bitmap的操作都是基于用户角度来进行统计的示例,但是bitmap作用远远不仅如此。下面我们重点来看下Redis的bitmap在数据双写中扮演的重要角色。
在最近的业务数据(大约一个亿数据)迁移的时候遇到了一个比较棘手的问题,因为需要进行老系统的兼容,数据迁移完成之后需要进行双写。但是双写数据不在一个系统并且组内还没有引入分布式事务框架(比如阿里的seate),那么如何保证双写的两部分数据库数据的一致性呢?如果出现了网络抖动、连接数据库超时等异常场景如何去补偿数据?其实对于这种问题,那就是需要定时check两个双写数据库的数据,假设先入数据库数据为A库,后入数据库数据为B库,以A入库的数据库为主,去check后入库的B库数据。如果check发现数据不一致(一般都是B库数据库数据丢失情况),则将B库数据未能成功写入的数据重新写入,并且需要保证B库数据不会重复推送。
如果我们check数据条数不一致时,我们可以通过哪些方式来排查出未能成功同步的数据,并且重新推送呢?可能会有以下方案:
- 先逐条查询A数据库数据,然后去查询B数据库是否存在,如果不存在则将该数据写入到数据库B(数据库压力过大)
- B数据库增加唯一键,check对数据不一致时,将A数据库的数据全量推给B数据库,如果出现异常则报错即可(数据库会有大量报错,不友好)
- B数据库增加唯一键,利用Mysql数据库的INSERT INTO ... ON DUPLICATE KEY UPDATE(不存在插入,存在则更新)方式,重新将A数据推送给B(字段过多,性能低下)
- B数据库增加唯一键,利用Mysql数据库的REPLACE INTO方式,重新将A数据推送给B(效率很差,多进程并发一下就会锁表)
- B数据库增加唯一键,利用Mysql数据库的INSERT IGNORE INTO,重新将A数据推送给B(不建议使用,可能会丢数据)
- 依赖DBA,让B库通过binlog方式监听A数据的变更,但是需要引入其他中间件,比如cancel(cancel存在单点问题,程序复杂性变高)
- 在数据库A增加触发器,当有数据变更时,通知数据库B同步(影响数据库性能)
基于以上方案,我们需要一个减轻Mysql压力同时提高系统check性能的方案,于是我们打算使用Redis的bitmap来check数据。架构方案如下图所示:
主要分为2个过程
过程1)数据进行双写A库和B库,B库写成功后再写入Redis,为check定时任务做准备;
过程2)每日定时任务check,先校验A库和B库数据总条数是否一致,如果不一致则判断Redis是否存在,存在则代表双写成功,无则表示双写失败,然后重新推送。
那我们为什要使用bitmap呢?
- 我们先看下bitmap占用的空间,8个bit可以组成一个Byte,Redis指令 SETBIT key offset value,offset为数据的偏移量(我们使用Mysql的主见ID),所以大概的空间占用计算公式是:($offset/8/1024/1024)MB,占用空间随着数据量越大越明显
- 设置偏移量时的时间复杂度为O(1)
- 当我们check完数据后,需要将Redis的的key进行清除,因为check是以天为单位,所以只需要删除一个按照天为单位的key即可,对比Redis的value用String结构存要方便很多,同时提高操作性能
好的,以上是我们对bitmap(位图)实际使用场景对一个总结,当然bitmap的应用远不仅如此,比如面试过程中可能问到,在内存受限的情况下,如何在一个整数大集合找出出现次数大于等于一次的整数个数等,这里的重点一般是体现在内存受限!
不断分享开发过程用到的技术和面试经常被问到的问题,如果您也对IT技术比较感兴趣可以「关注」我
相关推荐
- 30天学会Python编程:16. Python常用标准库使用教程
-
16.1collections模块16.1.1高级数据结构16.1.2示例...
- 强烈推荐!Python 这个宝藏库 re 正则匹配
-
Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...
- Python爬虫中正则表达式的用法,只讲如何应用,不讲原理
-
Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...
- Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)
-
实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...
- python爬虫教程之爬取当当网 Top 500 本五星好评书籍
-
我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...
- 深入理解re模块:Python中的正则表达式神器解析
-
在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...
- 如何使用正则表达式和 Python 匹配不以模式开头的字符串
-
需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...
- 先Mark后用!8分钟读懂 Python 性能优化
-
从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...
- Python“三步”即可爬取,毋庸置疑
-
声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...
- 简单学Python——re库(正则表达式)2(split、findall、和sub)
-
1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...
- Lavazza拉瓦萨再度牵手上海大师赛
-
阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...
- ArkUI-X构建Android平台AAR及使用
-
本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...
- Deepseek写歌详细教程(怎样用deepseek写歌功能)
-
以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...
- “AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测
-
“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...
- AI音乐制作神器揭秘!3款工具让你秒变高手
-
在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 30天学会Python编程:16. Python常用标准库使用教程
- 强烈推荐!Python 这个宝藏库 re 正则匹配
- Python爬虫中正则表达式的用法,只讲如何应用,不讲原理
- Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)
- python爬虫教程之爬取当当网 Top 500 本五星好评书籍
- 深入理解re模块:Python中的正则表达式神器解析
- 如何使用正则表达式和 Python 匹配不以模式开头的字符串
- 先Mark后用!8分钟读懂 Python 性能优化
- Python“三步”即可爬取,毋庸置疑
- 简单学Python——re库(正则表达式)2(split、findall、和sub)
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)