MySQL踩坑笔记,加了唯一索引还会出现重复数据?
ztj100 2024-12-28 16:52 39 浏览 0 评论
还原问题
表结构如下:
-- 表格式
CREATE TABLE `student_course` (
`id` bigint NOT NULL,
`student_id` bigint NOT NULL,
`course_id` bigint NOT NULL,
`xxx_id` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
-- 为了保证数据的唯一性,建了唯一索引:
alter table student_course add unique index
ux_student_conrse_xxx(student_id,course_id,xxx_id);
第二天查看数据,发现该表中竟然产生了重复的数据:
从上图中看出,mysql的唯一性约束生效了,重复数据被拦截了。
接下来,我们再插入两条xxx_id为null的数据,其中第三条数据跟第二条数据中student_id、course_id和xxx_id字段值都一样.
从图中看出,竟然执行成功了。
换句话说,如果唯一索引的字段中,出现了null值,则唯一性约束不会生效。
最终插入的数据情况是这样的:
- 当xxx_id字段不为空时,不会产生重复的数据。
- 当xxx_id字段为空时,会生成重复的数据。
我们需要特别注意:创建唯一索引的字段,都不能允许为null,否则mysql的唯一性约束可能会失效。
逻辑删除表加唯一索引
我们都知道唯一索引非常简单好用,但有时候,在表中它并不好加。不信,我们一起往下看。通常情况下,要删除表的某条记录的话,如果用delete语句操作的话。例如:
delete from product where id=123;
这种delete操作是物理删除,即该记录被删除之后,后续通过sql语句基本查不出来。(不过通过其他技术手段可以找回,那是后话了)还有另外一种是逻辑删除,主要是通过update语句操作的。例如:
update product set delete_status=1,edit_time=now(3) where id=123;
逻辑删除需要在表中额外增加一个删除状态字段,用于记录数据是否被删除。在所有的业务查询的地方,都需要过滤掉已经删除的数据。通过这种方式删除数据之后,数据任然还在表中,只是从逻辑上过滤了删除状态的数据而已。
其实对于这种逻辑删除的表,是没法加唯一索引的。为什么呢?
假设之前给商品表中的name和model加了唯一索引,如果用户把某条记录删除了,delete_status设置成1了。后来,该用户发现不对,又重新添加了一模一样的商品。由于唯一索引的存在,该用户第二次添加商品会失败,即使该商品已经被删除了,也没法再添加了。这个问题显然有点严重。
有人可能会说:把name、model和delete_status三个字段同时做成唯一索引不就行了?
答:这样做确实可以解决用户逻辑删除了某个商品,后来又重新添加相同的商品时,添加不了的问题。但如果第二次添加的商品,又被删除了。该用户第三次添加相同的商品,不也出现问题了?由此可见,如果表中有逻辑删除功能,是不方便创建唯一索引的。
但如果真的想给包含逻辑删除的表,增加唯一索引,该怎么办呢?
删除状态+1
通过前面知道,如果表中有逻辑删除功能,是不方便创建唯一索引的。其根本原因是,记录被删除之后,delete_status会被设置成1,默认是0。相同的记录第二次删除的时候,delete_status被设置成1,但由于创建了唯一索引(把name、model和delete_status三个字段同时做成唯一索引),数据库中已存在delete_status为1的记录,所以这次会操作失败。
我们为啥不换一种思考:不要纠结于delete_status为1,表示删除,当delete_status为1、2、3等等,只要大于1都表示删除。这样的话,每次删除都获取那条相同记录的最大删除状态,然后加1。
这样数据操作过程变成:
添加记录a,delete_status=0。
删除记录a,delete_status=1。
添加记录a,delete_status=0。
删除记录a,delete_status=2。
添加记录a,delete_status=0。
删除记录a,delete_status=3。
由于记录a,每次删除时,delete_status都不一样,所以可以保证唯一性。该方案的优点是:不用调整字段,非常简单和直接。
缺点是:可能需要修改sql逻辑,特别是有些查询sql语句,有些使用delete_status=1判断删除状态的,需要改成delete_status>=1。
增加时间戳字段
导致逻辑删除表,不好加唯一索引最根本的地方在逻辑删除那里。我们为什么不加个字段,专门处理逻辑删除的功能呢?
答:可以增加时间戳字段。
把name、model、delete_status和timeStamp,四个字段同时做成唯一索引在添加数据时,timeStamp字段写入默认值1。
然后一旦有逻辑删除操作,则自动往该字段写入时间戳。这样即使是同一条记录,逻辑删除多次,每次生成的时间戳也不一样,也能保证数据的唯一性。
时间戳一般精确到秒。除非在那种极限并发的场景下,对同一条记录,两次不同的逻辑删除操作,产生了相同的时间戳。这时可以将时间戳精确到毫秒。
该方案的优点是:可以在不改变已有代码逻辑的基础上,通过增加新字段实现了数据的唯一性。缺点是:在极限的情况下,可能还是会产生重复数据。
增加id字段
其实,增加时间戳字段基本可以解决问题。但在在极限的情况下,可能还是会产生重复数据。有没有办法解决这个问题呢?
答:增加主键字段:delete_id。
该方案的思路跟增加时间戳字段一致,即在添加数据时给delete_id设置默认值1,然后在逻辑删除时,给delete_id赋值成当前记录的主键id。
把name、model、delete_status和delete_id,四个字段同时做成唯一索引。这可能是最优方案,无需修改已有删除逻辑,也能保证数据的唯一性。
重复历史数据如何加唯一索引?
前面聊过如果表中有逻辑删除功能,不太好加唯一索引,但通过文中介绍的三种方案,可以顺利的加上唯一索引。
但来自灵魂的一问:如果某张表中,已存在历史重复数据,该如何加索引呢?最简单的做法是,增加一张防重表,然后把数据初始化进去。
可以写一条类似这样的SQL:
insert into product_unqiue(id,name,category_id,unit_id,model)
select max(id), select name,category_id,unit_id,model from product
group by name,category_id,unit_id,model;
这样做可以是可以,但今天的主题是直接在原表中加唯一索引,不用防重表。那么,这个唯一索引该怎么加呢?其实可以借鉴上一节中,增加id字段的思路。增加一个delete_id字段。不过在给product表创建唯一索引之前,先要做数据处理。获取相同记录的最大id:
select max(id), select name,category_id,unit_id,model from product
group by name,category_id,unit_id,model;
然后将delete_id字段设置成1。然后将其他的相同记录的delete_id字段,设置成当前的主键。这样就能区分历史的重复数据了。当所有的delete_id字段都设置了值之后,就能给name、model、delete_status和delete_id,四个字段加唯一索引了。完美。
相关推荐
- Vue3非兼容变更——函数式组件(vue 兼容)
-
在Vue2.X中,函数式组件有两个主要应用场景:作为性能优化,因为它们的初始化速度比有状态组件快得多;返回多个根节点。然而在Vue3.X中,有状态组件的性能已经提高到可以忽略不计的程度。此外,有状态组...
- 利用vue.js进行组件化开发,一学就会(一)
-
组件原理/组成组件(Component)扩展HTML元素,封装可重用的代码,核心目标是为了可重用性高,减少重复性的开发。组件预先定义好行为的ViewModel类。代码按照template\styl...
- Vue3 新趋势:10 个最强 X 操作!(vue.3)
-
Vue3为前端开发带来了诸多革新,它不仅提升了性能,还提供了...
- 总结 Vue3 组件管理 12 种高级写法,灵活使用才能提高效率
-
SFC单文件组件顾名思义,就是一个.vue文件只写一个组件...
- 前端流行框架Vue3教程:17. _组件数据传递
-
_组件数据传递我们之前讲解过了组件之间的数据传递,...
- 前端流行框架Vue3教程:14. 组件传递Props效验
-
组件传递Props效验Vue组件可以更细致地声明对传入的props的校验要求...
- 前端流行框架Vue3教程:25. 组件保持存活
-
25.组件保持存活当使用...
- 5 个被低估的 Vue3 实战技巧,让你的项目性能提升 300%?
-
前端圈最近都在卷性能优化和工程化,你还在用老一套的Vue3开发方法?作为摸爬滚打多年的老前端,今天就把私藏的几个Vue3实战技巧分享出来,帮你在开发效率、代码质量和项目性能上实现弯道超车!一、...
- 绝望!Vue3 组件频繁崩溃?7 个硬核技巧让性能暴涨 400%!
-
前端的兄弟姐妹们五一假期快乐,谁还没在Vue3项目上栽过跟头?满心欢喜写好的组件,一到实际场景就频频崩溃,页面加载慢得像蜗牛,操作卡顿到让人想砸电脑。用户疯狂吐槽,领导脸色难看,自己改代码改到怀疑...
- 前端流行框架Vue3教程:15. 组件事件
-
组件事件在组件的模板表达式中,可以直接使用...
- Vue3,看这篇就够了(vue3 从入门到实战)
-
一、前言最近很多技术网站,讨论的最多的无非就是Vue3了,大多数都是CompositionAPI和基于Proxy的原理分析。但是今天想着跟大家聊聊,Vue3对于一个低代码平台的前端更深层次意味着什么...
- 前端流行框架Vue3教程:24.动态组件
-
24.动态组件有些场景会需要在两个组件间来回切换,比如Tab界面...
- 前端流行框架Vue3教程:12. 组件的注册方式
-
组件的注册方式一个Vue组件在使用前需要先被“注册”,这样Vue才能在渲染模板时找到其对应的实现。组件注册有两种方式:全局注册和局部注册...
- 焦虑!Vue3 组件频繁假死?6 个奇招让页面流畅度狂飙 500%!
-
前端圈的朋友们,谁还没在Vue3项目上踩过性能的坑?满心期待开发出的组件,一到高并发场景就频繁假死,用户反馈页面点不动,产品经理追着问进度,自己调试到心态炸裂!别以为这是个例,不少人在电商大促、数...
- 前端流行框架Vue3教程:26. 异步组件
-
根据上节课的代码,我们在切换到B组件的时候,发现并没有网络请求:异步组件:...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)