百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

服务器上网友上传重复图片太多,几步操作检测重复图片并删除

ztj100 2024-11-21 00:29 14 浏览 0 评论


电脑中重复图片很多,不删吧,占用电脑资源,删除吧,一个一个的找,很是麻烦。还好我们会python,毕竟python号称是世界上无所不能的编程语言(这里请不要讨论谁是世界上最好的编程语言)

1、加载所有图片,获取图片的信息以及图片路径

2、计算每个图片的哈希值,并保存

3、检测每个哈希值,若相同,表明图片相同

4、根据哈希值反推图片的路径,然后进行图片的删除,获取其他操作

建立图片哈希值函数

import numpy as np

import cv2

import os

def dhash(image, hashSize=8):

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

resized = cv2.resize(gray, (hashSize + 1, hashSize))

diff = resized[:, 1:] > resized[:, :-1]

return sum([2 ** i for (i, v) in enumerate(diff.flatten()) if v])

本函数的主要目的是计算每个图片的哈希值

首先我们使用cv2.cvtColor函数把图片从RGB空间转换为灰度照片(便于计算)

然后使用cv2.resize函数把图片缩小(这里的操作也是为了快速计算)

diff = resized[:, 1:] > resized[:, :-1]来计算相邻列像素之间的相对水平梯度

最后返回图片的哈希值

加载图片,计算图片哈希值

hashes = {}

imagePaths=[]

for root, dirs, files in os.walk("dataset"):

for file in files:

imagePaths.append(os.path.join(root, file))

for imagePath in imagePaths:

image = cv2.imread(imagePath)

h = dhash(image)

path = hashes.get(h, [])

path.append(imagePath)

hashes[h] = path

我们新建2个初识变量,一个来保存图片路径,一个来保存图片路径以及图片哈希值的字典

首先使用os.walk("dataset")函数来获取dataset目录下的所有图片

使用for循环来获取所有图片的路径(绝对路径)

使用for循环遍历所有的图片

image = cv2.imread(imagePath)来读取图片

然后使用h = dhash(image)函数来获取图片的哈希值

使用图片哈希值作为key,图片路径作为value,来保存所有图片的哈希值与图片路径

由于字典不会存在2个相同的key,所以,当图片的哈希值相等时,我们把路径都赋值给同一个key值

遍历字典,获取相同图片

for (h, hashedPaths) in hashes.items():

if len(hashedPaths) > 1:

print("same num:", len(hashedPaths))

if -1 <= 0:

same = None

for p in hashedPaths:

image = cv2.imread(p)

image = cv2.resize(image, (150, 150))

if same is None:

same = images

else:

same = np.hstack([montage, image])

cv2.imshow("same", same)

cv2.waitKey(0)

else:

for path in hashedPaths[1:]:

os.remove(path)

我们遍历字典,当某个key值下面对应的图片路径有2个或者2个以上时,这证明存在相识图片

当检测到相识图片时,就可以直接执行

for path in hashedPaths[1:]:

os.remove(path)

函数来进行图片的删除工作,这里我们保留了第一张图片,其他相同图片删除

很多时候,我们想看看相识图片的数量以及其他信息

这里我们打印了相识图片的数量,最后把相识的图片显示出来


相关推荐

30天学会Python编程:16. Python常用标准库使用教程

16.1collections模块16.1.1高级数据结构16.1.2示例...

强烈推荐!Python 这个宝藏库 re 正则匹配

Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...

Python爬虫中正则表达式的用法,只讲如何应用,不讲原理

Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...

Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)

实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...

python爬虫教程之爬取当当网 Top 500 本五星好评书籍

我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...

深入理解re模块:Python中的正则表达式神器解析

在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...

如何使用正则表达式和 Python 匹配不以模式开头的字符串

需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...

先Mark后用!8分钟读懂 Python 性能优化

从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

简单学Python——re库(正则表达式)2(split、findall、和sub)

1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...

Lavazza拉瓦萨再度牵手上海大师赛

阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...

ArkUI-X构建Android平台AAR及使用

本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...

Deepseek写歌详细教程(怎样用deepseek写歌功能)

以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...

“AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测

“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...

AI音乐制作神器揭秘!3款工具让你秒变高手

在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...

取消回复欢迎 发表评论: