百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

服务器上网友上传重复图片太多,几步操作检测重复图片并删除

ztj100 2024-11-21 00:29 11 浏览 0 评论


电脑中重复图片很多,不删吧,占用电脑资源,删除吧,一个一个的找,很是麻烦。还好我们会python,毕竟python号称是世界上无所不能的编程语言(这里请不要讨论谁是世界上最好的编程语言)

1、加载所有图片,获取图片的信息以及图片路径

2、计算每个图片的哈希值,并保存

3、检测每个哈希值,若相同,表明图片相同

4、根据哈希值反推图片的路径,然后进行图片的删除,获取其他操作

建立图片哈希值函数

import numpy as np

import cv2

import os

def dhash(image, hashSize=8):

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

resized = cv2.resize(gray, (hashSize + 1, hashSize))

diff = resized[:, 1:] > resized[:, :-1]

return sum([2 ** i for (i, v) in enumerate(diff.flatten()) if v])

本函数的主要目的是计算每个图片的哈希值

首先我们使用cv2.cvtColor函数把图片从RGB空间转换为灰度照片(便于计算)

然后使用cv2.resize函数把图片缩小(这里的操作也是为了快速计算)

diff = resized[:, 1:] > resized[:, :-1]来计算相邻列像素之间的相对水平梯度

最后返回图片的哈希值

加载图片,计算图片哈希值

hashes = {}

imagePaths=[]

for root, dirs, files in os.walk("dataset"):

for file in files:

imagePaths.append(os.path.join(root, file))

for imagePath in imagePaths:

image = cv2.imread(imagePath)

h = dhash(image)

path = hashes.get(h, [])

path.append(imagePath)

hashes[h] = path

我们新建2个初识变量,一个来保存图片路径,一个来保存图片路径以及图片哈希值的字典

首先使用os.walk("dataset")函数来获取dataset目录下的所有图片

使用for循环来获取所有图片的路径(绝对路径)

使用for循环遍历所有的图片

image = cv2.imread(imagePath)来读取图片

然后使用h = dhash(image)函数来获取图片的哈希值

使用图片哈希值作为key,图片路径作为value,来保存所有图片的哈希值与图片路径

由于字典不会存在2个相同的key,所以,当图片的哈希值相等时,我们把路径都赋值给同一个key值

遍历字典,获取相同图片

for (h, hashedPaths) in hashes.items():

if len(hashedPaths) > 1:

print("same num:", len(hashedPaths))

if -1 <= 0:

same = None

for p in hashedPaths:

image = cv2.imread(p)

image = cv2.resize(image, (150, 150))

if same is None:

same = images

else:

same = np.hstack([montage, image])

cv2.imshow("same", same)

cv2.waitKey(0)

else:

for path in hashedPaths[1:]:

os.remove(path)

我们遍历字典,当某个key值下面对应的图片路径有2个或者2个以上时,这证明存在相识图片

当检测到相识图片时,就可以直接执行

for path in hashedPaths[1:]:

os.remove(path)

函数来进行图片的删除工作,这里我们保留了第一张图片,其他相同图片删除

很多时候,我们想看看相识图片的数量以及其他信息

这里我们打印了相识图片的数量,最后把相识的图片显示出来


相关推荐

利用navicat将postgresql转为mysql

导航"拿来主义"吃得亏自己动手,丰衣足食...

Navicat的详细教程「偷偷收藏」(navicatlite)

Navicat是一套快速、可靠并价格适宜的数据库管理工具,适用于三种平台:Windows、macOS及Linux。可以用来对本机或远程的MySQL、SQLServer、SQLite、...

Linux系统安装SQL Server数据库(linux安装数据库命令)

一、官方说明...

Navicat推出免费数据库管理软件Premium Lite

IT之家6月26日消息,Navicat推出一款免费的数据库管理开发工具——NavicatPremiumLite,针对入门级用户,支持基础的数据库管理和协同合作功能。▲Navicat...

Docker安装部署Oracle/Sql Server

一、Docker安装Oracle12cOracle简介...

Docker安装MS SQL Server并使用Navicat远程连接

...

Web性能的计算方式与优化方案(二)

通过前面《...

网络入侵检测系统之Suricata(十四)——匹配流程

其实规则的匹配流程和加载流程是强相关的,你如何组织规则那么就会采用该种数据结构去匹配,例如你用radixtree组织海量ip规则,那么匹配的时候也是采用bittest确定前缀节点,然后逐一左右子树...

使用deepseek写一个图片转换代码(deepnode处理图片)

写一个photoshop代码,要求:可以将文件夹里面的图片都处理成CMYK模式。软件版本:photoshop2022,然后生成的代码如下://Photoshop2022CMYK批量转换专业版脚...

AI助力AUTOCAD,生成LSP插件(ai里面cad插件怎么使用)

以下是用AI生成的,用AUTOLISP语言编写的cad插件,分享给大家:一、将单线偏移为双线;;;;;;;;;;;;;;;;;;;;;;单线变双线...

Core Audio音频基础概述(core 音乐)

1、CoreAudioCoreAudio提供了数字音频服务为iOS与OSX,它提供了一系列框架去处理音频....

BlazorUI 组件库——反馈与弹层 (1)

组件是前端的基础。组件库也是前端框架的核心中的重点。组件库中有一个重要的板块:反馈与弹层!反馈与弹层在组件形态上,与Button、Input类等嵌入界面的组件有所不同,通常以层的形式出现。本篇文章...

怎样创建一个Xcode插件(xcode如何新建一个main.c)

译者:@yohunl译者注:原文使用的是xcode6.3.2,我翻译的时候,使用的是xcode7.2.1,经过验证,本部分中说的依然是有效的.在文中你可以学习到一系列的技能,非常值得一看.这些技能不单...

让SSL/TLS协议流行起来:深度解读SSL/TLS实现1

一前言SSL/TLS协议是网络安全通信的重要基石,本系列将简单介绍SSL/TLS协议,主要关注SSL/TLS协议的安全性,特别是SSL规范的正确实现。本系列的文章大体分为3个部分:SSL/TLS协...

社交软件开发6-客户端开发-ios端开发验证登陆部分

欢迎订阅我的头条号:一点热上一节说到,Android客户端的开发,主要是编写了,如何使用Androidstudio如何创建一个Android项目,已经使用gradle来加载第三方库,并且使用了异步...

取消回复欢迎 发表评论: