百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

可直接使用的图片配准实例

ztj100 2024-11-21 00:29 21 浏览 0 评论

用随机采样一致性方法求单应性矩阵H

先看结果:


需要配准的图片为img1 和 img2,如下图:


需要配准,首先需要找关键点:



注意:这里显示的关键点,是配准后,发现可以找到匹配点的关键点,并没有显示原始关键点。

然后用随机一致性(RANRAC)方法,找到这些关键点最合适的配对,如下图:


配准后,得到单应性矩阵H:



然后使用单应性矩阵对img1进行变换:


变换后,发现原img1上的海面部分不见了,为了将海面部分也显示出来,所以,我们先将img1右移640个像素,然后再通过H变换,得:

将变换后的图像与img2相加,就会发现这两张图片已经配准了。

因为img1是先右移640像素,才进行H变换的。

所以,这里,我们也要将img2右移640像素。


下面我们看看详细的原理:


Affine invariant feature-based image matching sample.
This sample is similar to find_obj.py, but uses the affine transformation
space sampling technique, called ASIFT [1]. While the original implementation
is based on SIFT, you can try to use SURF or ORB detectors instead. Homography RANSAC
is used to reject outliers. Threading is used for faster affine sampling.

[1] http://www.ipol.im/pub/algo/my_affine_sift/

USAGE
  asift.py [--feature=<sift|surf|orb|brisk>[-flann]] [ <image1> <image2> ]

  --feature  - Feature to use. Can be sift, surf, orb or brisk. Append '-flann'
               to feature name to use Flann-based matcher instead bruteforce.

  Press left mouse button on a feature point to see its matching point.

affine transformation space sampling technique:刚体变换空间采样技术

Homography RANSAC 用来拒绝例外点。

所以,这里面涉及到两个技术:一个是SIFT,一个是Homography RANSAC

要说清楚Homography RANSAC,就需要先了解RANSAC



这个思路其实是估计出了k个模型,在这k个模型中,有95%的概率,存在一个模型符合所有的正确数据(局内点)。

这里解释一下这个局内点与局外点。

局外点就是噪声数据。

局内点就是正常数据。

所以,RANSAC方法通过概率的形式,去除了噪声点对模型的影响。并且能够判断出来,哪些是局外点。

说清楚了RANSAC,我们再看Homography RANSAC

Homography:单应性。这是个啥?



这里:单应,单独对应,一一对应,点与点是一一对应的关系。


图中的H就是单应行矩阵。而用单应性矩阵乘以世界坐标系下点的坐标(X,Y,Z)就会得到像素坐标系下的坐标(u,v),而这就是单应行变换。

我们看看单应性变换能做的事情:






我们做图像匹配的时候,就是找两幅图上像素点之间的单应行矩阵。

找到这个,两幅图的匹配就搞定了。

匹配的过程:

1 找到a,b图上的关键点集合A,B。

2 求集合A和集合B的单应性矩阵。

3 利用单应行矩阵,将b图转化,然后叠加在A图上。



单应性矩阵求解

这显然有9个未知量。

因为我们有集合A,B是已知的,

我们可以利用这些点,建立方程组,然后求解方程组的方式求取得到这9个值。

也可以用矩阵的计算求取得到单应性矩阵的值。

也可以通过随机采样一致性(RANSC)方法进行竞选,选出一个最好的模型。

参考:
https://blog.csdn.net/qq_45467083/article/details/105457198?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.control&spm=1001.2101.3001.4242

参考:
https://blog.csdn.net/lhanchao/article/details/52849446

具体实现代码如下:

#!/usr/bin/env python

'''
Affine invariant feature-based image matching sample.

This sample is similar to find_obj.py, but uses the affine transformation
space sampling technique, called ASIFT [1]. While the original implementation
is based on SIFT, you can try to use SURF or ORB detectors instead. Homography RANSAC
is used to reject outliers. Threading is used for faster affine sampling.

[1] http://www.ipol.im/pub/algo/my_affine_sift/

USAGE
asift.py [--feature=<sift|surf|orb|brisk>[-flann]] [ <image1> <image2> ]

--feature - Feature to use. Can be sift, surf, orb or brisk. Append '-flann'
to feature name to use Flann-based matcher instead bruteforce.

Press left mouse button on a feature point to see its matching point.
'''

# Python 2/3 compatibility
from __future__ import print_function

import numpy as np
import cv2 as cv

# built-in modules
import itertools as it
from multiprocessing.pool import ThreadPool

# local modules
from common import Timer
from find_obj import init_feature, filter_matches, explore_match


def affine_skew(tilt, phi, img, mask=None):
'''
affine_skew(tilt, phi, img, mask=None) -> skew_img, skew_mask, Ai

Ai - is an affine transform matrix from skew_img to img
'''
h, w = img.shape[:2]
if mask is None:
mask = np.zeros((h, w), np.uint8)
mask[:] = 255
A = np.float32([[1, 0, 0], [0, 1, 0]])
if phi != 0.0:
phi = np.deg2rad(phi)
s, c = np.sin(phi), np.cos(phi)
A = np.float32([[c,-s], [ s, c]])
corners = [[0, 0], [w, 0], [w, h], [0, h]]
tcorners = np.int32( np.dot(corners, A.T) )
x, y, w, h = cv.boundingRect(tcorners.reshape(1,-1,2))
A = np.hstack([A, [[-x], [-y]]])
img = cv.warpAffine(img, A, (w, h), flags=cv.INTER_LINEAR, borderMode=cv.BORDER_REPLICATE)
if tilt != 1.0:
s = 0.8*np.sqrt(tilt*tilt-1)
img = cv.GaussianBlur(img, (0, 0), sigmaX=s, sigmaY=0.01)
img = cv.resize(img, (0, 0), fx=1.0/tilt, fy=1.0, interpolation=cv.INTER_NEAREST)
A[0] /= tilt
if phi != 0.0 or tilt != 1.0:
h, w = img.shape[:2]
mask = cv.warpAffine(mask, A, (w, h), flags=cv.INTER_NEAREST)
Ai = cv.invertAffineTransform(A)
return img, mask, Ai


def affine_detect(detector, img, mask=None, pool=None):
'''
affine_detect(detector, img, mask=None, pool=None) -> keypoints, descrs

Apply a set of affine transformations to the image, detect keypoints and
reproject them into initial image coordinates.
See http://www.ipol.im/pub/algo/my_affine_sift/ for the details.

ThreadPool object may be passed to speedup the computation.
'''
params = [(1.0, 0.0)]
for t in 2**(0.5*np.arange(1,6)):
for phi in np.arange(0, 180, 72.0 / t):
params.append((t, phi))

def f(p):
t, phi = p
timg, tmask, Ai = affine_skew(t, phi, img)
keypoints, descrs = detector.detectAndCompute(timg, tmask)
for kp in keypoints:
x, y = kp.pt
kp.pt = tuple( np.dot(Ai, (x, y, 1)) )
if descrs is None:
descrs = []
return keypoints, descrs

keypoints, descrs = [], []
if pool is None:
ires = it.imap(f, params)
else:
ires = pool.imap(f, params)

for i, (k, d) in enumerate(ires):
print('affine sampling: %d / %d\r' % (i+1, len(params)), end='')
keypoints.extend(k)
descrs.extend(d)

print()
return keypoints, np.array(descrs)


def main():
import sys, getopt
opts, args = getopt.getopt(sys.argv[1:], '', ['feature='])
opts = dict(opts)
feature_name = opts.get('--feature', 'brisk-flann')
try:
fn1, fn2 = args
except:
fn1 = 'aero3.jpg'
fn2 = 'aero1.jpg'

img1 = cv.imread(cv.samples.findFile(fn1), cv.IMREAD_GRAYSCALE)
img2 = cv.imread(cv.samples.findFile(fn2), cv.IMREAD_GRAYSCALE)
detector, matcher = init_feature(feature_name)

if img1 is None:
print('Failed to load fn1:', fn1)
sys.exit(1)

if img2 is None:
print('Failed to load fn2:', fn2)
sys.exit(1)

if detector is None:
print('unknown feature:', feature_name)
sys.exit(1)

print('using', feature_name)

pool=ThreadPool(processes = cv.getNumberOfCPUs())
kp1, desc1 = affine_detect(detector, img1, pool=pool)
kp2, desc2 = affine_detect(detector, img2, pool=pool)
print('img1 - %d features, img2 - %d features' % (len(kp1), len(kp2)))

def match_and_draw(win):
with Timer('matching'):
raw_matches = matcher.knnMatch(desc1, trainDescriptors = desc2, k = 2) #2
p1, p2, kp_pairs = filter_matches(kp1, kp2, raw_matches)
if len(p1) >= 4:
H, status = cv.findHomography(p1, p2, cv.RANSAC, 5.0)
#Hi = cv.invert(H)
print(H)
# 为了适应图片1变换后的图像大小,我们将原图平移,并放到更大的画布上
H2 = np.array([[1.,0.,640],[0.,1.,0.],[0.,0.,1.]])
img1H=cv.warpPerspective(img1,H,[img1.shape[1],img1.shape[0]])

# 将img1平移并利用单应性矩阵进行变换
img1H2=cv.warpPerspective(img1,np.dot(H2,H),[640+2*img1.shape[1],img1.shape[0]])
# 将图片2平移
img2H2=cv.warpPerspective(img2,H2,[640+2*img2.shape[1],img2.shape[0]])
#img2H=cv.warpPerspective(img2,Hi,[img1.shape[1],img1.shape[0]])
cv.imshow('img1H',np.vstack([img1,img1H,img2]))
cv.waitKey()
cv.imshow('img1H2',np.vstack([img1H2]))
cv.waitKey()
cv.imshow('img2H2',np.vstack([img2H2]))
cv.waitKey()
cv.imshow('img-addweight',cv.addWeighted(img1H2,0.5,img2H2,0.5,0))
cv.waitKey()
print('%d / %d inliers/matched' % (np.sum(status), len(status)))
# do not draw outliers (there will be a lot of them)
kp_pairs = [kpp for kpp, flag in zip(kp_pairs, status) if flag]
else:
H, status = None, None
print('%d matches found, not enough for homography estimation' % len(p1))

explore_match(win, img1, img2, kp_pairs, None, H)


match_and_draw('affine find_obj')
cv.waitKey()
print('Done')


if __name__ == '__main__':
print(__doc__)
main()
cv.destroyAllWindows()

相关推荐

Win10预览版10532已知问题汇总(微软win11正式版已知问题一览)

IT之家讯微软已向Insider用户推送了Win10预览版10532更新,本次更新对右键菜单、《Windows反馈》应用以及Edge浏览器进行了改进。除此之外还包含一些Bug,汇总如下,有意升级Wi...

Gabe Aul正测试Win10 Mobile 10532,Insider用户还需等

IT之家讯本月中旬微软向Insider用户推送了Win10Mobile预览版10512,该版本修复了一些Bug,增强了系统稳定性,但依然存在一些问题。今天,微软Insider项目负责人GabeAu...

微软开始推送Win10预览版10532快速版更新

8月28日消息,刚才,微软推送了Win10Build10532快速版,修复了之前的Bug,并带来了三项改进。主要来说,这次的更新改进了右键菜单的UI,使其更具Modern风格(见上图)。此外,更新...

Win10预览版10532更新内容大全(windows10更新预览版)

IT之家讯今天凌晨微软向Insider用户推送了Win10预览版10532快速版更新,本次更新主要带来了三处改进,汇总如下:o改进右键菜单,外观更加Modern。这是基于网友要求界面一致的反馈做出...

无法升级Win10预览版10532?也许Hyper-V在搞鬼

根据IT之家网友的反映,安装了微软虚拟机Hyper-V的Win10预览版用户无法成功升级Build10532版本,安装过程中会被要求回滚系统。很多朋友在尝试关闭虚拟机之后重启安装程序,结果仍然无法顺...

Win10预览版10532界面兴起“酷黑”风潮

Win10预览版10532的界面改动还是较为明显的,主要体现在右键菜单上面。总体来看,该版本的右键菜单间距更宽,视觉上更大气,操作上更便于触控。具体来说,任务栏右键菜单的变化最为明显。除了增加选项的宽...

Win10预览版10532上手图集(windows10预览版下载)

IT之家讯8月28日,微软今天推送了Win10预览版10532快速版更新,在该版本中,微软主要是加强细节上调整,并且主要是增强Edge浏览器性能等。在Windows10预览版10532中,微软改进了...

Win10预览版10532上手视频亮点演示

IT之家讯8月28日消息,今天凌晨微软向WindowsInsider快速通道用户推送了Win10预览版10532。在Windows10预览版10532中,微软改进了右键菜单,外观更加现代化。另外还...

第二篇 前端框架Vue.js(vue前端框架技术)

前端三大核心是网页开发的基础,Vue则是基于它们构建的“生产力工具”。通俗理解就是HTML是化妆的工具如眉笔,CSS是化妆品如口红,JavaScript是化妆后的互动,而Vue就是化妆助手。有了化妆工...

基于SpringBoot + vue2实现的旅游推荐管理系统

项目描述...

基于Vue以及iView组件的后端管理UI模板——iview-admin

介绍iView-admin是一套后端管理界面模板,基于Vue2.0,iView(现在为ViewUI)组件是一套完整的基于Vue的高质量组件库,虽然Github上有一套非常火的基于ElementUI...

别再说你会SPA开发了,这5个核心你真的搞懂了吗?

前言此spa非彼spa,不是你所熟知的spa。你所熟知的spa作者肯定是没有你熟悉的。我们这里指的是在前端开发中的一种模型,叫作单页应用程序,顾名思义,就是整个项目只有一个页面,而页面中的内容是动态的...

React.js Top20面试题(react.js中文官网)

概述作为React开发者,对框架的关键概念和原则有扎实的理解是很重要的。考虑到这一点,我整理了一份包含20个重要问题的清单,每个React开发者都应该知道,无论他们是在面试工作还是只是想提高技能。...

美媒:特朗普签署行政令后,FBI又发现约2400份、总计超14000页涉肯尼迪遇刺案文件

来源:环球时报新媒体1月23日特朗普下令公布肯尼迪遇刺案相关机密文件图源:美媒综合福克斯新闻网和Axios网站10日报道,在总统特朗普签署行政令,要求公布“肯尼迪遇刺案”相关政府机密文件之后,美国...

2021 年 Node.js 开发人员学习路线图

Node.js自发布以来,已成为业界重要破局者之一。Uber、Medium、PayPal和沃尔玛等大型企业,纷纷将技术栈转向Node.js。Node.js支持开发功能强大的应用,例如实时追踪...

取消回复欢迎 发表评论: