百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

如何用神经网络实现照片的风格转换

ztj100 2024-11-10 13:13 19 浏览 0 评论

前言

在今天的文章中,我们将实现风格转换效果。为了做到这一点,我们必须更深入地理解卷积神经网络及其各层是如何工作的。在本文的最后,您将能够创建并运行一个风格转换程序。


什么是风格转换

在我们开始我们的风格转换应用程序之前,让我们介绍一下我们正在努力实现的目标。

给定一个输入图像和一个样式图像,我们可以用原始内容和一个新的样式来计算一个输出图像。就像下面这个例子:


如何实现风格转换


  1. 我们获取输入图像和风格图像,并将它们调整为相同的形状。
  2. 我们加载一个预先训练好的卷积神经网络(VGG16)。
  3. 知道我们可以区分负责样式的层(基本形状、颜色等)和负责内容的层(特定于图像的特性),我们就可以分离这些层来独立处理内容和样式。
  4. 然后我们把我们的任务设置为一个优化问题,我们要最小化:
  • 内容loss(输入和输出图像之间的距离-我们努力保持内容)
  • 风格loss(样式与输出图像之间的距离—我们努力应用新样式)
  • total variation loss(正则化-对输出图像进行去噪的空间平滑度)

5. 最后,我们使用L-BFGS算法设置梯度并进行优化。


代码讲解


你可以在GitHub上找到风格转换项目的完整代码库:

https://github.com/gsurma/style_transfer


输入:


# San Francisco

san_francisco_image_path = "https://www.economist.com/sites/default/files/images/print-edition/20180602_USP001_0.jpg"



#Input visualization 

input_image = Image.open(BytesIO(requests.get(san_francisco_image_path).content))

input_image = input_image.resize((IMAGE_WIDTH, IMAGE_HEIGHT))

input_image.save(input_image_path)

input_image


下图就是输入图片:


风格:

# Warsaw by Tytus Brzozowski, http://t-b.pl

tytus_image_path = "http://meetingbenches.com/wp-content/flagallery/tytus-brzozowski-polish-architect-and-watercolorist-a-fairy-tale-in-warsaw/tytus_brzozowski_13.jpg"



# Style visualization 

style_image = Image.open(BytesIO(requests.get(tytus_image_path).content))

style_image = style_image.resize((IMAGE_WIDTH, IMAGE_HEIGHT))

style_image.save(style_image_path)

style_image


风格图片:


数据预处理:


# Data normalization and reshaping from RGB to BGR

input_image_array = np.asarray(input_image, dtype="float32")

input_image_array = np.expand_dims(input_image_array, axis=0)

input_image_array[:, :, :, 0] -= IMAGENET_MEAN_RGB_VALUES[2]

input_image_array[:, :, :, 1] -= IMAGENET_MEAN_RGB_VALUES[1]

input_image_array[:, :, :, 2] -= IMAGENET_MEAN_RGB_VALUES[0]

input_image_array = input_image_array[:, :, :, ::-1]



style_image_array = np.asarray(style_image, dtype="float32")

style_image_array = np.expand_dims(style_image_array, axis=0)

style_image_array[:, :, :, 0] -= IMAGENET_MEAN_RGB_VALUES[2]

style_image_array[:, :, :, 1] -= IMAGENET_MEAN_RGB_VALUES[1]

style_image_array[:, :, :, 2] -= IMAGENET_MEAN_RGB_VALUES[0]

style_image_array = style_image_array[:, :, :, ::-1]


网络模型:


# Model

input_image = backend.variable(input_image_array)

style_image = backend.variable(style_image_array)

combination_image = backend.placeholder((1, IMAGE_HEIGHT, IMAGE_SIZE, 3))



input_tensor = backend.concatenate([input_image,style_image,combination_image], axis=0)

model = VGG16(input_tensor=input_tensor, include_top=False)


结果

经过运行程序,我们获得了如下结果:


参考:

https://towardsdatascience.com/style-transfer-styling-images-with-convolutional-neural-networks-7d215b58f461

相关推荐

这个 JavaScript Api 已被废弃!请慎用!

在开发过程中,我们可能会不自觉地使用一些已经被标记为废弃的JavaScriptAPI。这些...

JavaScript中10个“过时”的API,你的代码里还在用吗?

JavaScript作为一门不断发展的语言,其API也在持续进化。新的、更安全、更高效的API不断涌现,而一些旧的API则因为各种原因(如安全问题、性能瓶颈、设计缺陷或有了更好的替代品)被标记为“废...

几大开源免费的 JavaScript 富文本编辑器测评

MarkDown编辑器用的时间长了,发现发现富文本编辑器用起来是真的舒服。...

比较好的网页里面的 html 编辑器 推荐

如果您正在寻找嵌入到网页中的HTML编辑器,以便用户可以直接在网页上编辑HTML内容,以下是几个备受推荐的:CKEditor:CKEditor是一个功能强大的、开源的富文本编辑器,可以嵌入到...

Luckysheet 实现excel多人在线协同编辑

前言前些天看到Luckysheet支持协同编辑Excel,正符合我们协同项目的一部分,故而想进一步完善协同文章,但是遇到了一下困难,特此做声明哈,若侵权,请联系我删除文章!若侵犯版权、个人隐私,请联系...

从 Element UI 源码的构建流程来看前端 UI 库设计

作者:前端森林转发链接:https://mp.weixin.qq.com/s/ziDMLDJcvx07aM6xoEyWHQ引言...

手把手教你如何用 Decorator 装饰你的 Typescript?「实践」

作者:Nealyang转发连接:https://mp.weixin.qq.com/s/PFgc8xD7gT40-9qXNTpk7A...

推荐五个优秀的富文本编辑器

富文本编辑器是一种可嵌入浏览器网页中,所见即所得的文本编辑器。对于许多从事前端开发的小伙伴来说并不算陌生,它的应用场景非常广泛,平时发个评论、写篇博客文章等都能见到它的身影。...

基于vue + element的后台管理系统解决方案

作者:林鑫转发链接:https://github.com/lin-xin前言该方案作为一套多功能的后台框架模板,适用于绝大部分的后台管理系统(WebManagementSystem)开发。基于v...

开源富文本编辑器Quill 2.0重磅发布

开源富文本编辑器Quill正式发布2.0版本。官方TypeScript声明...

Python之Web开发框架学习 Django-表单处理

在Django中创建表单实际上类似于创建模型。同样,我们只需要从Django类继承,则类属性将是表单字段。让我们在myapp文件夹中添加一个forms.py文件以包含我们的应用程序表单。我们将创建一个...

Django测试入门:打造坚实代码基础的钥匙

这一篇说一下django框架的自动化测试,...

Django ORM vs SQLAlchemy:到底谁更香?从入门到上头的选择指南

阅读文章前辛苦您点下“关注”,方便讨论和分享,为了回馈您的支持,我将每日更新优质内容。...

超详细的Django 框架介绍,它来了!

时光荏苒,一晃小编的Tornado框架系列也结束了。这个框架虽然没有之前的FastAPI高流量,但是,它也是小编的心血呀。总共16篇博文,从入门到进阶,包含了框架的方方面面。虽然小编有些方面介绍得不是...

20《Nginx 入门教程》使用 Nginx 部署 Python 项目

今天的目标是完成一个PythonWeb项目的线上部署,我们使用最新的Django项目搭建一个简易的Web工程,然后基于Nginx服务部署该PythonWeb项目。1.前期准备...

取消回复欢迎 发表评论: