百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

Python的福音!教你激活苹果本的显卡来搞深度学习

ztj100 2025-03-04 16:00 11 浏览 0 评论

PlaidML 是您的不二之选

想在 Mac 的集成 AMD GPU 或外置显卡上训练机器学习模型?

任何尝试在 macOS 上使用 TensorFlow 训练神经网络的人都知道这个过程有点糟糕。TensorFlow 只能在 Mac 上利用 CPU,因为 GPU 加速训练需要 Nvidia 芯片组。大多数大型模型在 CPU 上的训练时间比在简单的 GPU 上多几个数量级。

更糟糕的是,许多 Mac 拥有功能强大的谨慎 AMD GPU,在训练时被迫闲置。TensorFlow 仅支持与 macOS 不兼容的 Nvidia 设备。这就是 plaidML 的用武之地。您可以安装 PlaidML 并使用它直接在 Mac 的图形处理器上训练 Keras 模型,而不是在基于云的系统上支付时间或购买新机器。

为什么是PlaidML

TensorFlow 作为 Keras 的后端,解释 Keras 的高级 Python 语法并将其转换为可以在 GPU 等专用硬件上并行执行的指令。

PlaidML 是 Keras 的替代后端,支持除 Nvidia 的 CUDA 之外的并行化框架。在 Mac 上,您可以使用 PlaidML 在 CPU、CPU 的集成显卡、谨慎的 AMD 图形处理器,甚至是通过 Thunderbolt 3 连接的外部 AMD GPU 上训练 Keras 模型。

我最初开始使用 PlaidML 是因为我正在寻找一种在非常大的图像数据集上训练深度卷积神经网络的方法。我尝试在 Google 的 Colab 中执行此操作,但事实证明,在线工具对于长时间运行的工作非常令人沮丧。我有一个 Radeon RX580 eGPU闲置吃灰,所以想要一种方法来使用激活 MacBook的显卡来进行 本地训练模型。

安装

虽然 PlaidML 可以用 Python2 运行,但我们推荐 Python3,以及明智地使用Virtualenv。为使用 PlaidML 创建一个:

python3 -m venv plaidml-venv
source plaidml-venv/bin/activate

keras

要使用 Keras 安装 PlaidML,请运行以下命令:

pip install -U plaidml-keras

最后,设置 PlaidML 以使用首选计算设备:

plaidml-setup

现在应该安装 PlaidML!您可以通过在运行MobileNet测试安装plaidbench。

pip install plaidml-keras plaidbench
plaidbench keras mobilenet

快速设置

几个快速步骤后,我开始使用 PlaidML。以下是如何在您的系统上使用它。首先, 通过 pip 安装 PlaidML。我强烈建议在此处使用虚拟环境将您的 PlaidML 安装与系统的其余部分隔离开来。

PlaidML 的强大之处在于其简单性。安装后,激活您的 GPU 就像运行一样简单

plaidml-setup

选择是否要启用实验性功能后,此工具会询问您要使用哪种计算设备。您应该会看到如下所示的列表:

1 : llvm_cpu.0
2 : metal_intel(r)_hd_graphics_530.0
3 : metal_amd_radeon_pro_450.0
4 : metal_amd_radeon_rx_580.0

第一个选项是我的 CPU,第二个是我 CPU 中的 Intel 集成显卡,第三个选项是我的 15" MacBook Pro 中谨慎的 AMD GPU,第四个选项是我的 RX 580 eGPU。我非常喜欢它是多么简单切换处理器;这使我可以使用笔记本电脑的谨慎 GPU 随时随地训练简单模型,并使用 eGPU 执行更重的任务。

唯一需要注意的是,您无法再访问 TensorFlow 功能,例如 TensorFlow 数据集。您编写的所有代码都需要使用纯 Keras。我还没有发现这是一个很大的限制,无论如何它会导致更便携的软件。PlaidML 也适用于 Nvidia GPU,所以如果你在一个使用不同 GPU 架构的团队工作,PlaidML 会让事情变得非常简单。使用 PlaidML 作为 Keras 的后端非常简单,如下所示:

from os import environ
environ["KERAS_BACKEND"] = "plaidml.keras.backend"
import keras

这就是字面上的意思。下面是一个完整的示例,您可以在安装 PlaidML 后在自己的系统上尝试。它训练一个非常简单的神经网络,其中包含一个对输入向量求和的隐藏层。

import numpy as np
from os import environ
environ["KERAS_BACKEND"] = "plaidml.keras.backend"
import keras
from keras.layers import Dense
from matplotlib import pyplot as plt

# Params
num_samples = 100000; vect_len = 20; max_int = 10; min_int = 1;

# Generate dataset
X = np.random.randint(min_int, max_int, (num_samples, vect_len))
Y = np.sum(X, axis=1)

# Get 80% of data for training
split_idx = int(0.8 * len(Y))
train_X = X[:split_idx, :]; test_X = X[split_idx:, :]
train_Y = Y[:split_idx]; test_Y = Y[split_idx:]

# Make model
model = keras.models.Sequential()
model.add(keras.layers.Dense(32, activation='relu', input_shape=(vect_len,)))
model.add(keras.layers.Dense(1))
model.compile('adam', 'mse')

history = model.fit(train_X, train_Y, validation_data=(test_X, test_Y), \
                    epochs=10, batch_size=100)

# summarize history
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()

执行结果如图:

后记

您可以在不同的计算设备上尝试此操作。您可能会发现在您的 CPU 上训练此模型更快,因为数据集非常小且模型非常简单。但是,对于更复杂的模型,您会注意到显着的加速。您可以在PlaidML GitHub 页面上找到更深入的测试 。

<script type="text/javascript" src="//mp.toutiao.com/mp/agw/mass_profit/pc_product_promotions_js?item_id=6989509121376748063"></script><script type="text/javascript" src="//mp.toutiao.com/mp/agw/mass_profit/pc_product_promotions_js?item_id=6989509121376748063"></script>

相关推荐

30天学会Python编程:16. Python常用标准库使用教程

16.1collections模块16.1.1高级数据结构16.1.2示例...

强烈推荐!Python 这个宝藏库 re 正则匹配

Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...

Python爬虫中正则表达式的用法,只讲如何应用,不讲原理

Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...

Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)

实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...

python爬虫教程之爬取当当网 Top 500 本五星好评书籍

我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...

深入理解re模块:Python中的正则表达式神器解析

在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...

如何使用正则表达式和 Python 匹配不以模式开头的字符串

需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...

先Mark后用!8分钟读懂 Python 性能优化

从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

简单学Python——re库(正则表达式)2(split、findall、和sub)

1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...

Lavazza拉瓦萨再度牵手上海大师赛

阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...

ArkUI-X构建Android平台AAR及使用

本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...

Deepseek写歌详细教程(怎样用deepseek写歌功能)

以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...

“AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测

“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...

AI音乐制作神器揭秘!3款工具让你秒变高手

在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...

取消回复欢迎 发表评论: