Pytorch入门-day15:循环神经网络(RNN)与LSTM
ztj100 2025-07-08 00:24 3 浏览 0 评论
学习目标
- 理解RNN基础:掌握RNN的架构及其在序列数据处理中的用途。
- 学习LSTM机制:理解LSTM如何通过门控机制解决标准RNN的梯度消失问题。
- 实现序列预测:使用PyTorch构建并训练LSTM模型,预测合成序列的下一个值。
- 应用PyTorch的RNN模块:通过实践熟悉nn.RNN和nn.LSTM的使用。
关键术语
- 循环神经网络(RNN):专为序列数据设计的神经网络,通过隐藏状态捕获前序时间步的信息。
- 隐藏状态(Hidden State):RNN的“记忆”,在时间步之间传递,编码序列信息。
- 梯度消失问题(Vanishing Gradient Problem):标准RNN在反向传播中梯度过小,导致难以学习长期依赖。
- 长短期记忆网络(LSTM):RNN的改进版本,使用输入门、遗忘门和输出门管理长期和短期记忆,缓解梯度消失问题。
- 序列预测(Sequence Prediction):根据序列历史值预测下一个或多个值的任务。
- 时间步(Time Step):序列中RNN/LSTM处理的单个时间点。
- 单元状态(Cell State):LSTM中用于携带长期信息的独立记忆向量。
- 门控机制(Gates):LSTM中控制信息流动和保留的机制,如遗忘门、输入门和输出门。
任务:使用LSTM进行简单序列预测
我们将生成一个合成数据集(例如正弦波),并使用LSTM预测序列中的下一个值,以展示LSTM处理序列依赖的能力。
带详细注释的代码
python
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt
# 设置随机种子以确保结果可重现
torch.manual_seed(42)
# 1. 生成合成数据(正弦波)
def generate_sine_wave(seq_length, num_samples):
x = np.linspace(0, 50, num_samples) # 创建时间点
data = np.sin(x) # 生成正弦波值
sequences = []
targets = []
for i in range(len(data) - seq_length):
sequences.append(data[i:i + seq_length]) # 输入序列
targets.append(data[i + seq_length]) # 预测的下一个值
return np.array(sequences), np.array(targets)
# 参数设置
seq_length = 10 # 输入序列长度
num_samples = 1000 # 数据点总数
sequences, targets = generate_sine_wave(seq_length, num_samples)
# 转换为PyTorch张量
sequences = torch.FloatTensor(sequences).unsqueeze(-1) # 形状:[样本数, 序列长度, 1]
targets = torch.FloatTensor(targets).unsqueeze(-1) # 形状:[样本数, 1]
# 划分训练集和测试集
train_size = int(0.8 * len(sequences))
train_seq, test_seq = sequences[:train_size], sequences[train_size:]
train_targets, test_targets = targets[:train_size], targets[train_size:]
# 2. 定义LSTM模型
class LSTMModel(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, output_size):
super(LSTMModel, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
# LSTM层:处理输入序列并维护隐藏状态和单元状态
self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
# 全连接层:将LSTM输出映射到预测值
self.fc = nn.Linear(hidden_size, output_size)
def forward(self, x):
# 初始化隐藏状态和单元状态:[层数, 批次大小, 隐藏单元数]
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
# 通过LSTM进行前向传播
# 输出out:[批次大小, 序列长度, 隐藏单元数], (hn, cn):最终隐藏和单元状态
out, _ = self.lstm(x, (h0, c0))
# 取最后一个时间步的输出并通过全连接层
out = self.fc(out[:, -1, :])
return out
# 模型超参数
input_size = 1 # 每个时间步输入大小(单变量序列为1)
hidden_size = 32 # LSTM隐藏单元数
num_layers = 1 # LSTM层数
output_size = 1 # 输出大小(预测一个值)
# 实例化模型
model = LSTMModel(input_size, hidden_size, num_layers, output_size)
# 3. 训练设置
criterion = nn.MSELoss() # 均方误差损失函数,用于回归任务
optimizer = torch.optim.Adam(model.parameters(), lr=0.01) # Adam优化器
num_epochs = 50 # 训练轮数
# 将数据移到GPU(如果可用)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = model.to(device)
train_seq, train_targets = train_seq.to(device), train_targets.to(device)
test_seq, test_targets = test_seq.to(device), test_targets.to(device)
# 4. 训练循环
for epoch in range(num_epochs):
model.train()
# 前向传播
outputs = model(train_seq)
loss = criterion(outputs, train_targets)
# 反向传播和优化
optimizer.zero_grad() # 清空之前的梯度
loss.backward() # 计算梯度
optimizer.step() # 更新模型参数
# 每10轮打印损失
if (epoch + 1) % 10 == 0:
print(f'轮次 [{epoch+1}/{num_epochs}],损失: {loss.item():.6f}')
# 5. 评估模型
model.eval()
with torch.no_grad():
test_predictions = model(test_seq)
test_loss = criterion(test_predictions, test_targets)
print(f'测试损失: {test_loss.item():.6f}')
# 6. 可视化结果
plt.figure(figsize=(10, 5))
plt.plot(test_targets.cpu().numpy(), label='真实值', color='blue')
plt.plot(test_predictions.cpu().numpy(), label='预测值', color='orange')
plt.title('LSTM序列预测')
plt.xlabel('样本')
plt.ylabel('值')
plt.legend()
plt.show()
代码说明
- 数据生成: 使用正弦波生成合成数据集。 每个输入序列包含seq_length个点,目标是预测序列的下一个点。 数据被重塑为PyTorch要求的输入格式:[批次大小, 序列长度, 输入大小]。
- LSTM模型: LSTMModel类定义了一个LSTM层和一个全连接层。 nn.LSTM处理输入序列,输出每个时间步的结果以及最终的隐藏状态和单元状态。 仅使用最后一个时间步的输出,通过全连接层生成预测值。
- 训练: 使用均方误差(MSE)作为损失函数,Adam优化器进行优化。 每次前向传播初始化隐藏状态和单元状态为零。 训练50轮,每10轮打印损失。
- 评估与可视化: 在测试集上进行预测并计算测试损失。 绘制预测值与真实值的对比图,检查模型性能。
预期输出
- 训练损失随轮次减少(例如,从0.1降到0.001,具体取决于数据)。
- 测试损失较低(例如,~0.001),表明预测准确性较高。
- 可视化图显示预测值与真实正弦波值高度吻合。
资源建议
- PyTorch RNN文档:torch.nn.RNN
- PyTorch LSTM文档:torch.nn.LSTM
- 补充阅读:Chris Olah的“理解LSTM网络”(colah.github.io/posts/2015-08-Understanding-LSTMs/,需翻译)
注意事项
- RNN与LSTM的区别:标准RNN(nn.RNN)结构简单,但因梯度消失问题难以处理长期依赖。LSTM(nn.LSTM)通过门控机制选择性记忆或遗忘信息,适合较长序列。
- 任务扩展:尝试增加seq_length,在正弦波中加入噪声,或堆叠多层LSTM(num_layers > 1)以实验模型能力。
- 调试提示:如果损失不下降,检查学习率、序列长度或隐藏单元数是否合适。
相关推荐
- 能量空间物质相互转化途径(能量与空间转换相对论公式)
-
代码实现<!DOCTYPEhtml><htmllang="zh"><head>...
- 从零开始的Flex布局掌握(flex布局实战)
-
前言在现代网页设计中,布局是一个至关重要的环节,在过去的一段时间里,页面的布局还都是通过table...
- flex布局在css中的使用,一看就会!
-
1.认识flex布局我们在写前端页面的时候可能会遇到这样的问题:同样的一个页面在1920x1080的大屏幕中显示正常,但是在1366x768的小屏幕中却显示的非常凌乱。...
- 前端入门——弹性布局(Flex)(web前端弹性布局)
-
前言在css3Flex技术出现之前制作网页大多使用浮动(float)、定位(position)以及显示(display)来布局页面,随着互联网快速发展,移动互联网的到来,已无法满足需求,它对于那些...
- CSS Flex 容器完整指南(css flex-shrink)
-
概述CSSFlexbox是现代网页布局的强大工具。本文详细介绍用于flex容器的CSS属性:...
- Centos 7 network.service 启动失败
-
执行systemctlrestartnetwork重启网络报如下错误:Jobfornetwork.servicefailedbecausethecontrolprocessex...
- CentOS7 执行systemctl start iptables 报错:...: Unit not found.
-
#CentOS7执行systemctlstartiptables报错:Failedtostartiptables.service:Unitnotfound.在CentOS7中...
- systemd入门6:journalctl的详细介绍
-
该来的总会来的,逃是逃不掉的。话不多说,man起来:manjournalctl洋洋洒洒几百字的描述,是说journalctl是用来查询systemd日志的,这些日志都是systemd-journa...
- Linux上的Systemctl命令(systemctl命令详解)
-
LinuxSystemctl是一个系统管理守护进程、工具和库的集合,用于取代SystemV、service和chkconfig命令,初始进程主要负责控制systemd系统和服务管理器。通过Syste...
- 如何使用 systemctl 管理服务(systemctl添加服务)
-
systemd是一个服务管理器,目前已经成为Linux发行版的新标准。它使管理服务器变得更加容易。了解并利用组成systemd的工具将有助于我们更好地理解它提供的便利性。systemctl的由来...
- 内蒙古2024一分一段表(文理)(内蒙古考生2020一分一段表)
-
分数位次省份...
- 2016四川高考本科分数段人数统计,看看你有多少竞争对手
-
昨天,四川高考成绩出炉,全省共220,196人上线本科,相信每个考生都查到了自己的成绩。而我们都清楚多考1分就能多赶超数百人,那你是否知道,和你的分数一样的人全省有几个人?你知道挡在你前面的有多少人?...
- 难怪最近电脑卡爆了,微软确认Win11资源管理器严重BUG
-
近期,Win11操作系统的用户普遍遭遇到了一个令人头大的问题:电脑卡顿,CPU占用率异常增高。而出现该现象的原因竟然与微软最近的一次补丁更新有关。据报道,微软已经确认,问题源于Win11资源管...
- 微软推送Win11正式版22621.1702(KB5026372)更新
-
IT之家5月10日消息,微软今天推送了最新的Win11系统更新,21H2正式版通道推送了KB5026368补丁,版本号升至22000.1936,22H2版本推送了KB50263...
- 骗子AI换脸冒充亲戚,女子转账10万元后才发现异常……
-
“今天全靠你们,不然我这被骗的10万元肯定就石沉大海了。”7月19日,家住石马河的唐女士遭遇了“AI”换脸诈骗,幸好她报警及时,民警对其转账给骗子的钱成功进行止付。当天13时许,唐女士收到一条自称是亲...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 能量空间物质相互转化途径(能量与空间转换相对论公式)
- 从零开始的Flex布局掌握(flex布局实战)
- flex布局在css中的使用,一看就会!
- 前端入门——弹性布局(Flex)(web前端弹性布局)
- CSS Flex 容器完整指南(css flex-shrink)
- Centos 7 network.service 启动失败
- CentOS7 执行systemctl start iptables 报错:...: Unit not found.
- systemd入门6:journalctl的详细介绍
- Linux上的Systemctl命令(systemctl命令详解)
- 如何使用 systemctl 管理服务(systemctl添加服务)
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)
- vmware17pro最新密钥 (34)
- mysql单表最大数据量 (35)