百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

【Python时序预测系列】一文搞明白时序数据输入到LSTM模型的格式

ztj100 2024-11-08 15:06 26 浏览 0 评论

这是我的第276篇原创文章。

一、引言

前面我介绍了多个方法实现单变量和多变量时序数据的单站点单步预测,好多小伙伴最近问我这个LSTM模型数据的输入的格式是怎么样的,今天我专门写一篇文章来聊一聊这个问题,希望对大家有所启发和帮助。

二、实现过程

2.1 单变量时序数据

1、原始data

原始数据是一个144行1列的(144,1)的dataframe:

2、数据集按照8:2划分,并进行归一化处理

train_data_scaler是一个(115,1)的二维数组:

3、创建滑动窗口数据集

将train_data_scaler集转换为 LSTM 模型所需的形状(样本数,时间步长,特征数):

def create_sliding_windows(data, window_size):
    X, Y = [], []
    for i in range(len(data) - window_size):
        X.append(data[i:i+window_size, 0:data.shape[1]])
        Y.append(data[i+window_size,0])
    return np.array(X), np.array(Y)
X_train, Y_train = create_sliding_windows(train_data_scaler, window_size)

这里我假设窗口window_size设为12,i的范围0-102,103取不到:

当i=0时,取出train_data_scaler第【1-12】行第【1】列的12条数据作为X_train[0],取出train_data_scaler第【13】行第【1】列的1条数据作为Y_train[0];

当i=1时,取出train_data_scaler第【2-13】行第【1】列的12条数据作为X_train[1],取出train_data_scaler第【14】行第【1】列的1条数据作为Y_train[1];

...

当i=102时,取出train_data_scaler第【103-114】行第【1】列的12条数据作为X_train[102],取出train_data_scaler第【115】行第【1】列的1条数据作为Y_train[102];

返回的X_train是一个(103,12,1)的三维数组;Y_train是一个(103,1)的二维数组;

X_train = np.reshape(X_train, (X_train.shape[0], window_size, 1)

经过滑动窗口之后返回的形状已经是LSTM所需的形状了,所以这句话可以省略。

4、构建 LSTM 模型

# 构建 LSTM 模型
model = Sequential()
model.add(LSTM(50, activation='relu', input_shape=(window_size, 1)))
model.add(Dense(1))
model.compile(optimizer='adam', loss='mse')

LSTM的input_shape=(时间步长,特征数),其实就是一个样本输入的形状。

5、训练 LSTM 模型

# 训练 LSTM 模型
model.fit(X_train, Y_train, epochs=100, batch_size=32)
  • X_train是一个(103,12,1)的三维数组,三个维度分别表示(样本数,时间步长,特征数)
  • Y_train是一个(103,1)的二维数组,两个维度分别表示(样本数,标签)
  • 类似一个103行(12*1+1)列的表格,前(12*1)列是特征,第(12*1+1)列是标签

2.2 多变量时序数据

1、原始的data

是一个(5203,5)的dataframe:

2、数据集按照8:2划分,并进行归一化处理

train_data_scaler是一个(4162,5)的二维数组:

3、创建滑动窗口数据集

将数据集转换为 LSTM 模型所需的形状(样本数,时间步长,特征数):

def create_sliding_windows(data, window_size):
    X, Y = [], []
    for i in range(len(data) - window_size):
        X.append(data[i:i+window_size, 0:data.shape[1]])
        Y.append(data[i+window_size,0])
    return np.array(X), np.array(Y)
X_train, Y_train = create_sliding_windows(train_data_scaler, window_size)

这里我假设窗口window_size设为30,i的范围0-4131:

当i=0时,取出train_data_scaler第【1-30】行第【1-5】列的12条数据作为X_train[0],取出train_data_scaler第【31】行第【1】列的1条数据作为Y_train[0];

当i=1时,取出train_data_scaler第【2-31】行第【1-5】列的12条数据作为X_train[1],取出train_data_scaler第【32】行第【1】列的1条数据作为Y_train[1];

...

当i=4131时,取出train_data_scaler第【4132-4161】行第【1-5】列的12条数据作为X_train[4131],取出train_data_scaler第【4162】行第【1】列的1条数据作为Y_train[4131];

返回的X_train是一个(4132,30,5)的三维数组;Y_train是一个(4132,1)的二维数组;

X_train = np.reshape(X_train, (X_train.shape[0], window_size, 5)

经过滑动窗口之后返回的形状已经是LSTM所需的形状了,所以这句话可以省略。

4、构建 LSTM 模型

# 构建 LSTM 模型
model = Sequential()
model.add(LSTM(50, activation='relu', input_shape=(window_size, 5)))
model.add(Dense(1))
model.compile(optimizer='adam', loss='mse')

LSTM的input_shape=(时间步长,特征数),其实就是一个样本输入的形状。

5、训练 LSTM 模型

# 训练 LSTM 模型
model.fit(X_train, Y_train, epochs=100, batch_size=32)
  • X_train是一个(4132,30,5)的三维数组;(样本数,时间步长,特征数)
  • Y_train是一个(4132,1)的二维数组;(样本数,标签)
  • 类似一个4132行(30*5+1)列的表格,前(30*5)列是特征,第(30*5+1)列是标签

三、小结

由于滑动窗口,实际的训练数据数量少一个窗口数量,实际能预测的数据量也少一个窗口数量。

作者简介: 读研期间发表6篇SCI数据算法相关论文,目前在某研究院从事数据算法相关研究工作,结合自身科研实践经历持续分享关于Python、数据分析、特征工程、机器学习、深度学习、人工智能系列基础知识与案例。关注gzh:数据杂坛,获取数据和源码学习更多内容。

原文链接:

【Python时序预测系列】一文搞明白时序数据输入到LSTM模型的格式(案例解读)

相关推荐

Jquery 详细用法

1、jQuery介绍(1)jQuery是什么?是一个js框架,其主要思想是利用jQuery提供的选择器查找要操作的节点,然后将找到的节点封装成一个jQuery对象。封装成jQuery对象的目的有...

前端开发79条知识点汇总

1.css禁用鼠标事件2.get/post的理解和他们之间的区别http超文本传输协议(HTTP)的设计目的是保证客户机与服务器之间的通信。HTTP的工作方式是客户机与服务器之间的请求-应答协议。...

js基础面试题92-130道题目

92.说说你对作用域链的理解参考答案:作用域链的作用是保证执行环境里有权访问的变量和函数是有序的,作用域链的变量只能向上访问,变量访问到window对象即被终止,作用域链向下访问变量是不被允许的。...

Web前端必备基础知识点,百万网友:牛逼

1、Web中的常见攻击方式1.SQL注入------常见的安全性问题。解决方案:前端页面需要校验用户的输入数据(限制用户输入的类型、范围、格式、长度),不能只靠后端去校验用户数据。一来可以提高后端处理...

事件——《JS高级程序设计》

一、事件流1.事件流描述的是从页面中接收事件的顺序2.事件冒泡(eventbubble):事件从开始时由最具体的元素(就是嵌套最深的那个节点)开始,逐级向上传播到较为不具体的节点(就是Docu...

前端开发中79条不可忽视的知识点汇总

过往一些不足的地方,通过博客,好好总结一下。1.css禁用鼠标事件...

Chrome 开发工具之Network

经常会听到比如"为什么我的js代码没执行啊?","我明明发送了请求,为什么反应?","我这个网站怎么加载的这么慢?"这类的问题,那么问题既然存在,就需要去解决它,需要解决它,首先我们得找对导致问题的原...

轻量级 React.js 虚拟美化滚动条组件RScroll

前几天有给大家分享一个Vue自定义滚动条组件VScroll。今天再分享一个最新开发的ReactPC端模拟滚动条组件RScroll。...

一文解读JavaScript事件对象和表单对象

前言相信做网站对JavaScript再熟悉不过了,它是一门脚本语言,不同于Python的是,它是一门浏览器脚本语言,而Python则是服务器脚本语言,我们不光要会Python,还要会JavaScrip...

Python函数参数黑科技:*args与**kwargs深度解析

90%的Python程序员不知道,可变参数设计竟能决定函数的灵活性和扩展性!掌握这些技巧,让你的函数适应任何场景!一、函数参数设计的三大进阶技巧...

深入理解Python3密码学:详解PyCrypto库加密、解密与数字签名

在现代计算领域,信息安全逐渐成为焦点话题。密码学,作为信息保护的关键技术之一,允许我们加密(保密)和解密(解密)数据。...

阿里Nacos惊爆安全漏洞,火速升级!(附修复建议)

前言好,我是threedr3am,我发现nacos最新版本1.4.1对于User-Agent绕过安全漏洞的serverIdentitykey-value修复机制,依然存在绕过问题,在nacos开启了...

Python模块:zoneinfo时区支持详解

一、知识导图二、知识讲解(一)zoneinfo模块概述...

Golang开发的一些注意事项(一)

1.channel关闭后读的问题当channel关闭之后再去读取它,虽然不会引发panic,但会直接得到零值,而且ok的值为false。packagemainimport"...

Python鼠标与键盘自动化指南:从入门到进阶——键盘篇

`pynput`是一个用于控制和监控鼠标和键盘的Python库...

取消回复欢迎 发表评论: