有时需要从时序数据中删除趋势，为下一步或数据清理过程的一部分做准备。如果您可以确定趋势，那么只需从数据中减去它，结果就是非趋势数据。

如果趋势是线性的，你可以通过线性回归找到它。但如果趋势不是线性的呢?我们一会儿就会看到我们能做些什么。

但是在此之前，我们先看看什么叫线性趋势

线性趋势

下面是带有趋势的时序数据:

https://raw.githubusercontent.com/FlorinAndrei/misc/master/qdata.csv

让我们加载它，看看它是什么样子:

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
from sklearn.metrics import mean_squared_error, r2_scoreser = pd.read_csv('qdata.csv', index_col=0, squeeze=True)
serx
0      473.917764
1       75.324825
2     -306.969479
3       53.271476
4      372.966686
         ...     
95    4650.550473
96    4604.573344
97    4891.704638
98    5265.948162
99    5618.909339
Name: y, Length: 100, dtype: float64plt.plot(ser)
plt.show()

好的，这里有一个趋势。我们假设它是线性的，我们来做线性回归来找出答案。这是线性回归的一个直接应用。上面导入的sklearn库拥有我们进行回归所需要的一切。

X = ser.index
X = np.reshape(X, (len(X), 1))
y = ser.valuesmodel = LinearRegression()
model.fit(X, y)
trend = model.predict(X)plt.plot(y)
plt.plot(trend)
plt.legend(['data', 'trend'])
plt.show()

看起来很合适，但可能不是很合适。让我们从数据中减去趋势，看看非趋势数据是什么样的:

detr = [y[i] - trend[i] for i in range(0, len(y))]
plt.plot(detr)
plt.title('data detrended in a linear fashion')
plt.show()

不是很令人信服。数据中仍有一个凹的趋势。最初的趋势可能不是线性的。

让我们计算数据和我们提取的趋势之间的RMSE和R2。

r2 = r2_score(y, trend)
rmse = np.sqrt(mean_squared_error(y, trend))
print('r2:', r2)
print('rmse', rmse)
r2: 0.8782399672701933
rmse 553.6078593008505

多项式趋势

如果趋势不是线性的，我们可以尝试用多项式曲线来拟合它。但问题是:即使我们拟合的曲线是高次多项式，我们仍然可以用线性回归来找到它。

考虑这个二次表达式:

y = a + bx + cx2

我们要找的值是a, b, c,和他们都是线性的。忘记x的权重,我们看的是权重,b和c,所以线性回归——它只是发生,我们将不得不在多个维度做线性回归。

假设数据呈二次趋势。然后我们需要把X变换成二次形式:

pf = PolynomialFeatures(degree=2)
Xp = pf.fit_transform(X)
Xp
array([[1.000e+00, 0.000e+00, 0.000e+00],
       [1.000e+00, 1.000e+00, 1.000e+00],
       [1.000e+00, 2.000e+00, 4.000e+00],
       [1.000e+00, 3.000e+00, 9.000e+00],
       [1.000e+00, 4.000e+00, 1.600e+01],
       [1.000e+00, 5.000e+00, 2.500e+01],
       [1.000e+00, 6.000e+00, 3.600e+01],
...
       [1.000e+00, 9.600e+01, 9.216e+03],
       [1.000e+00, 9.700e+01, 9.409e+03],
       [1.000e+00, 9.800e+01, 9.604e+03],
       [1.000e+00, 9.900e+01, 9.801e+03]])

第一列是X的0次方。第二列是X，第三列是X的2次方。这就像上面显示的二次表达式(y = a + bx + cx)

现在我们将使用二次形式来拟合数据并生成二次趋势。用线性回归方法求出二次表达式的参数。

md2 = LinearRegression()
md2.fit(Xp, y)
trendp = md2.predict(Xp)

趋势是怎样的?

plt.plot(X, y)
plt.plot(X, trendp)
plt.legend(['data', 'polynomial trend'])
plt.show()

更接近了，不是吗?现在让我们看看非趋势数据:

detrpoly = [y[i] - trendp[i] for i in range(0, len(y))]
plt.plot(X, detrpoly)
plt.title('polynomially detrended data')
plt.show()

这显然更好。没有任何可以从视觉上看出的趋势。但是让我们看看数字是怎么说的:

r2 = r2_score(y, trendp)
rmse = np.sqrt(mean_squared_error(y, trendp))
print('r2:', r2)
print('rmse', rmse)
r2: 0.9343217231542871
rmse 406.5937924291518

与线性趋势相比，随着多项式趋势，R2曲线增大，RMSE减小。两者都是好的改变。两种均值多项式的拟合效果都优于线性拟合。

高阶多项式

你可以选择任意阶的多项式只要在这里给N赋不同的值:

pf = PolynomialFeatures(degree=N)

一般来说，对N使用较低的值。如果增加了N，发生的情况不太严重，则返回较小的值。

只有一个弯曲的曲线可以用二次函数来描述。有两个弯的曲线可以用三次函数来描述。等等。N-1弯需要一个N次幂的表达式。

如果N增加很多，最终你的"最佳拟合"曲线将开始跟随数据中的杂音，而不是拟合趋势。你已经超拟合了曲线，现在没有意义了。或者减少N，或者增加更多数据点。

这样我们将这个线性模型的数据去除（差值），使用剩余的数据进行时间序列的训练，可以得到更精确的结果