利用深度学习实现序列模型
序列问题的含义是接收一个序列作为输入，然后期望预测这个序列的后续。例如继续预测2,4,6,8,10...。这在时间序列中是相当常见的，可以用来预测股市的波动、患者的体温曲线或者赛车所需的加速度。
从原理上说，卷积神经网络可以有效处理空间信息，那么循环神经网络则能更好处理序列信息。
对超出已知观测范围进行预测称为外推法（extrapolation），而在现有观测值之间进行估计称为内插法（interpolation）。显然，外推法较内插法更为困难。预测未来明显是令人更兴奋的事。
例如股票预测问题，假设股票价格与之前某时刻的价格相关，因此有如下预测方法：
\(x_{t} \sim P(x_{t}|x_{t-1},\cdots ,x_{1})\), 其中\(x_{t}\)为t时刻的价格。
利用深度学习神经网络实现序列模型
- 生成数据
使用正弦函数和一些可加性噪声来生成序列数据
%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l
T = 1000 # 总共产⽣1000个点
time = torch.arange(1, T + 1, dtype=torch.float32)
x = torch.sin(0.01 * time) + torch.normal(0, 0.2, (T,))
d2l.plot(time, [x], 'time', 'x', xlim=[1, 1000], figsize=(6, 3))
使用前600个数据进行训练
tau = 4
features = torch.zeros((T - tau, tau))
for i in range(tau):
features[:, i] = x[i: T - tau + i]
labels = x[tau:].reshape((-1, 1))
batch_size, n_train = 16, 600
# 只有前n_train个样本⽤于训练
train_iter = d2l.load_array((features[:n_train], labels[:n_train]),
batch_size, is_train=True)
- 神经网络模型
# 初始化⽹络权重的函数
def init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_uniform_(m.weight)
# ⼀个简单的多层感知机
def get_net():
net = nn.Sequential(nn.Linear(4, 10),
nn.ReLU(),
nn.Linear(10, 1))
net.apply(init_weights)
return net
# 平⽅损失。注意：MSELoss计算平⽅误差时不带系数1/2
loss = nn.MSELoss(reduction='none')
- 模型训练
def train(net, train_iter, loss, epochs, lr):
trainer = torch.optim.Adam(net.parameters(), lr)
for epoch in range(epochs):
for X, y in train_iter:
trainer.zero_grad()
l = loss(net(X), y)
l.sum().backward()
trainer.step()
print(f'epoch {epoch + 1}, '
f'loss: {d2l.evaluate_loss(net, train_iter, loss):f}')
net = get_net()
train(net, train_iter, loss, 5, 0.01)
- 预测：下一个时间步的预测能力
onestep_preds = net(features)
d2l.plot([time, time[tau:]],
[x.detach().numpy(), onestep_preds.detach().numpy()], 'time',
'x', legend=['data', '1-step preds'], xlim=[1, 1000],
figsize=(6, 3))