LSTM TensorFlow 教程

由ypyu创建，最终由ypyu更新于2022-07-29 05:57 被浏览 358 用户

简介

本教程旨在介绍如何使用TensorFlow以及LSTM神经网络进行深度学习（了解更多机器学习请参见教程

@ML@ML

）。本教程的演示方法为：以实数序列的预测模型为例进行论述，并对股票价格或股指指数进行实测。

序列数据

本教程将使用神经网络作为序列数据的预测模型。接下来我们介绍什么是序列数据。

数学上的实数序列

vv为一有限实数序列，即v=(v1,...,vM)v=(v1,...,vM)，其中∀i=1,...,M∀i=1,...,M，vi∈Rvi∈R为实数，MM为一非负整数，亦即vv是一包含MM个元素的实向量（若M=0M=0,则vv为一空向量）。

Python中的序列数据

在Python语言中，我们通常使用numpy库中的array数据结构表示实数数组。对于一个实数序列，可以使用一个一维数组表达。通常原始序列数据在Python中的数据结构并非array，而是诸如tuple、list、pandas.Series等array_like数据结构（详见API文档

@numpy.array@numpy.array

参考array_like）。在这种条件下，我们可以调用numpy.array构造函数进行数据转换（详见API文档

@numpy.array@numpy.array

参考numpy.array），例如x=numpy.array(y)，其中输入参数y是一个array_like对象，返回值x则为一个ndarray对象，如果y是序列数据，那么x就是一个一维数组。

股价历史数据的处理

显然，某一股票的历史价格是一个实数序列，我们将每日闭市价作为研究对象，形如

P=(P−T,...,P0)P=(P−T,...,P0)

其中P0P0是即期数据（当日闭市价），P−tP−t是的第tt天前的闭市价。但在使用机器学习对股市进行分析的时候，并不建议直接使用股价数据（因为这涉及到神经网络的输入数据的数据结构与输出数据的数值范围）。我们会对股价进行一些处理，这包含两步，首先将股价转换为收益率，然后对收益率进行分组。前者是对数值的改变，后者是对数据结构的改变。

转义

比起股票的实际价格，我们更加关心股市的收益率，所以我们可以求得股市收益率rr,

r=(r−T,...,r−1)r=(r−T,...,r−1)

其中，对任意的i=−T,...,−1i=−T,...,−1，有

ri=(Pi+1−Pi)/Piri=(Pi+1−Pi)/Pi

将股价转化为股市收益率并不丢失信息（除了初始价格，但初始价格并不重要，因为我们通常只关心回报率）；而其便利之处在于得到的riri是带限数据：以中国股市为例，盈亏不能超过10%10%，所以有−0.1≤ri≤0.1−0.1≤ri≤0.1。这一特点十分有利于后续进行机器学习，因为在神经网络深度学习当中，经常会使用到sigmoidsigmoid函数和tanhtanh函数作为激励函数，这些激励函数会将输入数据转换为带限数据输出，例如，LSTM神经网络会输出−1−1到11之间的数据。所以，神经网络无法模拟超出范围的数据，这使得没有固定区间限制的股价数据无法被直接使用。

划分

我们首先对收益率进行分组，将近期收益率关联起来作为一个整体；然后将各组收益率逐个纳入机器学习，分析长期收益率之间的关系。譬如，我们定义LSTM神经网络有p>0p>0组输入数据，每组数据的长度为L>0L>0，而神经网络最终输出qq个数据，注意需满足条件

M:=pL+q≤TM:=pL+q≤T

那么，给定起始位置−T≤j≤−M−T≤j≤−M，神经网络的输入为

x(j)=(a(j)1,...,a(j)p)x(j)=(a1(j),...,ap(j))

其中，对任意的i=1,...,pi=1,...,p，有

a(j)i=(r(i−1)L+j,...,riL+j−1)ai(j)=(r(i−1)L+j,...,riL+j−1)

另一方面，神经网络的输出可以对比以下标签

y(j)=(rpL+j,...,rM+j−1)y(j)=(rpL+j,...,rM+j−1)

注意，y(j)y(j)是紧接着x(j)x(j)之后的股市收益率数据，所以该模型y(j)=f(x(j))y(j)=f(x(j))旨在预测未来股价。

训练集与测试集

我们定义机器学习的训练集样本容量为N0>0N0>0，测试集样本容量为N1>0N1>0，即使用N0N0个样本用于训练，使用N1N1个样本进行测试。注意，需满足条件

N0+N1−2≤T−2MN0+N1−2≤T−2M

通常而言，为保证测试质量，训练数据和测试数据应该相互独立，所以定义训练集与测试集为

StrainStest={{x(j)},{y(j)}},={{x(j)},{y(j)}},−2M−N1−N0+2≤j≤−2M−N1+1−M−N1+1≤j≤−MStrain={{x(j)},{y(j)}},−2M−N1−N0+2≤j≤−2M−N1+1Stest={{x(j)},{y(j)}},−M−N1+1≤j≤−M

TensorFlow中的输入输出数据结构

在使用TensorFlow时，我们需要把神经网络的输入数据{x(j)}{x(j)}表达为形状为(N,p,L)(N,p,L)的数组，而其最终输出数据{y(j)}{y(j)}则为一个形状为(N,q)(N,q)的数组，其中NN为的样本容量。我们用关键字batch_size、max_time、input_size、output_size表达RNN神经元输入张量与输出张量的形状：

RNN神经网络输入: 形如(batch_size,max_time,input_size)的Tensor对象

RNN神经网络输出: 形如(batch_size,output_size)的Tensor对象

LSTM神经网络

我们使用TensorFlow建立LSTM神经网络，会调用到以下函数。我们对此作出简介。建立神经网络的详细代码请参见文件LSTMPredict.py

@GitHub@GitHub

。

BasicLSTMCell and LSTMCell

何为RNN以及LSTM神经网络请参见简明文章

@LSTM@LSTM

。单层LSTM神经网络在TensorFlow当中的被封装为BasicLSTMCell类或者LSTMCell类，调用其构造函数以生成单层神经网络（详细介绍请分别参见API文档

@BasicLSTMCell@BasicLSTMCell

和

@LSTMCell@LSTMCell

）。

DropoutWrapper

在机器学习中常会遇见overfitting现象（何为overfitting，过适，过拟合，请参见Wikipedia

@Overfitting@Overfitting

）。一个常用的解决overfitting的方法就是dropout，亦即在神经网络中随机抛出一些输入数据、神经元或者输出数据，仅仅使用剩余的部分进行模型数据拟合。这样可以有效地排除掉overfitting。在TensorFlow当中，类DropoutWrapper用于在已建成的RNN神经网络上进行一次dropout（详细介绍请参见API文档

@DropoutWrapper@DropoutWrapper

）。

MultiRNNCell and dynamic_rnn

为了实现深度学习，建立多层RNN神经网络，在TensorFlow当中，类MultiRNNCell用于合并多层神经网络（详细介绍请参见API文档

@MultiRNNCell@MultiRNNCell

）。对于多层RNN网络，在TensorFlow当中可以调用dynamic_rnn函数，来进行由第一层网络的输入到最后一层网络的输出的运算，这一功能使用方便，代码简洁（详细介绍请参见API文档

@dynamicrnn@dynamicrnn

）。

LSTMPredict类

本教程创建LSTMPredict类以便对实数序列数据进行预测。该类实现四个方法：init、_train、_test、_pred。__init__构造函数用来生成类对象；_train函数接受训练集数据，用以对神经网络的参数进行训练；_test函数接受测试集数据，用以对模型性能进行评估；_pred接受某股价或某股指收益率数据，对下一阶段收益率进行预测。本人编写了实现该类的Python代码存放于文件LSTMPredict.py，见于

@GitHub@GitHub

。以下对该类的四个方法作出说明。

init

函数：init( graph, max_time, input_size, layers_units, state_keep_probs, learning_rate )

用途：初始化LSTMPredict类的对象。

参数:

graph: tf.Graph object. 神经网络所在的图。
max_time: int. 神经网络输入数据的组数。
input_size: int. 每组输入数据的个数。
layers_units: a sequence of ints. 各层神经层的神经元个数，最后一层神经元个数等于输出数据个数。
state_keep_probs: a sequence of floats. 各层神经层的神经元保留率（介于0和1之间），亦即在训练时会随机保留部分神经元而去除掉剩余的神经元。
learning_rate: float. 训练算法的学习效率（介于0和1之间）。