导语

本文介绍了LSTM的相关内容和在股票价格预测上的应用。

LSTM的股票价格预测

LSTM(Long Short Term Memory)是一种 特殊的RNN类型，同其他的RNNs相比可以更加方便地学习长期依赖关系，因此有很多人试图将其应用于 时间序列的预测问题 上。

汇丰银行全球资产管理开发副总裁Jakob Aungiers在他的个人网站上比较详细地介绍了LSTM在Time Series Prediction上的运用（[http://www.jakob-aungiers.com/articles/a/LSTM-Neural-Network-

导语

这是本系列专题研究的第五篇：基于长短期记忆网络LSTM的深度学习因子选股模型。LSTM作为改进的RNN（循环神经网络），是一种非常成熟的能够处理变化的序列数据的神经网络。此算法在keras, tensorflow上都有可以直接调用的api，在BigQuant平台中也有封装好的可视化模块。本文首先大致介绍了RNN和LSTM的原理，然后以一个可视化实例展示LSTM模型在因子选股方面的应用。

LSTM原理介绍

循环神经网络能够挖掘数据中的时序信息，并且具有语义信息的深度表达能力，在语音识别、语言模型、机器翻译以及时序分析等方面得到了广泛应用。

在之前的文章中，我们介绍了RNN的很多内容，包括：

1. 循环神经网络RNN介绍 介绍了RNN
2. Autoencoder及tensorflow实现 介绍了autoencoder和tensorflow实现
3. [前馈神经网络与符号系统](https://zhuanlan.zhihu.c

CRFasRNN

前面我们在denseCRF中留了一个小尾巴，那就是unary function。为了让FCN结合起来，这里我们做两个设定：

1. FCN的结合作为unary function的结果
2. FCN的结果作为pairwise function中的Q函数的初始值。

这样FCN和CRF就连起来了。下面我们还要解决一个问题，就是为什么是CRFasRNN？

在这篇模型结合的论文中，作者将CRF的求解过程转换成了RNN的形式。由于CRF的求解算法是迭代进行的，因此把算法展开，我们可以将其变成RNN的形式，这里的细节在此就不多说了，大家看看论文基本就能看懂。

实现

下

前面我们一直在讲CNN的事情，从今天开始，我们要尝试扩展新方向了！这个新方向就是RNN。介绍RNN的时候，我的内心还是充满紧张的。因为相对而言RNN的理解还是会比CNN弱一些。但是万事开头难，然后中间难，最后结尾难。所以我们一起开车了。

RNN的结构我们放在后面介绍，我们先来看一下RNN和CNN相比的特点：对输入输出的维度不必限定。这一点和CNN很不相同。虽然不限定维度的输入输出带来了极大的灵活性，但是也带来了一些其他的问题。当然这些问题我们放在后面慢慢说。下面我们来关注一下CTC的背景。

这个问题就是对齐问题。比方说对于OCR，我们利用RNN进行识别，我们会得到一连串的输出结果，但是真实

Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机器翻译、语音识别、图像标注（Image Caption）等很多领域，之所以它这么受欢迎，是因为Attention给模型赋予了区分辨别的能力，例如，在机器翻译、语音识别应用中，为句子中的每个词赋予不同的权重，使神经网络模型的学习变得更加灵活（soft），同时Attention本身可以做为一种对齐关系，解释翻译输入/输出句子之间的对齐关系，解释模型到

RNN与LSTM

在上一讲中，我们简单介绍了RNN的思想。RNN是一种使用类似链表的形式、具有一定记忆能力的网络模型。对于具有序列性的样本数据，记住过去的信息对预测当前状态是非常必要的。相比于一般的神经网络的组成，RNN会额外增加一个T-1时刻隐含层到T时刻隐含层的传播矩阵。

RNN中的隐含层可以想象为我们的记忆，在当前作决定的时候我们会考虑记忆中过去的情况，这就是所谓的利用经验判断；而老的记忆会随时间的流失会被不断遗忘，因此在做当前判断时不会用到时间间隔很长的记忆。

然而不幸的是，当记忆的间隔时间需要很长的时候，训练 RNN 变得非常困难，其根本原因在于训练的时候会出现梯度消失

前言

最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。

RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文字等应用，都让人感到非常神奇。这里就不细说这些应用了，我其实也没看过他们的paper，就知道用到了RNN和LSTM而已O(∩_∩)O

RNN（Recurrent Neural Network）

![image|690x351](/community/uploads

CTC：前向计算例子

这里我们直接使用warp-ctc中的变量进行分析。我们定义T为RNN输出的结果的维数，这个问题的最终输出维度为alphabet_size。而ground_truth的维数为L。也就是说，RNN输出的结果为alphabet_size*T的结果，我们要将这个结果和1*L这个向量进行对比，求出最终的Loss。

我们要一步一步地揭开这个算法的细节……当然这个算法的实现代码有点晦涩……

我们的第一步要顺着test_cpu.cpp的路线来分析代码。第一步我们就是要解析small_test()中的内容。也就是做前向计算，计算对于RNN结果来说，对应最终的ground_t

导语

RNN、LSTM和GRU网络已在序列模型、语言模型、机器翻译等应用中取得不错的效果。循环结构（recurrent）的语言模型和编码器-解码器体系结构取得了不错的进展。

但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。这样，一是使得RNN的训练时间会相对比较长，对其的优化方法也比较少，二是对于长时间记忆来说，其的效果也大打折扣。

而Transformer的核心，注意力机制（Attention）允许对输入输出序列的依赖项进行建模，而无需考虑它们在序列中的距离，这样对上面两个RNN中比较突出的问题就有了一个比较好的解决办法。本文将

导语

RNN、LSTM和GRU网络已在序列模型、语言模型、机器翻译等应用中取得不错的效果。循环结构（recurrent）的语言模型和编码器-解码器体系结构取得了不错的进展。

但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。这样，一是使得RNN的训练时间会相对比较长，对其的优化方法也比较少，二是对于长时间记忆来说，其的效果也大打折扣。

而Transformer的核心，注意力机制（Attention）允许对输入输出序列的依赖项进行建模，而无需考虑它们在序列中的距离，这样对上面两个RNN中比较突出的问题就有了一个比较好的解决办法。本文将

摘要

递归神经网络RNNRNN不同于传统神经网络的感知机的最大特征就是跟时间挂上钩，即包含了一个循环的网络，就是下一时间的结果不仅受下一时间输入的影响，也受上一个时间输出的影响，进一步地说就是信息具有持久的影响力。人们在看到新的信息的时候产生的看法或者判断，不仅仅是对当前信息的反应，先前的经验、思想也会参与到这次信息推断当中。

分行业建模往期系列报告中，我们尝试了不同神经网络模型在整个股票分析上的表现能力。 而股票市场中，经常观察到某一行业或者板块的股票在特定时期中表现出齐涨共跌的特征。这说明，在这些股票中，存在着某种行业性或产业性的共同影响因素。另外，根据产业周期理论，任何产业或行

课程描述：

这是一门讲解深度学习方法入门课程，深度学习主要应用于机器翻译，图像识别，游戏，图像生成等等。课程同时设置了两个非常有趣的实战项目：

（1）基于RNN生成音乐

（2）基于X光的基本检测，GitHub地址：https://github.com/aamini/introtodeeplearning_labs

文末附课程所有视频教程、PPT及配套代码。

课程安排：

Session 1

Part1 深度学

根据上一篇的介绍，我们已经对循环神经网络有了基本了解。上一篇文章的“keras部署神经网络”部分，我们提供了搭建一个简单RNN网络的代码，但是实际运行代码时总会遇见各种问题，笔者就是如此，为了方便理解代码，笔者带着大家一步步分析代码，对代码中涉及到的一些自然语言处理的概念解释，实际运行中遇到的错误进行分析并给出解决方法。

我们的目标是：使用keras搭建RNN网路，使用推文数据训练模型

实现目标的思路是：准备工作 -> 数据序列化 -> 得到词嵌入矩阵 -> 训练网络

• 准备工作：读取相关库函数，读入数据集，划分训练集和测试集，
• 数据序列化：将文本转换为数字序列

**导读：**文本分类是NLP领域一项基础工作，在工业界拥有大量且丰富的应用场景。传统的文本分类需要依赖很多词法、句法相关的human-extracted feature，自2012年深度学习技术快速发展之后，尤其是循环神经网络RNN、卷积神经网络CNN在NLP领域逐渐获得广泛应用，使得传统的文本分类任务变得更加容易，准确率也不断提升，本文主要内容整理自网络，汇集了2014年以来，DL在文本分类领域相关的6篇论文，主要从CNN、RNN、Attention、RNN+CNN,或Word-level、Character-level角度出发，提升文本分类准确率。

**文本附论文及源码下载地址

导语

本文将介绍LSTM模型的原理与构建其选股模型的流程

LSTM简介

循环神经网络（RNN）

传统的神经网络是基于所有时刻的输入和输出间相互独立的假设来生成已学习数据的静态模型，并根据新接受的数据进行运算。但在很多情景中，如语音识别中预测当前的单词的含义，需要知道之前的输出结合上文语境做出判断，循环神经网络（Recurrent Neural Networks，简称 RNN）可以用于解决这类问题。 循环神经网络也被称为递归神经网络是受到人类对于近期事件会有所保留的背景而启发，循环神经网络会随着数据的输入生成动态模型。 理论上，RNN可以支持无限长的时间序列，然

导语

RNN、LSTM和GRU网络已在序列模型、语言模型、机器翻译等应用中取得不错的效果。循环结构（recurrent）的语言模型和编码器-解码器体系结构取得了不错的进展。

但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。这样，一是使得RNN的训练时间会相对比较长，对其的优化方法也比较少，二是对于长时间记忆来说，其的效果也大打折扣。

而Transformer的核心，注意力机制（Attention）允许对输入输出序列的依赖项进行建模，而无需考虑它们在序列中的距离，这样对上面两个RNN中比较突出的问题就有了一个比较好的解决办法。本文将

导语

RNN、LSTM和GRU网络已在序列模型、语言模型、机器翻译等应用中取得不错的效果。循环结构（recurrent）的语言模型和编码器-解码器体系结构取得了不错的进展。

但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。这样，一是使得RNN的训练时间会相对比较长，对其的优化方法也比较少，二是对于长时间记忆来说，其的效果也大打折扣。

而Transformer的核心，注意力机制（Attention）允许对输入输出序列的依赖项进行建模，而无需考虑它们在序列中的距离，这样对上面两个RNN中比较突出的问题就有了一个比较好的解决办法。本文将