深度学习

回顾去年的DCNN成果和深度学习发展，就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军，更重要的是这一结构解决了训练极深网络时的degradation问题。作为我来到MSRA第一个月重点学习的论文，现在在这里分享一下我这大半个月以来的学习成果。

论文解读

He首先提出一个问题:*Is learning bett

\

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

目录

1. 随机梯度下降法有什么问题？
2. 负采样
3. 计算梯度

1. 随机梯度下降法有什么问题？

通过对代价函数求权重的梯度，我们可以一次性对所有的参数 进行优化，但是如果每次等全部计算完成再优化升级，我们将等待很长时间（对于很大的语料库来说）。

所以我们采用随机梯度下降（ Stochastic Gradient Descent），也就是说每次完成一次计算就进行升级。

但是，还有两个问题导致目前的模型效率低下！

第一个问题，我们每次只对窗口

推荐一本2018年初发布的，由佐治亚理工学院交互计算学院副教授Jacob Eisenstein编写的深度学习与自然语言处理的教材。这本书由浅入深，在详细、全面介绍了自然语言处理相关的基础知识之上，结合了最新的深度学习技术，详细介绍了深度学习技术在自然语言处理很多方面的应用。文末附本书pdf下载地址。

主要内容

LEARNING

Linear text classification

Nonlinear Classification

Linguistic Application of Classification

Learning without Supervi

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

分享一些量化交易相关的常识信息。

五因子模型公式及应用

五因子模型是哪五个因子

**[多因子选股模型及优缺点](https://bigquant.com/wiki/doc/5asa5zug5a2q6ycj6ikh5qih5z6l5zcn6kn6ke

请参考新版的大盘择时

机器学习+择时+跟踪止损+技术分析

策略案例

https://bigquant.com/experimentshare/a5ed3eddf32f4e4dad4811a1acc257f0

\

人工智能，深度学习，机器学习……不管你在从事什么工作，都需要了解这些概念。否则的话，三年之内你就会变成一只恐龙。 —— 马克·库班

库班的这句话，乍听起来有些偏激，但是“话糙理不糙”，我们现在正处于一场由大数据和超算引发的改革洪流之中。

首先，我们设想一下，如果一个人生活在20世纪早期却不知电为何物，是怎样一种体验。在过去的岁月里，他已经习惯于用特定的方法来解决相应的问题，霎时间周围所有的事物都发生了剧变。以前需要耗费大量人力物力的工作，现在只需要一个人和电就能完成了。

而在现在的背景下，机器学习、深度学习就是新的“电力”。

所以呢，如果你还不了解深度学习有多么强大，不妨就从这篇文章开

策略案例

https://bigquant.com/experimentshare/5cfd9186208047518a995e4394ba1099

\

新版本暂无深度学习可视化模块

导语

在阅读了 深度学习的简要介绍后，本文将介绍深度学习DNN模型及其在量化投资领域中的应用。

深度学习在量化领域的应用

机器学习作为人工智能的核心，其传统算法在解决很多问题上都表现出了高效性。随着近些年数据处理技术上的进步和计算能力的提升，深度学习得以在很多问题上也大放光彩，成为近一段时间互联网、金融等领域的大热门。

在量化投资领域，机器学习尤其是由统计学延伸的各种算法一直以来都被尝试应用在选股、择时等策略的开发上，随着深度学习在其他领域上的突破，其在自动化交易甚至投资策略的自开发自

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

本文内容已经过期，不再适合平台最新版本，请查看以下最新内容，作为参考资料学习。

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

[https://bigquant.com/experimentshare/e1779fa4ec184a1fb209ebff7c588b8d](https://bigquant.com/experimentshare/e1779fa4ec184a1fb209ebff7

\

背景

机器学习的研究领域包括有监督学习（Supervised Learning），无监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）等诸多内容。针对有监督学习和半监督学习，都需要一定数量的标注数据，也就是说在训练模型的时候，全部或者部分数据需要带上相应的标签才能进行模型的训练。但是在实际的业务场景或者生产环境中，工作人员获得样本的成本其实是不低的，甚至在某些时候是相对较高的，那么如何通过较少成本来获得较大价值的标注数据，进一步地提升

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

\

策略案例

https://bigquant.com/experimentshare/421fbaa682a04d6bacf4d2f1f47b54c6

\

TensorFlow是一个由Google开发的开源机器学习库，用于数据流编程。它允许开发者构建和训练复杂的深度学习模型，以解决各种问题。自从2015年发布以来，TensorFlow已经成为深度学习领域最受欢迎的框架之一，广泛应用于计算机视觉、自然语言处理、声音识别、时间序列分析等领域。

核心概念

TensorFlow的名字来源于其处理的核心数据结构“张量”（Tensors），它是一个多维数组或列表

导语

本文介绍了LSTM的相关内容和在股票价格预测上的应用。

LSTM的股票价格预测

LSTM(Long Short Term Memory)是一种 特殊的RNN类型，同其他的RNNs相比可以更加方便地学习长期依赖关系，因此有很多人试图将其应用于 时间序列的预测问题 上。

汇丰银行全球资产管理开发副总裁Jakob Aungiers在他的个人网站上比较详细地介绍了LSTM在Time Series Prediction上的运用（[http://www.jakob-aungiers.com/articles/a/LSTM-Neural-Network-

https://bigquant.com/experimentshare/d50ee96c36f84af6ad990409294db4cb

\

旧版声明

本文为旧版实现，供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

\

导语

这是本系列专题研究的第五篇：基于长短期记忆网络LSTM的深度学习因子选股模型。LSTM作为改进的RNN（循环神经网络），是一种非常成熟的能够处理变化的序列数据的神

第7讲:函数近似 研究科学家Hado van Hasselt解释了如何将深度学习与强化学习相结合，以实现“深度强化学习”。

https://www.youtube.com/watch?v=ook46h2Jfb4

/wiki/static/upload/62/629005a1-bc1e-4a76-a388-459ff23ee431.pdf

\

导语

本文是对于medium上Boris博主的一篇文章的学习笔记，这篇文章中利用了生成对抗性网络（GAN）预测股票价格的变动，其中长短期记忆网络LSTM是生成器，卷积神经网络CNN是鉴别器，使用贝叶斯优化（以及高斯过程）和深度强化学习（DRL）优化模型中超参数。此外，文章中非常完整地实现了从特征抽取、模型建立、参数优化、实现预测的过程，其中运用了多种机器学习方法，比如BERT进行文本情绪分析、傅里叶变换提取总体趋势、autoencoder识别高级特征、XGboost实现特征重要性排序等。本文学习的思路是：GAN算法概览 – 项目思路 – 项目详解。拟在学习完成后，在Bigquant平台

导语

不管你是管理自己的资金还是客户资金，只要你在做资产管理，每一步的投资决策都意义重大，做技术分析或基本面分析的朋友很清楚地知道每一个决策的细节，但是通过机器学习、深度学习建模的朋友可能就会很苦恼，因为直接产出决策信号的模型可能是个黑盒子，很难明白为什么模型会产出某一个信号，甚至很多保守的私募基金把模型的可解释性放入了事前风控。其实，模型的可解释性是很容易做到的，难点在于研究员是否对模型有深入的思考和理解。

介绍

机器学习领域在过去十年中发生了显著的变化。从一个纯粹的学术和研究领域方向开始，我们已经看到了机器学习在各个领域都有着广泛的应用，如零售，技术，医疗保健，科学等等。

在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。

因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。 尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在的关系开始逐渐清晰起来。 BigQuant人工智能量化投资平台是一个专注于机器学习、深度学习的量化平台，拥有A股、期货、基金、美股数据，并内置了主流的深度学习开源框架。深度学习是一门实践性学科，欢迎大家

导语

这是本系列专题研究的第六篇：基于DNN模型的深度学习智能选股策略。本文简单介绍了和DNN相关的原理，并举了一个实例，具体展示了如何应用以及应用的结果。

DNN原理介绍

神经元

神经网络的每个单元结构如下：

其对应公式如下： ![](/wiki/api/attachments.redirect?id=786ada84-4578-45b9-98a9-a281762597d

导语

通过文章《什么是机器学习》我们大概知晓了机器学习，那么机器学习里面究竟有多少经典的算法呢？本文简要介绍一下机器学习中的常用算法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。

回归算法

在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即 线性回归 和 逻辑回归 。

线性回归就是我们前面说过的房价求解问题