神经网络

本章内容只是介绍最简单的算法推演过程，并不涉及优化过程。程序放在了github上仅供参考example1.7.1.py

回想我们对于第1.6章内容的推演过程就会发现，算法中梯度扮演了十分重要的作用。那么现在需要学习的BP算法也应该是基于梯度的，假设规定的误差函数为：

![\mathcal{E}=|\vec{d}-\vec{y}|=\sqrt{\sum_{i}{(d_i-y_i)^

在写1.2章内容的时候就有人评论(这里并没有恶意，请别见怪)：

确实是一个神经网络的应用，不能体现神经网络的实力啊，拟合多项式least square method就可以了

上面的话都是正确的，唯一感觉有些不合适的是过分的高估了神经网络的神奇，作为曲线拟合的方式最小二乘方法核心思想就是找到合适的曲线使得其能更好的拟合一些离散的的数据点。这里“更好”定义为与数据点的方差最小。简而言之就是定义一个函数 ,求得合适的 ![\vec{x

策略案例

https://bigquant.com/experimentshare/723e10568f294571924b89f3953ce20b

\

8月19日Meetup问题模板：

https://bigquant.com/experimentshare/f58dbfb388454407b8a2b99eb14cf1ea

\

导语

机器学习里面究竟有多少经典的算法呢？本文简要介绍一下机器学习中的常用算法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。

回归算法

在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即 线性回归 和 逻辑回归 。

线性回归就是我们前面说过的房价求解问题。如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解。“最小二乘法”的思想是

课程描述：

这是一门讲解深度学习方法入门课程，深度学习主要应用于机器翻译，图像识别，游戏，图像生成等等。课程同时设置了两个非常有趣的实战项目：

（1）基于RNN生成音乐

（2）基于X光的基本检测，GitHub地址：https://github.com/aamini/introtodeeplearning_labs

文末附课程所有视频教程、PPT及配套代码。

课程安排：

Session 1

Part1 深度学

本文收录在无痛的机器学习第一季。

写在前面：感谢@夏龙对本文的审阅和提出的宝贵意见，欢迎各位大神多多指点。

上一回扯了些关于梯度下降的事情，当然那只是个开头，有关梯度下降相关的内容非常多。为了保证完整性，今天再扯一下另外一个在梯度下降中十分重要的东西，那就是动量——momentum。

这是一个十分神秘的变量，我也只能以最简单的方式理解它，于是在这里班门弄斧了。正如它的中文名字一样

国内视频地址：斯坦福CS224N深度学习自然语言处理课程（四）词窗分类与神经网络

写在前面

前面几节课分别从word2vector的应用与主要原理，机器学习基础，线性分类等方面进行讲解，都是为了后续的神经网络做铺垫。从第四节课的后半段才开始进入真正的NN部分讲解。

本课主要讲授最简单的单隐层神经网络。

![](/communit

国内视频地址：斯坦福CS224N深度学习自然语言处理课程（四）词窗分类与神经网络（这节课开始时用很大的篇幅去回顾些基础，分类的知识和softmax等。）

国内视频地址：斯坦福CS224N深度学习自然语言处理课程（四）词窗分类与神经网络

写在前面

前面几节课分别从word2vector的应用与主要原理，机器学习基础，线性分类等方面进行讲解，都是为了后续的神经网络做铺垫。从第四节课的后半段才开始进入真正的NN部分讲解。

本课主要讲授最简单的单隐层神经网络。

![](/communit

国内视频地址：斯坦福CS224N深度学习自然语言处理课程（二）Word2Vec词向量表示

![](data:image/svg+xml;utf8,<svg%2

课程的note主要包括4个部分：

1 Introduction to Natural Language Processing

阐述为什么NLP任务这么复杂，并且针对不同task难度，给出分档。

![](data:image/svg+xml;utf8,<svg%20xmlns='[http://www.w3.org/2000/svg' width='749' height='491](http://www.w3.org/2000/svg

斯坦福官网主页：斯坦福CS224N官网主页

syllabus： CS224N Syllabus

国内视频地址： [斯坦福CS224N深度学习自然语言处理课程（一）](https://link.zhihu.com/?target=http%3A//www.bilibili.c

斯坦福官网主页：斯坦福CS224N官网主页

syllabus： CS224N Syllabus

国内视频地址： [斯坦福CS224N深度学习自然语言处理课程（一）](https://link.zhihu.com/?target=http%3A//www.bilibili.c

前言

这个系列是我和InfoQ合作的《无痛的增强学习入门》系列，现转载到知乎专栏中。首发地址在：无痛的增强学习入门： 增强学习形式化 ，欢迎围观。

上一节我们以蛇棋为例，主要介绍了增强学习的核心流程，那就是Agent与Environment的交互。这一节我们需要进一步形式化这个过程，站在数学的角度分析这个问题的解决方案。对于增强学习来说，大家一般喜欢以马尔科夫决策过程

我们一般只发原创，今天看到一篇很棒的文章就转过来和大家分享，已获得作者授权。

作者：郑明 首发于 对冲笔记，ID:HedgeFundNotes

深度学习简介

关于深度学习的话题，目前讨论的很火，各种学习资源也充斥网络，这里只是做一个简单介绍。

Deep Learning 本身算是 Machine Learning 的一个分支，简单可以理解为Neural Network的发展。大约二三十年前，Neural Network曾经是ML领域特别火热的一个方向，但是后来确慢慢淡出了，原因包括以下几个方面：

1）比较容易过拟合，参数比较难tune，而且需要不少trick；

2）训

前言最近看到知乎上有人提问，关于神经网络结构图的问题，编辑部决定给大家做一期比较全面详细的介绍，希望对大家在这方面的空缺和疑惑有所帮助。

所有文档在文末下载。

LaTeX

我们给出了部分内容，全部文章，请在文末获取

绘制网络结点图的tikz库

在控制论或者是智能领域，神经网络是经常接触到的，另外，研究网络时，也经常需要绘制网络结点图，下面介绍一个tikz库可以非常方便地绘制这类图。

The following example shows a Rearrangeable Clos Network.

![](/community/uploa

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

5. TF - Graph模块

TF把神经网络模型表达成一张拓扑结构的Graph，Graph中的一个节点表示一种计算算子。Graph从输入到输出的Tensor数据流动完成了一个运算过程，这是对类似概率图、神经网络等连接式算法很好的表达，同时也是对Tensor + Flow的直观解释。

5.1 Graph视图

Tensorflow采用符号化编程，形式化为Graph计算图。Graph包含节点（Node）、边（Edge）、NameScope、子图（SubGraph），图 5 1是G

介绍

用TensorFlow来演示XOR门问题（可以换成任何问题，并用相同方法来解决）。

下面的代码只是没有任何枝叶的核心内容。全部代码在github上。

准备工作

• ubuntu系统
• [安装](https://link

介绍

前两节所描述的YJango的前馈神经网络--代码LV1和YJango的前馈神经网络--代码LV2是都是为了分析方便而选择的浅层任务，深层学习对其并不具备什么优势，其他机器学习算法恐怕要比深层学习做的更好。

真正可以发挥深层学习的是具有特定结构的任务。

这一节有两个目的：

• 换一个高度非线性和复杂的任务来再次体会一下深层学习的功能
• 熟悉深层学习训练的完整流程。

[代码演示LV3](h

很久没有更新文章了。这次就更新一个很久之前就答应要写的卷积神经网络的文章。

PS：YJango是我的网名，意思是我写的教程，并不是一种网络结构。。

关于卷积神经网络的讲解，网上有很多精彩文章，且恐怕难以找到比斯坦福的CS231n还要全面的教程。 所以这里对卷积神经网络的讲解主要是以不同的思考侧重展开，通过对卷积神经网络的分析，进一步理解神经网络变体中“因素共享”这一概念。

注意：该文会跟其他的现有文章有很大的不同。读该文需

年初就一直在等啦

终于等到这本书

分享一下

此书的代码下载地址：https://github.com/fchollet/deep-learning-with-python-notebooks

![](/community/uploads/default/original/3X/c/c/cc94b84a373c66d820177c480765c8ec2467c73d

作者：Dmitry Rastorguev
编译：BigQuant

我对技术及其在金融数据分析，特别是投资中的应用感到着迷。以下是过去发布的关于深度学习及其在投资领域应用的免费学术论文汇编。请享用！

$目录$

1. 《通过预测公司基本面来改善基于因子的量化投资》
2. 《深度学习预测横截面的股票收益》
3. 《使用机器学习算法预测ETF》
4. 《金融序列预测：时间序列模型与机器学习模型在预测精度上的比较》
5. 《借助长期短期记忆网络的深度学习预测金融市场》
6. [《利用深度学习进行股价预测》]

本周为大家精选了5篇机器学习/深度学习在量化投资中的实用性文章，这些算法在BigQuant上可以快速实现。

• 神经网络在算法交易中的应用

  关键词：神经网络、波动性预测、损失函数

  作者之前发布了三篇金融时间序列预测的报告，包括如何数据预处理、如何正则化以及基于多变量时间序列进行预测。但这三篇报告都是分类问题，即根据历史数据预测下一个交易日是涨还是跌，而且分类的准确率达到65%。但是，当变成回归问题时，即预测明天收益率具体数值，模型的预测结果很差。于是，作者将重新

导语：本周为大家推荐五项国外有关深度学习和机器学习的实践性研究。希望能帮助大家更好地获取信息、学习知识。BigQuant拥有海量的数据和主流开源AI框架，附能每一位爱好机器学习/深度学习和量化交易的人。

• 《Neural networks for algorithmic trading. Multimodal and multitask deep learning》

关键词：神经网络、机器学习

本文介