1. 前馈神经网络（DNN）

一般来说，深度学习和神经网络是同一个概念

1.1 感知机（Perceptron）

在之前的分享中，我们介绍过一个线性分类器，叫做感知机（Perceptron），并且介绍过它是神经网络的基本单元

感知机的运算公式是：

• 假设我们有F个特征，每个特征一个参数，特征X这个时候也可以叫做输入
• 我们先给特征和参数来一个线性组合：Z = theta0 + theta1 X1 + theta2 X2 + …… + thetaF XF
• 之后把线性组合套在一个激活函数中，Y = f(Z)，最终的结果Y我们叫做输出，输出其实并不局限于二分类，多分类和回归

/* 使用DAI SQL为量化模型预测生成标签数据。标签反映了未来5日的收益率，并且被离散化为20个桶，每个桶代表一个收益率范围。这样，我们就可以训练模型来预测未来的收益率范围，而不仅仅是具体的收益率值。

1. 首先定义了一个名为label_data的临时表，用于计算和存储未来5日收益率，其1%和99%分位数，以及离散化后的收益率（被分为20个桶，每个桶代表一个收益率范围）。
2. 对未来5日收益率进行了截断处理，只保留在1%和99%分位数之间的值。
3. 选择了标签值不为空，并且非涨跌停（未来一天的最高价不等于最低价）的数据
4. 从这个临时表中选择了日期、股票代码和标签字段，以供进模

你是否曾经听到过人们谈论机器学习，而你却对其含义只有一个模糊的概念呢？你是否已经厌倦了在和同事对话时只能点头呢？现在，让我们一起来改变这个现状吧！

这篇指南是为那些对机器学习感兴趣，但又不知从哪里开始的人而写的。我猜有很多人曾经尝试着阅读机器学习的维基百科词条，但是读着读着倍感挫折，然后直接放弃，希望能有人给出一个更直观的解释。本文就是你们想要的东西。

本文的写作目标是让任何人都能看懂，这意味着文中有大量的概括。但是那又如何呢？只要能让读者对机器学习更感兴趣，这篇文章的任务也就完成了。

什么是机器学习？

机器学习是一种概念：不需要写任何与问题有关的特定代码，泛型算法（Gene

我们今天分享的四种模型，包括上次分享的逻辑回归，都是一些轻量级的分类模型，适用于数据量少，特征量少的分类任务

\

1. 支持向量机（SVM）

1.1 SVM的概念

支持向量机（Support Vector Machine）是在神经网络流行之前最强大的机器学习算法

SVM在二分类问题上的逻辑原理是：

• 假设我们的样本中有两个类别，我们可以把样本画到图上
• 如果切一刀下去，怎样切可以尽可能地把两个类别尽可能地分开

比方说以下图像中

![](/wiki/api/attachments.redirect?id=620959a3-ac1c-4a55-ab93-cd1

首先解释一下标题： CNN：卷积神经网络（Convolutional Neural Network）, 在图像处理方面有出色表现，不是被川普怒怼的那个新闻网站； 股票涨跌：大家都懂的，呵呵； 股票图片：既然使用CNN，那么如果输入数据是股票某个周期的K线图片就太好了。当然，本文中使用的图片并不是在看盘软件上一张一张截下来的，而是利用OHLC数据“画”出来的； 尝试：这个词委婉一点说就是“一个很好的想法^_^"，比较直白的说法是“没啥效果T_T”。

进入正题： 首先是画出图片。本文目前是仿照柱线图画的。 ![{w:100}](/wi

导语

这是本系列专题研究的第六篇：基于DNN模型的深度学习智能选股策略。本文简单介绍了和DNN相关的原理，并举了一个实例，具体展示了如何应用以及应用的结果。

DNN原理介绍

神经元

神经网络的每个单元结构如下：

其对应公式如下： ![](/wiki/api/attachments.redirect?id=786ada84-4578-45b9-98a9-a281762597d

导语

从AlphaGo到AlphaStar，深度学习的强大逐步展现给世人。那么，什么是深度学习呢？本文将简要介绍深度学习的框架以及流程。

从单层感知器开始

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

如何使用计算机建立人脑的神经网络呢？下面介绍的感知器算法很好的模拟了人脑神经网络中的神经元。

人通过收集触觉、味觉、嗅觉、视觉与听觉来得到对外界事物的认识。计算机将人收集到的这些信息设定为输入（在下图中体现为$x_1、x_2...x_n$），通过某个函数（在下图体现为$\

导语

这是本系列专题研究的第五篇：基于长短期记忆网络LSTM的深度学习因子选股模型。LSTM作为改进的RNN（循环神经网络），是一种非常成熟的能够处理变化的序列数据的神经网络。此算法在keras, tensorflow上都有可以直接调用的api，在BigQuant平台中也有封装好的可视化模块。本文首先大致介绍了RNN和LSTM的原理，然后以一个可视化实例展示LSTM模型在因子选股方面的应用。

LSTM原理介绍

• Update At 2017年6月23日

  本文作者： HackCV

\

什么是卷积神经网络？为什么它们很重要？

卷积神经网络（ConvNets 或者 CNNs）属于神经网络的范畴，已经在诸如图像识别和分类的领域证明了其高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。

在上图中，卷积神经网络可以

概要

当我们开始学习编程的时候，第一件事往往是学习打印"Hello World"。就好比编程入门有Hello World，机器学习入门有MNIST。

MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片

它也包含每一张图片对应的标签，告诉我们这个是数字几。比如，上面这四张图片的标签分别是5，0，4，1。

在此教程中，我们将训练一个机器学习模型用于预测图片里面的数字。我们的目的不是要设计一个世界一流的复杂模型 -- 尽管我们会在之后给你源代码去实现一流的预测模型 -- 而是要介绍下如何使用TensorFlow。所以，我们这里会从一个很简单的数学模型开始，它叫做Soft

擂台赛背景

12月7日，BigQuant发布年度重磅报告（https://bigquant.com/wiki/doc/niandu-zhongbang-bao-DeepAlphaCNN-juanji-shenjingwangluo-qXe3iEgfRI），发布了Deep Alpha-CNN模型，该模型采用7层一维卷积神经网络，并引入残差，降低模型复杂度，防止梯度爆炸/消失，达到更好收敛。

研究要点及结论

原始模型98个因子选取1个时间截面，这里我改成了98个因子5个时间截面，神经网络结构其他部分变化不大。因为比赛时间有限，且单次模型训练时间较长，因此模型没有怎么调仓，参数

写在前面：读TensorFlow的这篇官网教程，给了我很大的帮助，该教程对seq2seq模型在理论上和代码实现上都有简要介绍。感觉有必要翻译一下做个记录，文章很长，不会做到一字一句的翻译，有些不好翻译的地方我会给出原句，有不严谨的地方望谅解。

本文目录：

• 前沿 | Introduction
• 基础 | Basic
• 训练- 如何构建我们的第一个NMT系统
• 词向量 | Embedding
• 编码器 | Encoder
• 解码器 | Decoder
• 损失 | Loss
• **梯度计算和优化 | Gradient co

循环神经网络能够挖掘数据中的时序信息，并且具有语义信息的深度表达能力，在语音识别、语言模型、机器翻译以及时序分析等方面得到了广泛应用。

在之前的文章中，我们介绍了RNN的很多内容，包括：

1. 循环神经网络RNN介绍 介绍了RNN
2. Autoencoder及tensorflow实现 介绍了autoencoder和tensorflow实现
3. [前馈神经网络与符号系统](https://zhuanlan.zhihu.c

前置准备

在阅读本文之前，请确定你已经了解了神经网络的基本结构以及前向传播、后向传播的基本原理，如果尚未了解，可以查看下文。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.com/2018/07/19/%25E7%25A5%259E%25E7%25BB%258F%25E7%25BD%2591%25E7%25BB%

本文主要介绍tf.Tensor的各种常用属性，张量是对矢量和矩阵向潜在的更高维度的泛化。对内，TensorFlow 将张量表现为基本数据类型的 n 维数组。

在编写 TensorFlow 程序时，操控和传递的主要目标是 tf.Tensor。tf.Tensor 目标表示一个部分定义的计算，最终会产生一个值。TensorFlow 程序首先建立 tf.Tensor 目标图，详细说明如何基于其他可用张量来计算每个张量，然后运行该图的部分内容以获得所期望的结果。

tf.Tensor 有以下属性：

• 数据类型（例如 float32，int32 或 string）

前置准备

在阅读本文之前，请确定你已经了解了神经网络的基本结构以及前向传播、后向传播的基本原理。

几种重要算法

前向传播

前向传播是神经网络最重要的算法之一，他的目的是通过输入层的输入进行推断，得到输出层的结果，下面假定一个简单的神经网络如下图，包含：一个输入层，一个隐藏层，一个输出层。

则该算法的tensorFlow表达为：

import tensorflow as tf
# 初始化权重
w1 = tf.

一直想对tensorflow的slim做更深入的了解，于是就有了这篇文章，一是为了做笔记，二是为大家理解slim提供帮助。不过由于时间有限，此文章会慢慢更新，估计持续一周才能完成。另外，我是一名学习者，所以文章中难免有不正确的地方，希望大家多多包涵并请不吝指正。注：阅读这篇文章估计要花三个小时，所以分成两篇，建议边看英文边看我的解读

TensorFlow-Slim

TF-Slim is a lightweight library for defining, training and evaluating complex models in TensorFlow. Compon

“感知机”是如何工作的

在聊完了“感知机”的一段发展史后，下面让我们言归正传，再从技术层面，深入讨论一下感知机的工作机理。

现在我们知道，所谓的感知机，其实就是一个由两层神经元构成的网络结构，它在输入层接收外界的输入，通过激活函数（含阈值）的变换，把信号传送至输出层，因此它也称之为“阈值逻辑单元（threshold logic unit）”。

感知机后来成为许多神经网络的基础，但它的理论基础依然建立于皮茨等人提出来的“M-P神经元模型”。

**麻雀虽小，五脏俱全。**感知机虽然简单，但已初具神经网络的必备要素。在前面我们也提到，所有“有监督”的学习，在某种程度上，都是分类

用近似定理牛在哪里？

前面我们提到，机器学习在本质上，就是找好一个好用的函数。而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数[1]”。

这个定理也被称之为通用近似定理（Universal Approximation Theorem）。这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出来，这个定理的能量有多大。

图2-4 通用近似定理

“我思故我”的神经元

针对前馈神经网络，输入层和输出层设计比较直观。针对神经网络，我们拆开想想What和How的问题：

1）神经：即神经元，什么是神经元（What）？2）网络：即连接权重和偏置，它们是怎么连接的（How）？

对于计算机而言，它能计算的就是一些数值。而数值的意义是人赋予的。法国著名数学家、哲学家笛卡尔曾在它的著作《谈谈方法》提到：“我想，所以我是”。文雅一点的翻译就是“我思故我在”。套用在神经元的认知上，也是恰当的。这世上本没有什么人工神经元，你（人）认为它是，它就是了。也就是说，数值的逻辑意义，是人给的。

比如说，假如我们尝试判断一张手写数字图

背景

感知机（Perceptrons），受启发于生物神经元，它是一切神经网络学习的起点。很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅一带而过。学过编程的读者都知道，不论是哪门语言，那个神一般存在的开端程序——“Hello World”，对初学者有多么重要。可以说，它就是很多从事计算机行业的人“光荣与梦想”开始的地方。

而感知机学习，就是神经网络学习的“Hello World”，所以对于初学者来说，它值得我们细细品味。

罗森布拉特其人

虽然前面章节讲到的M-P神经元模型，是感知机中的重要元素，但需要说明的是，“感知机”作为一个专业术语，是

从本文开始我会着重介绍一些深度迁移学习方面的文章。今天这篇是其中的经典文章，最初发表于NIPS 2014的《How transferable are features in deep neural networks?》。其实说是经典，也才2014年，很近了。但是神经网络发展太快，14年的就已经算经典了！本篇论文的作者是Jason Yosinski博士（当时是康奈尔大学的博士生），Uber AI联合创始人。值得注意的是论文的第三作者是深度学习大牛Yoshua Bengio，所以论文的质量和档次是可以信赖的。（能和这种级别的大牛合作，我想也算是一个博士生的最好经历了吧！）

多说一句，为什么说这个

本次介绍一篇被计算机视觉顶会CVPR 2018接收的文章：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)。

背景

我们目前接触过的绝大部分迁移学习问题情景都是：源域和目标域的特征空间与类别空间一致，只是数据的分布不一致，如何进行迁移。也就是说，源域和目标域要是几类，都是几类。但是这种情况显然具有很大的限制性：在真实应用中，我们往往不知道目标域的类别，更不用说它是否和源域的类别完全一样。这就极大地限制了它的应用。

导语：本周为大家推荐五项国外有关深度学习和机器学习的实践性研究。希望能帮助大家更好地获取信息、学习知识。BigQuant拥有海量的数据和主流开源AI框架，附能每一位爱好机器学习/深度学习和量化交易的人。

• 《Neural networks for algorithmic trading. Multimodal and multitask deep learning》

关键词：神经网络、机器学习

本文介绍了如何训练神经网络的方法，这绝不是直接训练一

在本文中，我将初步介绍神经网络有关的概念和推导，本文是后续深度学习的入门，仅对神经网络做初步理解，后续文章中会继续进行学习。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.