神经网络

本次介绍一篇被计算机视觉顶会CVPR 2018接收的文章：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)。

背景

我们目前接触过的绝大部分迁移学习问题情景都是：源域和目标域的特征空间与类别空间一致，只是数据的分布不一致，如何进行迁移。也就是说，源域和目标域要是几类，都是几类。但是这种情况显然具有很大的限制性：在真实应用中，我们往往不知道目标域的类别，更不用说它是否和源域的类别完全一样。这就极大地限制了它的应用。

导语：本周为大家推荐五项国外有关深度学习和机器学习的实践性研究。希望能帮助大家更好地获取信息、学习知识。BigQuant拥有海量的数据和主流开源AI框架，附能每一位爱好机器学习/深度学习和量化交易的人。

• 《Neural networks for algorithmic trading. Multimodal and multitask deep learning》

关键词：神经网络、机器学习

本文介绍了如何训练神经网络的方法，这绝不是直接训练一

在本文中，我将初步介绍神经网络有关的概念和推导，本文是后续深度学习的入门，仅对神经网络做初步理解，后续文章中会继续进行学习。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.

本文收录在无痛的机器学习第一季。

上一回我们聊完了算法，这回我们正式开始写代码。上回在做公式推导的时候，我们实际上只是针对一个数据样本进行推导，而实际中，计算和训练都是一批一批完成的。大多数机器学习训练都有batch的概念，而训练中batch的计算不是一个一个地算，而是一批数据集中算，那么就需要用上矩阵了。

首先给出Loss的代码，这里y和t都是按列存储的，每一列都是一个样本：

class SquareLoss:
    def forward(self, y, t):
        self.l

在这篇文章之前，就已经有人提出有趣的想法：训练好的深层神经网络是对训练数据空间的泛化先验。这个说法和之前提到的假想比较类似。首先，深层网络通过学习训练数据使得训练数据的识别能够完美拟合，同时它还能保证训练数据附近的区域也能够识别正确。

当然，这个“附近的区域”是一个不够清晰的词汇，什么算作“附近”？没有度量就没有概念。我们能不能真的找到一种精确的度量，帮助我们衡量模型或者某一个模型层的“泛化”能力？文章中并没有给出一个十分精细的能力衡量方式，但是它给出了一个泛化下界的表达方式。

泛化能力的下界

我们知道Lipchitz条件的公式：

$|f(x)-f(y)| \leq L|x-

神经网络模型的效果以及优化的目标是通过损失函数(loss function)来定义的，本文介绍两个经典的损失函数，分别对应监督学习中的分类问题和回归问题

1. cross entropy loss function 交叉熵损失函数，对应分类问题
2. mean squared error 均方误差，对应回归问题

并介绍如何采用Tensorflow中的API进行实现。

cross entropy loss function

通过神经网络解决多分类问题最常用的方法是设置 个输出节点，

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

![图1 人脑神经网络](/wiki/api/attachments.redirect?id=c4bd3664-94c

今天编辑部带来关于在基于金融时间序列的预测模型案例，我们将通过神经网络来增强一个经典的移动平均策略，并表明它真的是有所改善相对原策略。

基于技术分析的投资策略

但这种交易策略有一个主要的缺陷：在震荡行情中，策略没有过多的触及信号并交易，这样我们也很难赚到钱。 ![image|690x376](/community/uploads/default/original/3X

本文收录在无痛的机器学习第一季。

这一回聊一下神经网络的反向传导算法问题。反向传导算法是一个比较复杂的算法，但是如果把它拆解开，其实每一个小步骤并不复杂。

在此之前需要先介绍一个概念，那就是模型训练目标。神经网络是一个用在监督学习上的模型，所谓的监督学习就是我们要提前知道输入和输出。那么我们的模型训练目标自然是希望模型在接收输入后，可以得到和我们提前知道的一样的输出。

但是怎么描述这个“一样”呢？现实中会有很多具体的表述方法。这里我们介绍并采用一种相对简单的方式，那就是二次损失函数。对于模型的输出y

神经网络是一种网络状的数学模型，它由多个层级和神经元构成。作为深度学习中经常使用的模型循环神经网络有着非常广泛地应用，要想理解该模型必须从最基本的神经网络开始学习。

二层神经网络

让我们以多元回归模型为例构建一个最简单的神经网络，大家通过这个小例子就能了解到神经网络的结构和如何运作的。

多元回归模型简单来讲就是对于每个样本都有m个特征Xi，我们需要找到每个特征对应的最佳权值（参数），使特征的线性组合与实际的yi尽量接近。通常采用平方误差作为损失函数，梯度下降法作为参数训练的方法，这就是一个m元回归模型最核心的内容。

我们可以构建一个2层神经网络来重新阐述多元回归模型。在第一层可

本文收录在无痛的机器学习第一季。

写在前面：感谢@夏龙对本文的审阅并提出了宝贵的意见。

接下来聊一聊现在大热的神经网络。最近这几年深度学习发展十分迅速，感觉已经占据了整个机器学习的“半壁江山”。各大会议也是被深度学习占据，引领了一波潮流。深度学习中目前最火热的两大类是卷积神经网络（CNN）和递归神经网络（RNN），就从这两个模型开始聊起。

当然，这两个模型所涉及到概念内容实在太多

各位看官老爷们

(￣▽￣)／

这里是波波给大家带来的CNN卷积神经网络入门讲解

不定期我将给大家带来绝对原创，脑洞大开，幽默风趣的深度学习知识点入门讲解

麻烦大家给我点个赞，就是那种让我看起来，写的还不错的样子!

拜托了！！o(´^｀)o

希望大家多多支持，多多关注

微信公众号：follow_bobo

啦啦啦(～￣▽￣)～

新年好

好久不见啊

想我吗

我们前面说了卷积层，再到下采样层

根据网络结构

我们应该又进入到卷积层

不

我不去

学业繁忙

告辞！

![](/community/uploads/default/original/3X/f

有关CNN的故事还有很多，前面我们花了一定的篇幅，讲了有关初始化算法的事情，接下来我们将换一个方向，去看看众位大神在网络结构方面做出的杰出贡献。接下来我们就来看看这一路大神们的杰作之一——Dropout Layer。

在训练过程中，Dropout Layer会丢弃一定数量的信息，只让部分数据发挥作用。而且，由于采用随机丢弃的方式，每一次进行前向后向计算时，丢弃掉的数据都会有所不同。这样，模型每一次的前向后向计算的表现都会不同。

而在预测过程中，Dropout Layer将打开所有的参数，让所有的参数发挥作用。这样就相当于把所有的参数的作用同时发挥出来，让模型有点ensemble的效果。

关于CNN的内容已经说了很多，虽然我们无法把这个长得像黑盒的东西完全摸清楚，但是我们多多少少也对它的外部结构有了一定的了解。下面我们来看看大神们对进一步探究CNN内部世界所做的工作。

这部分工作有一个响亮的Title，那就是，CNN的网络到底学到了什么？

对于浅层网络，尤其是一层网络，上面这个问题非常好回答。我们知道模型输入的特征和分布，我们也知道输出的特征和分布（这里特指监督学习），那么模型的目标就是把输入空间的数据映射到输出空间，而且映射的结果是正确的。如果我们把浅层网络替换成深层网络，还把它当作一个不可分割的整体，那么它的目标和浅层网络是完全一致的。

但问题是，我们并没有把深层网络

首发于专栏卷积神经网络（CNN）入门讲解

上一期我们讲到激活函数（Activation Function）,假设我们经过一个Relu之后的输出如下

Relu:

![](data:image/svg+xml;utf8,<svg%20xmlns='[http://www.w3.org/2000/svg' width='

原理可以看之前的文章,这里直接给出代码:

x=-5:5;
y=3*x-7;
randn('state',2);			% 设置种子，便于重复执行
y=y+randn(1,length(y))*1.5;		% 加入噪声的直线
plot(x,y,'o');
P=x;T=y;
lr=maxlinlr(P,'bias');			% 计算最大学习率
net=linearlayer(0,lr);			% 用linearlayer创建线性层，输入延迟为0
tic;net=train(net,P,T);toc		% 用train函数训练
new_x=-5:.2:5;
new_y=sim(net,new

介绍

为了研究神经网络，我们必须要对什么网络是什么有一个更直观的认识。

一、基本变换：层

神经网络是由一层一层构建的，那么每层究竟在做什么？

• 数学式子： ，其中 是输入

在上一篇文章中,我们使用mnist数据集去做了一个识别的小型神经网络,在今天的这篇文章里,我们将要通过使用自建数据集去检验上一篇文章的模型,从而真正的可以去应用神经网络.

先解决上一篇文章中一些不完美的地方:

在上一篇文章的backward.py中,我们训练神经网络时,如果中途遇到一些事情,想要结束,回过头来再重新开始的话,我们的模型还得需要从第一步一点点开始算,尽管我们已经保存了模型,但是没有用上,这样很不好.而现在我们给我们的模型加上”断点续训”的功能.

首先:先上代码:

![](/community/uploads/default/original/3X/a/0/a097c26

在上一篇文章中我们简单说了说AIC,BIC和L1,L2正则化的东西,而今天这篇文章,我们将着重说说正则化.

1:什么是正则化?

首先,拿过来上一篇文章的定义:

√正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小 过拟合。

使用正则化后，损失函数 loss 变为两项之和：

loss = loss(y 与 y_) + REGULARIZER*loss(w)

其中，第一项是预测结果与标准答案之间的差距，如之前讲过的交叉熵、均方误差等；第二项是正则化计算结果。

2:正则化如何计算?

① L1 正则化： 𝒍𝒐𝒔𝒔𝑳𝟏 = ∑𝒊 |�

今天这个文章让我们一起来学习下感知机:

一个传统的单层感知机如上图所示,其实理解起来很简单,我们可以直接理解为输入节点接受信号之后直接传输到输出节点,然后得到结果y.

就和上图一样,我们给出了权向量W=[W1,W2,W3]=[0.3,0.3,0.3],这时候我们输入[X1,X2,X3],并且于输出节点的t相结合,这样就可以得到方程式:

y = 0.3X1+0.3X2+0.3X3+0.4

在我

这几年是机器学习蓬勃发展的时代，支持向量机、决策树、隐式马尔科夫、神经网络、深度学习等名词很多人都可以随口说出几个来，它们在各个领域也确实有很成功的应用。而金融作为人们潜意识中的所谓“食物链上的顶端”，这些领域的研究者也很想把自己的模型往金融上靠。而很多学生，或许自己并没有怎么学习过这些模型，也很喜欢问“某某模型在交易股票上到底有没有用”这类问题。

时间序列分析是统计学里面的一大块，一般本科和研究生低年级会学习经典的时间序列分析，比如ARMA, GARCH, State-space Model, Vector ARMA等，这些跟机器学习的模型当然是很不一样的。

金融市场股票和期货的数据本质

导言

这篇文章有4篇论文速递，都是图像分割（image segmentation）方向，其实3篇是对U-Net网络进行了改进。

来源：[CVer](https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzUxNjcxMjQxNg%3D%3D%26mid%3D2247484237%26idx%3D1%26sn%3D61a80a982e3e32602789e1f14eb5a10f%26chksm%3Df9a271c2ced5f8d477f354312ecb08f3738247e21340a9

人工智能是最近很火热的话题，有的人似乎有幻觉，未来人类所有问题都可以交给电脑来处理。未来是否如此难以预知。但是在作出预测之前，我们有必要了解究竟什么是人工智能。

机器如何有人的智能呢？方法就是机器学习。机器学习不是一个新概念，很早之前就诞生了决策树、SVM、神经网络等方法。战胜了柯洁的AlphaGo和战胜了AlphaGo的AlphaZero都是神经网络算法中的深度学习。深度学习最早提出来之后，并没有对人工智能产生很显著的推进，因为它依赖于大量样本和大量计算。但随着互联网时代数据的大量产生、大量积累，深度学习重获新生。

神经网络不是万金油，它也只是解决某些问题的一种方法。什么时候我们需要它呢

通俗理解

神经网络是深度学习的基础，虽然它早已有之，但随着现在计算机计算能力的显著提升和大规模数据的获取，神经网络（深度学习）的重要性越来越大。

从logistic回归开始

符号说明

为后续便于计算和理解，进行符号说明：

d个特征，m个样本（数据点、实例）,

$x_{j}^{i} $

指第i个样本的第j个特征的特征值。

神经网络的输入矩阵是d×m矩阵，特征是行属性，而样本点是列属性（列向量）。

——现实中的表格数据一般行为样本点，列为特征。

矩阵表示：

$X=(x^{(1)},x^{(2)}.....x^{(m

（机器学习论文笔记二）Practical Block-wise Neural Network Architecture Generation

实用的基于块的神经网络体系结构生成论文地址：https://arxiv.org/pdf/1708.05552简介：这篇文章介绍了一种通过强化学习的方法自动的生成神经网络，来到的一直在向强人工智能向迈进的过程。笔者认为这篇文章最大的意义在于它完善了我们“造轮子的过程”，在本文中，我们提供了一 个基于块的网