神经网络

前置准备

在阅读本文之前，请确定你已经了解了神经网络的基本结构以及前向传播、后向传播的基本原理，如果尚未了解，可以查看下文。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.com/2018/07/19/%25E7%25A5%259E%25E7%25BB%258F%25E7%25BD%2591%25E7%25BB%

本文主要介绍tf.Tensor的各种常用属性，张量是对矢量和矩阵向潜在的更高维度的泛化。对内，TensorFlow 将张量表现为基本数据类型的 n 维数组。

在编写 TensorFlow 程序时，操控和传递的主要目标是 tf.Tensor。tf.Tensor 目标表示一个部分定义的计算，最终会产生一个值。TensorFlow 程序首先建立 tf.Tensor 目标图，详细说明如何基于其他可用张量来计算每个张量，然后运行该图的部分内容以获得所期望的结果。

tf.Tensor 有以下属性：

• 数据类型（例如 float32，int32 或 string）

前置准备

在阅读本文之前，请确定你已经了解了神经网络的基本结构以及前向传播、后向传播的基本原理。

几种重要算法

前向传播

前向传播是神经网络最重要的算法之一，他的目的是通过输入层的输入进行推断，得到输出层的结果，下面假定一个简单的神经网络如下图，包含：一个输入层，一个隐藏层，一个输出层。

则该算法的tensorFlow表达为：

import tensorflow as tf
# 初始化权重
w1 = tf.

一直想对tensorflow的slim做更深入的了解，于是就有了这篇文章，一是为了做笔记，二是为大家理解slim提供帮助。不过由于时间有限，此文章会慢慢更新，估计持续一周才能完成。另外，我是一名学习者，所以文章中难免有不正确的地方，希望大家多多包涵并请不吝指正。注：阅读这篇文章估计要花三个小时，所以分成两篇，建议边看英文边看我的解读

TensorFlow-Slim

TF-Slim is a lightweight library for defining, training and evaluating complex models in TensorFlow. Compon

“感知机”是如何工作的

在聊完了“感知机”的一段发展史后，下面让我们言归正传，再从技术层面，深入讨论一下感知机的工作机理。

现在我们知道，所谓的感知机，其实就是一个由两层神经元构成的网络结构，它在输入层接收外界的输入，通过激活函数（含阈值）的变换，把信号传送至输出层，因此它也称之为“阈值逻辑单元（threshold logic unit）”。

感知机后来成为许多神经网络的基础，但它的理论基础依然建立于皮茨等人提出来的“M-P神经元模型”。

**麻雀虽小，五脏俱全。**感知机虽然简单，但已初具神经网络的必备要素。在前面我们也提到，所有“有监督”的学习，在某种程度上，都是分类

用近似定理牛在哪里？

前面我们提到，机器学习在本质上，就是找好一个好用的函数。而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数[1]”。

这个定理也被称之为通用近似定理（Universal Approximation Theorem）。这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出来，这个定理的能量有多大。

图2-4 通用近似定理

“我思故我”的神经元

针对前馈神经网络，输入层和输出层设计比较直观。针对神经网络，我们拆开想想What和How的问题：

1）神经：即神经元，什么是神经元（What）？2）网络：即连接权重和偏置，它们是怎么连接的（How）？

对于计算机而言，它能计算的就是一些数值。而数值的意义是人赋予的。法国著名数学家、哲学家笛卡尔曾在它的著作《谈谈方法》提到：“我想，所以我是”。文雅一点的翻译就是“我思故我在”。套用在神经元的认知上，也是恰当的。这世上本没有什么人工神经元，你（人）认为它是，它就是了。也就是说，数值的逻辑意义，是人给的。

比如说，假如我们尝试判断一张手写数字图

背景

感知机（Perceptrons），受启发于生物神经元，它是一切神经网络学习的起点。很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅一带而过。学过编程的读者都知道，不论是哪门语言，那个神一般存在的开端程序——“Hello World”，对初学者有多么重要。可以说，它就是很多从事计算机行业的人“光荣与梦想”开始的地方。

而感知机学习，就是神经网络学习的“Hello World”，所以对于初学者来说，它值得我们细细品味。

罗森布拉特其人

虽然前面章节讲到的M-P神经元模型，是感知机中的重要元素，但需要说明的是，“感知机”作为一个专业术语，是

从本文开始我会着重介绍一些深度迁移学习方面的文章。今天这篇是其中的经典文章，最初发表于NIPS 2014的《How transferable are features in deep neural networks?》。其实说是经典，也才2014年，很近了。但是神经网络发展太快，14年的就已经算经典了！本篇论文的作者是Jason Yosinski博士（当时是康奈尔大学的博士生），Uber AI联合创始人。值得注意的是论文的第三作者是深度学习大牛Yoshua Bengio，所以论文的质量和档次是可以信赖的。（能和这种级别的大牛合作，我想也算是一个博士生的最好经历了吧！）

多说一句，为什么说这个

本次介绍一篇被计算机视觉顶会CVPR 2018接收的文章：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者团队来自澳大利亚卧龙岗大(University of Wollongong)。

背景

我们目前接触过的绝大部分迁移学习问题情景都是：源域和目标域的特征空间与类别空间一致，只是数据的分布不一致，如何进行迁移。也就是说，源域和目标域要是几类，都是几类。但是这种情况显然具有很大的限制性：在真实应用中，我们往往不知道目标域的类别，更不用说它是否和源域的类别完全一样。这就极大地限制了它的应用。

导语：本周为大家推荐五项国外有关深度学习和机器学习的实践性研究。希望能帮助大家更好地获取信息、学习知识。BigQuant拥有海量的数据和主流开源AI框架，附能每一位爱好机器学习/深度学习和量化交易的人。

• 《Neural networks for algorithmic trading. Multimodal and multitask deep learning》

关键词：神经网络、机器学习

本文介绍了如何训练神经网络的方法，这绝不是直接训练一

在本文中，我将初步介绍神经网络有关的概念和推导，本文是后续深度学习的入门，仅对神经网络做初步理解，后续文章中会继续进行学习。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.

在这篇文章之前，就已经有人提出有趣的想法：训练好的深层神经网络是对训练数据空间的泛化先验。这个说法和之前提到的假想比较类似。首先，深层网络通过学习训练数据使得训练数据的识别能够完美拟合，同时它还能保证训练数据附近的区域也能够识别正确。

当然，这个“附近的区域”是一个不够清晰的词汇，什么算作“附近”？没有度量就没有概念。我们能不能真的找到一种精确的度量，帮助我们衡量模型或者某一个模型层的“泛化”能力？文章中并没有给出一个十分精细的能力衡量方式，但是它给出了一个泛化下界的表达方式。

泛化能力的下界

我们知道Lipchitz条件的公式：

$|f(x)-f(y)| \leq L|x-

本文收录在无痛的机器学习第一季。

上一回我们聊完了算法，这回我们正式开始写代码。上回在做公式推导的时候，我们实际上只是针对一个数据样本进行推导，而实际中，计算和训练都是一批一批完成的。大多数机器学习训练都有batch的概念，而训练中batch的计算不是一个一个地算，而是一批数据集中算，那么就需要用上矩阵了。

首先给出Loss的代码，这里y和t都是按列存储的，每一列都是一个样本：

class SquareLoss:
    def forward(self, y, t):
        self.l

神经网络模型的效果以及优化的目标是通过损失函数(loss function)来定义的，本文介绍两个经典的损失函数，分别对应监督学习中的分类问题和回归问题

1. cross entropy loss function 交叉熵损失函数，对应分类问题
2. mean squared error 均方误差，对应回归问题

并介绍如何采用Tensorflow中的API进行实现。

cross entropy loss function

通过神经网络解决多分类问题最常用的方法是设置 个输出节点，

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

![图1 人脑神经网络](/wiki/api/attachments.redirect?id=c4bd3664-94c

今天编辑部带来关于在基于金融时间序列的预测模型案例，我们将通过神经网络来增强一个经典的移动平均策略，并表明它真的是有所改善相对原策略。

基于技术分析的投资策略

但这种交易策略有一个主要的缺陷：在震荡行情中，策略没有过多的触及信号并交易，这样我们也很难赚到钱。 ![image|690x376](/community/uploads/default/original/3X

本文收录在无痛的机器学习第一季。

这一回聊一下神经网络的反向传导算法问题。反向传导算法是一个比较复杂的算法，但是如果把它拆解开，其实每一个小步骤并不复杂。

在此之前需要先介绍一个概念，那就是模型训练目标。神经网络是一个用在监督学习上的模型，所谓的监督学习就是我们要提前知道输入和输出。那么我们的模型训练目标自然是希望模型在接收输入后，可以得到和我们提前知道的一样的输出。

但是怎么描述这个“一样”呢？现实中会有很多具体的表述方法。这里我们介绍并采用一种相对简单的方式，那就是二次损失函数。对于模型的输出y

神经网络是一种网络状的数学模型，它由多个层级和神经元构成。作为深度学习中经常使用的模型循环神经网络有着非常广泛地应用，要想理解该模型必须从最基本的神经网络开始学习。

二层神经网络

让我们以多元回归模型为例构建一个最简单的神经网络，大家通过这个小例子就能了解到神经网络的结构和如何运作的。

多元回归模型简单来讲就是对于每个样本都有m个特征Xi，我们需要找到每个特征对应的最佳权值（参数），使特征的线性组合与实际的yi尽量接近。通常采用平方误差作为损失函数，梯度下降法作为参数训练的方法，这就是一个m元回归模型最核心的内容。

我们可以构建一个2层神经网络来重新阐述多元回归模型。在第一层可

本文收录在无痛的机器学习第一季。

写在前面：感谢@夏龙对本文的审阅并提出了宝贵的意见。

接下来聊一聊现在大热的神经网络。最近这几年深度学习发展十分迅速，感觉已经占据了整个机器学习的“半壁江山”。各大会议也是被深度学习占据，引领了一波潮流。深度学习中目前最火热的两大类是卷积神经网络（CNN）和递归神经网络（RNN），就从这两个模型开始聊起。

当然，这两个模型所涉及到概念内容实在太多

各位看官老爷们

(￣▽￣)／

这里是波波给大家带来的CNN卷积神经网络入门讲解

不定期我将给大家带来绝对原创，脑洞大开，幽默风趣的深度学习知识点入门讲解

麻烦大家给我点个赞，就是那种让我看起来，写的还不错的样子!

拜托了！！o(´^｀)o

希望大家多多支持，多多关注

微信公众号：follow_bobo

啦啦啦(～￣▽￣)～

新年好

好久不见啊

想我吗

我们前面说了卷积层，再到下采样层

根据网络结构

我们应该又进入到卷积层

不

我不去

学业繁忙

告辞！

![](/community/uploads/default/original/3X/f

有关CNN的故事还有很多，前面我们花了一定的篇幅，讲了有关初始化算法的事情，接下来我们将换一个方向，去看看众位大神在网络结构方面做出的杰出贡献。接下来我们就来看看这一路大神们的杰作之一——Dropout Layer。

在训练过程中，Dropout Layer会丢弃一定数量的信息，只让部分数据发挥作用。而且，由于采用随机丢弃的方式，每一次进行前向后向计算时，丢弃掉的数据都会有所不同。这样，模型每一次的前向后向计算的表现都会不同。

而在预测过程中，Dropout Layer将打开所有的参数，让所有的参数发挥作用。这样就相当于把所有的参数的作用同时发挥出来，让模型有点ensemble的效果。

关于CNN的内容已经说了很多，虽然我们无法把这个长得像黑盒的东西完全摸清楚，但是我们多多少少也对它的外部结构有了一定的了解。下面我们来看看大神们对进一步探究CNN内部世界所做的工作。

这部分工作有一个响亮的Title，那就是，CNN的网络到底学到了什么？

对于浅层网络，尤其是一层网络，上面这个问题非常好回答。我们知道模型输入的特征和分布，我们也知道输出的特征和分布（这里特指监督学习），那么模型的目标就是把输入空间的数据映射到输出空间，而且映射的结果是正确的。如果我们把浅层网络替换成深层网络，还把它当作一个不可分割的整体，那么它的目标和浅层网络是完全一致的。

但问题是，我们并没有把深层网络

首发于专栏卷积神经网络（CNN）入门讲解

上一期我们讲到激活函数（Activation Function）,假设我们经过一个Relu之后的输出如下

Relu:

![](data:image/svg+xml;utf8,<svg%20xmlns='[http://www.w3.org/2000/svg' width='

原理可以看之前的文章,这里直接给出代码:

x=-5:5;
y=3*x-7;
randn('state',2);			% 设置种子，便于重复执行
y=y+randn(1,length(y))*1.5;		% 加入噪声的直线
plot(x,y,'o');
P=x;T=y;
lr=maxlinlr(P,'bias');			% 计算最大学习率
net=linearlayer(0,lr);			% 用linearlayer创建线性层，输入延迟为0
tic;net=train(net,P,T);toc		% 用train函数训练
new_x=-5:.2:5;
new_y=sim(net,new