深度学习

本文主要介绍tf.Tensor的各种常用属性，张量是对矢量和矩阵向潜在的更高维度的泛化。对内，TensorFlow 将张量表现为基本数据类型的 n 维数组。

在编写 TensorFlow 程序时，操控和传递的主要目标是 tf.Tensor。tf.Tensor 目标表示一个部分定义的计算，最终会产生一个值。TensorFlow 程序首先建立 tf.Tensor 目标图，详细说明如何基于其他可用张量来计算每个张量，然后运行该图的部分内容以获得所期望的结果。

tf.Tensor 有以下属性：

• 数据类型（例如 float32，int32 或 string）

一直想对tensorflow的slim做更深入的了解，于是就有了这篇文章，一是为了做笔记，二是为大家理解slim提供帮助。不过由于时间有限，此文章会慢慢更新，估计持续一周才能完成。另外，我是一名学习者，所以文章中难免有不正确的地方，希望大家多多包涵并请不吝指正。注：阅读这篇文章估计要花三个小时，所以分成两篇，建议边看英文边看我的解读

TensorFlow-Slim

TF-Slim is a lightweight library for defining, training and evaluating complex models in TensorFlow. Compon

有没有浅层学习？

前面我们提到“深度学习”，读者很容易想到，那有没有相应的“浅层学习”呢？答案是，有。传统意义上的人工神经网络，主要由输入层、隐含层、输出层构成，其中隐含层也叫多层感知机（Multi Layer Perceptron）。

正如其名称所示，多层感知机的确也可以是多层的网络，但是层与层之间特征的选择，需要人手动实现，算法的训练难度非常大，故此感知机的层数通常并不多，这些机器学习算法，通常被称为浅层感知机。例如，支持向量机（Support Vector Machine，SVM）、Boosting、最大熵方法（如Logistic Regression，逻辑回归，简称LR），这

“道法自然”与人工神经网络

我们知道，深度学习网络，实质上就是层数较多的神经网络。追根溯源，那什么是神经网络呢？简单来说，它是一种模仿动物神经网络行为特征，进行分布式并行处理信息的算法模型。

人，无疑是有智能的。如果想让“人造物”具备智能，模仿人类是最朴素不过的方法论了。早在春秋时期，老子便在《道德经》中给出了自己的睿智判断：

“人法地，地法天，天法道，道法自然。”

这里所谓的“法”，作为动词，为“效法、模仿、学习”之意。特别是“道法自然”的含义，意味悠长。的确，大道运化天地万物，无不是遵循自然法则的规律。人们从“自然”中学习和寻求规律，在很多时候，的确比自己苦思冥想

“感知机”是如何工作的

在聊完了“感知机”的一段发展史后，下面让我们言归正传，再从技术层面，深入讨论一下感知机的工作机理。

现在我们知道，所谓的感知机，其实就是一个由两层神经元构成的网络结构，它在输入层接收外界的输入，通过激活函数（含阈值）的变换，把信号传送至输出层，因此它也称之为“阈值逻辑单元（threshold logic unit）”。

感知机后来成为许多神经网络的基础，但它的理论基础依然建立于皮茨等人提出来的“M-P神经元模型”。

**麻雀虽小，五脏俱全。**感知机虽然简单，但已初具神经网络的必备要素。在前面我们也提到，所有“有监督”的学习，在某种程度上，都是分类

什么是学习？

说到“深度学习”，追根溯源，我们需要先知道什么是“学习”。

著名学者赫伯特·西蒙教授（Herbert Simon，1975年图灵奖获得者、1978年诺贝尔经济学奖获得者）曾对“学习”下过一个定义：“如果一个系统，能够通过执行某个过程，就此改进了它的性能，那么这个过程就是学习”。

大师果然名不虚传，永远都是那么言简意赅，一针见血。从西蒙教授的观点可以看出，学习的核心目的就是改善性能。

其实对于人而言，这个定义也是适用的。比如，我们现在正在学习深度学习的知识，其本质目的就是为了提升自己在机器学习上的认知水平。如果我们仅仅是低层次的重复性学习，而没有达到认知升级的目

用近似定理牛在哪里？

前面我们提到，机器学习在本质上，就是找好一个好用的函数。而人工神经网络最牛的地方可能就在于，它可以在理论上证明：“一个包含足够多隐层神经元的多层前馈网络，能以任意精度逼近任意预定的连续函数[1]”。

这个定理也被称之为通用近似定理（Universal Approximation Theorem）。这里的“Universal”，也有人将其翻译成“万能的”，由此可以看出来，这个定理的能量有多大。

图2-4 通用近似定理

机器学习的本质是什么？

在《未来简史》一书中，赫拉利说，根据数据主义的观点，人工智能实际上就是找到一种高效的“电子算法”，用以代替或在某项指标上超越人类的“生物算法”。

那么，任何一个“电子算法”都要实现一定的功能（Function），才有意义。

在计算机术语中，将“Function”翻译成“函数”，这多少有点“词不达意”，因为它并没有达到“信、达、雅”的标准，除了给我们留下一个抽象的概念之外，几乎什么也没有剩下。但这一称呼已被广泛接受，我们也只能约定俗成地把“功能”叫作“函数”。

根据台湾大学李宏毅博士的通俗说法，

所谓机器学习，在形式上可近似等同于，在数据对象中

再议“end-to-end”（端到端）

在深度学习中，经常有“end-to-end（端到端）”学习的提法，与之相对应的传统机器学习是“Divide and Conquer（分而治之）”。这些都是什么意思呢？

“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知，也难以知。比如说，基于深度学习的图像识别系统，输入端是图片的像素数据，而输出端直接就是或猫或狗的判定。这个端到端就是：像素判定。

再比如，“end-to-end”的自动驾驶系统，输入的是前置摄像头的视频信号（其实也就是像素），而输出的直接就是控制车辆行驶指令（

感知机的负反馈纠偏机制

中国有句古话：

“知错能改，善莫大焉。”

说的就是，犯了错误而能改正，没有比这更好的事了。

放到机器学习领域，这句话显然属于“监督学习”的范畴。因为“知错”，就表明事先已有了事物的评判标准，如果你的行为不符合（或说偏离）这些标准，那么就要根据“偏离的程度”，来“改善”自己的行为。

下面，我们就根据这个思想来制订感知机的学习规则。

从前面的讨论中，我们已经知道，感知机学习属于“有监督学习”（即分类算法）。感知机有明确的结果导向性。

这有点类似于“不管白猫黑猫，抓住老鼠就是好猫”的说法，不管是什么样的学习规则，能达到良好的分类目的，就是好的学习规则。

感性认知多层前馈神经网络

更一般地，常见的多层神经网络如图8-3所示。在这种结构中，将若干个单层神经网络级联在一起，前一层的输出，作为后一层的输入，这就构成了多层前馈神经网络(multi-layer feedforward neural networks)。更确切的说，每一层神经元仅仅与下一层的神经元全连接。但在同一层之内，神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。

图8-

“我思故我”的神经元

针对前馈神经网络，输入层和输出层设计比较直观。针对神经网络，我们拆开想想What和How的问题：

1）神经：即神经元，什么是神经元（What）？2）网络：即连接权重和偏置，它们是怎么连接的（How）？

对于计算机而言，它能计算的就是一些数值。而数值的意义是人赋予的。法国著名数学家、哲学家笛卡尔曾在它的著作《谈谈方法》提到：“我想，所以我是”。文雅一点的翻译就是“我思故我在”。套用在神经元的认知上，也是恰当的。这世上本没有什么人工神经元，你（人）认为它是，它就是了。也就是说，数值的逻辑意义，是人给的。

比如说，假如我们尝试判断一张手写数字图

感性认知监督学习

用数据挖掘领域大家韩家炜教授的观点[1]来说，

所有的监督学习（Supervised Learning），基本上都是“分类（Classification）”的代名词。

它从有标签的训练数据中学习模型，然后给定某个新数据，利用模型预测它的标签。这里的标签，其实就是某个事物的分类。

比如，小时候父母告诉我们某个动物是猫、是狗或是猪，然后在我们的大脑里就会形成或猫或狗或猪的印象（相当于模型构建），然后面前来了一条“新”小狗，如果你能叫出来“这是一只小狗”，那么恭喜你，标签分类成功！但如果你回答说“这是一头小猪”。这时你的监护人就会纠正你的偏差，“乖，不

“too young，too simple的感知机

现在我们都知道，深度学习是一个包括很多隐含层的复杂网络结构。感知机之所以当年搞不定“非线性可分”问题，也是因为相比于深度学习这个“老江湖”，是因为它“too young，too simple（太年轻，太简单）”。当时，“感知机”刚刚诞生不久，如初生之婴儿，你也很难期望这么一个襁褓之娃复杂起来。

如前文所述，想解决“异或”问题，就需要让网络复杂起来。这是因为，复杂的网络，表征能力就比较强[1]。按照这个思路，可以在输入层和输出层之间，添加一层神经元，将其称之为隐含层（hidden layer，亦有文献简称为“隐藏层”、“隐层”，后

背景

感知机（Perceptrons），受启发于生物神经元，它是一切神经网络学习的起点。很多有关神经网络学习（包括深度学习）的教程，在提及感知机时，都知道绕不过，但也仅仅一带而过。学过编程的读者都知道，不论是哪门语言，那个神一般存在的开端程序——“Hello World”，对初学者有多么重要。可以说，它就是很多从事计算机行业的人“光荣与梦想”开始的地方。

而感知机学习，就是神经网络学习的“Hello World”，所以对于初学者来说，它值得我们细细品味。

罗森布拉特其人

虽然前面章节讲到的M-P神经元模型，是感知机中的重要元素，但需要说明的是，“感知机”作为一个专业术语，是

沃尔特·皮茨的异事

在前一个小节，我们提到了M-P神经元模型，这个模型最早源于发表于1943年的一篇开创性论文。论文的两位作者分别是神经生理学家沃伦·麦克洛克（Warren McCulloch）和数学家沃尔特·皮茨（Walter Pitts，参见图6-3），论文首次实现了用一个简单电路（即感知机）来模拟大脑神经元的行为。

图6-4 沃尔特·皮茨（Walter Pitts，1923—1969）

强化学习的背景

前面我们感性认知了机器学习的三大门派（监督学习、非监督学习、半监督学习）。在传统的机器学习分类中，并没有包含强化学习。但实际上，在连接主义学习中，还有一类人类学习常用、机器学习也常用的算法—强化学习（ReinforcementLearning，简称RL）。

机器学习的本质，在于改善机器的“智能”水平。那我们就要问问，什么是智能了。关于智能的定义很多，正所谓“仁者见仁，智者见智”。比如说，中国另一位先哲孟子则说:

“是非之心，智也”《孟子·告子上》。

孟子认为，能分辨是非得失，就是有智能的表现。

而这里的“是非”之别，在西方，可用莎士比亚的名句 “**to b

损失函数的定义

我们知道，在机器学习中的“有监督学习”算法里，在假设空间 中，构造一个决策函数 ，对于给定的输入 ，由 给出相应的输出 ，这个实际输出值 和原先预期值 可能不一致。

于是，我们需要定义一个损失函数（loss function） ，也有人称损失函数为代价函数（cost function）来度量预期和实际二者之间的“落差”程度 。这个损失函数通常记作

$L(Y,\overline Y ) = L(Y,f(X))$

，其中

$Y$

为预期输出值（也称标签），

$\overline Y =f(X)$

为实际输出值，

$X$

为样本。为了方便

导语：本周为大家推荐五项国外有关深度学习和机器学习的实践性研究。希望能帮助大家更好地获取信息、学习知识。BigQuant拥有海量的数据和主流开源AI框架，附能每一位爱好机器学习/深度学习和量化交易的人。

• 《Neural networks for algorithmic trading. Multimodal and multitask deep learning》

关键词：神经网络、机器学习

本文介绍了如何训练神经网络的方法，这绝不是直接训练一

故不积跬步，无以至千里；不积小流，无以成江海。--《荀子·劝学篇》

1.机器学习用于选股，对财务数据的特征学习，居然还是小市值NB....

2.机器学习，海量数据预测股票的未来趋势，+Model的研究

3.机器学习之神经网络入门

4.[随

在本文中，我将初步介绍神经网络有关的概念和推导，本文是后续深度学习的入门，仅对神经网络做初步理解，后续文章中会继续进行学习。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[神经网络初探​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

![图1 人脑神经网络](/wiki/api/attachments.redirect?id=c4bd3664-94c

神经网络是一种网络状的数学模型，它由多个层级和神经元构成。作为深度学习中经常使用的模型循环神经网络有着非常广泛地应用，要想理解该模型必须从最基本的神经网络开始学习。

二层神经网络

让我们以多元回归模型为例构建一个最简单的神经网络，大家通过这个小例子就能了解到神经网络的结构和如何运作的。

多元回归模型简单来讲就是对于每个样本都有m个特征Xi，我们需要找到每个特征对应的最佳权值（参数），使特征的线性组合与实际的yi尽量接近。通常采用平方误差作为损失函数，梯度下降法作为参数训练的方法，这就是一个m元回归模型最核心的内容。

我们可以构建一个2层神经网络来重新阐述多元回归模型。在第一层可

本文收录在无痛的机器学习第一季。

写在前面：感谢@夏龙对本文的审阅并提出了宝贵的意见。

接下来聊一聊现在大热的神经网络。最近这几年深度学习发展十分迅速，感觉已经占据了整个机器学习的“半壁江山”。各大会议也是被深度学习占据，引领了一波潮流。深度学习中目前最火热的两大类是卷积神经网络（CNN）和递归神经网络（RNN），就从这两个模型开始聊起。

当然，这两个模型所涉及到概念内容实在太多

各位看官老爷们

(￣▽￣)／

这里是波波给大家带来的CNN卷积神经网络入门讲解

不定期我将给大家带来绝对原创，脑洞大开，幽默风趣的深度学习知识点入门讲解

麻烦大家给我点个赞，就是那种让我看起来，写的还不错的样子!

拜托了！！o(´^｀)o

希望大家多多支持，多多关注

微信公众号：follow_bobo

啦啦啦(～￣▽￣)～

新年好

好久不见啊

想我吗

我们前面说了卷积层，再到下采样层

根据网络结构

我们应该又进入到卷积层

不

我不去

学业繁忙

告辞！

![](/community/uploads/default/original/3X/f