深度学习

深度学习是一个计算需求强烈的领域，GPU的选择将从根本上决定你的深度学习研究过程体验。在没有GPU的情况下，等待一个实验完成往往需要很长时间，可能是运行一天，几天，几个月或更长的时间。因此，选择一个好的，合适的GPU，研究人员可以快速开始迭代深度学习网络，几个月的实验可以在几天之内跑完，几天的实验可以在几个小时之内跑完。因此，在购买GPU时，正确的选择至关重要。那么应该如何选择适合的GPU呢？今天我们将深入探讨这个问题，并会给出一些合适的建议，帮助你做出适合的选择。拥有高速GPU是开始学习深度学习的一个非常重要的方面，因为这可以帮助你快速获得实践经验，这是搭建专业知识的关键，有足够的时间将深度

上一篇文章已经介绍了几篇关于Seq-to-Seq模型的论文和应用，这里就主要从具体的模型细节、公式推导、结构图以及变形等几个方向详细介绍一下Seq-to-Seq模型。这里我们主要从下面几个层次来进行介绍：

• Seq-to-Seq框架1
• Seq-to-Seq框架2
• Seq-to-Seq with Attention（NMT）
• Seq-to-Seq with Attention各种变形
• Seq-to-Seq with Beam-Search

Seq-to-Seq框架1

第一个要介绍的Seq-to-Seq模型来自“Learning Phrase Represen

这次会介绍三篇文章，因为原理比较相似，都是采用分层架构来解决多轮对话问题，三篇论文如下所示：

• Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models(HRED)
• A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues(VHRED)
• Attention with Intention for a Neural Network Conversation Model(A

这篇文章陆陆续续看了快两周,其中也遇到了自己很多的知识的漏洞,踩了很多坑,这里希望能够和大家说一说,也希望大家可以分享一下自己的看法.

1:FCN基本思路

自从CNN成功之后,很多人都在尝试使用CNN进行图像分割,个人认为CNN最厉害的地方是他的多层结构可以自动提取学习的特征,并且将其学习,并且将提取的这些特征进行分类,但是我们当用CNN进行图像分割的时候,CNN的这项优势反而变成了劣势,因为在特征提取时丢失了一些细节,反倒没有办法指出某些像素点属于那些物体,而FCN跟传统的CNN进行像素分割不同,FCN是试图从抽象的这些抽象的特征中恢复每个像素的类别,也就是从物体的分类到像素点级别的分类

在这一篇文章里,我们将继续上一篇文章的工作,并且在上一篇文章的前提下加入数据集的制作,最终我们将完成这个全连接神经网络的小栗子.

先说说我们上一篇文章我们的自制数据集的一切缺点,第一,数据集过于分散,在一个文件夹里读取难免导致内存利用率低,而我们将会使用TensorFlow的tfrecords()函数来讲图片和标签制作成这种二进制文件,这样我们的内存利用率会增加不少.

将数据保存为tfrecords文件可以视为这样一个流程：

提取features -> 保存为Example结构对象 -> TFRecordWriter写入文件

而如果我们要存储训练数据的时候,我们会使用tf.train.

今天这个文章让我们一起来学习下感知机:

一个传统的单层感知机如上图所示,其实理解起来很简单,我们可以直接理解为输入节点接受信号之后直接传输到输出节点,然后得到结果y.

就和上图一样,我们给出了权向量W=[W1,W2,W3]=[0.3,0.3,0.3],这时候我们输入[X1,X2,X3],并且于输出节点的t相结合,这样就可以得到方程式:

y = 0.3X1+0.3X2+0.3X3+0.4

在我

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我们练手的目的.

因为mnist的数据集的图片大小为28*28*1的灰度图片,而lenet神经网络是32*32*1的输入,因此我们将其微调,结构如下:

1:输入层:输入层为28*28*1的灰度图片,单通道输入,如果后续有小伙伴想实现彩色图像的识别,这里可以改变下通道的数量(通常为3,R

这几年是机器学习蓬勃发展的时代，支持向量机、决策树、隐式马尔科夫、神经网络、深度学习等名词很多人都可以随口说出几个来，它们在各个领域也确实有很成功的应用。而金融作为人们潜意识中的所谓“食物链上的顶端”，这些领域的研究者也很想把自己的模型往金融上靠。而很多学生，或许自己并没有怎么学习过这些模型，也很喜欢问“某某模型在交易股票上到底有没有用”这类问题。

时间序列分析是统计学里面的一大块，一般本科和研究生低年级会学习经典的时间序列分析，比如ARMA, GARCH, State-space Model, Vector ARMA等，这些跟机器学习的模型当然是很不一样的。

金融市场股票和期货的数据本质

这一篇文章主要是记录下自己阅读《Convolutional Neural Networks for Sentence Classification》这篇文章思路的一个整理。这篇文章也可以算是CNN用于文本分类的开山之作了，尽管第一个使用CNN进行文本分类的不是Yoon Kim，但是Kim在这篇文章里提出来不少的方法，并且调参的过程也很详细，这些是我们应该学习的。

1：Introduction

这部分主要还是讲了讲前人使用CNN的一些工作，这部分暂且不提，主要思考的一个问题是为什么选用CNN，在这里论文里也没有详细讲，我写写我的想法，如果不对，欢迎指教。

我们传统的分类器比如朴素贝

最近一段时间在文本聚类的工作,一路也遇到了不少坑,自己也写一篇文章记录了一下自己的过程.

1:什么是文本聚类

先说说聚类的概念,聚类又称群分析,是数据挖掘的一种重要的思想,聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。(以上来自百度百科).

再说到文本聚类,文本聚类其实也就是在文本方向上的应用,首先我们要把一个个文档的自然语言转换成数学信息,这样形成高维空间点之后再去计算点与点之间的距离,然后将这些距离

导言

这篇文章有4篇论文速递，都是图像分割（image segmentation）方向，其实3篇是对U-Net网络进行了改进。

来源：[CVer](https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzUxNjcxMjQxNg%3D%3D%26mid%3D2247484237%26idx%3D1%26sn%3D61a80a982e3e32602789e1f14eb5a10f%26chksm%3Df9a271c2ced5f8d477f354312ecb08f3738247e21340a9

\

活体检测（Liveness Detection）

《Liveness Detection Using Implicit 3D Features》

2018 arXiv

Abstra

论文笔记（三）NIPSI：value iteration Networks

arxiv:https://arxiv.org/pdf/1602.02867.pdfGitHub：[https://github.com/onlytailei/Value-Iteration-Networks-PyTorch](https://link.zhihu.com/?target=https%3A//github.com/onlytailei/Value-

通俗理解

神经网络是深度学习的基础，虽然它早已有之，但随着现在计算机计算能力的显著提升和大规模数据的获取，神经网络（深度学习）的重要性越来越大。

从logistic回归开始

符号说明

为后续便于计算和理解，进行符号说明：

d个特征，m个样本（数据点、实例）,

$x_{j}^{i} $

指第i个样本的第j个特征的特征值。

神经网络的输入矩阵是d×m矩阵，特征是行属性，而样本点是列属性（列向量）。

——现实中的表格数据一般行为样本点，列为特征。

矩阵表示：

$X=(x^{(1)},x^{(2)}.....x^{(m

引言

近几年，以机器学习、特别是深度学习为代表的人工智能（AI）得到了长足的发展，机器学习和人工智能也成为出现在街头巷尾的高频词汇。在《AI 投资言过其实》这篇文章中，我们理性的分析了机器学习在二级市场中面对的困难。今天我们把目光放在风险投资（venture capital），看看机器学习能否在一级市场有所作为。

写本文的动机源自我最近读到的一篇来自麻省理工的论文 Hunter and Zaman (2017)。**该文提出了一个挑选优秀早期创业公司的量化分析框架，利用机器学习算法进行参数估计以

记得我出国读书的时候是2009年，毕业时候是2011年，那时候深度学习（Deep Learning）还没有火起来，毕竟那是2012年的事情了。2011年找工作，对中国人来说，华尔街矿工的吸引力还是大于硅谷码农的，但现在刚好反了过来。

机器学习领域有个大牛叫作Michael Jordan，一般人们用搜索引擎搜大学教授的名字一般第一个就是了，但这位大侠的名字得排100多页之后，因为跟他重名的那位篮球明星名气实在大太多。这位Jordan大神早期研究神经网络的，后来研究贝叶斯网络，应该说很长一段时间贝叶斯（Bayesian）的概念在统计、机器学习领域火了很长一段时间。人们经常说统计学界有两个学派——

机器学习对深度学习——二者间的相近之处与差异所在。

如今人工智能已经成为一大热门话题，而人工智能的基本构建要素分为机器学习与深度学习。以下维恩图解释了机器学习对深度学习之间的关系：

机器学习：

机器学习是指令计算机按照设计与编程算法行事的技术。它允许计算机利用业已存在的数据进行学习。相当一部分研究人员认为机器学习是帮助人类在人工智能方面取得进展的最佳途径。机器学习包括多

1.前言

好久没有更新专栏了,最近因为项目的原因接触到了PyTorch,感觉打开了深度学习新世界的大门.闲暇之余就用PyTorch训练了最近在图像分类上state-of-the-art的CNN模型,正好在文章中总结如下:

1. ResNet [1, 2]
2. Wide ResNet [3]
3. ResNeXt [4]
4. DenseNet [5]
5. DPNet [9]
6. NASNet [10]
7. SENet [11]
8. Capsules [12]

本文复现了上述论文在CIFAR数据集(包括cifaro10和cifar10

无论你是不是一名数据科学家，都不能忽视数据的重要性。数据科学家的职责就是分析、组织并利用这些数据。随着机器学习技术的广泛应用，深度学习吸引着大量的研究人员和工程师，数据科学家也将继续站在技术革命的浪潮之巅。

虽然编程能力对于数据科学家而言非常重要，但是数据科学家不完全是软件工程师，他应该是编程、统计和批判性思维三者的结合体。而许多软件工程师通过机器学习框架转型为数据科学家时，没有深刻地思考并理解这些框架背后的统计理论，所以统计学习理论成为了机器学习的理论框架。

**为什么学习统计学习？**理解不同技术背后的想法是非常重要的，只有真正理解了这些才能知道何时何地使用这些技术。首先必须理

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**大脑是一个神奇的存在，它定义了你是谁，它赋予了你认知，它决定了你理解这个世界的方式。如果能够理解人脑的认知机制，理解从人脑的角度如何加工物体，将有助于加深理解神经网络。今天，脑认知神经领域专家，毕业于哈佛大学的毕彦超教授，将带给大家物体识别及物体知识表征域的认知神经基础。文末，大讲堂特别提供文中提到所有文章的下载链接。

![](/community/uploads/default/original/3X/e/7/e79d1a11e398f284b57c4273e

关于AlphaGo

AlphaGo厉害的地方在于结合了工程和科研两方面的工作，通过大量计算资源和工程优化将一个方向推向了极致，并且同时借鉴了十年来大家在围棋上及在计算机视觉上的点滴进展，围棋和强化学习方向上像蒙特卡罗树搜索，自对弈（俗称“左右互搏”），随机走子盘面估值，用人工特征加浅层网络进行快速走子，权衡广度和深度搜索，权衡从头探索和先验知识，计算机视觉方向上像卷积神经网络（CNN），残差网络（ResNet），旋转翻折样本增强，等等。这些都不是DeepMind团队率先想出来的，而是过去的经验一点点积累起来得到的。只是过去的点滴进步并没有进入公众的视野，而AlphaGo达成了这最后的

\

The LION Way: Machine Learning plus Intelligent Optimization

这是一本机器学习的小册子, 短短300多页道尽机器学习的方方面面. 图文并茂, 生动易懂, 没有一坨坨公式的烦恼. 适合新手入门打基础, 也适合老手温故而知新. 比起MLAPP/PRML等大部头, 也许这本你更需要！

Mathematics for Compute

围棋人类第一高手柯洁在与AlphaGo的第二局对阵中再次惜败。有报道称此次的AlphaGo已经比当初跟李世石下的版本进化了几代，想当于给上一版本”让3子“的水平，鉴于柯洁第一局仅输1/4子，可见柯洁的水平应该能完胜上一代的AlphaGo。

AlphaGo主要采取了两种模型——深度学习和增强学习。深度学习（Deep Learning）本质上是一种监督学习（Supervised Learning），或回归分析（Regression Analysis）。它从传统的神经网络发展而来，但最近几年在计算方法上有了突破，加上硬件上的发展，使得它可以拟合更复杂的数据，因此在计算机视觉、图像识别上发展

今天分享深度学习经典模型DBN，所有内容均来自于我的毕业论文，供大家交流学习。


\