深度学习

源代码，请在文末查询

前言

我们希望找出跟随价格上涨的模式。通过每日收盘价，MA，KD，RSI，yearAvgPrice 本次推文研究只是展示深入学习的一个例子。 结果估计不是很好。希望抛砖引玉，给大家带来更多的思考。策略使用的数据从雅虎财务获取。

• 什么时候要买或者卖

• 股票走势预测

![](/community/uploads/default/original/3X/e/6/e623527d5186b76ac1a140

首发于专栏卷积神经网络（CNN）入门讲解

上一期我们讲到激活函数（Activation Function）,假设我们经过一个Relu之后的输出如下

Relu:

![](data:image/svg+xml;utf8,<svg%20xmlns='[http://www.w3.org/2000/svg' width='

在前面的斗图篇我们提过这篇文章《Visualizing and understanding convolutional networks》，这是一片介绍反卷积和可视化的文章，今天我们就来详细看看这篇文章的一个开源实现——来自GitHub - piergiaj/caffe-deconvnet: A deconvolutional network in caffe。

首先我们给出上面这篇论文的网络结构架构：

![](/communit

大家好，我是第一行

こんにちは皆、私は2番目のラインです

Η φράση που είπα δεν σχετίζεται καθόλου με αυτό το άρθρο

ሃ ሃ ሃ ሃ ha

Es ist egal, du musst übersetzen

大家去翻译吧，看完之后，你会回来

打我的￣ω￣=

![](data:image/svg+xml;utf8,<svg%20xmlns=

原理可以看之前的文章,这里直接给出代码:

x=-5:5;
y=3*x-7;
randn('state',2);			% 设置种子，便于重复执行
y=y+randn(1,length(y))*1.5;		% 加入噪声的直线
plot(x,y,'o');
P=x;T=y;
lr=maxlinlr(P,'bias');			% 计算最大学习率
net=linearlayer(0,lr);			% 用linearlayer创建线性层，输入延迟为0
tic;net=train(net,P,T);toc		% 用train函数训练
new_x=-5:.2:5;
new_y=sim(net,new

马毅老师曾说过:”如果你没有看过近30年的经典论文,你是做不出成果的”.现如今深度学习如此火热,一些关键节点发布的文章更应该好好的阅读,因此我想在未来的一段时间内去阅读一些经典的论文,去推敲和分析,并且争取可以使用TensorFlow去复现他.而这篇文章我们将会阅读VGG这篇经典文章,希望和大家交流,如果有理解不到位的地方,也请大家多多指正.

VGG的意义

这篇论文的模型的名称”VGG”其实是牛津大学的Oxford Visual Geometry Group

![](/community/uploads/default/original/3X/a/c/ac70287a28d17e

编者按：“夫因朴生文，因拙生巧，相因相生，以至今日。”在人工智能领域，机器学习研究与芯片行业的发展，即是一个相因相生的过程。自第一个深度网络提出，深度学习历经几次寒冬，直至近年，才真正带来一波AI应用的浪潮，这很大程度上归功于GPU处理芯片的发展。与此同时，由于AI应用场景的多元化，深度学习在端侧的应用需求日益迫切，也促使芯片行业开展面向深度学习的专用芯片设计。如果能够将深度算法与芯片设计相结合，将大大拓展AI的应用边界，真正将智能从云端落地。本文中，来自中科院自动化所的程健研究员，将带着大家一方面探索如何将深度学习高效化，另一方面讨论如何针对深度算法来设计专用处理芯片。文末，提供文中

上一篇文章中我们已经分析了各种seq2seq模型，从理论的角度上对他们有了一定的了解和认识，那么接下来我们就结合tensorflow代码来看一下这些模型在tf中是如何实现的，相信有了对代码的深层次理解，会在我们之后构建对话系统模型的时候有很大的帮助。

tensorflow版本升级之后把之前的tf.nn.seq2seq的代码迁移到了tf.contrib.legacy_seq2seq下面，其实这部分API估计以后也会被遗弃，因为已经开发出了新的API放在tf.contrib.seq2seq下面，更加灵活，但是目前在网上找到的代码和仿真实现基本上用的还是legacy_seq2seq下面的代码，所以

（本文由深度学习与NLP编译）

DeepMind在强化学习领域具有非常重要的作用，其创造了举世震惊的AI智能AlphaGo，以及后来的AlphaGo Zero。这是第一个在19 x 19棋盘上打败人类职业围棋手的计算机程序。还击败了围棋世界冠军李世石、柯洁(当时世界排名第一的玩家)和许多其他排名靠前的玩家。围棋比赛是一个复杂且困难的比赛，因为它在每一步都具有非常大的分支因素，这使得经典的搜索技术如alpha-beta剪枝和启发式搜索都变得无用。本文原作者dylandjian对AlphaGo的工作进行了复现，在次，下文将尽可能详细地介绍复制的具体工作。阅读本文需要一些机器学习和Python方面

最近在学习深度置信网络（DBN）的时候，看过几篇博客，但是在DBN的结构上，一大堆博客讲DBN是将受限玻尔兹曼机（RBM）像砖块一样叠加起来的一个网络，这本身是有一些错误的，修正一波。

1：受限玻尔兹曼机RBM

如图所示

受限玻尔兹曼机本身是一个基于二分图的无向图的模

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

相信社区中很多小伙伴和我一样使用了很长时间的Caffe深度学习框架，也非常希望从代码层次理解Caffe的实现从而实现新功能的定制。本文将从整体架构和底层实现的视角，对Caffe源码进行解析。

1.Caffe总体架构

Caffe框架主要有五个组件，Blob，Solver，Net，Layer，Proto，其结构图如下图1所示。Solver负责深度网络的训练，每个Solver中包含一个训练网络对象和一个测试网络对象。每个网络则由若干个Layer构成。每个Layer的输入和输出Feature

（！！！超多gif图片预警）

（本文旨在优化一维函数，实际上模型参数有数百万维以上，差距很大，因此本文最好作为辅助法的理解，而非对算法优劣的判断依据。）

8.13更新算法6：二阶算法牛顿法，算法7：牛顿法+正则化

在深度学习中，有很多种优化算法，这些算法需要在极高维度（通常参数有数百万个以上）也即数百万维的空间进行梯度下降，从最开始的初始点开始，寻找最优化的参数，通常这一过程可能会遇到多种的情况，诸如：

1.提前遇到局部最小值从而卡住，再也找不到全局最小值了

2.遇到极为平坦的地方：“平原”，在这里梯度极小，经过多次迭代也无法离开。同理，鞍点也是一样的，在鞍点处，各方向的梯度极

这篇文章就简单从源码的角度上分析一下tf.contrib.seq2seq下提供的API，首先来讲这个文件夹下面的几个文件和函数上篇文章中都已经提到而且介绍了他们之间的关系和如何使用，如果对源码不感兴趣就不用看下去了~~

BasicDecoder和dynamic_decode

为了简单起见，从decode的入口dynamic_deocde函数开始分析：

   dynamic_decode(
   decoder,
   output_time_major=False,
   impute_finished=False,
   maximum_iterations=

文章居然超长了,接上篇

Fully convolutional networks

Each layer of data in a convnet is a three-dimensional array of size h × w × d, where h and w are spatial dimensions, and d is the feature or channel dimension. The first layer is the image, with pixel size h × w, and d color channels. Locations in hi

这篇论文跟上一篇的VGG论文一样,在深度学习领域同样的经典,在2015年的CVPR,该论文拿到了best paper候选的论文,在之后的PASCAL VOC2012,凡是涉及到图像语义分割的模型,都沿用了FCN的结构,并且这篇论文跟VGG的结构也很相似,区别只在于VGG最后的全连接层在FCN上替换为卷积层,因此在我们了解完VGG之后,再来了解FCN是很有意义的.这篇文章我们将对论文进行翻译,同时也是精读,希望读完之后能够有所收获,如果有所错误,也请大家指出.

![](/community/uploads/default/original/3X/4/5/45f567e

在上一篇文章中,我们通过使用mnist上的图片和标签数据来去制作数据集,而今天这一篇文章我们将在反向传播过程中和测试过程中调用数据集.

一:反向传播获取文件(mnist_backward.py)

先上代码:

在这里我们看到,我们和原有的mnist_backward.py中,我们增加了44,54,64行,修改了57行的代码.这几行代码,接下来我们一起分析一下这几行代码:

1: image_batch, l

最近因为对文本情感分析有一些需要，所以去学习使用了一下百度的NLP处理模块，特此记录一下，来和大家一起分享。

一：注册使用

1：如何使用百度AI

首先打开http://ai.baidu.com/，注册账户就可以

注册之后，在控制台创建应用即可

![](/community/upl

在上一篇文章中,我们使用mnist数据集去做了一个识别的小型神经网络,在今天的这篇文章里,我们将要通过使用自建数据集去检验上一篇文章的模型,从而真正的可以去应用神经网络.

先解决上一篇文章中一些不完美的地方:

在上一篇文章的backward.py中,我们训练神经网络时,如果中途遇到一些事情,想要结束,回过头来再重新开始的话,我们的模型还得需要从第一步一点点开始算,尽管我们已经保存了模型,但是没有用上,这样很不好.而现在我们给我们的模型加上”断点续训”的功能.

首先:先上代码:

![](/community/uploads/default/original/3X/a/0/a097c26

深度学习实战实验（一）

简介：本人一台MacBook Pro，没有gpu，宿舍限电装不了外接显卡，想尽一切办法，最大的问题就是深度学习不是看书看代码就能学到的，一定要动手做实验。

AWS：我英语垃圾，绑定信用卡麻烦

阿里云：其实好像很不错，就是穷……

我在知乎上看到有个人推荐了一个巨牛逼的学习平台：[点击就送屠龙宝刀](https://link.zhihu.com/?target=https%3A//cloud.tencent.com/developer/labs/series/10000%3Futm_source%3Dwechat_timeline%26utm_medium%3

大家好,在这一篇文章中,我们将做以下的三件事:

1:介绍mnist数据集的使用

2:创建模型,并且保存模型

3:在测试集中使用保存的模型进行检测

一:介绍mnist数据集的使用

对于mnist数据集,具体的一些介绍我这里就不搬运过来了,这里我直接说我们如何在TensorFlow上使用mnist数据集.

在我们将mnist数据集准备喂入神经网络时,我们需要提前对数据集进行处理,因为数据集的大小是28*28像素,我们就将每张图片处理成长度784的一维数组,将这个数组作为神经网络的训练特征喂入神经网络.

举个例子:

一张数字手写体图片变成长度为 784 的一维数组[0.0.0.0

今天让我们来看一下深度学习与神经网络里边的自编码.

其实自编码严格来说不能算作是深度学习的内容,我们在之前的机器学习算法中也了解到自编码,并且我们会通过一个简单的例子来去说说自编码的理解.

首先，我们听到自编码，一定会想到，AutoEncoder会是个什么码呢？是条形码，二维码 NO.NO.NO，和他们都没有关系，其实自编码是一种神经网络形式.

现在我们先构架一个神经网络模型，这个模型是收集一张图片，接受这个图片后，神经网络给这个图片压缩，最后再从压缩的图片中还原，是不是感觉有点抽象，其实我也觉得这样的解释不太恰当，那就让我们更加的具体一点来深入了解

在上一篇文章中我们简单说了说AIC,BIC和L1,L2正则化的东西,而今天这篇文章,我们将着重说说正则化.

1:什么是正则化?

首先,拿过来上一篇文章的定义:

√正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小 过拟合。

使用正则化后，损失函数 loss 变为两项之和：

loss = loss(y 与 y_) + REGULARIZER*loss(w)

其中，第一项是预测结果与标准答案之间的差距，如之前讲过的交叉熵、均方误差等；第二项是正则化计算结果。

2:正则化如何计算?

① L1 正则化： 𝒍𝒐𝒔𝒔𝑳𝟏 = ∑𝒊 |�

本文的代码都可以到我的github中下载：https://github.com/lc222/seq2seq_chatbot

前面几篇文章我们已经介绍了seq2seq模型的理论知识，并且从tensorflow源码层面解析了其实现原理，本篇文章我们会聚焦于如何调用tf提供的seq2seq的API，实现一个简单的chatbot对话系统。这里先给出几个参考的博客和代码：

1. tensorflow官网API指导
2. Chatbots with Seq2Seq Learn to build a chatbot using TensorFlow
3. DeepQA
4. Neural_Conve

BP神经网络现在来说是一种比较成熟的网络模型了,因为神经网络对于数字图像处理的先天优势,特别是在图像压缩方面更具有先天的优势,因此,我这一段时间在研究神经网络的时候同时研究了一下关于BP网络实现图像压缩的原理和过程,并且是在MATLAB上进行了仿真的实验,结果发现设计的BP神经网络具有不错的泛化能力,对于用于图像压缩方面的效果还不错.

1:BP神经网络的模型的架构和训练的原理

BP神经网络是现在目前的发展的比较成熟的神经网络之一了,也是一种比较给力的非线性的可微分函数进行权值修正和调整的多层前馈人工神经网络,经得住严密的数学逻辑推导,在很多的模式识别的书中和很多的数据压缩的论文中得以大量的

上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要学习一下新版本的API，这里先来说一下二者的不同：

• 新版本都是用dynamic_rnn来构造RNN模型，这样就避免了数据长度不同所带来的困扰，不需要再使用model_with_buckets这种方法来构建模型，使得我们数据处理和模型代码都简洁很多
• 新版本将Attention、Decoder等几个主要的功能都