神经网络

介绍

为了研究神经网络，我们必须要对什么网络是什么有一个更直观的认识。

一、基本变换：层

神经网络是由一层一层构建的，那么每层究竟在做什么？

• 数学式子： ，其中 是输入

在上一篇文章中,我们使用mnist数据集去做了一个识别的小型神经网络,在今天的这篇文章里,我们将要通过使用自建数据集去检验上一篇文章的模型,从而真正的可以去应用神经网络.

先解决上一篇文章中一些不完美的地方:

在上一篇文章的backward.py中,我们训练神经网络时,如果中途遇到一些事情,想要结束,回过头来再重新开始的话,我们的模型还得需要从第一步一点点开始算,尽管我们已经保存了模型,但是没有用上,这样很不好.而现在我们给我们的模型加上”断点续训”的功能.

首先:先上代码:

![](/community/uploads/default/original/3X/a/0/a097c26

在上一篇文章中我们简单说了说AIC,BIC和L1,L2正则化的东西,而今天这篇文章,我们将着重说说正则化.

1:什么是正则化?

首先,拿过来上一篇文章的定义:

√正则化：在损失函数中给每个参数 w 加上权重，引入模型复杂度指标，从而抑制模型噪声，减小 过拟合。

使用正则化后，损失函数 loss 变为两项之和：

loss = loss(y 与 y_) + REGULARIZER*loss(w)

其中，第一项是预测结果与标准答案之间的差距，如之前讲过的交叉熵、均方误差等；第二项是正则化计算结果。

2:正则化如何计算?

① L1 正则化： 𝒍𝒐𝒔𝒔𝑳𝟏 = ∑𝒊 |�

今天这个文章让我们一起来学习下感知机:

一个传统的单层感知机如上图所示,其实理解起来很简单,我们可以直接理解为输入节点接受信号之后直接传输到输出节点,然后得到结果y.

就和上图一样,我们给出了权向量W=[W1,W2,W3]=[0.3,0.3,0.3],这时候我们输入[X1,X2,X3],并且于输出节点的t相结合,这样就可以得到方程式:

y = 0.3X1+0.3X2+0.3X3+0.4

在我

这几年是机器学习蓬勃发展的时代，支持向量机、决策树、隐式马尔科夫、神经网络、深度学习等名词很多人都可以随口说出几个来，它们在各个领域也确实有很成功的应用。而金融作为人们潜意识中的所谓“食物链上的顶端”，这些领域的研究者也很想把自己的模型往金融上靠。而很多学生，或许自己并没有怎么学习过这些模型，也很喜欢问“某某模型在交易股票上到底有没有用”这类问题。

时间序列分析是统计学里面的一大块，一般本科和研究生低年级会学习经典的时间序列分析，比如ARMA, GARCH, State-space Model, Vector ARMA等，这些跟机器学习的模型当然是很不一样的。

金融市场股票和期货的数据本质

导言

这篇文章有4篇论文速递，都是图像分割（image segmentation）方向，其实3篇是对U-Net网络进行了改进。

来源：[CVer](https://link.zhihu.com/?target=http%3A//mp.weixin.qq.com/s%3F__biz%3DMzUxNjcxMjQxNg%3D%3D%26mid%3D2247484237%26idx%3D1%26sn%3D61a80a982e3e32602789e1f14eb5a10f%26chksm%3Df9a271c2ced5f8d477f354312ecb08f3738247e21340a9

人工智能是最近很火热的话题，有的人似乎有幻觉，未来人类所有问题都可以交给电脑来处理。未来是否如此难以预知。但是在作出预测之前，我们有必要了解究竟什么是人工智能。

机器如何有人的智能呢？方法就是机器学习。机器学习不是一个新概念，很早之前就诞生了决策树、SVM、神经网络等方法。战胜了柯洁的AlphaGo和战胜了AlphaGo的AlphaZero都是神经网络算法中的深度学习。深度学习最早提出来之后，并没有对人工智能产生很显著的推进，因为它依赖于大量样本和大量计算。但随着互联网时代数据的大量产生、大量积累，深度学习重获新生。

神经网络不是万金油，它也只是解决某些问题的一种方法。什么时候我们需要它呢

通俗理解

神经网络是深度学习的基础，虽然它早已有之，但随着现在计算机计算能力的显著提升和大规模数据的获取，神经网络（深度学习）的重要性越来越大。

从logistic回归开始

符号说明

为后续便于计算和理解，进行符号说明：

d个特征，m个样本（数据点、实例）,

$x_{j}^{i} $

指第i个样本的第j个特征的特征值。

神经网络的输入矩阵是d×m矩阵，特征是行属性，而样本点是列属性（列向量）。

——现实中的表格数据一般行为样本点，列为特征。

矩阵表示：

$X=(x^{(1)},x^{(2)}.....x^{(m

（机器学习论文笔记二）Practical Block-wise Neural Network Architecture Generation

实用的基于块的神经网络体系结构生成论文地址：https://arxiv.org/pdf/1708.05552简介：这篇文章介绍了一种通过强化学习的方法自动的生成神经网络，来到的一直在向强人工智能向迈进的过程。笔者认为这篇文章最大的意义在于它完善了我们“造轮子的过程”，在本文中，我们提供了一 个基于块的网

TensorFlow是谷歌开发的一个基于图表的通用计算框架，可以用来编写程序。它可以被用来当做一个开发深度学习模型的平台，极大地简化了神经网络的模型构建过程。

术语：

（1）TensorFlow用叫做 tensor 的对象储存数据，而不是以整数、浮点数或者字符串等具体形式存储。

（2）TensorFlow用图 (graph) 来表示计算任务：TensorFlow 的 api 构建在 computational graph 的概念上，它是一种对数学运算过程

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

**编者按：**大脑是一个神奇的存在，它定义了你是谁，它赋予了你认知，它决定了你理解这个世界的方式。如果能够理解人脑的认知机制，理解从人脑的角度如何加工物体，将有助于加深理解神经网络。今天，脑认知神经领域专家，毕业于哈佛大学的毕彦超教授，将带给大家物体识别及物体知识表征域的认知神经基础。文末，大讲堂特别提供文中提到所有文章的下载链接。

![](/community/uploads/default/original/3X/e/7/e79d1a11e398f284b57c4273e

\

模型发展的回顾

前面介绍的模型主要站在更为宏观的角度，然后不断地进入围观的世界。我们面对的数据是一个三维的张量（Tensor），它有三个维度：通道（Channel），长（Height），宽（Width）。这三个维度统一起来形成了我们要分析处理的数据。

在卷积操作爆发之前，神经网络的主要运算方式是全连接，也就是说，每一次运算过程中，输出的每一个元素都要受三个维度共同的影响（当然，一般来说全连接是没有三个维度的，这个只是做一个比方）。后来前辈们发现了卷积操作的妙用，于是大家开始广泛采用卷积操作。在卷积操作中，每一个输出的元素中，三个维度的影响力如下：

1 所有的通道

2 局部的高度

写在最前面

如今机器学习和深度学习如此火热，相信很多像我一样的普通程序猿或者还在大学校园中的同学，一定也想参与其中。不管是出于好奇，还是自身充电，跟上潮流，我觉得都值得试一试。对于自己，经历了一段时间的系统学习（参考[《机器学习/深度学习入门资料汇总》](https://link.zhihu.com/?target=https%3A//link.jianshu.com/%3Ft%3Dhttps%253A%252F%252Fcaiquanliu.github.io%252F2017%252F11%252F12%252F%2525E6%25259C%2525BA%2525E5%25

**导语：**想过一个问题没有？人们看到一个猫的图片时，立马就能知道这是一只猫，看到一个狗的图片，立马就能知道这是一只狗。时间非常快而且很少出错，为什么能够达到这么好的效果呢？因为大脑本质上是一个非常高效的处理器。而这个处理器其实是由巨量神经元细胞组成的神经网络。

人们早早（20世纪40年代）就开了脑洞，为什么不尝试通过“模拟神经元细胞网络的行为”这种手段解决实际问题呢？随着机算能力的提高（20世纪80年代以后），神经网络算法慢慢形成了热点。

很多常见的问题都可以用神经网络轻松处理好。例如提供手写的字的图片，神经网络算法就可以完成内容的识别；提供股票历史交易日的信息，神经网络可以判

\

在本文中，我将介绍机器学习中关于聚类的算法。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[聚类-上​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.com/2018/07/27/%25E8%2581%259A%25E7%25B1%2

这篇文章叫做《Explaining and harnessing adversarial examples》,作者团队和上一篇文章的作者是一班人马。Ian Goodfellow同学真的和“adversarial”这个词有缘，先是做Adaversarial training，又是做GAN。

让我们直接进入主题——如何快速找到模型的盲点？所谓的盲点，就是找到一些输入数据，这些数据这样的特点：让人看很容易得出正确答案，而让模型却会识别错误。更要命的是，一般会有一个和它长得差不多的数据，这个数据可以被模型正确识别。一般来说，后面提到的这个数据存在于训练数据或者预测数据中，而前面提到的识别错误的数

**编者按：**人生之三境界的第一层，“看山是山，看水是水”，本质上展示了人“看见”的过程，以及思绪与理解在这一过程中所起的作用。

“看见”，对于人类而言，似乎是一个很简单自然的事情，其实则不然，从地球上第一个长出眼睛的生物三叶虫，走到今天的人类视觉，经历了五亿四千万年的漫长旅程。人类获得今天的视觉能力，是大自然长期进化的结果，大脑中三分之一的皮层是与视觉相关的。

因此人的视觉任务，本质上是人脑对外界视觉信号作出反应的过程，那么，研究人脑的工作机理，是否能够为计算机视觉提供一些启发，让机器“看山是山”呢？基于此，学术界开展了脑启发视觉计算领域的研究。那么过去一年中，在这一领域都取得

\

摘要

机器学习算法被描述为学习一个目标函数 (f)，它最好地将输入变量 (X) 映射到输出变量 (Y)：Y = f(X)

最常见的机器学习类型是学习映射 Y = f(X) 以针对新 X 预测 Y。这称为预测建模或预测分析，目标就是要做出最准确的预测。

十种机器学习算法

TOP MACHINE LEARNING ALGORITHMS YOU SHOULD KNOW

\

研究结论

传统的基于大类因子的因子加权方法可以抽象成简单的神经网络，指定损失函数后可以以一个时间截面数据作为批量通过基于梯度的优化算法学习大类因子内部的权重和大类间的权重

在一定的情形下，最小化预测收益率和实际收益率的均方误差等价于最大化ZSCORE的IC，基于均方误差学习参数相当于找到一组参数使得模型ZSCORE过去一段时间的平均IC最高。

如果不考虑大类因子的标准化层，基于大类的线性网络和简单线性网络等价，但之所以依然采用大类网络在于这种设计下更便于我们实践中对各个大类因子进行直接或者间接的干预

我们尝试了对量价总个大类的权重进行适当的控制，发现在对大类因子进行适当程度的干预

我是根据bq上面提供的方法来写的，还是报错了，不知道是哪个环节出问题了，看图

保存csv方法：

p

问题

您好，老师：

目前在使用bigquant平台使用神经网路建立深度学习模型时。设置的epoch为2000-3000，训练时间往往需要5个小时以上。在这中间很容易因为网络问题发生训练中断。

虽然平台有了保存策略问题，也可以恢复到断点。但是，恢复到断点时只是显示出之前的未完成训练结果，无法接着原来的断点继续训练。点击运行后，依旧从头开始训练模型。这样无法完成一个耗时长的模型训练。

希望告知设置断定续训的方法或者步骤。

十分感激。谢谢