损失函数

研究结论

传统的基于大类因子的因子加权方法可以抽象成简单的神经网络，指定损失函数后可以以一个时间截面数据作为批量通过基于梯度的优化算法学习大类因子内部的权重和大类间的权重

在一定的情形下，最小化预测收益率和实际收益率的均方误差等价于最大化ZSCORE的IC，基于均方误差学习参数相当于找到一组参数使得模型ZSCORE过去一段时间的平均IC最高。

如果不考虑大类因子的标准化层，基于大类的线性网络和简单线性网络等价，但之所以依然采用大类网络在于这种设计下更便于我们实践中对各个大类因子进行直接或者间接的干预

我们尝试了对量价总个大类的权重进行适当的控制，发现在对大类因子进行适当程度的干预

策略案例

https://bigquant.com/experimentshare/9426627188af4f488644532c01328c14

\

摘要

损失函数是用来衡量模型好坏的一个标准，在机器学习里，我们通常希望模型有比较小的loss，那么该如何选择我们的损失函数呢？最小化负的似然函数，借鉴了统计学的思想，是一种常见的损失函数。

Nagative Maximum Likehood

首先，假设我们有一堆的样本点：   我们希望我们训练出来的模型能够准确预测 的类别。

问题

如何在全连接模块中自定义swish激活函数的代码

\

视频

https://www.bilibili.com/video/BV1DL4y1w7sb?share_source=copy_web

策略源码

[https://bigquant.com/experimentshare/9f1dae69e055429c9922b4f5d038361a](https://bigquant.com/experimentshare/9f1d

https://bigquant.com/experimentshare/648ff204e53d44059c2d726e9219cfa3

\

https://bigquant.com/experimentshare/85eb463354e54a9695eddc0c570040e6

\

https://bigquant.com/experimentshare/85eb463354e54a9695eddc0c570040e6

\

摘要

W-DCGAN模型可用于多资产金融时间序列生成，效果良好

本文探讨GAN的重要变式——DCGAN（深度卷积生成对抗网络）在生成多资产金融时间序列中的应用。原始GAN模型存在固有缺陷，DCGAN和WGAN分别从网络结构和损失函数的角度提出改进，将两种改进方案融合可得到W-DCGAN模型。测试各模型对多资产金融时间序列的生成效果，并采用9项单资产序列指标和5项多资产序列指标评价生成质量。结果表明DCGAN表现不理想，结合W距离损失函数的W-DCGAN效果好且略优于WGAN，W-DCGAN能较好地复现出真实序列的各项典型化事实。

**DCGAN的核心思想是针对网络结构改进原

lintcode上面有十几道类似于Kaggle的小项目，用于深度学习的入手练习再好不过了，现在就让我们上手这道猫狗分类器的问题吧！

（全程用Keras框架，简单上手！）

题目描述：

给出一张猫或狗的图片，识别出这是猫还是狗。

这种识别具有很重要的意义，比如：

Web服务为了进行保护，会防止一些计算机进行恶意访问或信息爬取，进而设立一些验证问题，这些验证问题对于人来说很容易做，但是对于计算机这很困难。这样的方法称为CAPTCHA（完全

本来要继续连载CRF的，但是最近看到了知乎上各位大神的论文解读——《A Discriminative Feature Learning Approach for Deep Face Recognition》,其中介绍了他们设计的一个用户提高类别的区分度的损失函数——Center Loss，并且有一个基于MNist数据库的小实验，于是本人就简单实践了一下。

本着其他大神已经深度解析了这篇文章的内容，所以我觉得我再凑热闹把那些理论的东西讲一遍意义不大，倒不如抡起袖子干点实事——把代码写出来跑一跑。在我完成实验前，已经看到github上有人完成了MXNet的center loss代码，所以作为Ca

这几天因为做实验和学习Tornado的缘故，一直没时间把上次没完成的工作做完，今天补上。今天提供The Street View House Numbers即SVHN数据集在caffe上训练的过程。

数据准备

SVHN是一个真实世界的街道门牌号数字识别数据集.The Street View House Numbers (SVHN) Dataset，我们可以从这里下载数据，为方便转换，我们下载train_32x32.mat和test_32x32.mat，.mat文件中包含两个变量,X是一个4D的矩阵，维度是(32,32,3,n),n是数据个数,y是label变量,接下来我们先使用

导语

机器学习里面究竟有多少经典的算法呢？本文简要介绍一下机器学习中的常用算法。这部分介绍的重点是这些方法内涵的思想，数学与实践细节不会在这讨论。

回归算法

在大部分机器学习课程中，回归算法都是介绍的第一个算法。原因有两个：一.回归算法比较简单，介绍它可以让人平滑地从统计学迁移到机器学习中。二.回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习那些强大的算法。回归算法有两个重要的子类：即 线性回归 和 逻辑回归 。

线性回归就是我们前面说过的房价求解问题。如何拟合出一条直线最佳匹配我所有的数据？一般使用“最小二乘法”来求解。“最小二乘法”的思想是

本文收录在无痛的机器学习第一季。

写在前面：感谢@夏龙对本文的审阅和提出的宝贵意见，欢迎各位大神多多指点。

上一回扯了些关于梯度下降的事情，当然那只是个开头，有关梯度下降相关的内容非常多。为了保证完整性，今天再扯一下另外一个在梯度下降中十分重要的东西，那就是动量——momentum。

这是一个十分神秘的变量，我也只能以最简单的方式理解它，于是在这里班门弄斧了。正如它的中文名字一样

深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！

3. TF 代码分析初步

3.1 TF总体概述

为了对TF有整体描述，本章节将选取TF白皮书[1]中的示例展开说明，如图 3 1所示是一个简单线性模型的TF正向计算图和反向计算图。图中x是输入，W是参数权值，b是偏差值，MatMul和Add是计算操作，dMatMul和dAdd是梯度计算操作，C是正向计算的目标函数，1是反向计算的初始值，dC/dW和dC/dx是模型参数的梯度函数。

![](https://pic1.zhimg.com/v2-19df77cd3162101

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

本周为大家精选了5篇机器学习/深度学习在量化投资中的实用性文章，这些算法在BigQuant上可以快速实现。

• 神经网络在算法交易中的应用

  关键词：神经网络、波动性预测、损失函数

  作者之前发布了三篇金融时间序列预测的报告，包括如何数据预处理、如何正则化以及基于多变量时间序列进行预测。但这三篇报告都是分类问题，即根据历史数据预测下一个交易日是涨还是跌，而且分类的准确率达到65%。但是，当变成回归问题时，即预测明天收益率具体数值，模型的预测结果很差。于是，作者将重新

策略案例

https://bigquant.com/experimentshare/fe8ec83484ca44148602d39a58545d75

\