深度学习

MeetUP直播答疑 时间：7月25日（周四）19:00

\

一、量化入门及学习

1. 如何能用来选股，能否教一些用法，软件怎样用？
2. 应该如何学习？
3. 众多策略如何选择？
4. 如何得知量化策略未来不会变得糟糕？

量化入门及平台使用：[谁都可以学的量化基础【直播】](https://bigquant.com/college/courses/course-v1:plus+training00+2024-06-19/courseware/d70de3d2c4794547ad3b4eadb5058a5a/b19cbcf93ce64c0591bb58aecec6c

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

最近处于读论文的状态，给大家分享一些导读（一段话的论文总结），持续更新。

论文地址我就不贴了，Google一下就find得到。

主要论文涉及深度学习、计算机视觉(包括但不限于物体检测、图像分割)、模型设计及优化方面。欢迎评论区随时讨论papers，共同进步。

SENET : Squeeze-and-Excitation Networks

这篇文章考虑特征通道之间的关系，显著地建模特征通道之间的相互依赖关系，但又不引入新的空间维度来

年初就一直在等啦

终于等到这本书

分享一下

此书的代码下载地址：https://github.com/fchollet/deep-learning-with-python-notebooks

![](/community/uploads/default/original/3X/c/c/cc94b84a373c66d820177c480765c8ec2467c73d

今天小编为大家带来近期出版的一些关于机器学习、深度学习、数据科学方面的书籍。希望大家有所收获！

我们已经打包好了！

可在文末下载

![](/community/uploads/default/origin

物体检测，是计算机视觉任务的基础，其精度将直接影响相关视觉任务的效果，在深度学习方法兴起之前，开展了很多利用场景上下文来提高检测精度的研究。近年来，随着Faster RCNN等深度学习方法的兴起，在日益强调数据和性能的背景下，对上下文关联信息的利用却鲜有尝试。本文将介绍一种结构推理网络(Structure Inference Net，简称SIN)，将物体检测问题形式化为图结构推理，采用图结构同时建模物体细节特征、场景上下文、以及物体之间关系，采用门控循环单元(GRU)的消息传递机制对图像中物体的类别和位置进行联合推理。在基准数据集PASCAL VOC和MS COCO上的实验，验证了方法在精度提

回顾去年的DCNN成果和深度学习发展，就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军，更重要的是这一结构解决了训练极深网络时的degradation问题。作为我来到MSRA第一个月重点学习的论文，现在在这里分享一下我这大半个月以来的学习成果。

论文解读

He首先提出一个问题:*Is learning bett

\

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

目录

1. 随机梯度下降法有什么问题？
2. 负采样
3. 计算梯度

1. 随机梯度下降法有什么问题？

通过对代价函数求权重的梯度，我们可以一次性对所有的参数 进行优化，但是如果每次等全部计算完成再优化升级，我们将等待很长时间（对于很大的语料库来说）。

所以我们采用随机梯度下降（ Stochastic Gradient Descent），也就是说每次完成一次计算就进行升级。

但是，还有两个问题导致目前的模型效率低下！

第一个问题，我们每次只对窗口

推荐一本2018年初发布的，由佐治亚理工学院交互计算学院副教授Jacob Eisenstein编写的深度学习与自然语言处理的教材。这本书由浅入深，在详细、全面介绍了自然语言处理相关的基础知识之上，结合了最新的深度学习技术，详细介绍了深度学习技术在自然语言处理很多方面的应用。文末附本书pdf下载地址。

主要内容

LEARNING

Linear text classification

Nonlinear Classification

Linguistic Application of Classification

Learning without Supervi

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

问题

如何在全连接模块中自定义swish激活函数的代码

\

视频

https://www.bilibili.com/video/BV1DL4y1w7sb?share_source=copy_web

策略源码

[https://bigquant.com/experimentshare/9f1dae69e055429c9922b4f5d038361a](https://bigquant.com/experimentshare/9f1d

导语

2020年我们开展了近半年的Meetup，共11场Meetup活动，90个问题，7场专题，持续地为大家服务和提供新鲜的灵感。2021年，Me

导语

BigQuant宽客学院伴随着平台的更新，学习和探讨的内容也日益增加。大家对机器学习、深度学习的策略研究越来越深入，新的想法也层出不穷，为了满足大家对探索的渴望，因此我们准备了定期的“BigQuant AI量化专家MeetUp”，本周四正式启动了！BigQuant学院院长、AI量化专家现身BigQuant B站直播间，在线交流、答疑，解决您在AI量化和BigQuant遇到的所有问题！

Meetup内容

以导师答疑为主，解决大家在日常开发中遇到的问题：

1. 策略开发新思路探讨
2. 策略开发中遇到的疑惑
3. BigQuant平台使用

**Meet

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

\

问题

有没有深度学习排序选股的模板可供使用。

视频

https://www.bilibili.com/video/BV1hg411X71b?share_source=copy_web

策略源码

https://bigquant.com/wiki/doc/zhouqi-yinzi-xilie-AXKpErKDII#h-reference

以TabNet在量化选股中的应用为例

[https://bigquant.com/exp

问题

深度学习特征裁剪值如何设置？

视频

https://www.bilibili.com/video/BV1kL4y1J7Uk?share_source=copy_web

\

策略源码

[https://bigquant.com/experimentshare/900f6943cf024d2d90f10135afcad089](https://bigquant.com/experimentshare/900f6943cf024d

2021年8月5日Meetup问题：深度学习的学习率在哪里可以调整，训练集和测试集的loss如何打印到一张图上，early_stop如何设置？深度学习的权值初始化方法对结果影响很大，能否做个全面介绍，CNN,lstm,mlp一般试用哪种初始化方法。lstm或者cnn后面接的mlp一般用几层为好？mlp的神经元数量一般要相较输入层扩充几倍？

[https://bigquant.com/experimentshare/c0853836ac224f7ab02c97acce9f973f](https://bigquant.com/experimentshare/c0853836ac224f7ab02

问题

深度学习模型对true, false这类数据应该做什么样的预处理，对出现inf的数据该做什么处理？深度学习对股票数据以及labe一般该做什么样的预处理，顺序如何？

视频

https://www.bilibili.com/video/BV1i44y1q7As?p=2&share_source=copy_web

\

解决方案

inf的去除即可

去极值、标准化、中性化 、分桶

\

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

策略案例

https://bigquant.com/experimentshare/c13d6baefe5d4c75bb87eea9364b0f75

\

问题

transformer等深度学习中序列窗口滚动模块具体的功能是什么，为什么要把数据做这个处理，能否用numpy的源码写一个函数？

视频

https://www.bilibili.com/video/BV1i44y1q7As?p=4&share_source=copy_web

策略源码

2021年7月8日Meetup策略模板：

[https://bigquant.com/experimentshare/6235b7c

问题

深度学习在期货高频上的应用

策略源码

8月19日Meetup问题模板：

https://bigquant.com/experimentshare/f58dbfb388454407b8a2b99eb14cf1ea

\