深度学习

一个深度学习时序数据划分的问题

整体的数据集依然采用滚动训练的方法划分不同时间的训练和测试数据，接下来提到的时序数据窗口划分会对每一个滚动训练的数据进行。

1、在深度学习的时间序列中一般采用时间窗口的方式抓取数据，比如15天的数据预测下一天的标签。我现在有的一个问题是，我的数据集是每一支股票按照时间序列进行排序的，比如是2020-2022年的stock_1的数据然后接下来是2020-2022年的stock_2的数据····。对于训练数据的时间窗口的抓取是进行了shuffle的，随机确定时间的起始值。这种情况下，有可能会抓取到不同的两只股票的数据，而且这个数据是在时序上不连续的（比如

MeetUP直播答疑 时间：7月25日（周四）19:00 回放视频请访问宽客学院-双周答疑-78thMeetup

\

一、量化入门及学习

1. 如何能用来选股，能否教一些用法，软件怎样用？
2. 应该如何学习？
3. 众多策略如何选择？
4. 如何得知量化策略未来不会变得糟糕？

量化入门及平台使用：[谁都可以学的量化基础【直播】](https://bigquant.com/college/courses/course-v1:plus+training00+2024-06-19/courseware/d70de3d2c4794547ad3b4eadb5058

通过上次在Cifar10上复现ResNet的结果，我们得到了上表，最后一栏是论文中的结果，可以看到已经最好的初始化方法(MSRA)已经和论文中的结果非常接近了！今天我们完全按照论文中的实验环境，复现一下ResNet论文中的结果。

上次的论文复现主要和原文中有两点不同：

Data Augmentation

Cifar10中的图像都是32X32的，论文中对测试集中的每张图

最近处于读论文的状态，给大家分享一些导读（一段话的论文总结），持续更新。

论文地址我就不贴了，Google一下就find得到。

主要论文涉及深度学习、计算机视觉(包括但不限于物体检测、图像分割)、模型设计及优化方面。欢迎评论区随时讨论papers，共同进步。

SENET : Squeeze-and-Excitation Networks

这篇文章考虑特征通道之间的关系，显著地建模特征通道之间的相互依赖关系，但又不引入新的空间维度来

年初就一直在等啦

终于等到这本书

分享一下

此书的代码下载地址：https://github.com/fchollet/deep-learning-with-python-notebooks

![](/community/uploads/default/original/3X/c/c/cc94b84a373c66d820177c480765c8ec2467c73d

今天小编为大家带来近期出版的一些关于机器学习、深度学习、数据科学方面的书籍。希望大家有所收获！

我们已经打包好了！

可在文末下载

![](/community/uploads/default/origin

物体检测，是计算机视觉任务的基础，其精度将直接影响相关视觉任务的效果，在深度学习方法兴起之前，开展了很多利用场景上下文来提高检测精度的研究。近年来，随着Faster RCNN等深度学习方法的兴起，在日益强调数据和性能的背景下，对上下文关联信息的利用却鲜有尝试。本文将介绍一种结构推理网络(Structure Inference Net，简称SIN)，将物体检测问题形式化为图结构推理，采用图结构同时建模物体细节特征、场景上下文、以及物体之间关系，采用门控循环单元(GRU)的消息传递机制对图像中物体的类别和位置进行联合推理。在基准数据集PASCAL VOC和MS COCO上的实验，验证了方法在精度提

回顾去年的DCNN成果和深度学习发展，就必然会提及到到Kaiming He的深度残差网络 (https://arxiv.org/abs/1512.03385)。这不仅是因为ResNet一举拿到了CV下多个比赛项目的冠军，更重要的是这一结构解决了训练极深网络时的degradation问题。作为我来到MSRA第一个月重点学习的论文，现在在这里分享一下我这大半个月以来的学习成果。

论文解读

He首先提出一个问题:*Is learning bett

\

好嘛博主食言了。不过本文没什么干货，主要是前后看了大概一个星期，反复去读源码和解读文章，终于感觉这东西不那么云山雾罩了。同时也发现网上很多材料有点扯淡，99% 的博文不过是把别人的东西用自己的话说一下，人云亦云。好多人自己理解错了而不自知，实在是误人误己。

我也不敢说理解得有多深，下面的内容甚至可能有自相矛盾的地方，所以阅读本文时请一定擦亮眼睛，认真思考。

源码才是根本，作者那两篇论文感觉参考价值也不高。说到底，Machine Learning/Deep Learning 的价值在于实践，而实际开发的应用中经过大量的 tricks 之后，代码跟论文推导、实验可能相去甚远。

Data Mi

目录

1. 随机梯度下降法有什么问题？
2. 负采样
3. 计算梯度

1. 随机梯度下降法有什么问题？

通过对代价函数求权重的梯度，我们可以一次性对所有的参数 进行优化，但是如果每次等全部计算完成再优化升级，我们将等待很长时间（对于很大的语料库来说）。

所以我们采用随机梯度下降（ Stochastic Gradient Descent），也就是说每次完成一次计算就进行升级。

但是，还有两个问题导致目前的模型效率低下！

第一个问题，我们每次只对窗口

推荐一本2018年初发布的，由佐治亚理工学院交互计算学院副教授Jacob Eisenstein编写的深度学习与自然语言处理的教材。这本书由浅入深，在详细、全面介绍了自然语言处理相关的基础知识之上，结合了最新的深度学习技术，详细介绍了深度学习技术在自然语言处理很多方面的应用。文末附本书pdf下载地址。

主要内容

LEARNING

Linear text classification

Nonlinear Classification

Linguistic Application of Classification

Learning without Supervi

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

\

导语

2020年我们开展了近半年的Meetup，共11场Meetup活动，90个问题，7场专题，持续地为大家服务和提供新鲜的灵感。2021年，Me

问题

深度学习特征裁剪值如何设置？

视频

https://www.bilibili.com/video/BV1kL4y1J7Uk?share_source=copy_web

\

策略源码

[https://bigquant.com/experimentshare/900f6943cf024d2d90f10135afcad089](https://bigquant.com/experimentshare/900f6943cf024d

8月19日Meetup问题模板：

https://bigquant.com/experimentshare/f58dbfb388454407b8a2b99eb14cf1ea

\

问题

transformer等深度学习中序列窗口滚动模块具体的功能是什么，为什么要把数据做这个处理，能否用numpy的源码写一个函数？

视频

https://www.bilibili.com/video/BV1i44y1q7As?p=4&share_source=copy_web

策略源码

2021年7月8日Meetup策略模板：

[https://bigquant.com/experimentshare/6235b7c

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

导语

BigQuant宽客学院伴随着平台的更新，学习和探讨的内容也日益增加。大家对机器学习、深度学习的策略研究越来越深入，新的想法也层出不穷，为了满足大家对探索的渴望，因此我们准备了定期的“BigQuant AI量化专家MeetUp”，本周四正式启动了！BigQuant学院院长、AI量化专家现身BigQuant B站直播间，在线交流、答疑，解决您在AI量化和BigQuant遇到的所有问题！

Meetup内容

以导师答疑为主，解决大家在日常开发中遇到的问题：

1. 策略开发新思路探讨
2. 策略开发中遇到的疑惑
3. BigQuant平台使用

**Meet

旧版声明

本文为旧版实现，仅供学习参考。

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

策略案例

https://bigquant.com/experimentshare/c13d6baefe5d4c75bb87eea9364b0f75

\

问题

深度学习模型对true, false这类数据应该做什么样的预处理，对出现inf的数据该做什么处理？深度学习对股票数据以及labe一般该做什么样的预处理，顺序如何？

视频

https://www.bilibili.com/video/BV1i44y1q7As?p=2&share_source=copy_web

\

解决方案

inf的去除即可

去极值、标准化、中性化 、分桶

\

问题

如何在全连接模块中自定义swish激活函数的代码

\

视频

https://www.bilibili.com/video/BV1DL4y1w7sb?share_source=copy_web

策略源码

[https://bigquant.com/experimentshare/9f1dae69e055429c9922b4f5d038361a](https://bigquant.com/experimentshare/9f1d

2021年8月5日Meetup问题：深度学习的学习率在哪里可以调整，训练集和测试集的loss如何打印到一张图上，early_stop如何设置？深度学习的权值初始化方法对结果影响很大，能否做个全面介绍，CNN,lstm,mlp一般试用哪种初始化方法。lstm或者cnn后面接的mlp一般用几层为好？mlp的神经元数量一般要相较输入层扩充几倍？

[https://bigquant.com/experimentshare/c0853836ac224f7ab02c97acce9f973f](https://bigquant.com/experimentshare/c0853836ac224f7ab02