训练集

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

1. 获取数据

首先获取训练集“Stanford V1.0”和使用Glove模型训练好的词向量矩阵。

我们使用shell命令获取以上文档，脚本如下：

DATASETS_DIR="utils/datasets"
mkdir -p $DATASETS_DIR

cd $DATASETS_DIR

# Get Stanford Sentiment Treebank
if hash wget 2>/dev/null; then
  wget http://nlp.stanford.edu/~socherr/stanfordSentimentTreebank.zip
else
  c

\

背景

机器学习的研究领域包括有监督学习（Supervised Learning），无监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）等诸多内容。针对有监督学习和半监督学习，都需要一定数量的标注数据，也就是说在训练模型的时候，全部或者部分数据需要带上相应的标签才能进行模型的训练。但是在实际的业务场景或者生产环境中，工作人员获得样本的成本其实是不低的，甚至在某些时候是相对较高的，那么如何通过较少成本来获得较大价值的标注数据，进一步地提升

【旧版说明】此文档为旧版，相关新版文档参考：

https://bigquant.com/wiki/doc/102-ai-hXNHGsyWzS

新建一个可视化AI选股策略，如下图所示：

在训练集流程中的缺失数据处理模块m13前加入模块“去除退市股”m27(从“用户模块”——“共享模块”中找到并拖入画布)，即可实现在训练集中去除退市的股票

在验证集流程中的缺失数据处理模块m14前加入模块“去除退市股”m27(从“用户模块”——“共享模块”中找到并拖入画布)，即可实现在验证集中去除退市的股票

你是否曾经听到过人们谈论机器学习，而你却对其含义只有一个模糊的概念呢？你是否已经厌倦了在和同事对话时只能点头呢？现在，让我们一起来改变这个现状吧！

这篇指南是为那些对机器学习感兴趣，但又不知从哪里开始的人而写的。我猜有很多人曾经尝试着阅读机器学习的维基百科词条，但是读着读着倍感挫折，然后直接放弃，希望能有人给出一个更直观的解释。本文就是你们想要的东西。

本文的写作目标是让任何人都能看懂，这意味着文中有大量的概括。但是那又如何呢？只要能让读者对机器学习更感兴趣，这篇文章的任务也就完成了。

什么是机器学习？

机器学习是一种概念：不需要写任何与问题有关的特定代码，泛型算法（Gene

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

导语

在机器学习模型构建过程中，我们通常需要评价模型在训练集和验证集上的表现来判断模型的质量好坏，本文主要以随机森林模型为例介绍新增模型评价功能。

评价回归模型

我们以随机森林-回归模型为例，首先建立如下的模型训练可视化流程

如图所示，

• 通过证券代码列表模块m1指定了抽取数据为2010-01-01至2013-01-01的A股数据
• 通过自动标注模块m2我们计算了一个机器学习的目标，这里计算股票的未来5日收益率
• 通

问题

请问如何搭建简单的resnet

就给我展示最小单元好了

\

问题

1. 如何设置训练步长，在训练模块中没有这个选项
2. 如何设置验证集，并打印loss、mae等，按照模板智能看训练集的

验证集通过这个端口传入，构造方法和训练集一样。只需要设定开始和结束的日期。

步长可以通过

![{w:100}{w:100}](/wiki/api/attachments.redirect?id=276f2f17-0d2e

当我们在训练集上将模型训练出来以后，可以通过在验证集上使用该模型进行预测，然后通过预测数据与真实数据的差异，进而评估出模型效果。

[details=点击查看评价标准 ]

[/details]

模型评估具体分为两步：

模型在验证集上预测，因此需要m11模块，实现GBDT算法在验证集预测

计算模型评估指标，因此需要m8和m9模块

遇到个不理解的，同一个AI Ranker模型，起始时间一致，结束时间不同，为啥会有这么大的差别，机器不是通过训练集训练之后就把交易模型固定了么？然后通过测试集来进行回测验证。问题是我训练集啥的参数都没变，就变动了一下测试集的终止日期。讲道理应该只是后面的日期范围内的收益率有变动。。。。看看下图，即便是多增加的两个月回测数据，至少前几个月的收益率曲线大体形状应该一致的吧。。

![22年1月4

测试集也加入自动标注模块会有什么影响吗

写在前面：读TensorFlow的这篇官网教程，给了我很大的帮助，该教程对seq2seq模型在理论上和代码实现上都有简要介绍。感觉有必要翻译一下做个记录，文章很长，不会做到一字一句的翻译，有些不好翻译的地方我会给出原句，有不严谨的地方望谅解。

本文目录：

• 前沿 | Introduction
• 基础 | Basic
• 训练- 如何构建我们的第一个NMT系统
• 词向量 | Embedding
• 编码器 | Encoder
• 解码器 | Decoder
• 损失 | Loss
• **梯度计算和优化 | Gradient co

文章居然超长了,接上篇

Fully convolutional networks

Each layer of data in a convnet is a three-dimensional array of size h × w × d, where h and w are spatial dimensions, and d is the feature or channel dimension. The first layer is the image, with pixel size h × w, and d color channels. Locations in hi

金融数据的特点是时间序列，这意味着传统预测模型（包括机器学习和统计，为避免不必要的学派之争，统一称为预测模型）使用的训练集、验证集、测试集的方法或许不大适用，特别是交叉验证，很难说用后面的数据验证前面的数据算不算样本外，毕竟现实中只能前面的数据先发生。但也有人说我近期观察到一个pattern，最近几天都出现，想看看在历史行情中表现如何......

另外还有人说我拿奇数年的数据做个模型，然后拿偶数年的数据验证一下，这样是否靠谱？比如十年数据，一般来说，1-5做训练，6-10做预测，效果会最差；1-5预测6，1-6预测7，这样滚动着来，效果可以好一些，这些都可以算作严格的样本外；如果是1

我收集了很多因子在因子分析里他的收益率和夏普率都很高，并且他们的相关系数都接近0，但把他们组合放到我的算法模型里去测试效果就不理想，有什么办法能看到这些组合因子（最好能看到每个因子在训练集和测试集正收益贡献了多少，负收益贡献了多少，可以是百分比，比如某个因子在这个模型里正收益是80%，负收益是20%，这样方便我们有钟对性的在这个模型去选择有效因子）在这个算法模型里训练集和测试集的拟合情况

问题

模拟交易训练集可以选近XX天的滚动数据吗？

解答

可参考下这个帖子https://bigquant.com/community/t/topic/128990 5

问题

预测明天股票时候显示日期2021.10.08，而且发布交易模拟盘失败

https://bigquant.com/experimentshare/c248a0a49a0c4e7e8beea08d70782f3e

解答

训练集预测集时间不能设置成一样的

在StockRanker策略的基础上增加了一个计算RankIC的自定义模块，m22输出训练集的平均RankIC, m20输出测试集的平均RankIC。分享一下，如有问题大家多多指教。

https://bigquant.com/experimentshare/b1f45cb0a35a4a329cf6feca54d23005

\

问题

回测老内核重启然后就停了。 是免费的缘故么？

\

解答

得看下策略具体是在哪个模块停止内核的，如果回测模块没有做过多改动的话，在回测阶段重启内核的概率不大，得检查下是否是训练集和预测集数据过大导致训练模型时内核重启的原因。

问题

Q3:过滤创业板和科创板的股票，是否要在训练集和预测集都进行过滤？另外，想在trade回测模块中通过编写代码实现过滤，该如何编写？

视频

https://www.bilibili.com/video/BV1aq4y1A7xK?share_source=copy_web

策略源码

如果我们不想考虑创业板和科创板的股票，那么需要在数据的训练和预测阶段都过滤。不然创业板和科创板的股票数据会影响AI模型，降低模型的准确率。

[ht