模型训练

AIStudio是BigQuant平台以AI为核心的Cloud IDE，可以用于量化投资数据分析、因子挖掘、模型训练、回测和交易，以及更广泛的程序开发和AI模型开发训练等。

/wiki/static/upload/31/315c1087-6d07-491a-90ef-43e717997077.mp4

从这里开始

• 点击进入 AIStudio

关键概念

\

https://bigquant.com/codeshare/1e2b64b4-0a3a-4c86-b742-46a14e72ee0e

\

本文主要介绍tf.Tensor的各种常用属性，张量是对矢量和矩阵向潜在的更高维度的泛化。对内，TensorFlow 将张量表现为基本数据类型的 n 维数组。

在编写 TensorFlow 程序时，操控和传递的主要目标是 tf.Tensor。tf.Tensor 目标表示一个部分定义的计算，最终会产生一个值。TensorFlow 程序首先建立 tf.Tensor 目标图，详细说明如何基于其他可用张量来计算每个张量，然后运行该图的部分内容以获得所期望的结果。

tf.Tensor 有以下属性：

• 数据类型（例如 float32，int32 或 string）

再议“end-to-end”（端到端）

在深度学习中，经常有“end-to-end（端到端）”学习的提法，与之相对应的传统机器学习是“Divide and Conquer（分而治之）”。这些都是什么意思呢？

“end-to-end”（端到端）说的是，输入的是原始数据（始端），然后输出的直接就是最终目标（末端），中间过程不可知，也难以知。比如说，基于深度学习的图像识别系统，输入端是图片的像素数据，而输出端直接就是或猫或狗的判定。这个端到端就是：像素判定。

再比如，“end-to-end”的自动驾驶系统，输入的是前置摄像头的视频信号（其实也就是像素），而输出的直接就是控制车辆行驶指令（

神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。

本文以一种简单的，循序的方式讲解神经网络。适合对神经网络了解不多的同学。本文对阅读没有一定的前提要求，但是懂一些机器学习基础会更好地帮助理解本文。

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。

![图1 人脑神经网络](/wiki/api/attachments.redirect?id=c4bd3664-94c

今天我要讲的是一个很基础很基础的东西，适合初学者：

模型训练（Training）

如果你刚开始接触CNN，你一定会好奇，我给CNN灌入大量的数据做训练，到底要让CNN获得一种什么能力

首先我们的目的是：

给数据作分类

怎么给数据作分类：

要么找到数据的因果关系，要么找到数据间的关联

我们希望找到一个规则，或者一个表达式，它的作用是

理清楚数据间的关系，或者拟合数据的分布

我们就暂时给这个作用起名叫:

kernel

因为这个kernel 的作用，我们对数据之间的关系更加明晰，进而更好的分类，如下图所示：

![](/communit

上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要学习一下新版本的API，这里先来说一下二者的不同：

• 新版本都是用dynamic_rnn来构造RNN模型，这样就避免了数据长度不同所带来的困扰，不需要再使用model_with_buckets这种方法来构建模型，使得我们数据处理和模型代码都简洁很多
• 新版本将Attention、Decoder等几个主要的功能都

这一篇文章主要是记录下自己阅读《Convolutional Neural Networks for Sentence Classification》这篇文章思路的一个整理。这篇文章也可以算是CNN用于文本分类的开山之作了，尽管第一个使用CNN进行文本分类的不是Yoon Kim，但是Kim在这篇文章里提出来不少的方法，并且调参的过程也很详细，这些是我们应该学习的。

1：Introduction

这部分主要还是讲了讲前人使用CNN的一些工作，这部分暂且不提，主要思考的一个问题是为什么选用CNN，在这里论文里也没有详细讲，我写写我的想法，如果不对，欢迎指教。

我们传统的分类器比如朴素贝

\

在本文中，我将介绍机器学习中关于传统机器学习中几乎最为强大的方法——支持向量机。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[支持向量机​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.com/2018/08/04/%25E6%259

\

怎样使用因子库里的因子作为特征？

这个因子id没法直接使用，

只能复制因子的表达式使用吗？

问题

是其他因子干扰了结果吗？

解答

这个图表示在这一组因子在此模型训练过程中因子的重要性，由高到低排序。排名靠前因子的表现可能会影响到其他因子的得分，也就是说得分低的因子在这一组参与此模型训练的因子里面得分低，但是在其他因子组合或者其他模型里面不一定表现就差。

问题

预测数据前我想做个自定义筛选，策略中只是举例，但我想实现这个功能，应该怎么把DataFrame输入模型，目前的报错是

解答

这里需要把dataframe格式的数据转换成DataSource的类型，用如下代码就可以了。 data=DataSource.write_df(df),

问题

为啥我的超参寻优用在DNN上，一直显示在运行，却没有结果

-update：刚把分布式运行勾选去掉，开始执行了 \n

感觉很慢，这个效率很低啊

\

问题

平台能不能实现 先选股+后排序？

解答

已有完善的选股策略，选股结果过多，没有找到好的排序方法。听说平台有一个stockranker很好用，我就想试试，在自己研究的时候发现，发现两种方案：1是传统方案，2是AI方案。

传统方案，比如海龟策略等，可以得到选股结果，但是里边没有模型训练，也就没有排序的功能；

AI方案，在输入特征因子的时候，只能输入选股结果相关的属性，所以不能实现先选出结果后用stockranker排序；（我理解是选股结果对AI来说就是0和1，所以什么都学不到？）

我在想如何把两者结合起来，先用传统方案选股，再用AI方案对选股结果排序

大家有什么好的

问题

咨询一下,用stockRanker训练,不加中性化和标准化,收益不错,加了之后收益就负了,这是为什么啊

解答

您好，stockranker算法是树状结构的，它本身是不需要标准化的，您标准化后会改变数据，也会使模型训练发生改变，进而就会造成了策略的计算改变哦

问题

怎么用机器学习判断股票的形态？

解答

此问题可以作为一个研究课题了。 人眼如何判断三重底？先有一个下跌趋势然后盘整，形成了三个低点，接着向上突破成功了就是所谓的三重底。但是要是盘整后往下成功突破呢，就变成了下跌趋势中的一个中继三重顶形态，所以要等价格走出来后才知道是什么形态，个人理解可以把关键点的信息（例如顶和底的数据）作为特征告诉机器去学习，那又如何提取顶和底这种关键信息呢？可以先从简单形态识别开始研究，例如把各个周期的均线金叉，死叉等信号作为特征，通过机器学习看下哪种周期组合收益最高。 关于这个话题，大家都可以一起来讨论一下。

BigQuant策略组

问题

深度学习的模型训练的时候的参数：学习率在哪儿设置？

问题

滚动训练报错NaTType does not support

https://bigquant.com/experimentshare/3ca7d2657bbb411b9a0f4c908d3a99a0

\

AIStudio 使用常见问题

导语

大部分初学AI-量化的同学做选股策略的做法都是简单粗暴将全市场的股票数据都放入模型训练， 然后企图训练出一个万能模型-图灵机， 寄希望于仅仅只通过暴力的数据挖掘，或者某些因子，就可以打造出一个适应于 任何行情的选股模型--圣杯。

但遗憾的是，A股市场中的数据噪音是很大的，不同的市场环境，不同的因子的选股效

用ChatGPT生成的ChatGPT教程

策略案例

https://bigquant.com/experimentshare/7f7021993a9f40149189be939e15c882

\

问题

比如在模型训练的时候，预测未来五日的收益率是用到当日的收盘价的，比如close_0。

那么在回测的时候取预测值用的是currentdate这个函数来，也就是取当天的预测值，但当日的收盘价还没有出来，怎么获得当日的预测值呢?还是实际上是获得前一日的预测值?

解答

日频回测里，主函数或者是handle_data函数，每根bar所处的时间点都是当前bar的收盘时间；模型里也是根据每天的价格进行预测的。至少在你描述的这里是不存在未来函数的情况