数据处理

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

导语

完成了数据处理，接下来就可利用平台集成的各算法进行模型训练和模型预测啦。本文将详细介绍“模型训练”、“模型预测”两大模块操作、原理。

模型训练和模型预测是AI策略区别于传统量化策略的核心，我们通过模型训练模块利用训练集因子和标注数据构建一个模型，并通过模型预测模型将预测集的因子数据输入模型进行预测。 \n

在模块列表的 机器学习 、 **深度学习

{{use_style}}

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

[https://bigquant.com/wiki/doc/demos-ecdRvuM1TU](https://bigquant.com/wiki/doc/demos-ecd

介绍

BigQuant是专业但易用的AI量化投资平台。如下知识可以帮助我们更好的开始策略开发。

如果没有特别说明，请在 AIStuido 3.0使用。

编程

BigQuant平台同时支持可视化编程开发和代码编程开发，并且两种模式可以无缝切换和融合

• 可视化：无需学习复杂的编程，支持低代码/零代码开发策略。BigQuant提供策略了海量模块、模版、学院、策略社区、知识库

m7 = M.derived_feature_extractor.v3(
        input_data=m1.data,
        features=m15.data,
        date_col='date',
        instrument_col='instrument',
        drop_na=False,
        remove_extra_columns=False,
        m_cached=False, # 去掉缓存
        user_functions={}
    )

摘要

近年来，随着投资者对于因子选股体系研究的深入，选股因子值的处理也在逐渐细化。本文主要对于选股因子的正交进行了讨论。之所以讨论因子的正交是因为在传统的多因子模型中，选取的因子之间往往存在着相关性，而这种相关性并不稳定。因此相关性的存在会复杂因子权重的分配。对于等权分配因子权重的多因子模型，由于因子之间相关性的存在，模型可能实际上对于某一因子有更高的暴露（例如，市值因子）。对于权重优化的模型，相关性的影响可能会更大。因此，本文考虑在构建因子的时候就对于相关性进行剔除从而达到更为可控的因子暴露。

选股因子截面相关性波动较大。以市值因子与反转因子为例，虽然两因子截面相关性长期来看均值较

摘要

估值因子在不同行业、不同规模上市公司间差异较大

估值因子是一类非常重要的风格因子，本报告中我们选取了十个具有代表性的估值因子——EP、EPcut、BP、SP、NCFP、OCFP、FCFP、DP、EV2EBITDA、PEG，首先经实证分析发现，不同一级行业间估值因子差异较大，并且随时间推移同一行业的估值水平也在不断变化。同时，估值因子在不同规模的上市公司间差异也比较大，近两年EP、EPcut、BP、SP、NCFP、OCFP、DP明显与市值因子呈现正相关性，FCFP、EV2EBITDA与市值因子略微负相关，PEG与市值因子相关性不明显。

**各估值因子间也

平台提供的所有所有数据、因子都是后复权的吗？

问题

想要单独计算和查看一个因子特征数据，比如 `sum(avg_turn_10 > 0.05, 20)`，应该怎么做？

视频教程

/wiki/static/upload/b1/b12c2ca5-40ca-4e7c-bf51-6f96a844080f.mp4

\

实现步骤

1. 我的策略 > 新建 > 可视化策略

2. 只保留如下四个模块，删除其余模块

   
   ![{w:100}{w:100}{w:100}](/wik

没有找到类似的函数，类似的就一个mean求平均值，为什么没有函数文档啊？

问题

找不到依赖的列：close_0avg_turn_0

选择换手率因子，是为了找流动性较好的股票，股性较为活跃。 选取资金流超大单因子，是为了增加短期买点的爆发力。 因为超大单因子的ic均值很高，而且存在一定的方向性，在牛市中有较为稳健的风格收益。

怎么解决呀！少了那个定义呀

https://bigquant.com/experimentshare/c73ca37a718648c7ac0951e25dee42fa

![{w:100

问题

如下图，请教一下各位大佬，因子分析里面的收益价格，在因子分析的时候是取当天的还是第二天的？

看了alphalens的介绍，这里应该要取第二天的数据，不知道平台的因子分析里面有做了处理没有

策略

\

问题

因子分析模块中，如何设定参与因子分析的股票数量

问题

基础因子只有close0 ---close_120,

使用 shift(close0 ,250),

显示如下,

Q:

怎样获取close_250因子

\

请知道原因的老师指导一下，谢谢

问题

问题描述

<ValueError: cannot reindex from a duplicate axis>，如何解决

问题截图

问题

在量化投资中，经常犯的错误有未来函数、过度拟合、偷价漏价、幸存者偏差等，我想知道BigQuant平台是如何处理幸存者偏差这个问题的？

问题

问题描述

ZScoreNorm标准化后输出全为空值？

问题策略

https://bigquant.com/experimentshare/e91b4eed4f534753a3692800f33a4737

\

问题

pandas.core.computation.ops.UndefinedVariableError: name ‘close_0’ is not defined

解答

是没有list_days_0这个因子吗？

问题

请问怎么用data. history读取基金数据？我在文档找到context. future_symbol context. symbols 但是没有看到基金。

\

解答

问：已经用DataSource读取了基金数据，后面只需要轮动使用其中部分数据，这个要怎么使用？需要获取基金数据的时间窗口，应该怎么弄？

答：回测里面也可以用DataSource读取相关数据，时间窗口用 start_date 和 end_date 确定。如果不想在回测内部里用 DataSource，可以把外面读取到 DataFrame 传给回测模块，然后进行 DataFrame的切片操作。

\

问题

解答

按日期分组，实际上就是groupby(‘date’) 然后对每天的数据进行一个处理。

我尝试构建一个模板，左边的输入特征是用来过滤股票的，右边的输入特征是准备用来使用stockranker进行优化的指标。通过连接数据模块M12实现了数据过滤的股票代码和右边的输入特征的连接，但是如果需要进一步对数据j进行标准化如何处理？尝试用M13模块标准化，发现M13和M12模块导出的结果是一样的并没有标准化。谢谢各位老师和大神！

[https://bigquant.com/experimentshare/72612668e0bb439c961f2be0de113e22](https://bigquant.com/experimentshare/72612668e0bb439c961f2be

问题

问题描述

<KeyError: 'datetime'>，如何解决

问题截图

\

问题

滚动训练报错NaTType does not support

https://bigquant.com/experimentshare/3ca7d2657bbb411b9a0f4c908d3a99a0

\

问题

有无办法将回测结果的每日收益率写入csv

解答

df = m19.raw_perf.read_df() df['algo_dailyret'] = (df['algorithm_period_return']+1).pct_change().fillna(0).to_frame()