起源于 1901 年 Pearson 的主成分分析（PCA），通过对协方差矩阵的特征值分解或 SVD 分解，通过对特征值排序选取相应的特征向量，将高维特征映射到低维上，达到降维的目的。用于数据预处理。

1998 年，降维算法PCA首次与核方法结合，先将数据集通过核函数（Kernel Function）映射到高维空间，然后在高维特征空间中做 PCA。核 PCA 有更好的降维效果。

2000 年，始于局部线性嵌入（Locally Linear Embedding）的流形学习（Manifold Learning）引领了降维算法的新浪潮。

2008 年 ，t-SNE 作为非线性降维方法，可更好地

https://bigquant.com/experimentshare/fa4b0df66251484196ca7588a9505f75

\

预处理数据

数据预处理在众多深度学习算法中都起着重要作用，实际上，对数据进行适当处理后，很多算法能够发挥最佳效果。然而面对各种各样的数据，很多时候我们不知道怎么样才能针对性进行处理。本文介绍了Python下的机器学习工具scikit-learn。其中，“sklearn.preprocessing”模块提供了几种常见的函数和转换类，把原始的特征向量变得更适合估计器使用。

[https://bigquant.com/experimentshare/45cc0fe6c95b43848f64032bbef0a440](https://bigquant.com/experimentshare/

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

/* 使用DAI SQL为量化模型预测生成标签数据。标签反映了未来5日的收益率，并且被离散化为20个桶，每个桶代表一个收益率范围。这样，我们就可以训练模型来预测未来的收益率范围，而不仅仅是具体的收益率值。

1. 首先定义了一个名为label_data的临时表，用于计算和存储未来5日收益率，其1%和99%分位数，以及离散化后的收益率（被分为20个桶，每个桶代表一个收益率范围）。
2. 对未来5日收益率进行了截断处理，只保留在1%和99%分位数之间的值。
3. 选择了标签值不为空，并且非涨跌停（未来一天的最高价不等于最低价）的数据
4. 从这个临时表中选择了日期、股票代码和标签字段，以供进模

https://bigquant.com/codeshare/e91330dd-e6b5-40ca-ba6a-b76050db6c40

\

问题

https://bigquant.com/experimentshare/3aff241f03194816912c850f1f118ab6

\

\

https://bigquant.com/experimentshare/75aff243f241447da1d1994ed9d29c44

如何实现分类任务啊，怎么在原有策略上修改

见 链接：

https://bigquant.com/experimentshare/e939e9c9a1ef43ec8f267205b530219b

\

无论在数据分析还是机器学习中，数据预处理都是非常麻烦枯燥但又必须去做的步骤。

其实数据预处理和特征工程，两者并无明显的界限，都是为了更好的探索数据集的结构，获得更多的信息，将数据送入模型中之前进行整理。可以说数据预处理是初级的特征处理，特征工程是高级的特征处理，也可以说这里的预处理过程是广义的，包含所有的建模前的数据预处理过程。

探索数据集（探索性数据分析EDA）

1、了解数据集的背景知识

（1）领域知识

（2）训练集、验证集、测试集同分布问题

验证集和测试集要同一分布，这是一个评估指标设定问题

比如你的验证集是美国房价，测试集是

Pyhon机器学习中必用到的是scikit-learn包，这个包的基本功能主要分为六大部分:分类、回归、聚类、数据降维、模型选择、数据预处理。因此，在机器学习前，需要在环境中使用以下命令，安装scikit-learn包。

conda install scikit-learn

另外，贯穿机器学习的几个概念也是要熟知的。主要为：特征、标签、训练数据、测试数据。在以后的各种模型学习中都会提及。

特征（features）：数据的属性，或者可以认为是事物的固有属性

标签（labels）：根据数据的属性，我们对数据的预测结果。或者是我们根据事物固有属性产生的认知、结论。

一般我们需要构建特征到标

机器学习流水线

预处理过程

探索数据集、数据预处理、特征工程。

——见相关笔记

构建模型过程

包括构建模型的预处理，选择算法与模型优化，而模型优化涉及评估验证和调参。

预测过程

系统设计指导原则

快速搭建你的第一个系统，然后开始迭代。而不是妄图一口吃成个胖子，一下就能搭建出复杂而完美的系统。

不断地验证，不断地调试，不要妄图一下就写出一个完美的模型，而宁愿一开始比较粗糙，比较简单，但迅速实现，然后一步一步的误差分析和优化而使它变好。

构建模型的预处理过程

1、提取特征集和标签

label

摘要

特征选择是人工智能选股策略的重要步骤，能够提升基学习器的预测效果

特征选择是机器学习数据预处理环节的重要步骤，核心思想是从全体特征中选择一组优质的子集作为输入训练集，从而提升模型的学习和预测效果。我们将特征选择方法应用于多因子选股，发现特征选择对逻辑回归_6m、XGBoost_6m基学习器的预测效果有一定提升。我们以全A股为股票池，以沪深300和中证500为基准，构建行业中性和市值中性的选股策略。基于F值和互信息的方法对于逻辑回归_6m、XGBoost_6m、XGBoost_72m基学习器的回测表现具有明显的提升效果。

**随着入选特征数的增加，模型预测效果先上升后

怎样使用因子库里的因子作为特征？

这个因子id没法直接使用，

只能复制因子的表达式使用吗？

请问各位大佬，如何对因子看板中的因子进行批量因子分析？

问题

运行资源充足，但总是自动重启，100%复现

https://bigquant.com/experimentshare/721a8a757c1941e3b06b628c35279ce3

解答

可能是训练集数据存在异常值导致的，对数据进行预处理，可以参考以下策略

\

策略

[https://bigquant.com/experimentshare/596e737dfe9b423095685612871eed

问题

预测数据前我想做个自定义筛选，策略中只是举例，但我想实现这个功能，应该怎么把DataFrame输入模型，目前的报错是

解答

这里需要把dataframe格式的数据转换成DataSource的类型，用如下代码就可以了。 data=DataSource.write_df(df),

问题

回归问题的标签设置

\

问题

例如我要在特征中加入一个因子：统计30日内收益小于5%的天数，该怎么写

解答

策略案例

https://bigquant.com/experimentshare/44cc116a1dad4c37983b9be35da208ee

\

摘要

特征选择是人工智能选股策略的重要步骤，能够提升基学习器的预测效果特征选择是机器学习数据预处理环节的重要步骤，核心思想是从全体特征中选择一组优质的子集作为输入训练集，从而提升模型的学习和预测效果。 我们将特征选择方法应用于多因子选股，发现特征选择对逻辑回归_6m、基学习器的预测效果有一定提升。我们以全A股为股票池，以沪深300和中证500为基准，构建行业中性和市值中性的选股策略。基于F值和互信息的方法对于逻辑回归_6m、XGBoost_6m、基学习器的回测表现具有明显的提升效果。 随着入选特征数的增加，模型预测效果先上升后下降特征个数并非越多越好。以逻辑回归_6m和XGBoost_

数据预处理是任何机器学习模型的基本要求。预处理数据意味着使用机器学习模型易于读取的数据。在本文中，我们将讨论数据预处理的基础知识以及如何使数据适合机器学习模型。

什么是数据预处理？

数据预处理是准备原始数据并使其适用于机器学习模型的过程。数据预处理包括数据清理，将数据提供给机器学习模型。数据清洗后，数据预处理需要将数据转换为机器学习模型可以理解的格式。

为什么需要数据预处理？

数据预处理主要用于以下方面：

• 准确的数据：机器学习模型可读的准确的量化数据