决策树

\

背景

机器学习的研究领域包括有监督学习（Supervised Learning），无监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）等诸多内容。针对有监督学习和半监督学习，都需要一定数量的标注数据，也就是说在训练模型的时候，全部或者部分数据需要带上相应的标签才能进行模型的训练。但是在实际的业务场景或者生产环境中，工作人员获得样本的成本其实是不低的，甚至在某些时候是相对较高的，那么如何通过较少成本来获得较大价值的标注数据，进一步地提升

你是否曾经听到过人们谈论机器学习，而你却对其含义只有一个模糊的概念呢？你是否已经厌倦了在和同事对话时只能点头呢？现在，让我们一起来改变这个现状吧！

这篇指南是为那些对机器学习感兴趣，但又不知从哪里开始的人而写的。我猜有很多人曾经尝试着阅读机器学习的维基百科词条，但是读着读着倍感挫折，然后直接放弃，希望能有人给出一个更直观的解释。本文就是你们想要的东西。

本文的写作目标是让任何人都能看懂，这意味着文中有大量的概括。但是那又如何呢？只要能让读者对机器学习更感兴趣，这篇文章的任务也就完成了。

什么是机器学习？

机器学习是一种概念：不需要写任何与问题有关的特定代码，泛型算法（Gene

XGBoost（eXtreme Gradient Boosting）是一个高效的机器学习库，也是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的集成学习算法，专为提升树算法的性能和速度而设计。它实现了梯度提升框架，并支持回归、分类及排序的问题。XGBoost通过优化计算资源使用和提供高度可配置的参数，成为数据科学竞赛和实际应用中的热门选择。

核心概念

XG

本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。 在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式

导语

本文介绍了如何用BigQuant的策略生成器进行StockRanker模型可视化。

使用StockRanker模型

在模型训练之后即可看到模型可视化输出, 包括特征重要性、以及树的分支情况:

[https://bigquant.com/codesharev2/

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

策略案例

https://bigquant.com/experimentshare/9426627188af4f488644532c01328c14

\

摘要

机器学习系列报告

本系列报告试图系统全面性的介绍各种不同的机器学习方法，并且结合具体的在投资研究领域应用实例、交易策略及code示例，说明其应用情景和实现方法。机器学习的方法可以分为以下几类：监督学习、无监督学习、深度学习及其他机器学习方法（例如强化学习），对应到具体的模型上数量则更是繁多，目前大部分机器学习模型并未广泛的应用在投研领域，因此本系列主要偏重于在投研领域有应用潜力的模型及方法。此篇将以介绍监督学习方法为主

监督学习模型之回归类模型及其应用

与普通线性回归不同，监督学习中的惩罚回归模型和非参数回归，可以分别用于处理输入变量中存在大量线性相关性关系

摘要

随机森林模型是以Bagging并行方法集成决策树而得到的强分类器

随机森林（RandomForest）是近年来备受青睐的机器学习方法之一。随机森林是以Bagging并行方法集成一系列决策树而训练出的强分类器，可以较好地应用于分类和回归的不同场景下。本篇报告我们将对随机森林模型进行系统性的测试，并分析它们应用于多因子选股的异同，希望对本领域的投资者产生有实用意义的参考价值。

随机森林模型的构建：7阶段样本内训练与交叉验证、样本外测试

随机森林的构建包括特征和标签提取、特征预处理、样本内训练、交叉验证和样本外测试等步骤。最终在每个月底可以产生对全部个股下期上涨概

论文

来源：The Journal of Portfolio Management December 8,2021

标题：Trending Fast and Slow

作者：Eddie Cheng, Nazar Kostyuchyk, Wai Lee, Pai Liu, Chenfei Ma

前言

时序动量策略的基础是假设过去的收益对未来的收益有一定程度的预测能力。通常，一个策略是通过在上涨阶段建立多头头寸，在下跌阶段建立空头头寸来实现的。学术文献文献表明，最近过去的资产收益与未来收益正相关。时序动量策略的有效性在多个时期、许多市场和许多资产中得到了证明。

摘要

主要结论

决策树及Boosting思想是理解Xgboost算法不可或缺的部分Xgboost算法是Boosting（集成）算法的高效体现。集成学习方法是将多个学习模型组合，使得组成的模型具有更强的泛化能力。

另外，Xgboost的基模型一般选择均为CART分类回归树，其逻辑清晰且理论优美，适合用于金融领域。报告将首先介绍CART分类回归树与boosting思想，再衍生至高效实现其思想的Xgboost。

将全市场收益率按大小顺序等分为三类，本文利用Xgboost算法对股票收益率所属类别作出预测与传统多因子模型类似，算法试图拟合多个因子与股票收益率之间的规律关系，不同的是

作者：James Le 编译：caoxiyang

在机器学习中，有一个叫做“世上没有免费午餐”的定理(NFL)。简而言之，我们无法找到一个放之四海而皆准的最优方案，这一点对于监督学习(即预测建模)尤为重要。例如，你不能说神经网络总是比决策树好，反之亦然。因为其中有很多因素在起作用，比如数据集的大小和结构。

因此，您应该针对您的问题尝试多种不同的算法，同时，保留一组数据，即“测试集”来评估性能并选