决策树

\

背景

机器学习的研究领域包括有监督学习（Supervised Learning），无监督学习（Unsupervised Learning），半监督学习（Semi-supervised Learning）和强化学习（Reinforcement Learning）等诸多内容。针对有监督学习和半监督学习，都需要一定数量的标注数据，也就是说在训练模型的时候，全部或者部分数据需要带上相应的标签才能进行模型的训练。但是在实际的业务场景或者生产环境中，工作人员获得样本的成本其实是不低的，甚至在某些时候是相对较高的，那么如何通过较少成本来获得较大价值的标注数据，进一步地提升

你是否曾经听到过人们谈论机器学习，而你却对其含义只有一个模糊的概念呢？你是否已经厌倦了在和同事对话时只能点头呢？现在，让我们一起来改变这个现状吧！

这篇指南是为那些对机器学习感兴趣，但又不知从哪里开始的人而写的。我猜有很多人曾经尝试着阅读机器学习的维基百科词条，但是读着读着倍感挫折，然后直接放弃，希望能有人给出一个更直观的解释。本文就是你们想要的东西。

本文的写作目标是让任何人都能看懂，这意味着文中有大量的概括。但是那又如何呢？只要能让读者对机器学习更感兴趣，这篇文章的任务也就完成了。

什么是机器学习？

机器学习是一种概念：不需要写任何与问题有关的特定代码，泛型算法（Gene

XGBoost（eXtreme Gradient Boosting）是一个高效的机器学习库，也是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的集成学习算法，专为提升树算法的性能和速度而设计。它实现了梯度提升框架，并支持回归、分类及排序的问题。XGBoost通过优化计算资源使用和提供高度可配置的参数，成为数据科学竞赛和实际应用中的热门选择。

核心概念

XG

导语

本文介绍了如何用BigQuant的策略生成器进行StockRanker模型可视化。

使用StockRanker模型

在模型训练之后即可看到模型可视化输出, 包括特征重要性、以及树的分支情况:

[https://bigquant.com/codesharev2/

本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。 在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式

更新

本文内容对应旧版平台与旧版资源，其内容不再适合最新版平台，请查看新版平台的使用说明

新版量化开发IDE（AIStudio）：

https://bigquant.com/wiki/doc/aistudio-aiide-NzAjgKapzW

新版模版策略：

https://bigquant.com/wiki/doc/demos-ecdRvuM1TU

新版数据平

在AI量化开发中，技术和方法的重要性可能会根据应用场景和策略的具体需求而有所不同。以下列举一些在AI量化领域普遍认为重要的技术和方法。

1. 线性回归 (Linear Regression)
2. 逻辑回归 (Logistic Regression)
3. 决策树 (Decision Trees)
4. 随机森林 (Random Forests)
5. 梯度提升机 (Gradient Boosting Machines, 如 XGBoost)
6. 支持向量机 (Support Vector Machines)
7. **神经网

这几年是机器学习蓬勃发展的时代，支持向量机、决策树、隐式马尔科夫、神经网络、深度学习等名词很多人都可以随口说出几个来，它们在各个领域也确实有很成功的应用。而金融作为人们潜意识中的所谓“食物链上的顶端”，这些领域的研究者也很想把自己的模型往金融上靠。而很多学生，或许自己并没有怎么学习过这些模型，也很喜欢问“某某模型在交易股票上到底有没有用”这类问题。

时间序列分析是统计学里面的一大块，一般本科和研究生低年级会学习经典的时间序列分析，比如ARMA, GARCH, State-space Model, Vector ARMA等，这些跟机器学习的模型当然是很不一样的。

金融市场股票和期货的数据本质

人工智能是最近很火热的话题，有的人似乎有幻觉，未来人类所有问题都可以交给电脑来处理。未来是否如此难以预知。但是在作出预测之前，我们有必要了解究竟什么是人工智能。

机器如何有人的智能呢？方法就是机器学习。机器学习不是一个新概念，很早之前就诞生了决策树、SVM、神经网络等方法。战胜了柯洁的AlphaGo和战胜了AlphaGo的AlphaZero都是神经网络算法中的深度学习。深度学习最早提出来之后，并没有对人工智能产生很显著的推进，因为它依赖于大量样本和大量计算。但随着互联网时代数据的大量产生、大量积累，深度学习重获新生。

神经网络不是万金油，它也只是解决某些问题的一种方法。什么时候我们需要它呢

决策树是一个非常直观的算法。

通俗理解

树形结构：从根（root）节点开始，一个个的节点（node）进行判断，最终到到达叶节点（leaf）进行决策。

如何判断：一个节点（包括根节点）就是一个特征，通过特征的取值不同来判断，到达的叶节点就是输出的标签值。

**

**

数学原理

决策树可以认为是if-then规则的集合，也可以认为是定义在特征空间和类空间上的条件概率分布。学习（由训练数据估计条件概率分布）时，用损失函数最小化的原则建立决策树模型（和logistic回归、SVM一样）。假设X是表示特征的随机变量，Y是表示类的随机变量，那么

0.相关概念

**分类器：**分类器就是给定一个样本的数据，判定这个样本属于哪个类别的算法。例如在股票涨跌预测中，我们认为前一天的交易量和收盘价对于第二天的涨跌是有影响的，那么分类器就是通过样本的交易量和收盘价预测第二天的涨跌情况的算法。

**分裂：**在决策树的训练过程中，需要一次次的将训练数据集分裂成两个子数据集，这个过程就叫做分裂。

**特征：**在分类问题中，输入到分类器中的数据叫做特征。以上面的股票涨跌预测问题为例，特征就是前一天的交易量和收盘价。

**待选特征：**在决策树的构建过程中，需要按照一定的次序从全部的特征中选取特征。待选特征就是

写在前面：

chentq关于XGBoost的slides，图文并茂，浅显易懂。

一句话简述：

先从有监督学习，回归树等基本概念讲解，然后引入Gradient Boosting的具体内容。

Review of key concepts of supervised learning

![](data:image/svg+xml;utf8,<svg%20xm

写在前面：

chentq关于XGBoost的slides，图文并茂，浅显易懂。

一句话简述：

先从有监督学习，回归树等基本概念讲解，然后引入Gradient Boosting的具体内容。

Review of key concepts of supervised learning

![](data:image/svg+xml;utf8,<svg%20xm

在本文中，我将介绍机器学习中关于聚类的算法。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[聚类-上​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.com/2018/07/27/%25E8%2581%259A%25E7%25B1%2

摘要

机器学习算法被描述为学习一个目标函数 (f)，它最好地将输入变量 (X) 映射到输出变量 (Y)：Y = f(X)

最常见的机器学习类型是学习映射 Y = f(X) 以针对新 X 预测 Y。这称为预测建模或预测分析，目标就是要做出最准确的预测。

十种机器学习算法

TOP MACHINE LEARNING ALGORITHMS YOU SHOULD KNOW

这几天重新梳理了一边GBM，看了很多篇经典论文，又看了xgboost相关的东西，总结分享一下，更好的观看体验点击这里。

![](data:image/svg+xml;utf8,<svg%20xmln

策略案例

https://bigquant.com/experimentshare/9426627188af4f488644532c01328c14

\

摘要

机器学习系列报告

本系列报告试图系统全面性的介绍各种不同的机器学习方法，并且结合具体的在投资研究领域应用实例、交易策略及code示例，说明其应用情景和实现方法。机器学习的方法可以分为以下几类：监督学习、无监督学习、深度学习及其他机器学习方法（例如强化学习），对应到具体的模型上数量则更是繁多，目前大部分机器学习模型并未广泛的应用在投研领域，因此本系列主要偏重于在投研领域有应用潜力的模型及方法。此篇将以介绍监督学习方法为主

监督学习模型之回归类模型及其应用

与普通线性回归不同，监督学习中的惩罚回归模型和非参数回归，可以分别用于处理输入变量中存在大量线性相关性关系

摘要

随机森林模型是以Bagging并行方法集成决策树而得到的强分类器

随机森林（RandomForest）是近年来备受青睐的机器学习方法之一。随机森林是以Bagging并行方法集成一系列决策树而训练出的强分类器，可以较好地应用于分类和回归的不同场景下。本篇报告我们将对随机森林模型进行系统性的测试，并分析它们应用于多因子选股的异同，希望对本领域的投资者产生有实用意义的参考价值。

随机森林模型的构建：7阶段样本内训练与交叉验证、样本外测试

随机森林的构建包括特征和标签提取、特征预处理、样本内训练、交叉验证和样本外测试等步骤。最终在每个月底可以产生对全部个股下期上涨概

论文

来源：The Journal of Portfolio Management December 8,2021

标题：Trending Fast and Slow

作者：Eddie Cheng, Nazar Kostyuchyk, Wai Lee, Pai Liu, Chenfei Ma

前言

时序动量策略的基础是假设过去的收益对未来的收益有一定程度的预测能力。通常，一个策略是通过在上涨阶段建立多头头寸，在下跌阶段建立空头头寸来实现的。学术文献文献表明，最近过去的资产收益与未来收益正相关。时序动量策略的有效性在多个时期、许多市场和许多资产中得到了证明。

摘要

主要结论

决策树及Boosting思想是理解Xgboost算法不可或缺的部分Xgboost算法是Boosting（集成）算法的高效体现。集成学习方法是将多个学习模型组合，使得组成的模型具有更强的泛化能力。

另外，Xgboost的基模型一般选择均为CART分类回归树，其逻辑清晰且理论优美，适合用于金融领域。报告将首先介绍CART分类回归树与boosting思想，再衍生至高效实现其思想的Xgboost。

将全市场收益率按大小顺序等分为三类，本文利用Xgboost算法对股票收益率所属类别作出预测与传统多因子模型类似，算法试图拟合多个因子与股票收益率之间的规律关系，不同的是

本文详细介绍了机器学习方法——决策树。

文章内容包括决策树的定义、结构、伪代码、划分标准、特殊值处理以及多变量决策树。

因为知乎中对于markdown的支持太差了，本文不在知乎直接排版，所以阅读体验不是很好，若想获得更好的阅读体验，请点击下文链接进行阅读。

[决策树​chrer.com ](https://link.zhihu.com/?target=http%3A//chrer.c

作者：James Le 编译：caoxiyang

在机器学习中，有一个叫做“世上没有免费午餐”的定理(NFL)。简而言之，我们无法找到一个放之四海而皆准的最优方案，这一点对于监督学习(即预测建模)尤为重要。例如，你不能说神经网络总是比决策树好，反之亦然。因为其中有很多因素在起作用，比如数据集的大小和结构。

因此，您应该针对您的问题尝试多种不同的算法，同时，保留一组数据，即“测试集”来评估性能并选