本文将带你遍历机器学习领域最受欢迎的算法。系统地了解这些算法有助于进一步掌握机器学习。当然，本文收录的算法并不完全，分类的方式也不唯一。不过，看完这篇文章后，下次再有算法提起，你想不起它长处和用处的可能性就很低了。本文还附有两张算法思维导图供学习使用。 在本文中，我将提供两种分类机器学习算法的方法。一是根据学习方式分类，二是根据类似的形式或功能分类。这两种方法都很有用，不过，本文将侧重后者，也就是根据类似的形式

几天前，我着手解决一个实际问题——大型超市销售问题。在使用了几个简单模型做了一些特征工程之后，我在排行榜上名列第 219 名。

虽然结果不错，但是我还是想做得更好。于是，我开始研究可以提高分数的优化方法。结果我果然找到了一个，它叫遗传算法。在把它应用到超市销售问题之后，最终我的分数在排行榜上一下跃居前列。

![{w:100%}{w:100}{w:100}{w:100}](/

#逻辑回归

这也称为 logit 回归。逻辑回归是一种基于过去数据预测事件二元结果的分析方法。

当因变量是定性的并且取二进制值时，它被称为二分变量。

如果我们使用线性回归来预测这样的变量，它将产生 0 到 1 范围之外的值。此外，由于二分变量只能取两个值，残差不会围绕预测线呈正态分布。

Logistic 回归是一种非线性模型，它产生一条逻辑曲线，其中值限制为 0 和 1。

将此概率与阈值 0.5 进行比较，以决定将数据最终分类为一个类别。因此，如果一个类的概率大于 0.5，则将其标记为 1，否则标记为 0。

金融中逻辑回归的用例之一是它可以用来预测股票的表现。

#分位数回归

XGBoost算法的概念

树模型

机器学习模型可以简单分为传统机器学习模型和深度学习模型，传统的机器学习又可以根据模型的表达式分为树模型和线性模型。

Boosting模型

树模型以决策树为基础，在之上衍生出了各种算法，从集成学习的角度考虑，树模型可以分为 Bagging 和 Boosting 模型，Boosting 方法是另一种通过弱学习器提高准确度的方法，和 Bagging 方法不同的是，Boosting 每次根据之前模型的表现，进行新的模型的训练，以改变训练数据的权值和弱分类器的组合方式，得到最后的强学习器。

GBDT

对于

今天编辑部带来关于在基于金融时间序列的预测模型案例，我们将通过神经网络来增强一个经典的移动平均策略，并表明它真的是有所改善相对原策略。

基于技术分析的投资策略

但这种交易策略有一个主要的缺陷：在震荡行情中，策略没有过多的触及信号并交易，这样我们也很难赚到钱。 ![image|690x376](/community/uploads/default/original/3X

（！！！超多gif图片预警）

（本文旨在优化一维函数，实际上模型参数有数百万维以上，差距很大，因此本文最好作为辅助法的理解，而非对算法优劣的判断依据。）

8.13更新算法6：二阶算法牛顿法，算法7：牛顿法+正则化

在深度学习中，有很多种优化算法，这些算法需要在极高维度（通常参数有数百万个以上）也即数百万维的空间进行梯度下降，从最开始的初始点开始，寻找最优化的参数，通常这一过程可能会遇到多种的情况，诸如：

1.提前遇到局部最小值从而卡住，再也找不到全局最小值了

2.遇到极为平坦的地方：“平原”，在这里梯度极小，经过多次迭代也无法离开。同理，鞍点也是一样的，在鞍点处，各方向的梯度极

金融数据由于太易过拟合，在机器学习建模中通常对降低variance的需求会比降低bias要高很多，这也是为什么通常线性模型与树模型效果会比较稳定，而bagging又比boosting似乎要效果更佳。

在Bagging类的机器学习算法中Random Forest无疑是很常见也是大家使用的比较多的一个模型，据说高盛就很喜欢使用RF。下面文兄以RF做分类问题为例，简单介绍几个小notes，来源于经验与阅读，供大家参考，其中参数名称以sklearn中RandomForestClassifier函数为例：

1. 首先，在使用模型训练之前可以先依据features_importances去筛选feat

K最近邻（K-Nearest Neighbors, KNN）是一种基于实例的学习方法（instance-based learning）

通俗理解

就是选择最近邻，具体来说，就是选择那些在特征空间里“距离”被预测样本最近的K个样本，根据他们的标签值来决定要预测的样本的标签值是什么。

其实所谓最近，实际是最相似。举例：比如在现实中，预测某一个房子的价格，就参考最相似的K个房子的价格，比如距离最近、户型最相似等等。

原理

1、分类和回归的规则：

如果标签是离散变量（分类问题），就投票决定类别；

如果是连续变量（回归问题），就看它们的平均取

很简单的算法，却蕴含着机器学习中的一些基本思想，包括梯度下降法、最大似然估计的原理等。很多其他机器学习算法，都是在线性回归算法的基本思路之上修改得来。

和KNN的区别：KNN实例即模型，不需训练；而线性模型等很多算法，则是通过训练计算参数获得一个函数，再通过函数进行预测。

通俗理解

就是以各特征值为自变量，待预测的标签值为因变量，通过机器学习的训练过程获得各自变量的最佳参数，这样就构成一个线性组合的函数，用这个函数就可以预测某一个样本的标签值。（输入其特征值，输出其标签值）这也是很多机器学习算法的训练基本思路。

举例：用距中心区距离、户型、周边设施数量、面积等自变量，去预

支持向量机最初也是用于分类任务，基本思路和logistic回归非常类似。但它一般比logistic回归的表现得好，而且可以解决非线性分类问题。

通俗理解

关于分类任务，可以看作在特征空间中，找到一个超平面（hyperplane，在二维特征空间就是一条分割线，三维就是一个面），将不同类的样本分隔开。能把不同类训练样本分隔开的超平面可能有很多个，一个超平面对应一个预测函数，所以找到合适参数的预测函数，也就是找到了合适的超平面。

那么怎么找这个合适的参数/预测函数/超平面呢？在logistic回归中，我们通过计算选择能让平方差损失函数最小化的那些参数作为这个合适的参数。虽然log

通俗理解

基于概率论中的贝叶斯定理（Bayes' theorem），贝叶斯定理简单来说就是用先验概率和条件概率求出另外的条件概率。

其实对于所有机器学习问题，都可以从两个角度考虑模型的学习（训练过程）。

一个是将模型看作一个预测函数，训练过程就是令损失函数最小化以求得相应的参数w，预测过程就是输入新样本的特征值x，输出标签值y。

另一个则是将模型看作一个概率密度函数，它可以表示数据的分布，训练过程就是概率分布的参数估计过程，预测过程就是求条件概率P(y=？|x)。在特征值取值为x的条件下，y值取哪个值条件概率最大，就属于哪一类。

而所谓贝叶斯算法，就是使用贝叶斯规则来求

logistic回归可译为逻辑斯蒂回归、对数几率回归。与线性回归同属于广义线性模型。在分类问题中，可以作为一个优先选择的基准算法。

与简单线性回归的区别

用途不同：用于分类（二分类）

假设函数改变：添加了一个转换函数（转换输出）

目标函数改变：重新定义了 cost function（由平方差损失函数变为交叉熵损失函数）

通俗理解

logistic回归就是在线性回归的基础上，用一个转换函数将连续型的输出转换为离散型的输出，从而将用作回归问题的线性回归模型变成解决分类问题的模型。

比如在二维特征空间内，就可以简单表现为一条将不同类型数据分隔开的直

前面我们已经把最速下降法的内容介绍的差不多了，下面我们要做的就是介绍这个真正的主角了——共轭梯度法。这个优化方法算是活跃在优化世界的一个经典算法了，它的计算速度还算不错，方法也算相对简单——真的是相对，因为比起梯度下降它还是复杂不少，但是和其他的一些方法比较，那就不算难了。

好了，我们直奔主题。在番外篇的开篇我们就提到了机器学习的三个部件。优化算法作为一个黑盒，一般来说是不为人所知的。所以我们的重点就是揭开它的面纱，尽可能清楚地阐述它的原理。

更高级的约束

前面在最速下降法中，我们提到了最速下降法的一个性质——那就是相邻两次的优化方向是正交的。乍一听上去，总感觉这个性质很酷，但是看

策略案例

https://bigquant.com/experimentshare/723e10568f294571924b89f3953ce20b

\

摘要

人工智能系列之59：强化学习初探与DQN择时

本文介绍强化学习基础概念和经典算法，并构建股指日频择时策略。有别于传统监督学习对真实标签的拟合，强化学习不存在标准答案，而是针对长期目标的试错学习。其核心思想是个体通过与环境交互，从反馈的奖励信号中进行学习，数学上使用马尔可夫决策过程刻画。本文围绕基于价值的方法和基于策略的方法两个方向，依次介绍蒙特卡洛、时序差分、Sarsa、Q学习、DQN、策略梯度、REINFORCE、演员-评委算法。使用DQN构建上证指数择时策略，原始超参数样本外2017年至2022年6月年化超额收益率18.2%，夏普比率1.31，年均调

摘 要

人工智能系列之59：强化学习初探与DQN择时

本文介绍强化学习基础概念和经典算法，并构建股指日频择时策略。有别于传统监督学习对真实标签的拟合，强化学习不存在标准答案，而是针对长期目标的试错学习。其核心思想是个体通过与环境交互，从反馈的奖励信号中进行学习，数学上使用马尔可夫决策过程刻画。本文围绕基于价值的方法和基于策略的方法两个方向，依次介绍蒙特卡洛、时序差分、Sarsa、Q学习、DQN、策略梯度、REINFORCE、演员-评委算法。使用DQN构建上证指数择时策略，原始超参数样本外2017年至2022年6月年化超额收益率18.2%，夏普比率1.31，年均调仓42.0次，

摘要

人工智能和机器学习并不神秘

人工智能和机器学习方法并不神秘，其本质是以数理模型为核心工具，结合控制论、认知心理学等其它学科的究成果，最终由计算机系统模拟人类的感知、推理、学习、决策等功能。理解常用的机器学习算法，有助于澄清对人工智能的种种误解和偏见，帮助我们更清晰地认识人工智能的长处和局限，从而更合理、有效地将人工智能运用于投资领域。

机器“学习”的对象是客观存在的规律

机器学习的对象是某种客观存在的规律。这种规律可以非常浅显，比如教给计算机勾股定理，机器就拥有了计算直角三角形边长的智慧。规律也可以相当复杂，如指纹识别系统学习的是不同指纹图像之间差异的规律，

第二讲 MARL中经典算法的简单介绍

在这一讲中，我们会介绍一下在MARL中常见的一些算法，并进行简单的归类与整理，同时简单地介绍下这些经典算法解决的是什么类型的问题，出发点是什么等等背景。并在之后的几讲中对提出算法的paper进行更详细的介绍，同时会在github上开个仓库 ，简单地实现一下这些经典算法。

\

MAS背景回顾

距离上次的第一讲已有些时间，这里就重新简单地介绍一下多智能体（MAS）的背景。如果用一句话简单地介绍MAS的话，那么其实可以这么说：考虑多个agent之间交互的系统。MAS很大部分是基于single agent进行数量上的扩展，并在扩展之后考虑agen

Caffe中还有一个很重要的部分，那就是优化算法。在专栏的一开始，我们就从优化入手，聊了两个优化算法——随机梯度下降和动量（感谢众多知友指出我之前翻译的错误……）。下面我们沿着前面的步伐，继续前进。

写在前面

说实话设计优化算法和解释优化算法的合理性实际上是一个不太容易的事情。这里我们主要关注算法的实际效果，因此我们对于算法的理论推导就暂时放在一边了。而关于理论，我们只简单讲两句，不做过多的深入，重点是看算法在我们设计的场景下的表现。

非凸函数

之前在我们的算法演示中，我们展示的函数都是凸函数。凸函数有哪些好处，谁来讲一讲？

![](https://pic3.zhimg