回测的艺术_Aspect Capital_对冲基金文章翻译计划033
由polll创建，最终由polll 被浏览 24 用户
原文章来自Aspect Capital网站，本文为原文章的中文翻译。本文仅用于交流学习使用，不得用于商业用途。如对相关著作人造成侵害，请立即联系译者及时删除。
原文标题：The Art of Simulation
原文时间：2017年2月
翻译：雷闻
摘要
能够回测交易策略在一段时间内的表现，是系统化投资方法的主要优点之一。但是，必须以科学和有纪律的方式进行。回测使我们能够在一系列市场和市场环境中测试投资策略。在最好的情况下，它使投资研究能够采用科学的方法，检验假设并设计策略，目的是评估一种特定的市场交易方法。然而，建立一个看起来盈利的回测策略看似非常容易，而建立一个盈利的投资组合则要困难得多。创建回测时需要注意许多潜在的陷阱。
本文讨论了在建立、理解和评估回测方面的一些关键挑战。生成精确的回测需要仔细考虑。一个常见的问题是数据过度拟合：尽管不断增长的计算能力和大型数据库为投资管理提供了无限的可能性，但它们也增加了发现虚假关系的风险。我们以一个简单的货币套息策略为例来说明过度拟合偏差是如何产生的。
另一个考虑是，在构建一个回测时，从技术上讲，回测中的所有基本假设都应仅基于在任何给定时间已知的信息。忽略这一点会引入前瞻性偏差，我们会给出一个例子，这个潜在的陷阱如何影响一个简单的股票市场交易策略。
回测的机制
回测是一个系统的投资过程在过去的时间里的应用，通过历史来确定这个过程的特征。更简单地说，一个回测显示了如果一套交易规则被系统地遵循，它们将如何运行。
在回测策略之前，有三个关键领域需要考虑：应包括哪些市场；应如何获取和处理数据，以及应如何考虑成本的影响。
- **市场选择。**在这里，我们首先遇到了前瞻性偏差（也称为后见之明偏差）的问题。这在股市中是众所周知的，回测只适用于一篮子活生生的没有退市的股票，但没有考虑在历史上较早的日期，人们也可能持有一些随后破产或被收购的股票。类似地，在期货市场和货币市场中，有时市场或中央银行的活动会关闭某个市场，并使得该市场在当天无法进入投资组合，但这种信息事先是不知道的。
- **数据处理。**对于系统化策略，数据通常包括历史市场价格和汇率。数据的频率（例如每日、每小时或计时数据）和数据类型（最新交易、收盘价、结算价、中间价等）都很重要。这可能会有自己的问题，因为原始数据几乎永远不会处于立即可用的状态；它必须被“清理”。尽管有许多方法可以清理数据，但必须注意的是，清理数据的方式不涉及对未来的了解。例如，数据误差可能会表现为10个标准差的价格移动，但偶尔也会出现10个标准差的合理的价格移动。如果事后诸葛亮只用来移除坏数据点，那么就不可能知道该策略将如何处理实时交易中的这种情况，因为在这种情况下，管理者将无法获得知道接下来会发生什么的好处。这就是“向前看”的问题，本文稍后将详细介绍。同样，如果一个交易策略也使用其他来源的更基本面的数据作为输入，那么重要的是确保所使用的数据在相关时间点是可用的。许多经济或基本数据的发布都是在与之相关的时期之后，或多次发布，最初的数字被一个或多个后续修订所取代。
- **成本。**估计历史交易成本是一个重要的研究领域。成本因市场、交易金额、时间和年份而异。此外，成本不仅因市场而异，而且因执行方式而异，所有这些因素在历史过程中都有所不同。同一个商品市场，20年前一个用电话执行交易将不同于今天的电子交易。此外，交易成本与交易规模呈非线性变化，市场影响不能事先知道，但必须建模。必须对历史上可能执行的假设交易的价格作出适当的假设，而低估其交易可能经历的真正影响的回测可能会产生不现实或误导性的结果。
回测过程的下一个阶段是以系统的方式实现策略规则。这些规则将在回测过程中通知所有投资决策。这里有不同程度的现实主义。如上所述，可交易市场的列表会随着时间的推移而变化，如果被认为是重要的，准确的回测应该反映出这一点。此外，即使是系统的投资策略也可能包括一些系统化程度不同的过程：
- **风险管理。**投资组合、行业和/或模型风险的水平通常随时间而变化。虽然Aspect在整个投资过程中对风险管理采用了系统的方法，但其他管理者可能依赖于不可能被回测的主观决定。此外，在回测窗口结束时才确定，但在窗口期间应用的风险管理参数，也引入了前瞻性偏差。
- **模型添加和移除。**这是另一个必须考虑的过程。例如，在回测历史开始时有较差表现的模型可能没有保留在现实生活中，以生成其随后的强大绩效。
最后，回测的结果可以被用来支持一些分析。然而，这些结果是如何使用的，以及它们如何告知管理者对基础研究的看法，这是“回测的艺术”的一部分。一项投资是否会在未来赚钱的问题可能会导致一个常见的错误，即假设一个收益更高的回测意味着未来一个收益更高的投资组合。鉴于投资业绩是实际未来回报的函数，在评估系统化策略时，理解这种细微差别至关重要。
回测的艺术
为了使回测有意义和有用，回测中的所有假设应仅使用当时可用的信息。没有做到这一点代表着前瞻性偏差；错误的假设是有可能知道未来。不能依赖包含前瞻性偏差的回测来提供未来绩效的合理指示。
根据回测结果的知识调整回测称为“回拟合”。回拟合是一个更微妙的陷阱，并会在不同程度下发生。在不了解未来的情况下（即不存在前瞻性偏差）进行回拟合确实有一些应用：简单的回归就是一个例子。通常情况下，如果参数化程度最小，则经过后拟合的回测将更为稳健，许多技术（从标准统计方法到机器学习）都适用于此任务。
样本内/样本外检验
识别过度热情的回拟合通常通过使用进样/出样协议来解决。这样一个协议将涉及保留部分数据，直到研究过程结束，然后在该数据上重新测试策略的最终设计，以了解它的进展情况。可以保留的数据包括时间部分（例如，交替年份或五年区块）、一组资产（假设资产的差异是随机的，则可以对资产进行分区），甚至资产类别。例如，一个已经在美国期货市场测试过的假设，也可以在中国期货市场测试，看看是否也能得到类似的结果。作为样本内/样本外过程的一部分，一些需要比较的区域包括：
- 策略绩效概况是否相似？即风险调整后的收益、偏度、峰度和回撤。
- 该策略的交易换手率是否具有可比性？
- 样本内参数选择与样本外参数选择的最佳程度如何？如果某个参数是样本中的最佳选择，并且是样本中的最差选择，则该策略可能会过度拟合和/或对特定参数选择过于敏感。
虽然在构建回测时需要注意许多陷阱，但投资经理不可能清除自己的所有知识。即使投资经理谨慎地避免使用历史上无法获得的数据，他们也可能使用一种分析风格、他们自己的常识、直觉、甚至有一种以前根本不存在的思维定势。因此，在回测中总会有一定程度的前瞻性偏差。这反映在没有一个系统化的投资经理发布过亏损的回测！
过拟合的示例
过度拟合是统计方法中一个很好理解的问题，有许多技术可以用来将过度拟合的风险降到最低。这一点在机器学习领域尤其重要，因为在机器学习领域，强大的计算能力可以实现高度复杂的数据拟合。
例如，“神经网络”是一些系统管理者用来预测时间序列数据的工具之一。神经网络模型的复杂性是由所使用的元参数的数目来定义的。神经网络可以被认为是一个包含数百（或数千）个变量的大型非线性方程。神经网络可以在样本数据集上训练，并且可以测量其对数据建模的能力。当神经网络被训练时，它使用一系列样本内的例子，根据已知的下一个周期回报率检查输出，然后调整神经网络内部的权重，以最小化输出的误差。通过改变神经网络的复杂性，可以看出其样本内和样本外性能如何变化。
需要记住的一件重要事情是，复杂的模型并不一定比简单的模型在实时交易中表现得更好。由于过拟合效应的存在，复杂模型存在两个问题：一是过高和虚假的样本内绩效；二是较弱的样本外绩效。一个复杂的、高度指定的模型并不一定比一个更简单、更一般的模型好。这是一个已知的特定于回测的问题，并且有大量致力于减少或最小化过拟合问题的研究。然而，对于这样复杂的模型来说，这仍然是一个重要的问题。
过度拟合偏差在货币套息上的示例
如上所述，数据前瞻偏差（包括使用当时不知道的数据）和策略的过度参数化是造成重大回测误差的两个来源。
然而，过度参数化并不是过度拟合偏差进入回测的唯一方式。可以调整策略的机制以提高性能，而不必添加许多参数，这也可能是过度拟合偏差的来源。与过度参数化相比，这是一个更微妙的问题，但可以在寻求利用过度复杂且可能不相关的市场效应的策略中识别出来。为了防止这种陷阱，需要一种科学的、基于假设的研究方法，以便了解策略所产生的影响，从而理解其合理性。
在本节中，我们将演示这种非常具体和微妙的过度拟合偏差是如何进入回测的。我们首先考虑一个简单的货币套息策略，然后在不增加更多参数的情况下，修改策略的机制，使其产生更好的回测性能。
图1显示了这种简单的货币套息策略的业绩。截至2007年底，业绩强劲，但在2008/2009年大幅下降。
一个系统的交易者可能会调查是否有可能对这种货币套利交易策略进行策略择时。例如，一个简单的三个月移动平均值可以应用于收益曲线，如图2所示。策略规则可能是，当收益曲线越过移动平均线时，我们认为它处于下降状态，并采取平仓（或反向交易）。
图3显示了将此择时规则应用于套息策略的结果。我们发现，这两种方法，无论是在策略回撤时平仓或做空，都会导致业绩改善，风险调整后的回报率几乎翻了一番。2008年的大幅回撤已被2007年的小得多的回撤所取代。因此，对策略设计的简单修改似乎可以显著提高业绩。
然而，在图4中，我们看到了从2010年开始回测该策略的结果。
策略择时规则导致自2010年以来的业绩下降。尽管规则很简单，只有一个参数，但结果仍然不可靠。这是因为它被安装到一个特定的数据集上，并且它被安装以便移除一个特定的回撤（在回测中它实现了）。然而，在样本之外，策略择时规则导致的业绩比简单套息策略差得多。
前瞻性偏差的例子：“在五月卖出然后离开…”
前瞻性偏差有许多微妙的方式可以影响回测。例如，一个股市交易规则，如“11月买入股票，5月卖出”，当应用于富时指数期货时，会产生合理的回报，如图5所示。
然而，事后看来，在整个时期内，简单的买入并持有方法的年回报率平均会稍好一些。但我们必须扪心自问的问题是，我们是否会一直知道这一点。
例如，我们会选择从1990年1月1日开始，“11月买进，5月卖出”吗？图6显示了“买入并持有”择时规则的业绩如何根据选择卖出的月份而变化。
我们看到，1990年1月1日，根据图6中的信息，我们将选择“7月卖出，12月买入”。这不仅是迄今为止表现最好的策略，而且也明显优于简单的买入并持有策略。如果我们在1993年1月1日决定我们的交易规则，事情就有点不同了。如图7所示，我们将选择“6月卖出，12月买入”。
在图8中，我们显示了每个月策略的运行平均回报。这有助于说明策略对每月卖出日期的绩效依赖性知识是如何随着时间的推移而发展的。
到2003年，我们可以得出这样的结论：“11月买进，5月卖出”是最好的（但即便如此，也很难证明该策略能超越简单的买进并持有策略）。
在构建回测时，重要的是要透明地说明为什么选择了特定的策略。选择在回测中有效的东西并不能保证投资技巧或未来的强劲表现。在“买入并持有”策略的这个特定示例中，对未来表现的更好预期是，根据迄今为止最有利可图的交易选择每年的交易：这是图9所示的“动态学习”策略。
上面的“动态学习”策略通过每年使用当时已知的数据选择最赚钱的买入/卖出月份起作用。在图9中，我们将其收益与“前瞻”版本的收益进行比较，后者从一开始就使用“11月买入，5月卖出”规则。我们看到“动态学习”策略在整个时期内表现积极，但明显不如“前瞻”策略。然而，只有“动态学习”策略是以一种有纪律的方式构建的，旨在避免可能进入回测的常见偏差，因此可以依赖它来提供策略本身价值的现实指示。回测中的优异性能并不一定意味着更好的策略。
以这种更具适应性的方式回测系统化策略的动机是什么？这并不是要制定一个更有利可图的投资策略本身，而是要使回测更加现实，从而更好地理解策略本身的价值。我们所讨论的带有前瞻性和过度拟合偏差的回测不会产生对未来投资决策有价值的实际结果。这样的回测常常有夸张的性能。通过运用一种有纪律和原则的方法来建立回测，使其尽可能真实，一个人可以减少回测的回报，但他们将更接近现场交易的经验，使更好地评估不同的系统化策略。
评估回测
在本节中，我们将注意力转移到使用或评估回测时应考虑的某些因素上。
基于假设的方法
理解策略背后的动机是评估策略的良好起点。需要考虑的问题包括：策略试图捕捉到什么样的效应，这种效应的概念从何而来，以及是什么为研究提供了信息？有利的策略是建立在一个明确和可证伪的假设基础上的策略，并具有健全的经济、金融或行为基础。相比之下，一个表现良好但没有基本原理或合理解释的策略表明，它可能是从数据中拟合出来的。然而，技术策略（即那些基于数据中的效应而没有明确假设的策略）仍然有效。这时，在评估性能时要更加小心，并仔细考虑如何监控实时性能，这一点非常重要。如果没有一个基本的假设来解释策略的功能，那么更重要的是理解如何确定它是否不再有效。
广泛适用性
策略对不同资产类别和市场的适用性是另一个重要考虑因素。某些策略可能只适用于金融市场，而不适用于大宗商品，或者只适用于一个部门或部门内的一部分市场。在这种情况下，了解这种特殊性的原因很重要。虽然实用性狭窄的策略肯定是可行的，但在接受其有效性之前，应采取更高程度的谨慎态度。与广泛的市场相比，在处理一组选定的高相关资产时陷入过度拟合的陷阱要容易得多。
一致性
一致和持续的业绩表现显然是一个可行策略的良好迹象，但这种策略是罕见的。一些常见的业绩概况是：
- 该策略经历了长期的回撤，但对于目标风险水平而言，这些都是可以容忍的。
- 这一策略在历史上表现良好，但多年来业绩不佳。如果是这样，重要的是要了解可能的暂时性原因，其中可能包括宏观经济周期效应、利率环境或效应是否已被交易掉。
- 该策略在历史上表现不佳，但最近奏效。同样，在这种情况下，重要的是理解为什么会这样。
参数选择
了解策略中使用了多少参数以及如何设置这些参数是很重要的。然而，有时很难评估这一点，因为参数可以任意分组，使其看起来比实际少。
需要考虑的一个关键问题是，是否应该为每个市场使用相同的参数设置？或者，由于所有市场都不同，应用于它们的参数设置不应该也一样吗？如果是，如何确定不同的参数设置，它们是否可以在没有事后偏差的情况下确定？这是一个容易出现前瞻性偏差和过度拟合的领域。
现实主义
为了确保回测尽可能地反映实际情况，有必要了解有关市场选择、风险设置、配置和交易成本的假设。
此外，这些因素是否是静态的，以及设置或参数是否依赖于仅在回测结束时才知道的数据是一个重要的考虑因素。
可信性
重要的是，回测产生的期望必须是现实的。例如，如果在30年的时间里，回测的夏普比率为3，那么应该非常谨慎地进行：在成千上万的系统化投资经理中，很少有人能做到这一点！下图显示了回测效果的良好经验法则：
业绩打折
考虑到以上所有因素，在设定对未来可能业绩的预期时，在回测中应用某种打折通常是明智的。这当然是一门艺术，而不是一门科学，没有固定的规则，但是作为一个指导方针，人们可能会合理地将回测回报率打折50%左右。有些例外。例如，回测交易可能只是对实际实时交易的拟定修改，在这种情况下，人们可能会将上调幅度（即相对于历史记录的预期改善）打折50%左右。
结论
系统化投资管理的一个主要优点是，只要采用一种有原则的、科学的方法进行回测，就可以回测投资策略。虽然回测是一种有价值的工具，但仍有许多潜在的缺陷，如前瞻性偏差和过度拟合偏差，必须加以避免。在回测投资策略的过程中，有许多需要仔细考虑的因素，包括选择纳入的市场、市场数据的处理和历史市场交易成本的估计。应用系统风险管理控制的方式，以及添加和删除模型的严格过程，也很重要。
Aspect在回测的严格应用方面有多年的经验。然而，仍然需要警惕使用这种技术可能产生的陷阱。
在本文中，我们介绍并论证了一些潜在的问题，供读者考虑，过度拟合和前瞻性偏差。投资经理在建立模型时必须谨慎行事。谨慎地应用严格的样本内/样本外协议有助于降低过度拟合偏差的风险，并确保仅使用投资经理在特定时间点已知的信息来回测策略，有助于防范前瞻性偏差。最终，即使以明显降低历史业绩为代价，回测也必须是现实的。
建立一个精确的回测需要定性评估和定量稳健性，因此可以说即是一门“艺术”也是一门科学。回测的“艺术”包括明确策略设计背后的动机；小心避免事后诸葛亮；理解策略的适用性，理解策略的稳健性和一致性特征。
如果理解了策略的基本原理，那么就有可能对其未来的盈利能力作出判断，这不仅是基于对其过去业绩的了解，而且还基于对其在不同未来市场条件下应如何表现的了解。
回测是系统化投资管理的一个重要特征，也是定量研究者的一个有价值的工具。但是，一个盈利的回测很容易被创建出来，这就掩盖了建立一个一致且表现强劲的实时系统化投资组合的困难。
推荐大家阅读以下相关文章：
雷闻：交易的拥挤效应_英仕曼AHL_对冲基金文章翻译计划024zhuanlan.zhihu.com 
雷闻：投研管理中常见的偏见_元盛Winton_对冲基金文章翻译计划007zhuanlan.zhihu.com 雷闻：机器学习的解读方法总结_Two Sigma_对冲基金文章翻译计划031zhuanlan.zhihu.com