微小的变动,巨大的差异,这神一样的AI怎么来解释这种结果?

新手专区
标签: #<Tag:0x00007f327af82088>

(FRED2018) #1

我是新人,相信大家的第一步都用过可视化策略-AI选股,收益率看起来真不错,总收益率322.23%,年化收益达到110.39%,看起来这本身就是一个非常棒的策略,于是我做了一个最小的改动,将训练集的时间由2010-01-01至2015-01-01,改为2010-01-01至2017-01-01,测试集的时间由2015-01-01至2017-01-01,改为2017-01-01至2019-01-01。这是最小的改动,其实就是增加了2年时间,结果让人吃惊,总收益率成为-24.41%,年化收益率变为-13.48%。一个看似很好的策略,因为时间延长2年就出现很糟糕的结果,这巨大的反差不知道该如何解释?请高手赐教。有兴趣的同学可以验证一下。


(tkyz) #2

改变训练集就改变了训练数据,不同的训练数据训练出来的预测模型不一样,所以结果有很大差别


(FRED2018) #3

谢谢你的回复,那么我保持了训练数据不变,仅仅将预测数据的时间延后了2年(同上),得到的结果依然很烧脑,收益率 -27.7% 年化收益率 -15.19%。也就是说,用示例模型,对15年16年效果很好,对17年18年就很差。


(iQuant) #4

您好,下面列出几点,您可以作为参考:

  1. 即使是完全相同的策略机器每次重新学习的结果都会略有不同,改了输入数据会改变模型,进而改变结果;

  2. 一个策略的表现是由多方面因素共同决定的,不同训练的时间段、不同的因子、不同的策略逻辑生成的模型所适应的行情都会有所不同,细小的改变可能会对结果产生不同的影响;

  3. 评价一个策略好坏有多个维度评价标准,如表达式简单,对于数据和参数的微小变化不敏感,是适用于多个市场等,若策略对于数据和参数的微小变化十分敏感,导致结果出现根本性改变,说明这个策略还不够成熟,需要进一步去改善

感兴趣的朋友可以通过下方帖子做进一步了解:《寻找市场中的Alpha(上)—WorldQuant的阿尔法设计理念


(冰柠檬) #5

你第一个拿训练集的数据来回测 是会过拟合的 这种方法并不好 还有就是 策略模型好不好 跟市场有很大关系 模型在17-18 表现差 说明这个模型只在训练集上有效 在测试集上就失效了。。。。
你的策略有以下几个方向可以改动:
1,训练集和测试集的数据区间
2,训练所用算法的参数组
3,训练时所用的特征
4,股票池
等等吧


(yangziriver) #6

建议读一读美国霍华德 马克斯所著的《周期》,MASTERING THE MARKET CYCLE(有最近出版的中文版)。市场中各种因素都是有周期性地变化的,复杂地叠加成为市场。短期的市场是很难准确预判的,只能预测大概率事件。想100%赚钱,就做长期的价值投资。AI量化是个工具,要不断地探索,现在是起步。