• 本文测试六种交叉验证方法，包括K折交叉验证、时序交叉验证、分组时序交叉验证及三种新基线模型，重点对比它们在时间序列选股模型的调参效果和抗过拟合能力 [pidx::4][pidx::6].

- 逻辑回归和XGBoost基学习器均显示：时序和分组时序交叉验证选出的模型更简单，正则化参数显示其有更强的泛化能力和更低的过拟合风险 [pidx::10].

• 样本内表现方面，时序和分组时序交叉验证模型表现弱于其他方法，但测试集表现优越，分组时序交叉验证略优于时序交叉验证，说明更精细的训练验证集切分有助提升泛化能力 [pidx::11].

- 逻辑回归和XGBoost测试集AUC累计差异（对比K折）显示时序和分组时序交叉验证稳定优越，三种新基线模型次之，K折交叉验证表现最差，验证了时序信息保留对模型提升的关键作用 [pidx::11][pidx::12].

• 单因子测试（回归法和IC分析）和分层回测结果均体现时序类验证方法优于其他方法，分组时序交叉验证在因子收益率、年化收益率和风险调整指标上表现最佳，但多空组合夏普比率略低，波动较大 [pidx::12][pidx::13].

- 分组时序交叉验证通过对scikit-learn库改造实现，避免了传统时序交叉验证可能出现的同一月份数据同时出现在训练集和验证集的情况，保证验证集严格晚于训练集，更符合时间序列数据属性 [pidx::6][pidx::18][pidx::19][pidx::20].

• 风险提示：此方法高度依赖基学习器的有效性，若市场环境变化导致基学习器失效，则方法可能失效，同时存在一定欠拟合风险 [pidx::21].

金工研究报告——《再论时序交叉验证对抗过拟合（华泰人工智能系列之十六）》详尽分析报告

---

1. 元数据与概览

• 报告标题：《再论时序交叉验证对抗过拟合——从基线模型设置和样本精确切分两个角度对时序交叉验证提出改进》

- 作者： 林晓明、陈烨、李子钰、何康

• 发布机构： 华泰证券研究所金工研究团队

- 发布时间： 2019年2月18日

• 研究主题： 金融时间序列数据中的机器学习模型调参方法，重点探讨时序交叉验证的改进及其抗过拟合能力

核心论点与结论：

本报告基于前期的研究成果，进一步聚焦时序交叉验证方法，针对传统K折交叉验证在时间序列数据上的过拟合问题，提出了两个改进方向：

1. 基线模型设置更合理 ——设计训练集折半的K折交叉验证和乱序递进式交叉验证，以区分时序交叉验证提升的具体来源（是时序信息保留还是样本量减少）。

2. 训练集和验证集的样本切分更精细 ——通过对scikit-learn库modelselection模块的代码改写，实现“分组时序交叉验证”，确保验证集严格位于训练集之后，避免样本混淆。

实证结果显示，分组时序交叉验证优于原始时序交叉验证，且两者均优于基线模型和传统K折交叉验证，说明保持样本时序信息是提升模型泛化能力的关键因素。这也提示该改进具备较强抗过拟合能力，推荐在时序机器学习模型调参时使用分组时序交叉验证。

风险提示中指出：时序和分组时序交叉验证高度依赖基学习器的表现，当未来市场环境变化导致基学习器失效时，该方法也面临失效风险，同时存在一定欠拟合风险。[pidx::0]

---

2. 逐节深度解读

2.1 正文导读与研究背景

报告开篇将机器学习模型比拟为基金经理，强调交叉验证在“选拔”优秀模型上的核心地位。经典K折交叉验证假设样本独立同分布，难以适用于强时序相关的金融数据。之前报告已验证时序交叉验证能有效降低过拟合，提升模型的测试表现和收益稳定性。本篇进一步改进基线模型设计与训练-验证集切分策略，旨在更科学地揭示时序交叉验证优势的内在驱动机制。[pidx::3]

2.2 时序交叉验证及其缺陷分析

• K折交叉验证随机将样本划分为K份，充分利用样本训练模型，但不考虑时间顺序，样本存在信息泄露，导致时间序列数据上过拟合。

• 时序交叉验证保持时间顺序，逐步扩大训练集，验证集严格后移，符合时间序列特性。

前期研究发现，时序交叉验证虽然训练集表现不及K折，但测试集稳定性和表现优于K折，尤其在复杂模型如XGBoost上差异明显，体现时序交叉验证的更低过拟合风险[pidx::4][pidx::5]。

2.3 改进思路一：基线模型的合理设计

报告指出传统K折作为唯一基线模型无法明确揭示时序交叉验证性能提升的真正原因。时序交叉验证的提升可能来自：

• 假设1: 保留时序信息

- 假设2: 使用样本量更少（约一半）

为区分两者影响，设计两种新的基线模型：

• 训练集折半的K折交叉验证： 保持K折的验证集划分不变，训练集随机取一半样本，控制样本量与时序交叉验证类似，破坏时间顺序。

• 乱序递进式交叉验证： 类似时序交叉验证但先打乱数据，破坏时序信息，保留样本大小不变。

比较发现如果时序交叉验证明显优于这两者，便表明时序信息的保留是优势核心[pidx::5]。

2.4 改进思路二：训练验证集切分的精细化

采用TimeSeriesSplit类时存在训练集和验证集拆分不彻底的问题，月度样本未完全保持整月划分，存在同一月份样本一部分分配到训练集，另一部分分配到验证集的情况，违背时序交叉验证初衷。

针对该缺陷，自行设计GroupTimeSeriesSplit类，实现“分组时序交叉验证”：

• 样本按月份分组，切分时完整保留月份，确保验证集严格晚于训练集。

- 代码实现涵盖对scikit-learn库的split.py及init.py改写，并在主程序调用中应用了该方法。[pidx::6]

并设计新的基线模型——乱序分组递进式交叉验证作为对照。

2.5 测试数据与方法流程

• 数据范围： 2011-01-31至2019-01-31，剔除ST股、上市不足3个月个股。

- 特征工程： 共用70个因子，数据做去极值、缺失值填充、行业和市值中性化处理与标准化。

• 标签定义： 下月超额收益排名前30%为正，后30%为负。

- 年度滚动训练： 以6年数据作为训练验证集合，并结合不同交叉验证策略进行参数调优。

• 基学习器： 逻辑回归（代表简单模型）和XGBoost（复杂模型）。

- 模型评价： 样本内外准确率、AUC，单因子回归、IC（信息系数）检验，分层回测分析。

整体测试流程展示于图表8和图表9，通过各个阶段逐步提炼模型表现[kpi]，并对所有交叉验证方法一视同仁地执行。[pidx::7][pidx::9]

---

3. 图表深度解读

3.1 交叉验证方法示意图（图表1-图表6）

• 图表1（K折交叉验证）： 训练集和验证集交替出现在整体样本中，完全随机打乱导致时间顺序信息缺失。

- 图表2（时序交叉验证）： 训练集逐步扩增，验证集向后推移，完全尊重时间顺序。

• 图表3（训练集折半的K折）： 训练集随机抽取一半样本，数量接近时序交叉验证，但无时序约束。

- 图表4（乱序递进式）： 样本先打乱，后类似时序划分，破坏时序信息。

• 图表5（分组时序交叉验证）： 切分点为月份边界，确保验证集整体位于训练集之后。

- 图表6（乱序分组递进式）： 先打乱样本但保留分组切割方式。

整体来看，分组时序交叉验证是对时序交叉验证样本切分的关键细节提升，避免了“月中”拆分问题，使训练验证集划分更科学。[pidx::4][pidx::6]

3.2 模型表现对比（图表13-图表15）

• 图表13（模型性能指标点评）：

- 样本内AUC，K折及新基线模型显著优于基于时序的两种方法，体现后者训练过程更保守。
- 测试集AUC，此趋势反转，时序、分组时序表现明显领先，验证了其抗过拟合优势。
- 分组时序一般优于时序，说明更精细切分带来边际提升。

• 图表14、图表15（逐月累积AUC差异）反映了各方法相对K折的性能差异动态，时序特别是分组时序随时间推移呈上升趋势，优势明显积累。

3.3 单因子测试结果（图表16-图表20）

• 各种统计指标（|t|均值、t均值、因子收益率、RankIC）中时序和分组时序交叉验证均领先于基线，证明其倾向于筛选表现更稳健的因子。

- RankIC波动较大，但整体优势明显，且经过行业市值中性化处理后依然保持良好表现。

• 逐月累积因子收益率和RankIC差异图表体现了时序方法的稳定性能优势。

3.4 分层回测绩效（图表21-图表22）

• TOP组合的年化收益率、夏普比率、最大回撤、Calmar比率等关键指标均表明时序和分组时序交叉验证获得的单因子因子组合表现最好。

- 多空组合波动较大，夏普比率稍逊，可能说明更激进部分风险管理需加强。

• 分组时序一般略优于原始时序。

3.5 策略组合回测（图表23-图表24）

• 行业、市值中性的全A股策略绩效回测结果更为复杂：

- 逻辑回归下，分组时序交叉验证有一定指标优势，特别在中证500基准时。
- XGBoost下，时序交叉验证表现较好，但优势不明显。

• 由于策略构建增加多种约束（行业、市值中性，权重限制等），这些限制降低了机器学习模型优势的显现。

综合图表数据，报告充分说明时序和分组时序交叉验证提高了模型在测试集上的稳健表现及单因子因子组合表现，但该优势未完全传导至最终策略组合绩效。[pidx::10][pidx::11][pidx::12][pidx::13][pidx::14][pidx::15][pidx::16]

---

4. 估值分析

本报告不涉及直接的公司估值或具体财务指标估值模型分析。研究重点为机器学习模型调参方式对选股有效性的影响，涉及基学习器超参数的优化（逻辑回归正则化系数、XGBoost的学习率、最大树深度及采样比例等），但未展开估值模型本身的讨论。

调参基于交叉验证方法选择最优超参数组合，间接通过模型性能评估实现“最优估值”的机器学习模型结构。

---

5. 风险因素评估

• 基学习器表现依赖风险： 时序及分组时序交叉验证方法依赖所选基学习器的表现及稳定性，数据表现不佳或基学习器失效可能导致整体方法失效。

- 未来市场环境变化风险： 报告认可该方法基于历史投资规律提取，市场环境若发生非结构性变化，很可能削弱该方法的预测能力。

• 欠拟合风险： 由于强调减少过拟合，时序及分组时序交叉验证选出的模型往往更“简单”，存在一定欠拟合风险，可能影响拟合度及敏感度。

- 策略组合构建复杂性风险： 在实际投资策略构建中，诸如行业、中性约束、权重限制等复杂因素会削弱模型优势的体现，带来组合表现不确定性。

报告无具体缓解策略，但提醒风险存在，需投资者结合实际环境审慎应用。[pidx::0][pidx::21]

---

6. 批判性视角与细微差别

• 假设局限和过拟合质疑： 报告尾声自我反思，尽管时序交叉验证降低过拟合风险，但无法完全排除研究自身的过拟合可能，毕竟模型基于历史数据，“过去经验”的有效性无法无限期保证。这体现对方法有效性客观认知的慎重态度，强调需要科学手段评估过拟合程度。

- 样本量与信息权衡： 时序交叉验证样本量较小，而传统K折样本量大，报告中引入新的基线模型很好地分辨了两者影响，但对样本量减少可能导致欠拟合的平衡问题仍存。

• 策略构建反馈限制模型优势： 报告坦承在实际全A选股策略构建中，由于约束及中性化处理，模型在策略表现上的优势未能充分释放。这提示从模型到真实策略的转换尚需研究和优化。

- CI计算及中性化处理： RankIC波动性分析中提到中性化后结果差异，显示特征工程处理的重要性，设计时需兼顾统计稳健和策略效果。

总体报告写作严谨，数据和方法详尽，无明显夸大，保持专业审慎，适度提醒风险，展现出较高学术规范水平。

---

7. 结论性综合

本报告系统研究了传统K折交叉验证在金融时间序列数据上存在的过拟合问题，提出并实证检验了基于时序信息保留与样本变动的两大改进方案：

• 设计训练集折半K折及乱序递进式基线模型，有效分离性能提升的根因；

- 对切分策略实现月度分组，保证训练验证集时间序列的严格分割，研发分组时序交叉验证方法；

• 通过多维度性能测试指标（样本内外准确率、AUC、因子回归、RankIC、分层回测），系统比较六种交叉验证策略，发现保留时间序列信息的时序及分组时序交叉验证方法从测试集及单因子层面均明显优于基线及传统K折；

- 研究显示分组时序交叉验证略胜于原始时序交叉验证，体现出精细切分带来的边际优势；

• 基学习器选择显示，时序交叉验证偏好较弱拟合能力的“简单模型”，有助于减少过拟合风险；

- 跨模型（逻辑回归与XGBoost）和指标多角度验证结果一致，提升结论可靠性；

• 尽管单因子测试表现卓越，实际策略构建未充分展现该优势，提示后续研究需关注从模型到实盘策略的转化效率提升；

- 报告对过拟合风险的本身反思及方法潜在局限的讨论体现较强学术自觉和诚实，值得量化投资与人工智能交叉领域研究者深思。

综上，华泰金工研究团队的报告清楚地表明：对于金融时间序列的机器学习调参，分组时序交叉验证提供了一个科学且实用的改进方法，有效缓解了过拟合风险，是当前时序数据模型调参中的推荐实践方案。[pidx::0][pidx::3][pidx::6][pidx::10][pidx::12][pidx::17]

---

关键图表列表回顾

| 图表编号 | 内容简述 | 关键发现及联结 |
|---------|------------------------------------------------|------------------------------------------------------------------|
| 图表1-2 | 传统K折与时序交叉验证示意 | 标准方法对比，展现时序交叉验证时间序列信息保留优势 |
| 图表3-6 | 新基线模型与分组时序交叉验证示意 | 设计多基线模型解剖效能来源，分组思路保证月度样本粒度切分严谨性 |
| 图表13 | 六种交叉验证模型性能对比（准确率，AUC） | 样本外测试集表现分组时序交叉验证最佳，明显优于K折；样本内K折最好，过拟合明显 |
| 图表14-15 | 各方法慢变量性能差异累积曲线（逻辑回归与XGBoost）| 系统展现时序交叉验证随时间稳定优于K折优势 |
| 图表16-20 | 单因子测试指标对比（回归、IC、因子收益率等） | 体现时序交叉验证单因子表现超群，稳健性提高 |
| 图表21-22 | 单因子分层回测及TOP组合绩效 | 体现时序交叉验证在股权分配及收益波动上优势明显 |
| 图表23-24 | 多因素全A策略组合回测指标对比 | 策略构建复杂约束削弱模型优势，实际组合效果表现中等 |
| 图表25-27 | 分组时序交叉验证代码实现示意 | 实施细节、代码架构及调用方法，助力可操作性 |

---

术语与概念说明

• 交叉验证（Cross Validation）：一种模型评估和超参数调优方法，常用的有K折交叉验证和时序交叉验证。

- K折交叉验证：将数据集等分为K份，依次取一份作验证集，其余作训练集，适合独立同分布数据。

• 时序交叉验证：适合时间序列数据，训练集为前面时序数据，验证集为其后时序数据，避免未来信息泄露。

- 分组时序交叉验证：新方法，按照时间分组（如月份）切分训练和验证集，确保月内完整数据归于训练或验证集。

• 基线模型：标准或传统模型，用于和新模型做性能对比评估。

- AUC（Area Under Curve）：ROC曲线下的面积，衡量分类模型性能。

• IC（Information Coefficient）与RankIC：量化因子预测能力的统计指标，反映因子值与未来收益的相关性。

- 过拟合（Overfitting）：模型在训练集表现优异但泛化能力差，导致测试集表现差。

• 欠拟合（Underfitting）：模型能力不足导致训练与测试误差均较大。

- XGBoost：一种梯度提升树模型，擅长处理复杂非线性关系。

• 逻辑回归：广泛使用的线性分类算法，拟合能力相对较弱。

- Calmar比率：年化收益率与最大回撤比率，评价收益风险比。

• 夏普比率：单位风险所获得的超额收益。

---

总结

报告通过严格设计的实验和丰富的数据分析，彰显了“分组时序交叉验证”在金融时间序列机器学习模型调参中的实用效果，清晰解释了性能提升的来源，提出了更加严谨的训练验证数据划分方案，并实现了实际代码改造，具有较高的学术及行业实操价值。报告奉劝研究者在时间序列机器学习实验设计中摒弃盲用传统K折交叉验证，拥抱时序交叉验证及其改进方法，进而提升模型泛化能力与策略稳健性。

---

参考文献标注： 本分析所有结论与论述均来自原报告内容，文末页码以格式[pidx::页码]表示，例如本节内容覆盖报告2019年02月18日版本全部章节，以示来源明确。

---

附图片示例

图表1 K折交叉验证示意图：



图表2 时序交叉验证示意图：



图表13 模型性能对比：



图表14 逻辑回归各交叉验证相对K折AUC之差逐月累积值：



图表15 XGBoost 各交叉验证相对K折AUC之差逐月累积值：



图表17 逻辑回归各交叉验证相对 K折因子收益率之差的逐月累积值：



图表18 XGBoost各交叉验证相对K折因子收益率之差逐月累积值：



图表19 逻辑回归各交叉验证相对K折RankIC之差的逐月累积值：



图表20 XGBoost各交叉验证相对K折RankIC之差的逐月累积值：



---

（全文完）

报告