组合优化“过拟合”定义与问题分析 [page::4][page::5]

• 组合优化时，权重极度倾向预测Alpha最高的少数个股，导致组合集中度过高，风险暴露明显。

- 低频多因子选股预测Alpha信噪比较低，过度极致偏离预测Alpha头部个股会增加噪音表达，引发时序超额收益波动加大。

• 典型基准组合示例中，重仓三只预测Alpha最高个股，其他个股权重为零，行业与规模约束满足但偏离显著。

限制最小个股数量方法回测与结果 [page::6][page::7][page::8]

| 限制个股数 | 超额收益（沪深300） | 相对最大回撤 | Calmar 比 | 信息比 | 超额收益（中证500） | 相对最大回撤 | Calmar 比 | 信息比 |
|------------|------------------|-------------|----------|--------|------------------|-------------|----------|--------|
| 少 | 13.24% | -12.30% | 1.08 | 1.80 | 15.01% | -16.38% | 0.92 | 1.80 |
| 较多 | 12.88% | -12.57% | 1.02 | 1.75 | 14.48% | -15.58% | 0.93 | 1.75 |
| 多 | 11.61% | -12.53% | 0.93 | 1.62 | 14.87% | -15.29% | 0.97 | 1.80 |
| 基准 | 13.71% | -12.59% | 1.09 | 1.84 | 15.10% | -16.81% | 0.90 | 1.75 |

• 限制最小个股数仅缓解组合集中度，但权重仍极端向头部偏离，降低了收益且对风险控制无明显改进。

- 该方法未能有效解决组合优化过拟合问题。

分组组合优化方法及效果分析 [page::9][page::10]

| 因子组数 | 超额收益（沪深300） | 相对最大回撤 | Calmar 比 | 信息比 | 超额收益（中证500） | 相对最大回撤 | Calmar 比 | 信息比 |
|----------|------------------|-------------|----------|--------|------------------|-------------|----------|--------|
| 分组(少) | 11.15% | -12.35% | 0.90 | 1.53 | 14.32% | -13.22% | 1.08 | 1.87 |
| 分组(较多)| 9.98% | -13.93% | 0.72 | 1.59 | 9.96% | -14.47% | 0.69 | 1.57 |
| 分组(多) | 8.64% | -8.45% | 1.02 | 1.49 | 9.36% | -12.90% | 0.73 | 1.66 |
| 基准 | 13.71% | -12.59% | 1.09 | 1.84 | 15.10% | -16.81% | 0.90 | 1.75 |

• 分组组合优化方法通过模糊表达预测Alpha，避免极端权重偏离，个股权重更均匀。

- 但整体组合风险收益比下降，且效果对分组参数敏感，表现稳定性不足。

模糊预测Alpha组合优化方法回测结果 [page::11][page::12]

| 参数组数 | 超额收益（沪深300） | 相对最大回撤 | Calmar 比 | 信息比 | 超额收益（中证500） | 相对最大回撤 | Calmar 比 | 信息比 |
|----------|------------------|-------------|----------|--------|------------------|-------------|----------|--------|
| 模糊化(10组) | 13.68% | -11.22% | 1.22 | 1.95 | 15.35% | -14.95% | 1.03 | 1.88 |
| 模糊化(20组) | 14.18% | -12.62% | 1.12 | 1.94 | 14.64% | -15.89% | 0.92 | 1.76 |
| 模糊化(25组) | 14.16% | -13.14% | 1.08 | 1.91 | 15.03% | -16.06% | 0.94 | 1.78 |
| 基准 | 13.71% | -12.59% | 1.09 | 1.84 | 15.10% | -16.81% | 0.90 | 1.75 |

• 模糊预测Alpha组合优化有效提升了收益稳定性，降低了最大回撤，风险收益比显著优于基准。

- 随着模糊化阶梯数增加，表现趋近基准，参数敏感度较低，稳定性更好。

随机组合优化方法及实证分析 [page::13][page::15]

| 抽样比例 | 超额收益（沪深300） | 相对最大回撤 | Calmar 比 | 信息比 | 超额收益（中证500） | 相对最大回撤 | Calmar 比 | 信息比 |
|----------|------------------|-------------|----------|--------|------------------|-------------|----------|--------|
| 随机优化(90%) | 13.89% | -12.17% | 1.14 | 1.97 | 14.52% | -16.52% | 0.88 | 1.78 |
| 随机优化(80%) | 13.46% | -11.97% | 1.12 | 2.02 | 14.12% | -16.22% | 0.87 | 1.81 |
| 随机优化(70%) | 13.03% | -11.39% | 1.14 | 2.08 | 13.53% | -15.96% | 0.85 | 1.83 |
| 基准 | 13.71% | -12.59% | 1.09 | 1.84 | 15.10% | -16.81% | 0.90 | 1.75 |

• 随机组合优化借鉴机器学习Bagging思想，通过多个子样本组合权重平均，降低过拟合风险。

- 实证表明随机优化能在沪深300显著提升风险收益比，中证500提升信息比，年化收益略有下降但整体表现稳定。

模糊化随机化组合优化融合策略与表现 [page::17][page::18][page::19]

| 方法参数 | 超额收益（沪深300） | 相对最大回撤 | Calmar 比 | 信息比 | 超额收益（中证500） | 相对最大回撤 | Calmar 比 | 信息比 |
|-------------------|------------------|-------------|----------|--------|------------------|-------------|----------|--------|
| 基准 | 13.71% | -12.59% | 1.09 | 1.84 | 15.10% | -16.81% | 0.90 | 1.75 |
| 随机优化(90%) | 13.59% | -10.80% | 1.26 | 2.02 | 14.92% | -14.45% | 1.03 | 1.90 |
| 模糊化(10组)随机优化(80%) | 13.32% | -10.44% | 1.28 | 2.07 | 14.34% | -13.95% | 1.03 | 1.91 |
| 模糊化(15组)随机优化(70%) | 12.82% | -10.25% | 1.25 | 2.10 | 13.81% | -13.62% | 1.01 | 1.92 |

• 模糊化随机化融合方法整合了模糊预测Alpha和随机优化优势，双重降低信息表达过度，提升组合适应性和稳定性。

- 回测显示收益与基准接近或略低，风险显著降低，风险收益指标显著改善，且参数稳定性好。

结论总结 [page::20]

• 组合优化的“过拟合”是预测Alpha信息表达过度导致的权重极端集中。

- 通过限制最小个股数、分组组合优化、模糊预测Alpha和随机组合优化四种路径，前两者虽有缓解但效果有限。

• 模糊预测Alpha和随机组合优化尤其其融合策略，有效解决过拟合，提高组合风险收益表现。

- 融合后方案参数敏感度低，适合实际应用中的组合结构优化。

以退为进——组合优化的“过拟合”——详尽分析报告

---

一、元数据与概览

• 报告标题：以退为进——组合优化的“过拟合”

- 分析师及联系方式：覃川桃A、郑起（长江证券研究所）

• 发布日期：2021年10月16日

- 报告类型：专题报告，领域为金融工程

• 主题：围绕多因子选股中的组合优化问题，重点探讨组合优化中的“过拟合”现象及相应优化方法

- 核心论断：多因子组合优化因过度表达预测Alpha信号，导致投资组合权重极端偏向头部个股，增加时序上的超额收益波动和相对回撤。报告提出多种限制和模糊化处理方法，重点推荐模糊预测Alpha和随机组合优化相结合的融合策略，以有效缓解“过拟合”带来的风险，提升组合的稳定性与风险收益表现。

• 目标：解决组合优化中过拟合，提高样本外的市场适应能力和风险收益比

- 评级与目标价：无行业或个股评级及目标价明确说明，[page::0][page::1]

---

二、逐节深度解读

1. 组合优化的过拟合问题定义与示例（第4页）

• 关键论点：

传统组合优化常以最大化预测Alpha为目标，在满足行业、规模等限制下，组合权重极端集中于少数预测Alpha最高个股，忽视了低频多因子信号中固有的低信噪比和预测误差，引起权重偏离过猛，造成实际超额收益时序波动加剧。

• 推理逻辑：

由于多因子模型的IC一般仅约20%，预测Alpha本身存在噪声，优化极致追逐最高Alpha使得噪音过度表达，结果是市场环境变化时组合易遭遇相对较大回撤。

• 表1关键数据解读：

示例中，基准组合权重68%集中于单只Alpha最高（1.44）的股票CJ0001，且行业、规模偏离不明显，充分反映优化偏好头部个股，表征过拟合的直接表现。[page::4]

2. 过拟合问题解决方案总览（第5页）

• 核心解决方案：适当减少预测Alpha信息的表达，避免权重极端偏离头部个股。

- 实验范围确定：沪深300、中证500，最大化预测Alpha为目标，行业偏离≤2%、规模风格偏离≤0.4，月度调仓等限制条件。

• 评价标准：以风险收益比为主要对比指标。

- 重要考虑：目标是寻找平衡信息表达与适应市场变化能力的方法。[page::5]

3. 限制最小个股数量（第6-8页）

• 方法描述：强制增加投资组合中的股票数目，避免集中度极高，期望分散权重缓解过拟合。

- 示例与结果：
- 表3显示，最小股票数为4时，头部个股权重虽略有分散，但仍集中；非头部股票权重增幅有限。
- 图1、图2净值曲线和表4风险指标显示限制个股数方法使收益降低，最大回撤无显著改善，Calmar比和信息比均下降。

• 分析说明：

限制最小个股数量只是强制权重从尾部分散至头部范围内其他个股，未实质降低头部个股信息表达的深度，信息表达量未减少，故无法根本缓解过拟合问题。

• 结论：单纯限制最小股票数量反而在收益上有负面影响，风险收益比无明显改善。[page::6][page::7][page::8]

4. 分组预选股票池与组合优化（第8-10页）

• 方法描述：以分组选股（如头部部分股票等权）确定股票池，然后用组合优化调整权重以匹配行业风格偏离限制。

- 结果特点：
- 表5权重分布更均匀，充分模糊预测Alpha信息。
- 图3、图4及表6风险指标显示，分组合优化使收益随选股数量增多显著下降，最大回撤有所降低，Calmar比和信息比改善不稳定。

• 推理简析：

分组组合优化方法降低了对预测Alpha权重的极端依赖，减轻了组合集中风险，但因目标为最小化与宽基偏离，导致组合更趋向宽基，牺牲了部分选股收益，且参数表现敏感。

• 总结：分组组合优化虽降低信息表达深度，缓解偏离，却不稳定且损失收益。未根本解决过拟合。[page::8][page::9][page::10]

5. 模糊预测Alpha组合优化（第11-12页）

• 方法介绍：通过对预测Alpha应用阶梯函数分段（模糊化处理），改变原有的因子输入值，保留优化目标和约束，缓冲极端偏离。

- 实证结果：
- 表7权重分布减少了头部极端权重分配，行业内权重平衡较好。
- 图5、图6及表8显示该策略在沪深300和中证500均能实现超额收益提升，显著降低最大回撤，提高Calmar比及信息比，且参数对性能冲击较小。

• 核心分析：

模糊化手段有效降低预测Alpha信号的过度表达，优化仍以Alpha为根本，但通过调整表达方式降低波动风险，达成风险收益均衡。

• 结论：模糊预测Alpha组合优化是较优解决过拟合的方法之一，兼顾收益和风险。

[page::11][page::12]

6. 随机组合优化（第13-15页）

• 理论基础：借鉴机器学习中Bagging方法，通过随机抽样构建多个组合子空间，分别最优化，再聚合权重，降低模型对特定样本的过拟合风险。

- 具体做法：重复抽取子样本（如80%个股），对每个子样本进行组合优化，最后将各组合权重平均。

• 结果与数据：

- 表9显示随机组合优化使权重在预测Alpha中段股票也有所分配，秩相关系数达77.47%。
- 图7、图8及表10显示随机优化在沪深300和中证500显著降低最大回撤，提升Calmar比和信息比；参数敏感度较低，抽样比例70%-90%表现稳定。

• 逻辑说明：

随机抽样降低样本内信息表达（减少方差），组合优化确保子空间信息表达充分，聚合过程平衡方差和偏差，是过拟合和稳定性的有效折中。

• 结论：随机组合优化是一种有效减少过拟合波动，改善风险收益比的策略。

[page::13][page::14][page::15]

7. 方法对比与整体小结（第16页）

• 权重对比：

- 限制最小个股与基准较为接近，但未根本改善过拟合。
- 分组均匀处理，降低极端集中特征，但收益下降显著。
- 模糊预测Alpha与随机优化显著降低过分集中现象，风险收益更优。

• 总结：减轻预测Alpha极端表达是解决组合优化过拟合的根本，模糊和随机方法表现更优。

[page::16]

8. 模糊化随机化方法融合及理论借鉴（第17-19页）

• 机器学习模型迁移：对比随机森林(Bagging)与Extra Trees，强调后者进一步用随机划分减少信息表达，提升抗噪声能力。

- 融合策略步骤：
- 先对Alpha进行阶梯函数模糊化处理；
- 再对股票池随机抽样进行组合优化，重复多次权重平均。

• 回测数据：

- 表12显示融合方法相较标准基准降低最大回撤，提高Calmar比和信息比，且参数敏感度低，适应性强；
- 图9、图10净值曲线证明融合策略在沪深300、中证500表现与基准相近，尤其于风险控制方面显著改善，表明增强了样本外适应性。

• 理论与实践价值：将机器学习中的过拟合应对策略理论成功迁移至金融组合优化，创造性实现组合权重表达的“适度退让”，以退为进，提升组合稳健性。

[page::17][page::18][page::19]

9. 报告总结（第20页）

• 过拟合本质：组合优化在预测Alpha信息表达过度时，权重极端偏向头部分股，严重影响在不同行情下的表现稳定性。

- 方法评价：
- 限制最小个股数简单粗暴，未能有效减少信息表达深度；
- 分组组合降低信息表达但易损失Alpha信息量导致收益下降；
- 模糊预测Alpha及随机抽样优化分别或合并应用，有效平衡信息表达和适应性提升标准，明显提高风险收益比且参数表现稳定。

• 方法推荐：融合模糊预测Alpha和随机组合优化的方案为解决低频多因子组合过拟合问题的理想方案。

[page::20]

---

三、图表深度解读

（以下为主要图表说明与解读）

图1 & 图2：限制最小个股数量组合优化净值（第8页）

• 展示内容：沪深300和中证500基础指数对比基准和限制个数组合净值走势。

- 解读趋势：限制最小个股数组合净值长期低于基准，尤其沪深300表现较差，反映收益降低。

• 支持论点：限制个股数未能缓解过拟合导致的性能波动，仅弱化个股极度集中风险但仍受信息表达深度影响。[page::8]

图3 & 图4：分组组合优化净值（第10页）

• 展示内容：沪深300和中证500采用分组选股后组合优化调整权重的净值对比。

- 解读趋势：整体收益低于基准，随着入选个股数增加，收益和风险收益比均有所降低，显示该方法降低了风险偏离但牺牲收益。

• 逻辑关联：均匀权重虽分散极端权重，但优化目标却指向与宽基指数趋同，造成Alpha信息流失。[page::10]

图5 & 图6：模糊预测Alpha组合优化净值（第12页）

• 展示内容：模糊化调整后组合净值与基准对比

- 趋势：模糊化组合优化稳定提升收益，最大回撤降低，风险调整收益指标改善明显

• 说明：模糊化对预测信号降噪，避免了极端权重，提升整体组合鲁棒性。[page::12]

图7 & 图8：随机组合优化净值（第15页）

• 展示内容：随机组合优化净值与基准及宽基指数对比

- 趋势：随机方法在沪深300中的表现与基准接近或略优，风险收益指标显著改善，说明分散样本信息表达减少过拟合。

• 解读：提高了组合多样性与稳健性，适应市场变化能力提升。[page::15]

图9 & 图10：模糊化随机组合优化净值（第19页）

• 展示内容：融合方法净值表现对比基准

- 趋势：净值整体趋近基准，有明显风险控制改善，2019年后表现趋优

• 意义：凸显融合方法在模拟历史市场波动中，有更强抵御极端风险的能力。

- 注意：月度超额收益与因子IC的相关性为负，说明组合的表现与基准因子表现动态相关，反映组合的动态稳健性。
[page::19]

---

四、估值分析

本报告为金融工程专题技术分析，主要关注组合构建及优化方法，不涉及具体企业或行业估值模型及目标价设计，因而无估值方法讨论。

---

五、风险因素评估

• 模型失效风险：预测Alpha基于历史数据，未来市场环境变化可能降低模型有效性。

- 样本数据风险：当前分析基于历史数据样本，未来收益不保证。

• 参数敏感性风险：虽部分方法显示参数敏感度低，但实际应用仍需关注参数调整对策略稳定性的影响。

- 组合风格偏离风险：限制分散行业和风格偏离是本方法重要前提，未考虑极端偏离情况下策略表现。

• 结论：模型和方法存在固有风险，投资者慎重使用，持续监控。[page::1][page::20]

---

六、批判性视角与细微差别

• 限制最小个股数虽简单易行，但未有效解决根本问题，结果收益反而受损，未做足够实质减少信息表达的工作。

- 分组组合优化的约束目标与宽基接近，导致Alpha收益损失明显，说明该方法对信息表达的削弱代价较大，适用性需权衡。

• 模糊化和随机化方法明显改善风险收益表现，但整体收益提升有限，显示模型依赖预测Alpha准确度。

- 该报告大量基于模拟和回测数据，真实环境中高频调仓费用及流动性冲击未充分体现。

• 报告未深入讨论不同市场周期中各方法的稳定性和适用性差异。

- 尚未呈现对比基准或市场其他流行方法的系统竞争力比较，为后续研究空间。

• 术语和方法介绍逻辑严谨，理论联系实践，但数学公式部分略简略，对非专业读者学习有一定门槛。[page::13][page::17]

---

七、结论性综合

本报告围绕多因子选股中的组合优化“过拟合”现象，系统性讨论了四类方法及其融合策略的理论逻辑、权重分布、回测表现和优缺点：

• 组合优化“过拟合”表现为权重极端集中于预测Alpha最高少数股票，导致时序超额收益波动大，市场环境变化下回撤深，信噪比低是根本原因。

- 限制个股最小数仅是效果有限的权重约束，未本质解决过拟合，收益和风险控制未获改进。

• 分组组合优化通过均匀权重降低信息表达，但优化目标趋同宽基，牺牲收益，表现不稳定且受参数影响大。

- 模糊预测Alpha组合优化引入阶梯映射模糊信息表达，未变更优化目标，较好兼顾收益和风险，降低过拟合影响。

• 随机组合优化借鉴机器学习Bagging理念，通过子样本随机抽取和加权求和，平衡样本内信息表达与样本外适应性，有效提升组合稳健性。

- 融合模糊化和随机化方法本质上对应机器学习中Extra Trees思路，进一步降低子样本内信息表达，改善预测误差方差，实现更好风险收益比表现。

• 融合策略在沪深300及中证500均实现显著的风险调整收益提升，且对参数设定敏感性低，具备较强推广价值。

- 此类研究对提升多因子低频组合的市场适应能力具有重要意义，为后续量化基金组合构建和机器学习方法融合提供实证依据。

最终，报告提出“以退为进”的组合优化思想，即减少极端Alpha表达，适度模糊化且随机化权重构建过程，以实现稳定的超额收益和更低的回撤风险，为金融投资组合管理提供了创新方法论。[page::1][page::20]

---

全文图表与数据资料均由长江证券研究所编制，基于天软科技与Wind数据支持，符合高标准研究规范。

报告