SAM优化器提升模型泛化性能 [page::0][page::4]

• SAM优化器通过寻求“平坦极小值”而非传统优化的“尖锐极小值”，增强模型鲁棒性。

- GSAM模型在累计超额收益上优于基线模型，2016至2024年指数增强组合改进显著。

传统优化器及SAM优化器原理及改进版本 [page::5][page::6][page::7][page::8][page::9][page::10][page::11]

• 传统优化器如SGD和Adam易陷入尖锐极小值，泛化能力不足。

- SAM优化器通过双次梯度下降寻找权重空间平坦极值，改善泛化性能。

• 多种改进版本如ASAM、GSAM、GAM、FSAM在自适应扰动半径、梯度方向调整和随机梯度噪声剥离等方面提升效率和效果。

实验设计与基线模型介绍 [page::12]

• 基于GRU网络，分别从日K线和周K线提取因子信号，等权合成最终预测信号。

- 训练参数包含大样本Batch Size、30日时序窗口及IC的相反数为损失函数。

模型训练收敛性及损失函数地形分析 [page::14][page::15]

• SAM模型在验证集上IC、IR指标下降幅度较缓，最大值均高于基线，表明更优泛化性能。

- 搭配PCA降维技术，绘制训练和测试集损失函数地形图，SAM优化器对应更平坦和更低损失的地形。

单因子及指数增强组合性能显著提升 [page::16][page::17][page::18][page::19][page::20][page::21][page::22]

| 实验名称 | RankIC均值 | RankIC波动率 | RankICIR | RankIC胜率 | TOP组收益率 | TOP组胜率 | TOP组信息比率 |
|---------|------------|--------------|----------|------------|--------------|----------|----------------|
| 基线 | 13.62% | 10.40% | 1.31 | 90.49% | 30.26% | 60.28% | 3.86 |
| SAM | 13.51% | 10.46% | 1.29 | 90.39% | 30.50% | 60.38% | 3.81 |
| ASAM | 13.46% | 10.41% | 1.29 | 90.39% | 30.61% | 59.75% | 3.86 |
| GAM | 13.59% | 10.41% | 1.30 | 90.76% | 31.39% | 61.66% | 3.97 |
| GSAM | 13.59% | 10.41% | 1.31 | 90.65% | 31.25% | 61.07% | 3.98 |
| FSAM | 13.56% | 10.35% | 1.31 | 90.87% | 31.41% | 61.02% | 4.04 |

• GSAM在沪深300、中证500和中证1000增强组合年化超额收益分别达到10.9%、15.1%、23.1%，信息比率分别为1.87、2.26、3.12，显著优于基线。

- 2024年以来，ASAM模型表现最为突出，三组指数增强组合超额超基线约5%。

2024年最新业绩表现 [page::21][page::22]

• 2024年主要指数增强组合均经历较大回撤，SAM及改进版本相较基线模型表现更稳健。

- ASAM模型2024年累计超额收益明显领先，代表其短期业绩优势明显。

SAM：提升 AI 量化模型的泛化性能 — 华泰研究报告详细分析

---

一、元数据与报告概览

• 报告标题：SAM：提升 AI 量化模型的泛化性能

- 作者与机构：林晓明、何康（PhD）等，华泰证券股份有限公司研究所

• 发布日期：2024年10月10日

- 研究主题：研究Sharpness Aware Minimization（SAM）优化器及其改进版本在人工智能量化模型中提升模型泛化性能的效果

• 研究对象：基于GRU模型的AI量价因子挖掘模型

- 核心观点：
- 介绍并深入探讨SAM优化器，一种从优化器角度增强模型泛化性能的正则化方法；
- 通过对比传统优化器AdamW及SAM与其四个改进版本（ASAM、GSAM、GAM、FSAM）训练的模型，验证SAM优化器显著改善模型的泛化能力，尤其是提升预测因子多头收益及指数增强组合业绩；
- GSAM表现最佳，实现了最高的年化超额收益和信息比率，ASAM在2024年表现尤为突出；

• 风险提示：AI挖掘基于历史，未来规律可能失效；深度学习模型受随机性影响大；回测简化假设未考虑所有交易因素[page::0,4]

---

二、逐节深度解读

1. 导读与研究背景（页4）

• 泛化性能是量化模型成功的关键，防止模型过拟合，确保模型对未见数据具有良好预测能力；

- 介绍正则化方法分类，强调正则化不仅限于显式惩罚项，也涵盖隐式方法如早停、Dropout、数据增强等；

• 提出SAM优化器作为低成本且通用的正则化手段，能够改进传统优化器的梯度下降策略，寻求模型权重空间中的“平坦极小值”，从而改善泛化性能；

- 实验基础是GRU结构的量价因子模型；

• 研究发现：

1. SAM优化器延缓验证集过拟合速度，提升损失函数曲面平坦度；
2. 多头因子年化收益率高达31.4%，信息比率显著高于传统基线；
3. 指数增强组合超额收益提升1-2%；
4. GSAM整体表现优异，ASAM在2024年表现突出[page::4]

2. 正则化方法概述（页5）

• 正则化减少泛化误差，避免模型只记忆训练数据；

- 图表3（泛化性能图）精准展示了模型复杂度与训练误差、测试误差之间的关系，最佳点在于泛化误差最小；

• 分类详解显式正则化（L1、L2）与隐式正则化（Early Stopping、Dropout等）及其作用机制；

- SAM及其改进优化器属于结合模型复杂性与优化过程的隐式正则化方法[page::5]

3. 传统优化器及局限（页6）

• 介绍主要传统优化器，如SGD、Adagrad、RMSprop、Adam和AdamW，围绕其算法特点、优势与不足进行了归纳；

- 共通问题是仅追求最小化训练集损失，容易陷入“尖锐极小值”，导致泛化性偏差和过拟合；

• 图表6形象显示尖锐极小值与平坦极小值的损失函数地形差异，平坦区域对应更稳定和优越的泛化性能；

- 因此纯粹基于训练损失的优化策略存在隐患，而SAM正是为解决该问题提出的[page::6]

4. Sharpness Aware Minimization（SAM）原理与算法（页7-9）

• 损失函数地形定义及可视化（图表7、8）：损失值随高维权重参数变化的曲面或等高线图，显示权重空间的“山谷”和“山峰”；

- 为何寻求平坦极值点？平坦极小值意味着小幅参数扰动对损失影响微小，提升模型对数据分布偏移的鲁棒性（图表9）；

• 如何实现？SAM通过“内层极大化”找到权重附近扰动下的最大损失，再用“外层极小化”优化权重，目标函数改为扰动邻域的最大损失最小化；

- 数学表达：
$$
L^{SAM}(w) = \max{\|\epsilon\|p \le \rho} L(w + \epsilon)
$$

• 判定最大扰动位置为梯度方向，实际更新时利用扰动后位置梯度更新权重，需“两次”梯度计算完成一次步进；

- 图表10展示整个两步优化过程，图表11给出伪代码实现[page::7-9]

5. SAM优化器改进版本（页9-11）

• 图表12汇总大量SAM改进，主要分为性能提升和效率提升两方向；

- ASAM（Adaptive SAM）通过自适应扰动半径解决不同尺度参数的敏感性问题（图表13、14），提高泛化性能；

• GSAM（Surrogate Gap Minimization）通过利用扰动前后梯度垂直分量纠正梯度方向（图表15），提升梯度下降的准确性；

- GAM通过零阶和平坦度综合度量，避免在多极值多波动区误判平坦区域（图表17、18）；

• FSAM剥离扰动中的全梯度分量，仅保留随机噪声扰动，减少对泛化的不利影响（图表19、20）；

- 本研究强调性能提升版本对量化模型预测效果更关键，效率提升版本未纳入主要测试[page::9-11]

6. 实验基础：基线GRU量价因子模型（页12）

• 模型架构（图表21）：

- 双GRU结构，分别从日K线和周K线挖掘时序特征
- 两因子等权合成作为最终预测信号

• 输入特征包括过去30个交易日和周的多维数据（开、高、低、收、VWAP、成交量）

- 预测标签为未来10日收益率

• 训练参数（图表22）：

- 随机数种子5组，GRU层数2，隐藏层64
- Batch size 5000，最大迭代100，早停20，损失函数取IC的相反数等

• 基线优化器为AdamW，SAM及改进版本采用相同基础优化器框架（图表23）[page::12-13]

7. 实验结果

模型训练泛化性能（页14-15）

• 验证集IC和IR指标（图表24、25）显示，SAM模型在训练后期泛化指标下降缓慢，峰值高于基线；

- 损失函数地形图（图表26~29）：
- 基于PCA降维展现训练轨迹及损失曲面，
- SAM训练轨迹周边损失等高线分布更稀疏均匀，说明平坦极小值特征明显；
- 测试集损失水平显著低于基线，反映更优泛化表现；

• 这些指标均支持理想泛化的获得，与SAM理论保持一致[page::14-15]

预测因子表现（页16-17）

• 全市场检验单因子IC指标，与基线模型对比无明显提升；

- 多头（TOP）层的年化收益率显著提升（图表31、32、33、34），FSAM表现最佳，GSAM、GAM也有不错表现；

• 预测因子的RankIC分层效果均良好，说明SAM优化器提升的是因子的实用价值和强度而非IC整体水平[page::16-17]

指数增强组合表现（页17-22）

• 三大指数（沪深300、中证500、中证1000）增强组合测试：

- 整体采用等权预测因子进行组合优化（图表35）；
- 各SAM模型提升显著，关键指标如年化超额收益、信息比率、夏普比率优于基线；
- GSAM表现最优，沪深300年化超额收益10.9%，中证500为15.1%，中证1000达到23.1%（图表36~44）；

• 2024年年内表现：

- 市场大波动期间（图表45~50）均体现SAM改进模型的相对稳定性和超额收益优势；
- ASAM在2024年表现突出，领先基线约5个百分点；

• 综合来看，SAM及改进式优化器通过提升模型泛化性能，成功带来投资组合上实质超额收益的提升[page::17-22]

---

三、图表深度解析

• 第一页尖锐与平坦极值示意图（页0）：

- 形象对比“尖锐极值点”与“平坦极值点”的损失变化，展示训练集和测试集损失差异；
- 佐证传统优化方法陷入尖锐极值的泛化劣势，并引出SAM寻求平坦极值的必要；

• 图表1与2 (页4)：基线与GSAM模型累计超额收益与详细绩效对比表

- GSAM模型累计收益显著高于基线，信息比率提升明显；
- 回撤控制、胜率及Calmar比率整体优于基线，体现风险调整后收益提升；

• 损失函数地形图（图表26~29，页15）

- 通过PCA降维将40,000维权重空间压缩展示；
- SAM模型损失地形更为“平坦”和稀疏，且在测试集损失整体更低，直观展示泛化能力提升；

• 预测因子回测结果图（图表31~34，页16-17）

- 单因子多头组合净值增长率明显领先基线；
- 分层回测显示高因子值组收益稳健，验证预测效果提升；

• 指数增强组合累计超额收益趋势图（图表37、40、43页18、19、20）

- GSAM和ASAM模型在不同指数中累计超额均优于基线，表现出长期稳定优势；

• 2024年市场波动中的月度超额收益图（图表45、47、49页21、22）

- 反映SAM改进模型在市场震荡期间依然保持相对优势，说明提升了模型抗风险及泛化能力。

---

四、估值与量化模型表现分析

• 估值方法：应用SAM优化器后的模型主要基于GRU网络生成多头因子信号，再结合传统组合优化方法，约束行业、市值及换手率，构建指数增强组合，评估超额收益、信息比率等指标；

- 核心假设：
- 组合优化中采用回测期真实成交的VWAP价格，双边交易费用3‰，周频调仓且换手上限20%；
- 预测因子准确性和稳定性是实现超额收益的关键；

• 关键结果：

- GSAM和ASAM优化器显著改善模型泛化性能，带来预测因子多头收益提升与指数增强组合超额收益显著增长；
- 提升幅度超1-2个百分点，部分指标提升超过5%（尤其2024年）；

• 核心驱动力：

- SAM优化算法通过引导至“平坦极小值”，减少过拟合；
- 理论基础结合梯度阶数与扰动分析，带来对参数空间更合理优化；
- 多种改进版本进一步优化尺度适应性和扰动方向，提高模型性能。

---

五、风险因素评估

• 市场风险：AI模型依赖历史数据挖掘，历史规律未来可能失效，尤其在市场结构性变动或黑天鹅事件下；

- 模型风险：深度学习含随机性，模型训练结果受随机种子影响较大，指标及收益表现波动；

• 回测假设风险：仅考虑VWAP成交价格，未涵盖滑点、流动性影响、市场冲击等真实交易复杂因素，导致实际应用时可能出现不同表现；

- 算法复杂度和成本：SAM算法需要两次梯度计算，增加计算负担，效率改进未在本研究覆盖，可能影响推广；

• 缓解措施：文中未专门提及详细风险缓解策略，建议后续研究中加强对交易成本模型及实盘验证[page::0,24]

---

六、批判性视角与细微差别

• 模型泛化提升的度量限制：

- 单因子IC表现与传统优化器无显著区别，表明泛化提升可能更多体现于因子的高收益区分能力（多头端）而非整体预测相关性；
- 指数增强组合表现提升，固然印证泛化提升，仍需关注非因子外的多重风险因素及组合动态特性；

• 参数调整：

- 本研究未进行系统的超参数调优，所有SAM相关参数采用文献推荐默认值，可能未达到最优效果；优化器表现仍有提升空间；

• 效率与算力成本：

- SAM及其改进版本计算成本较高，实际部署时会带来显著资源消耗压力，尤其高频交易或大规模实时更新场景；

• 回测样本范围和期限：

- 样本覆盖2016至2024年，较长周期涵盖多轮市场波动，但未来市场环境不可预测，模型稳定性需持续评估；

• 改进版本综合应用：

- 目前各改进版本效果单独测试，未尝试融合多项改进策略，有潜力进一步提升性能；

• 策略鲁棒性验证不足：

- 回测假设简化，未考虑市场微观结构影响，未来应强化实盘验证与压力测试。

---

七、结论性综合

本报告详细介绍并实证验证了Sharpness Aware Minimization（SAM）优化器及其改进版本在提升AI量化模型泛化性能方面的显著作用。通过理论剖析、损失函数地形可视化以及大规模实证回测，研究达到以下关键结论：

• 泛化性能显著提升：SAM优化器通过追求权重空间的“平坦极小值”，有效抑制训练过程中过拟合，训练指标IC、IR下降更缓，损失函数地形曲面更平坦，测试集表现更优；

- 预测因子多头收益增加：应用SAM及改进版本后，预测因子多头端收益率均超越基线，FSAM在因子多头收益表现中优先；

• 指数增强组合业绩提升明显：基于SAM模型构建的沪深300、中证500及中证1000等三类指数增强组合均实现更高年化超额收益和信息比率，特别是GSAM模型表现最优，2024年ASAM模型表现突出，超额收益领先基线约5个百分点；

- 改进版本各有侧重：ASAM适应参数尺度消除敏感性，GSAM优化扰动梯度方向，GAM结合阶梯度度量，FSAM剥离全梯度噪声负效应，均有效提升模型泛化，不同场景下可根据需求选择；

• 未来研究方向：

- 深入超参数调优，提升SAM优化器在量化模型的适配度；
- 探索整合不同改进思路形成综合优化器；
- 扩展对效率改进版本的测试，实现算法性能与计算开销均衡；
- 增加实盘交易验证和风险场景测试，提升模型实用性。

总体而言，SAM及其改进版为AI量化领域带来一种有效且具通用性的范式，突破传统基于训练误差最小化导致泛化不足的瓶颈，驱动量化模型向更高性能迈进。[page::0-24]

---

以上为该研究报告的详细、系统性解析，涵盖所有重要章节内容、图表解读、方法论阐释、实验成果分析及风险与批判视角，深刻展现SAM优化器提升AI量化模型泛化能力的机制及实际效应。

报告