Evolutionary Factor Searching for Sparse Portfolio Optimization Using Large Language Models
创建于 更新于
摘要
本文提出了Evolutionary Factor Search(EFS)框架,利用大型语言模型(LLMs)动态生成和进化alpha因子,实现稀疏组合优化问题的因子化资产排序。该方法通过演化反馈循环持续优化因子池,并在多个Fama-French基准和实际市场数据上展现了优异的收益和稳定性表现,显著优于统计和基于优化的传统基准,且因子表达具备良好解释性和适应性,尤其在大资产池和波动市场环境下效果突出[page::0][page::1][page::7][page::9][page::10][page::19]。
速读内容
EFS框架及核心创新 [page::1][page::4][page::5]

- EFS利用LLM生成可执行的alpha因子表达式,将因子发现与稀疏组合优化融合为单一排名任务。
- 引入演化算法思想,通过因子变异和交叉,结合性能反馈持续改进因子池,提升适应动态市场能力和解释性。
- 采用因子库预热、提示设计及迭代搜索更新,确保因子质量与多样性。
量化分析及回测表现 [page::7][page::8]
| 数据集 | 方法 | CW↑ | SR↑ | MDD↓ |
|-----------|-----------|---------|-------|--------|
| FF25 | EFS-GPT4.1 | 708.34 | 0.255 | 0.498 |
| FF100 | EFS-GPT4.1 | 1836.34 | 0.253 | 0.486 |
| US50 | EFS-DeepSeek | 25.10 | 0.132 | 0.288 |
| CSI300 | EFS-GPT4.1 | 4.962 | 0.098 | 0.301 |
- EFS在Fama-French多组基准和实际US50、HSI45、CSI300市场数据上均显著超越传统均权、Min-CVaR和Max-Sharpe等组合策略。
- 增大稀疏资产个数(m)及因子数目能进一步提升累计收益及夏普比率,且EFS表现更稳定。
- 多个LLM后端效果相近,表明EFS方法对模型具有普适性和鲁棒性。
量化因子构建方法总结 [page::17][page::19]


- 通过提示工程指导LLM输出格式规范、可执行的alpha因子Python代码,并进行可控的结构变异与交叉操作。
- 因子融合多种技术指标,如动量、波动率、布林带宽等,组合成复杂、可解释性强的交易信号。
- LLM展现出对市场不同阶段的动态适应能力,因子在牛市偏好趋势延续、熊市重点回归及风险控制。
消融实验及性能影响因素分析 [page::9]
| 实验方法 | CW↑ | SR↑ | MDD↓ | RankIC↑ | RankICIR↑ |
|----------------|----------------|--------------|--------------|-------------|-------------|
| 标准EFS-DeepSeek | 32.99±6.04 | 0.149±0.003 | 0.260±0.013 | 0.027±0.001 | 1.582±0.050 |
| 无性能反馈 | 9.55±5.87 | 0.094±0.019 | 0.327±0.053 | 0.009±0.009 | 0.487±0.467 |
| 无技术分析因子 | 5.37±1.65 | 0.074±0.011 | 0.394±0.043 | 0.002±0.004 | 0.117±0.241 |
- 性能反馈和技术分析相关因子为EFS框架的关键因素,剔除导致效果显著下降。
- Generation规模和预热长度影响探索多样性与稳定性,适中参数取得平衡。
- 演化过程延长与适应性训练能力显著提升因子池的预测能力和稳定性。
资产选择及时序表现分析 [page::21][page::22][page::25]



- 选股频数前十资产多为知名龙头,组合表现稳定,动量和防御性资产交替适应不同市场环境。
- 因子得分时序显示明显的市场阶段动态变化,高分因子持续性强,适应行情波动,体现理性选择与风险防控。
- 牛熊市期间组合表现优异,部分核心因子对应强势行业和趋势信号。
交易成本与权重映射敏感性分析 [page::20]
- 交易成本设置0.1%和0.2%时,组合累计财富有所下降但整体表现仍较强,体现因子信号较为稳健。
- 权重分配由因子分值转换,参数调节可控制风险与集中度,避免极端集中过度风险暴露。
- 建议实际应用中采用平滑或等权重策略以平衡收益与稳健性。
深度阅读
详尽分析报告:《EFS: Evolutionary Factor Searching for Sparse Portfolio Optimization Using Large Language Models》
---
1. 元数据与概览
- 报告标题:《EFS: Evolutionary Factor Searching for Sparse Portfolio Optimization Using Large Language Models》
- 作者:Haochen Luo、Yuan Zhang、Chen Liu,分别来自香港城市大学与上海财经大学
- 主题与领域:本报告聚焦于量化金融中“稀疏组合优化”问题,提出一种新颖的利用大型语言模型(LLMs)进行因子搜索并演化的自动化框架——Evolutionary Factor Search (EFS)。
- 核心论点:
- 传统基于统计的组合优化难以适应市场动态,且缺乏可解释性和稳定性。
- 因子搜索能够辅助构建更透明且有竞争力的投资组合,但现有方法在因子生成的适应性和稀疏性方面存在不足。
- EFS框架通过将资产选择问题转换为由LLM指导的因子产生与演化任务,结合进化反馈机制,实现动态高效的稀疏组合优化。
- 主要结论和结果:
- EFS在标准的Fama-French五个基准数据集及三个真实市场数据(美股50、恒生科技45和沪深300)上表现领先,特别是在大规模资产池和市场波动条件下表现突出。
- 详尽的消融实验确认了提示设计、因子多样性及LLM后端选择对效果的影响。
- 该框架不仅具备解释力,还能在结构限制条件下实现稳定且灵活的组合优化。
该报告旨在传达LLM推动的因子演化作为一套可扩展、高效且可解释的稀疏组合优化新范式的潜力 [page::0,1,2]
---
2. 逐节深度解读
2.1 摘要与引言(Abstract, Introduction)
- 稀疏组合优化的挑战:
- 需在庞大资产池中选出不超过$m$的资产组合,这一组合问题因$\ell0$约束和财务目标非凸性而NP难。
- 传统方法包括贪心算法、稀疏正则化、整数规划等,但缺乏解释性且对超参数敏感。
- 因子方法的优势与局限:
- 基于alpha因子的资产评分机制在学界与业界被广泛使用。
- 存在需专家人工调谐、因子随市场环境迅速失效、迁移性差等问题。
- 现有机器学习方法受限于组合空间爆炸性和对稀疏选股场景适应不足(即“稀疏衰减”现象,后续图1详述)。
- LLM的启发:
- LLMs已展现出良好的金融数据理解能力,但多聚焦预测,而非组合选择设计。
- 现有LLM辅助因子生成主要为静态单次流程,忽略了金融市场的动态演化。
- 现实中考虑实施成本和风险,往往需在更小规模且稀疏的资产池中操作,现有研究多忽视这一点。
- EFS提出策略:
- 结合LLM强大的生成与推理能力与组合约束的稀疏优化需求,提出一种闭环的因子自动演化框架。
- 通过反复回测反馈,持续改进因子池,实现动态适应。
- 生成单一复合评分函数,提升透明度和解释性,避免复杂黑箱中间模型。
- 将稀疏组合优化对资产选择转化为排序任务,天然符合实务要求。
在引言中透彻论述了背景困境及EFS的动机和贡献,展示了LLM集成进化算法的独特优势 [page::0,1]
---
2.2 相关工作(Related Works)
- 稀疏组合优化里程碑:
- 从1979年引入$\ell0$正则化促进稀疏,到近年利用结构化稀疏(SLOPE)和全局优化模型(最大Sharpe比)等技术发展。
- 主要缺陷是依赖固定模型假设,对市场动态缺乏适应。
- Alpha因子挖掘的机器学习方法:
- 早期采用进化算法、强化学习等方法挖掘因子,但效果有限,且工程复杂。
- 近期引入LLM辅助因子生成与解释,例如Alpha-GPT等,但多依赖人工反馈,且为静态步骤。
- LLM驱动自动算法设计:
- 将算法设计作为组合优化问题,利用LLM并结合进化算法自主创生启发式和策略。
- 表明LLM的泛化能力可助力动态、高效的因子搜索与演进,提升组合构建质量。
该章节使读者对传统金融优化、机器学习因子挖掘及LLM自动算法生成技术有清晰框架理解,体现EFS的跨领域创新 [page::2]
---
2.3 预备知识(Preliminaries)
- 稀疏组合问题数学描述(公式1):
- 目标函数$g(\mathbf{w})$优化,权重$\mathbf{w}$满足非负、和为1以及$\ell0$稀疏约束(最多持有$m$个资产)。
- 关键绩效指标定义:
- 累计财富(CW)、夏普比率(SR)、最大回撤(MDD),这些是评价组合表现的金融标准指标。
- 因子搜索定义:
- 将因子视作映射历史时序数据$Xi$到标量评分函数$f(X_i)$。
- 采用运算符和特征的树结构表达,便于后续基因编程与符号操作。
- 评价指标:
- 传统信息系数(IC)和信息比率(IR)偏向整体相关性。
- 稀疏组合重点考察审批排序能力,故更关注RankIC和RankICIR:利用资产横截面收益排序相关性和稳定性指标评估因子预测力。
为后续技术方案提供了数学基础和评价框架,清晰定义了问题和指标 [page::3]
---
2.4 方法论(Methodology)
2.4.1 LLM驱动的因子搜索
- 直接用LLM生成完整可执行的Python评分函数,跳过传统复杂的因子生成-机器学习组合流程;
- 通过在计算图层面实现变异(mutation)和交叉(crossover)操作实现因子表达式的灵活演化;
- 具备高度可控、透明和模块化,方便追踪和性能调优;
- 一步生成,灵活快速适应动态市场,避免过拟合和复杂模型黑箱。
2.4.2 EFS框架流程
- 初始因子库冷启动:使用基本因子(表4定义)种子,基于历史窗口回测表现,为LLM生成构建基础知识库;
- 提示设计:
- 系统提示:细致规范代码格式、版本规范、禁止依赖等;
- 用户提示:包含最新高性能因子及其匿名性能数据,引导LLM在此基础上反复优化;
- 迭代搜索与组合优化:
- 固定频率(如每周)选择表现优越因子,通过变异与交叉生成新因子;
- 验证通过适应度门槛后加入因子池,否则剔除;
- 对资产计算综合评分,给出稀疏组合;
- 实时滚动回测,评估表现,提供闭环反馈。
框架为一种动态的、反馈驱动的端到端测评与演化系统,实现了因子发现与投资组合构建的深度融合 [page::4,5,6]
---
2.5 实验设计(Experiments)
- 数据集:
- 5个Fama-French经典基准数据集(FF25等),均为月度收益、固定记录数;
- 真实市场数据集:US50(美股前50)、HSI45(恒生科技45)、CSI300(三百大中概股),采用日线数据,包含多样市场环境;
- 对比方法:
- 非稀疏组合如1/N等简单基准,Min-CVaR、最大Sharpe比优化;
- 稀疏组合包括:SSPO、XGBoost/LGBM模型、以及最新的mSSRM-PGA和ASMCVaR方法;
- 评价指标:CW、SR、MDD,SR采用零风险利率计算以避免不同利率环境偏差;
- LLM后端:实验中使用GPT-4.1和DeepSeek-V3,均显现良好性能,验证方法泛化;
- 重复实验和结果聚合:为缓解LLM输出随机性及市场短期变动,三次运行合并因子库统一回测。
整体实验设计严谨全面,兼具学术和实务考量 [page::6]
---
2.6 实验结果(Results)
2.6.1 基准数据结果(表1)
- 在$m=10$稀疏设定下,EFS在所有五数据集均表现最佳;
- GPT-4.1与DeepSeek性能相近,算法稳定;
- 数据规模扩大(如FF100、FF100MEOP),EFS优势明显提升,展示可扩展性;
- 加入基于评分的加权策略(Score-to-weight)显著提升收益和风险调整指标,超越现有最优方法;
- 其他方法表现参差,传统非优化基准和机器学习基线均未能达到EFS水平。
2.6.2 真实市场结果(表2及图4)
- EFS在美股50和HSI45、CSI300上均超强领先;
- 在$m=10$资产选取,EFS展现约7倍于1/N的CW提升,SR显著提高;
- 在$m=15$维持风险控制良好,CW略有下降,表现仍优于对手;
- CSI300数据验证EFS对大规模资产池稳定泛化;
- 通过调整保留因子数量,EFS对因子数(5-10)表现不敏感,因子演化质量稳定,且稀疏组合多样性实现平衡。
2.6.3 消融实验(表3)
- 移除性能反馈指标(如RankIC)导致性能降幅最大,体现回测引导反馈关键性;
- 删除技术分析因子作为种子导致组合不稳定,说明基础因子的结构先验重要;
- 生成规模$M$过大导致质量下降,表明探索与利用之间的权衡需仔细管理;
- 预热阶段过长效果有限,动态进化设计才是关键;
- 表现指标(CW、SR、RankIC等)均受上述因素影响明显。
2.6.4 进一步分析
- 性能提升得益于因子动态演化,兼具市场适应性与解释性;
- 组合在牛熊市切换中自适应调整,限制回撤同时捕获上涨收益(图8);
- LLM生成因子可读性强,结构复杂且包容多种信号,且因子时间序列表现出显著动态变化(图7、12);
总之,实验全面验证了EFS的有效性、稳健性与实用性 [page::7,8,9,10]
---
2.7 算法细节(附录A)
- 明确了EFS迭代框架的完整流程,包括初始因子冷启动、定期因子池净化、回测反馈、基于结果的再生成与筛选;
- 提出“call LLM with retry”机制用于保证模型调用的鲁棒性,避免在线API偶发失败带来干扰;
- “filter factor versions”确保因子版本整洁,保留最新及表现最优变体,兼顾多样性与质量;
- 多进程并行搜索策略设计,通过合并多条搜索轨迹降低随机波动风险,提升因子池多样性和稳定性。
该部分为理解整个框架实现细节及稳定性设计提供关键支撑 [page::13,14]
---
2.8 因子库详情(附录B)
- 初始因子库主要为基于价格的基础统计指标和经典技术指标,包括均值、波动率、动量、最大回撤、布林带宽度、RSI等;
- 库内因子设计简洁,便于LLM基于基础构建更复杂表达,符合端到端生成仅依赖单资产历史数据的目标;
- 避免手工复杂因子库以防过度依赖专家知识,突出LLM自动进化能力。
这一基础保证因子演化的通用性和解释性 [page::14,15]
---
2.9 数据集详情(附录C)
- 说明了对标普、恒生和沪深数据的采集、预处理和选样策略;
- 包含缺失数据处理、时间窗口设计、资产池构成及对应替代策略;
- Fama-French基准详细介绍,及常用替代资产池构建逻辑。
保证了实验数据的高质量和代表性 [page::15,16]
---
2.10 提示设计(附录D)
- 明确了系统提示严格规范LLM输出格式、函数签名、命名规范等代码规范;
- 设定协议促进因子结构演化的进化算子表现为变异和交叉;
- 工作流程中用户提示结合历史表现,确保生成因子合理、高效。
这一设计确保了生成输出的规范和功能有效性 [page::17,18]
---
2.11 额外实验分析(附录E)
- 分析LLM生成因子多样性,大量调优超参数与结构融合,示例展示因子调优与因子交叉操作(图6、7);
- 交易成本下的稳健性测试,部分性能受交易成本影响,但整体策略仍表现优异,未来优化空间明显(表7);
- 组合收益曲线对比展示多市场的牛熊市表现(图11、8),及股票选取频率与收益通过时间演变(图9、10);
- 因子得分热力图说明生成因子对市场状态适应性,及得分向权重转化的敏感性分析和调优建议(图12、13,表8)。
这些辅助实验为理解策略稳定性、适应性和内在逻辑提供了重要视角 [page::19-26]
---
3. 图表深度解读
图1(第1页)
内容描述:
- 该图展示由Alpha158和Alpha360两个因子库构建的组合在CSI300和CSI500市场中,不同稀疏度(即组合选择的资产数量Top-k)下的年化收益和信息比率表现。
数据解读:
- 随着Top-k资产数量的减少,两个因子库的组合表现明显下降,体现“稀疏衰减”问题;
- 蓝色线(Alpha158)较橙色(Alpha360)整体表现优越,尤其在CSI300中衰减明显。
- 虚线信息比率的下降表明稀疏组合中的预测稳定性大幅降低。
联系文本:
- 该图直观支撑了作者关于传统因子库难以精确识别稀疏组合优质资产的论断,突出EFS框架提出的因子表达灵活演化的现实需求。

---
图2(第3页)
内容描述:
- 展示Alpha158中因子表达式的树结构示例,如计算$ (close - open) / open $;
- 右侧示意多因子的输出通过XGBoost或LightGBM进行聚合,产生最终排序得分。
解读:
- 说明因子由简单原始指标通过算术运算组合形成,具备模块化且可解释的结构特征;
- 强调传统方法多赖模型汇总,增加复杂性与黑箱性,EFS则直接生成评分函数,增强透明度。

---
图3(第5页)
内容描述:
- EFS框架全流程示意图,涵盖:因子库初始化、使用当前优质因子引导LLM生成候选因子、因子筛选更新、基于因子分数构造稀疏组合并回测;
- 箭头表明因子在搜索/演化过程中经历变异与交叉重组。
解读:
- 图中蓝色部分聚焦传统因子回测与专家设计;
- 粉紫色区域展示因子演化的进化操作,体现结构化变异模型;
- 绿色区域呈现资产数据应用于稀疏组合构建,强调端到端闭环动态流程;
- 该图帮助理解EFS如何将LLM生成与金融投资实践紧密结合。

---
图4(第8页)
内容描述:
- 分别为US50和HSI45数据集,EFS-GPT 4.1在不同因子数量(1~10)和稀疏组合规模(m=10, m=15)条件下的累计收益(CW)与平均RankIC表现。
解读:
- 蓝色与橙色曲线代表不同稀疏度下平均累计收益,表现稳定且远超ASMCVaR基线;
- 绿色曲线(rank IC)保持高位且波动较小,表示因子的排序预测能力持续稳定;
- 15资产组合对因子数量的敏感度低,说明较大规模组合分散了部分单个因子的波动性影响。

---
图5(第10页)
内容描述:
- US50组合随搜索演化过程记录比(record ratio)变化的累计财富和夏普比率(左图);
- 因子质量指标RankIC及RankICIR随演化进度提升趋势(右图)。
解读:
- 左图显示组合性能随时间及演化进度有效提升,表现稳定收敛;
- 右图因子质量稳定且提升,说明LLM指导下的因子池演化有效优化了预测能力;
- 进一步支持动态迭代对因子发现的必要性。

---
图6(第19页)
内容描述:
- 展示LLM演化过程中典型行为:(a)单因子微调超参数与组合结构;(b)两种结构迥异因子的交叉融合生成新因子示例。
解读:
- 体现LLM不仅局部优化“细节”,还能进行全局组合创新,探索多样空间;
- 代码示例注释提高理解因子因果结构与演化路径的可解释性。

---
图7(第20页)
内容描述:
- 两个复合因子Python代码及其结构示意,配有注释说明因子捕获的市场信号与因子构成逻辑。
解读:
- 展现因子在捕获短期价格偏离、波动性调整及趋势强度等多方面的综合能力;
- 代码中明显体现鲁棒输入处理、波动率过滤等实用技巧,增加因子可解释性和实用性。

---
图8(第21页)
内容描述:
- US50和HSI45市场在2022年熊市与2023/2024年牛市阶段下的组合净值走势对比。
解读:
- EFS策略明显在熊市阶段抑制亏损,牛市阶段捕获多头收益,相较基准拥有更强抗风险能力和上行空间;
- 展现对市场情绪与阶段的灵活响应。

---
图9 & 10(第22页)
- 图9为三市场全期内最常被选股票排名和对应累计收益,体现模型偏好稳定优质资产;
- 图10呈现代表性年份每年前十选股变化,反映模型对季度和阶段的适时调仓与市场态势捕捉。


---
图12(第25页)
- 不同市场因子打分的时序热图及对应组合资金曲线。
- 展示因子评分依据市场环境发生变化,因子动态适应性强,带动整体组合价值稳定增长。

---
图13(第26页)
- 因子得分转化为权重后,US50和HSI45组合的实际累计收益对比。
- 显示动态因子加权可以进一步提升投资收益表现,展现框架高效转化信息为资本配置。

---
4. 估值分析
本报告未涉及传统的估值计算(如DCF、市盈率等),其核心聚焦于量化投资因子生成与组合构建优化问题。投资组合表现的“估值”体现在风险调整后的收益指标(CW、SR)及因子排序指标(RankIC),以数据驱动结果为主。
---
5. 风险因素评估
报告未明确列出风险章节,但从文意与实验设计中可推断主要风险因素:
- 因子衰减风险:市场状况变化导致因子预测性减弱,EFS设计动态演化机制以缓解,但仍存在滞后风险;
- 模型过拟合风险:关注因子简洁及直接构建评分函数减少黑箱复杂度,提升普适性;
- LLM生成随机性:多次运行和结果聚合缓解偶发输出质量波动;
- 交易成本风险:附录实验证明存在显著影响,后续可细化交易成本感知策略;
- 市场极端事件风险:因子适应性受限于历史数据覆盖,面对黑天鹅事件或突变可能失效。
报告中针对这些风险提出初步缓解方案,如回测反馈、因子筛选、多次迭代、权重分散等,但并未详细定量风险概率或缓解强度。
---
6. 批判性视角与细微差别
- 模型依赖LLM生成,具有随机性和潜在服务限制(如API调用失败及响应质量波动),报告以“call LLM with retry”做了部分保护,但仍可能存在瓶颈。
- 框架初始种子因子库有限,有助于专注演化,但是否遗漏了高级复杂因子未有明示,较为保守。
- 得分到权重的转换对投资表现影响较大,探索了温度调节参数,但潜在极端集中配置带来的尾部风险值得关注。
- 因子演化过程强调回测导向,可能忽略新兴市场信号的前瞻性,适应性虽有,但不保证其完全捕获宏观与非结构性变化。
- 实验中多以等权配置为主,复杂权重优化集成不足,未来可加深此方向以提升表现环节。
整体而言,报告高度系统和严谨,基本排除了过度耸动或主观偏见,且强调实证和架构设计细节。
---
7. 结论性综合
本报告系统提出了EFS——一种利用大型语言模型自动生成、进化并筛选alpha因子的稀疏组合优化流程,成功弥合了传统统计方法和动态金融市场环境之间的适应鸿沟。通过精妙设计的LLM演化机制与基于回测反馈的闭环优化,EFS不仅提供了高度透明且解释力强的因子表达,还确立了在大规模资产、多样市场环境及多时点组合构建中的领先性能。
指标结果表明,EFS在Fama-French数据及真实市场资产池中均显著优于现有基线,尤其在稀疏资产选择和波动偏高的环境下优势明显。消融实验进一步证实回测指标指引、种子因子设计以及适宜的生成规模为提升性能的主要驱动力。
图表深化展示了因子多样性、时间动态适应性、组合效益可观与风险管理能力,彰显LLM模型与量化投资结合的新范式。其自动化和自适应特性满足实务对快速响应和可解释资产配置的迫切需求。
总之,EFS为未来量化投资中的因子搜索与组合优化注入了新活力和思路,具有良好的研究价值和应用前景。未来深化多模态数据融合、强化风险控制和提升框架鲁棒性将是下一步发展重点。
---
参考报告页码
[page::0,1,2,3,4,5,6,7,8,9,10,13,14,15,16,17,18,19,20,21,22,23,24,25,26]
---
# 报告全文结束。