`

从关联到逻辑:因果推断初探华泰人工智能系列之三十

创建于 更新于

摘要

本报告介绍了因果推断及其在机器学习中的应用价值,重点阐述了基于倾向性评分法的因果推断框架及三大步骤,并通过Lalonde数据集和中证800股票所属概念与收益的实证研究,验证基金重仓与股票正向因果关系及股票质押与收益反向因果关系,强调倾向性评分加权法(PSW)具备较好估计效果,为金融量化应用提供新路径 [page::0][page::3][page::5][page::9][page::11][page::20]。

速读内容


机器学习本质及其局限性 [page::3][page::4]


  • 机器学习主要基于关联驱动的曲线拟合,无法区分因果关联和虚假关联,导致模型在样本外泛化能力有限。

- 选择性偏差和混淆偏倚引发的虚假关联不稳定,制约机器学习模型预测稳定性。
  • 因果推断为实现机器学习泛化与解释能力提供关键支撑,尤其适合市场环境变化的金融应用场景。


因果推断理论框架及倾向性评分法介绍 [page::5][page::6][page::7]


  • 采用Rubin Causal Model(RCM)框架定义平均因果效应(ACE)。

- 倾向性评分法通过单一综合评分表达多维混淆变量的影响,降低维度,实现处理与对照组匹配。
  • 主要方法分为倾向性评分匹配(PSM)、分层(PSS)和加权(PSW),后者可最大限度利用样本,估计稳定性较佳。

- 倾向性评分计算通常利用Logistic回归预测处理概率。

均衡性检验与反驳测试提升估计可靠性 [page::8]

  • 使用标准化差值(stddiff)检验匹配后混淆变量分布均衡性,衡量方法有效性。

- 反驳测试通过安慰剂数据、随机混淆变量添加和样本子集检验因果效应的稳健性。
  • PSW方法在均衡性和反驳测试中表现最佳,估计结果更为可靠。


Lalonde数据集因果效应实证案例 [page::9][page::10]


| 方法 | 因果效应估计(美元) | 反驳测试结果 |
|-------|----------------------|--------------|
| PSM | 2196.61 | 较不可靠 |
| PSW | [略] | 最可靠 |
  • 职业培训对个人年收入有显著正向因果效应,PSW方法估计最稳健。


基于倾向性评分法的A股股票概念因果效应研究 [page::11~19]



基础设定及样本说明

  • 处理变量为股票所属概念(基金重仓、股票质押、预增、护城河),结果变量为未来一个月收益排序数。

- 样本选用中证800成分股,期间2016年1月至2020年3月。
  • 混淆变量涵盖基本面与量价因子。


主要股票概念与因果效应估计



| 概念 | 因果效应估计(PSM均值) | 因果效应性质 |
|------------|----------------------|-----------------|
| 基金重仓 | 0.0388 | 正向因果关系 |
| 股票质押 | -0.0118 | 反向因果关系 |
| 预增 | 0.0138 | 因果效应存疑 |
| 护城河 | 0.0205 | 因果效应存疑 |


  • 各概念对应的股票占比随着时间变化,反映实际市场结构。

- 因果效应估计受混淆变量影响明显,PSW方法效果最佳。

各倾向性评分法均衡性检验与反驳测试结果

  • PSW在混淆变量均衡性与因果效应稳健性检验中表现最优,提升估计可信度。

- 反驳测试显示,预增和护城河概念因果效应统计显著性不足,可能因混淆变量覆盖较多信息导致估计偏弱。

结论总结 [page::20]

  • 机器学习关联驱动特性局限性突出,因果推断为提升模型稳定性和解释性带来新思路。

- 倾向性评分法框架清晰,有效控制混淆变量影响,是观测数据因果效应评估实用方法。
  • 基于因果推断,基金重仓股票具有未来收益正向因果关系,股票质押则呈负向效应,预增和护城河概念则需谨慎对待。

- PSW方法的估计效果优于其他倾向性评分法,具有更强的均衡效果和抗干扰能力。

深度阅读

金工研究报告《从关联到逻辑:因果推断初探》深度解读分析



---

一、元数据与概览


  • 报告标题:《从关联到逻辑:因果推断初探》

- 作者:林晓明、陈烨、李子钰等
  • 发布机构:华泰证券研究所

- 发布日期:2020年4月24日
  • 研究主题:因果推断方法及其在机器学习与金融市场中股票概念因果关系研究中的应用

- 核心论点:传统机器学习模型基于数据关联,但无法区分因果关联与虚假关联(选择性偏差和混淆偏倚),导致模型泛化能力不足。引入因果推断框架特别是基于倾向性评分法(Propensity Score)的因果推断,能够更准确评估因果效应,实现更稳健且可解释的预测。
  • 研究贡献:结合因果推断框架,分析A股市场中不同股票概念与未来股票收益的因果关系,发现基金重仓概念正向影响收益,股票质押概念负向影响收益,而预增和护城河的因果效应不确定。

- 评级及目标价:报告为研究报告,无具体投资评级和目标价[page::0]

---

二、逐节深度解读



2.1 引言及机器学习面临的挑战



报告开篇阐述了当前机器学习尤其是深度学习的本质是关联驱动的“曲线拟合”,突出其缺乏逻辑推理能力,导致模型难以区分真正的因果关联与虚假的相关性(图像识别中草地与狗的关联、医疗数据中收入与生存率的偏差示例)[page::3][page::4]。机器学习模型所依赖的训练数据与测试数据不满足独立同分布假设、存在分布偏移,且关联包含因果关联、选择性偏差和混淆偏倚三类,后两类关联是虚假的、不可稳定迁移的。金融市场的环境持续变化与管理者对因果逻辑与模型可解释性的诉求,使得将因果推断融入机器学习策略构建成为必要方向。

2.2 因果推断介绍与 Rubin 因果模型(RCM)



因果推断的核心在于将处理组与对照组进行对比,估计处理变量对结果变量的平均因果效应(ACE),基于随机化试验下的潜在结果框架。( $Ti$ 为处理指示变量,$Yi(1)$与$Y_i(0)$分别是处理和对照的潜在结果,因某个个体只接受一个处理状态而存在潜在结果缺失,无法识别个体因果效应,转而估计整体平均因果效应)[page::5]。在观测性研究中存在混淆变量(Confounders)影响处理和结果,需通过技术手段控制混淆变量,消除偏差。

2.3 倾向性评分法(Propensity Score Method)



该方法通过将多个混淆变量的维度压缩为一个综合概率得分(倾向性评分PS),表示给定混淆变量情况下接受处理的概率,并据此进行匹配、分层或加权控制混淆变量分布,实现因果效应估计。报告详细阐述了三种主要倾向性评分法:
  • 匹配法(PSM):将处理组样本和对照组中倾向性评分相近的样本匹配计算因果效应,存在未匹配样本的丢弃风险。

- 分层法(PSS):将样本按倾向性评分分层分析,层内混淆变量趋于均衡,使用加权平均整合各层效应。
  • 加权法(PSW):为每个样本赋予权重,使处理组和对照组倾向性评分分布一致,充分利用样本,不存在样本丢弃问题,是最优方法[page::6][page::7]。


重点说明了加权法权重计算公式,权重高低反映了样本匹配的可靠性,实质上调整处理组或对照组的样本重要度,使得两组样本具有可比性。

2.4 均衡性检验与反驳测试



为了验证匹配或加权后混淆变量在处理组和对照组间达到了平衡,报告采用标准化差(stddiff)方法衡量变量均衡性指标,数值越小效果越好[page::8]。此外,通过反驳测试,包括添加安慰剂随机变量、加入随机混淆变量、随机删除子样本,检验因果效应估计值的稳健性:真实因果关系的估计值应对这些干预不敏感,反之则说明估计不可靠。

2.5 因果推断案例一:Lalonde 数据集



利用美国著名的就业培训数据集,报告对个体参加培训对1978年实际收入的因果效应进行估计。结果显示:
  • 不考虑混淆变量的ATE(平均处理效应)为一定值;

- 三种倾向性评分法估计因果效应数值不同,PSW方法出具的均衡性最好,反驳检验表现最优,认为其估计结果更为可靠(PSM因果效应值估计较高但反驳测试证明不稳健)[page::9][page::10]。

2.6 因果推断案例二:A股股票概念因果效应分析



核心研究框架是模型化股票是否属于某概念为处理变量(Treatment),未来一个月的收益排序值作为结果变量(Outcome),选取基本面和量价因子暴露作为混淆变量,针对中证800全样本,考察2016年1月至2020年3月期间因果效应。

(1)四个股票概念及混淆变量定义

  • 重点研究概念:基金重仓(季调)、股票质押、预增(业绩预告增长)、护城河

- 混淆变量涵盖市值、市盈率等多维度基本面因子和量价因子[page::11][page::12]

(2)基金重仓(季调)

  • 概念覆盖比例约20%-50%,期间有所波动(图表13)

- 因果效应估计:三种倾向性评分法均显示正向显著效应(PSM约0.039),介于3.9%排序收益差异,均衡性测试显示PSW最佳(图表14-16)
  • 反驳测试显示PSW结果最稳健(图表17)[page::13][page::14]


(3)股票质押

  • 概念覆盖比例由13%增到约38%(图表18),估计因果效应为负(PSM约-0.0118),表示股票质押概念股票未来收益较差(图表19-21)

- PSW方法混淆变量均衡最好,反驳测试支撑负向效应稳定可信(图表22)[page::14][page::15][page::16]

(4)预增

  • 覆盖比例逐年下降从40%以上到约18%(图表23)

- 因果效应估计为正小幅提升(PSM约0.0138),但考虑混淆变量后效应下降明显(图表24-26)
  • 反驳测试显示干预后因果效应不稳定,甚至效应绝对值低于安慰剂,表明因果效应存疑(图表27)[page::16][page::17]


(5)护城河

  • 概念比例稳定在约20%左右(图表28)

- 因果效应估计表现为正(约0.0205),但考虑混淆变量后效应下降
  • 反驳测试与预增类似,干预后效应显著下降,因果效应不显著,存在很大疑问(图表29-32)[page::18][page::19]


(6)小结

  • 四概念因果效应估计结果汇总(图表33)显示:

- 基金重仓概念因果效应为正向且较为稳健
- 股票质押概念为负向稳健因果效应
- 预增和护城河因果效应不确定,疑似混杂变量信息覆盖其部分内容导致效应存疑[page::19]

---

三、图表深度解读



图表1-2(机学习风险案例图)

  • 图表1揭示训练集选择性偏差导致草地与狗标签产生误导性关联,导致模型泛化风险。

- 图表2展示了混淆变量收入对癌症生存率预测模型的影响,收入不是生存率因果因素,导致外部机构预测失效。
这两个图表形象说明机器学习关联驱动模型的局限,为引入因果推断奠定理论基础[page::3][page::4]

图表3(观测数据中因果效应识别)

  • 示意混淆变量W同时影响处理变量T和结果变量Y,揭示观测数据中混杂影响导致因果估计困难。

- 支撑倾向性评分法控制混淆变量的必要性[page::5]

图表4-5(倾向性评分法流程及评分计算)

  • 说明从计算倾向性评分(如Logistic回归),到匹配、分层、加权三种评估因果效应方法流程。

- 特别强调匹配流程中倾向评分接近视为近似匹配[page::6]

图表6-9(Lalonde案例因果效应、均衡性和反驳测试)

  • 图表7:PSM估计效应最大,PSW最小但均衡性更好。

- 图表8:PSW在混淆变量标准化差异均小,表明组间平衡最好。
  • 图表9:反驳测试显示PSW结果最稳健,接近真实数据估计,PSM反驳效应低没说服力[page::9][page::10]


图表10-12(A股因果推断框架与数据)

  • 说明将股票是否属于某概念作处理变量,未来一个月收益排序作结果变量,基本面和量价因子作混淆变量的因果推断框架。

- 图表11-12列出重点研究概念与混淆变量向量[page::11][page::12]

图表13-17(基金重仓概念因果效应)

  • 图表13显示基金重仓比例时间变化。

- 图表14显示不同方法因果效应均为正,值稳定。
  • 图表15动态展示三法估计变动趋势一致。

- 图表16均衡性显示PSW最好。
  • 图表17反驳测试说明PSW估计最稳健[page::13][page::14]


图表18-22(股票质押概念因果效应)

  • 股票质押比例由13%上升近40%,因果效应均为负(约-1%)。

- PSW均衡性最好,反驳测试支持负向因果效应稳定[page::14][page::15][page::16]

图表23-27(预增概念因果效应)

  • 预增比例逐渐下降。

- 考虑混淆变量后因果效应滑落且反驳结果不稳定,难言有效因果。
  • PSW仍表现最好但效应本身存疑[page::16][page::17]


图表28-32(护城河概念因果效应)

  • 护城河比例较稳定。

- 因果效应正面但值较低且再均衡后效应弱。
  • 反驳测试显示效应不显著,实际存疑[page::18][page::19]


图表33(四概念因果效应汇总)

  • 清晰呈现结论,基金重仓正向,质押负向,预增和护城河效应不确定[page::19]


---

四、估值分析



本报告属于方法论及策略研究类研究成果,不涉及具体企业或行业估值分析,未包含现金流折现法(DCF)或市盈率法(P/E)等内容,无估值章节。

---

五、风险因素评估



报告清晰提示以下风险因素:
  • 未来市场规律变化风险:因果推断基于历史数据,若未来规律发生重大变化,因果关系可能失效。

- 模型简化风险:倾向性评分法在因果关系建模中存在简化假设,可能忽视复杂因果路径。
  • 混淆变量选取影响:混淆变量选择对因果效应估计影响显著,错误或不充分的混淆变量控制会导致估计偏误。

- 数据质量与样本限制:数据覆盖和样本量限制可能影响结论的泛化性和准确性。

报告对这些风险均给出提示,但未具体提出缓解策略,提示投资人需谨慎使用结果[page::0][page::20]

---

六、批判性视角与细微差别


  • 报告客观说明机器学习的缺陷及因果推断的优势,避免过度承诺因果推断的万能性,体现审慎态度。

- 研究中,因果效应的估计依赖于混淆变量的正确选择和完整控制,报告也提醒了这一点,显示方法论应用中的现实难题。
  • 对“预增”和“护城河”两个概念因果关系不显著的论断与其包含混淆变量的信息高度重合相吻合,合理反映了模型特征和数据的限制。

- PSW加权法稳健性表现最佳的结论符合大量学术文献,报告合理强调了该方法的优势。
  • 报告未对多变量因果路径、潜在混淆变量遗漏、时间动态因果机制等更复杂情况展开讨论,存在一定简化可能。

- 对因果推断过程中模型选择及参数设定的敏感性未给出具体敏感性分析,说明实证结果应用时应保持警惕。

---

七、结论性综合



本报告系统阐述了因果推断的重要性、基本原理,以及针对机器学习关联驱动模型在金融领域的局限,提出因果推断特别是倾向性评分法能够构建更稳健且可解释的因果模型。通过对经典Lalonde就业培训数据集进行案例分析,验证了倾向性评分方法尤其是加权法(PSW)的优越性。

进一步,报告以A股中证800成分股为样本,通过因果推断框架探索了四个核心股票概念(基金重仓、股票质押、预增、护城河)与未来一个月股票收益的关系。实证结果表明:
  • 基金重仓(季调)概念与股票未来收益之间存在正向稳定的因果关系。即所属该概念的股票未来收益排名普遍高于不属于该概念的股票,且该结果在多轮均衡性和反驳检验中展现稳健性。

- 股票质押概念与未来收益呈负向因果关系,说明该群体的股票未来表现相对较差。
  • 预增和护城河概念的因果效应估计不确定,因其信息可能被其他混淆变量覆盖,再加上反驳实验表明其效应具有较低的稳定性和可信度。


通过对多种倾向性评分方法(PSM、PSS、PSW)的均衡性检验和反驳测试,PSW表现最佳,因此报告将其研判结果的可信度最高。图表层层支撑了以上因果推断流程与结论的可靠性。

报告最后强调,因果推断的预测结果基于历史数据,若未来不确定因素发生显著变化,结论有失效的风险,且倾向性评分法对混淆变量选择的依赖性较高,需谨慎应用。

总体来看,本报告不仅为读者提供了因果推断的基础理论与实操方法,而且以金融市场中具体概念的数据集为案例,说明了因果推断框架在金融机器学习策略中的切实应用价值与局限,具有较高的应用指导意义和学术价值[page::0][page::3][page::5][page::6][page::9][page::11-19][page::20]

---

总体点评



该报告系统性强,结构严谨,理论与实证结合紧密,详尽介绍了机器学习与因果推断的关系,重点介绍了倾向性评分法及其在金融市场因果效应估计上的应用,尤其突出PSW方法的稳定性。报告材料丰富,图表清晰,独立数据案例充实可信。风险提示充分,观点审慎,体现出高度专业严谨的金融量化研究素养。

本报告适合金融量化研究员、资产管理人员及数据科学家参考,有助于理解传统机器学习的局限、因果推断理论框架,以及如何在金融数据中实证挖掘因果关系,指导策略开发和风险控制。

---

附:部分关键图表示例(Markdown格式引用)


  • 图表1:机器学习中选择性偏差示例,展示训练数据与测试数据中狗所在环境(草地、水中等)的差异,导致模型泛化风险。


  • 图表4:倾向性评分法因果推断流程图


  • 图表10:基于因果推断的股票概念效应研究框架


  • 图表13:基金重仓概念股票比例随时间变化


  • 图表15:基金重仓因果效应估计随时间变化对比(PSM,PSS,PSW,ATE)


  • 图表29:护城河概念因果效应估计变化



---

报告