`

机器学习驱动下的金融不确定性的吸收与加剧——德邦金工文献精译第三期

创建于 更新于

摘要

本报告基于对182位金融从业者访谈,深入分析机器学习(ML)技术在金融领域处理不确定性的双重影响。ML模型能够吸收金融市场中的自然不确定性,将其转化为可管理的风险,提升了风险管理和投资决策的精度。然而,ML模型,尤其是复杂的神经网络,因其“黑箱”特性引入了关键模型不确定性,即难以解释模型内在决策过程,给风险评估和模型信任带来挑战。报告还重点探讨了这种关键不确定性如何改变组织权力结构,并提出谨慎评估和解释ML模型的重要性,以平衡其带来的优势和风险 [page::0][page::3][page::5][page::8][page::9][page::10][page::11][page::12]。

速读内容


研究背景与访谈样本介绍 [page::0][page::3][page::7][page::15][page::16]

  • 访谈182名金融市场参与者,包括45名活跃应用机器学习技术的专家,涵盖对冲基金、交易公司、银行、经纪商等多类机构。

- 调研聚焦ML在投资管理、交易和风险管理中的应用,尤其关注复杂ML系统的实际运作和认知难题。
  • 采集时间跨度为2017年至2020年,数据详实涵盖算法类型、应用实践和环境影响。


机器学习在吸收自然不确定性中的实践案例 [page::5][page::8][page::9]


  • 以某大型欧洲银行清算部门的ML无监督神经网络模型为例,用于检测客户交易中的异常行为,从日均数百万笔交易中识别潜在风险。

- 模型通过发现异常模式辅助风险管理人员与客户沟通,转化自然交易行为不确定性为可操作的风险控制。
  • 此机制展示了ML增加了对过去、现在及未来市场动态理解的深度,促进了认知标准化和风险可管理性。


关键模型不确定性的挑战 [page::9][page::10][page::11]

  • 复杂的ML模型,尤其是深度神经网络,因内部机制不透明,被称为“黑箱”,导致操作和预测难以解释,增加认知负担。

- 多数交易员和投资经理倾向于拒绝无法理解的模型,优先选择线性及简单模型,减少风险管理中的不确定性。
  • 模型过拟合风险难以检测,复杂性带来难以穷尽的解释需求;秉持奥卡姆剃刀原则的从业者倾向控制模型复杂度。

- 关键模型不确定性重新塑造了金融机构内部的权力结构,模型的解释能力成为信任和应用的前提。

机器学习技术对金融不确定性的综合影响与展望 [page::12]

  • ML既吸收也产生不确定性,这种辩证关系需要持续研究与关注,以避免潜在风险被忽视。

- 随着数据爆炸和市场活动的复杂化,过去及现在的不确定性亦不断放大,ML成为理解和管理这些不确定性的关键工具。
  • 未来需加强ML模型可解释性技术研发,减轻关键模型不确定性,促进人机共治,优化金融风险管理体系。

深度阅读

德邦证券《金融工程专题:机器学习驱动下的金融对不确定性的吸收与加剧》详尽分析报告



---

1. 元数据与概览


  • 报告标题:金融工程专题——机器学习驱动下的金融对不确定性的吸收与加剧(德邦金工文献精译第三期)

- 作者:肖承志(德邦证券金融工程首席分析师)、王成煜(研究助理)等
  • 发布机构:德邦证券研究所

- 日期:报告内含参考文献最新时间为2022年,文献精译项目为第三期,预计报告发布于2022年前后
  • 主题研究范围:该报告基于对原文论文《The absorption and multiplication of uncertainty in machine-learning-driven finance》的翻译和研究,聚焦机器学习(ML)技术在金融行业中对不确定性的吸收与产生的双重效应,涵盖金融市场不确定性的本质、ML模型的应用、风险管理以及ML模型产生的新型“关键模型不确定性”等核心议题。


报告核心论点概述


  • 机器学习技术在金融领域日益普及,它不仅有助于吸收金融市场中的自然不确定性,将之转化为可管理风险,也不可避免地引入了新的“关键模型不确定性”。

- 报告基于182位行业从业者访谈,其中45位有应用机器学习经验,从实践层面反映ML对不确定性的双重影响。
  • 探讨了不确定性的社会学理论,尤其聚焦于Knightian不确定性的辨析,认为ML技术可以“驯服”部分不可测量不确定性,但其自身特性带来了不透明的风险和难以理解的操作机制。

- ML模型的不可解释性引发业界对“黑箱模型”风险的强烈关注,导致实践中偏好的模型复杂度和透明度之间的平衡挑战。
  • 结论强调ML技术既带来金融市场效率和风险管理方法的革命,也带来了需谨慎应对的模型风险,并对组织权力结构产生影响。[page::0][page::3][page::4][page::9][page::11]


---

2. 逐节深度解读



2.1 摘要(章节1)


  • 关键论点:报告源自对182名金融行业人士(其中45人是ML活跃用户)的访谈,目的是分析ML如何吸收金融不确定性,同时也引入“关键模型不确定性”。

- 支撑逻辑:基于大量一线从业者的实证访谈,结合理论文献,揭示了ML算法在吸收本质不确定性的同时产生不可解释、不可理解的新不确定性。
  • 提出的新概念:关键模型不确定性,即不能解释神经网络等ML模型预测及决策机制,造成的深层次不确定性。[page::3]


2.2 介绍(章节2)


  • 论点总结:金融市场固有不确定性常难以转化为可管理风险,ML的兴起使不确定性被视为可转换资源。

- 技术背景:ML技术的复杂能力使得大量金融数据(包括爆炸式增长的市场事件)被实时处理,理论与实践上都推动了该技术的应用发展。
  • 理论争论:围绕Knight对可测量风险和不可测量不确定性的区分,工业界学者如Pixley认为不确定性天生不可知,而Power等认为不确定性可被“驯服”。本文访谈证实后者观点更倾向于当前实务。

- 金融市场新特征:数据量激增反而使得对过去事件的确定性下降,ML作为工具的吸收正是对这种不确定性的回应。
  • 文献对接:引用经济社会学和金融社会学文献,强调未来及历史事件中的不确定性和模型不确定性影响金融决策与风险。[page::3][page::4]


2.3 不确定性与基于模型的决策(章节3)


  • 关键论点:金融模型(如估值模型)所依赖的变量众多且交互作用复杂,这导致其无法解决所有不确定性,投资者对变量权重认知差异和市场心理递归性、反身性使得不确定性极难去除。

- 概念扩展:引入“认知标准化”概念,通过工具(技术分析方法,定价公式,ML模型)实现异质信息的统一解读和应用,降低不确定性感知。
  • 辩证关系:吸收不确定性的过程本身会生成新的不确定性,特别当模型复杂且不可解释时更甚。

- 区分不确定性类型:利用Thévenot的“自然不确定性”与“关键不确定性”区分,自然不确定性能通过市场协调和标准化吸收,而关键不确定性则否,且后者使人质疑行动本质。
  • ML的作用:ML筛选和识别非结构化数据中的复杂模式,吸收自然不确定性,将其转化为风险,但其“不透明”特性导致关键不确定性产生。

- 未来与过去数据的不确定性:过去的事件不再“确定”,如闪电崩盘等事件对时间维度上的不确定性新增挑战。
  • 理论依据:结合Esposito、Beckert、Varian等学术观点,深入剖析决策系统中不确定性的结构及影响。

- 推论:ML吸收自然不确定性的代价是引入新的关键模型不确定性,理解与平衡二者是业界和学术的重要挑战。[page::4][page::5][page::6]

2.4 方法和数据来源(章节4)


  • 研究方法:基于182名金融市场参与者的深度访谈,重点聚焦45名ML实际应用者,涵盖对冲基金、量化交易公司、银行等多类型机构。

- 数据性质:定性访谈结合案例分析,兼顾行业报告、技术文档、从业者博客等多元资料。
  • 研究视角:强调“算法折射”概念,关注算法在现实金融社群中的构建和应用状态,试图解决难以获得算法技术细节的难题。

- ML定义:阐释ML作为让机器自主调整和优化规则的复杂系统,与传统算法代码转译区别。
  • 样本代表性:受访者涵盖交易、资产管理、经纪、监管等多个环节,具有较强代表性和行业深度。

- 时效跨度:数据搜集从2017年至2020年,记录了ML应用在快速发展过程中的行业实践和认识演变。
  • 后续章节承诺:将结合具体案例,展现自然不确定性的吸收与关键不确定性的产生机制。[page::7]


2.5 吸收自然不确定性(章节5)


  • 案例描述:某欧洲大型银行清算部门使用无监督神经网络检测交易异常,辅助管理客户保证金风险。

- 业务背景:清算机构负责计算和监控交易对应融资风险,传统VaR模型基础上通过ML模型提升异常识别。
  • 模型特点:无监督人工神经网络,侧重检测金融交易中的异常模式,无需事先定义标签。

- 动机与挑战:面对海量交易和算法交易高频多变行为,传统模型难以捕获某些极端或异常行为,故引入ML辅助管理不确定性。
  • 实际访谈引证:团队负责人坦言初期缺乏专业ML知识,通过专家雇佣弥补;关注高频交易算法运行异常可能导致风险加剧。

- 不确定性转化:交易行为的不确定性通过模型转变为具体风险信号,促使风险管理现场主动核实交易行为。
  • 模型覆盖时间跨度:融合过去、现在和未来交易模式变化,体现动态风险评估。

- 技术和组织难题:模型设计与大银行制度创新摩擦显著,模型本身的复杂性与市场流动性噪声叠加导致不透明性产生。
  • 行业观点:量化对冲基金高管指出金融数据复杂且噪声多,ML模型可靠性备受怀疑。

- 总结:ML帮助吸收交易中的自然不确定性,但因模型黑箱特征导致新型不确定性的产生,形成双刃剑局面。[page::8][page::9]

2.6 关键模型不确定性的加剧(章节6)


  • 行业从业感知:ML模型被视为随机且不可预测,持怀疑态度普遍存在,尤其对那些模型操作原理不明的人群。

- 透明度需求:投资组合经理和交易者需要理解决策过程,难以接受“黑箱”模型,以确保风险可控。
  • 案例证据:MAN集团和BlackRock等大型机构废弃过于不透明的ML模型以规避不可控风险。

- 管理层审查压力:即使模型回测表现优秀,只因无法解释来源亦难获批准,相当多从业者在透明度与性能间摇摆。
  • 可解释性与复杂度平衡:用户希望模型既具透明度又足够复杂以适用市场,奥卡姆剃刀原则成为简化模型设计的重要指导。

- 过拟合风险:复杂ML模型易陷过拟合陷阱,过度拟合会识别噪声为信号,导致样本内外表现差异,难以预测未来表现。
  • 实务困境:多位访谈人士强调不了解模型工作原理将丧失资金配置权重,理性选择更直观的线性或较简单模型。

- 权力结构变动:关键模型不确定性使权力从人类决策者向ML技术转移,技术解释的可能将重新平衡权力分配。
  • 技术进展鼓励:新兴解释性AI研究有望降低关键模型不确定性,提升ML模型接受度和风险管理能力。

- 概念升华:“关键模型不确定性”描绘了ML应用中深层不确定性的社会学与组织影响,指向未来研究的必要路径。[page::9][page::10][page::11]

2.7 结论(章节7)


  • 主要总结:ML技术正在改变金融市场的交易、投资管理方式,利用大规模数据发现传统方法难捕捉的风险和机会。

- 不确定性的双重性:ML技术能把不可测量的风险转化为可管理的风险,但也产生难以解释的模型不确定性。
  • ML技术带来的影响:从业者面临信用、信任和理解的挑战,市场参与者需要在自动化和透明度之间找到合适的平衡。

- 未来展望:关键模型不确定性的产生与ML吸收自然不确定性之间的动态互动需更多研究,ML对组织权力分配的影响令人关注。
  • 理论和实践贡献:本报告丰富了金融社会学对不确定性认识,增补了ML技术影响金融决策的新的视角。

- 建议:强调对关键模型不确定性的深入理解与降低不透明性的重要性,促进更好地治理和监管。
  • 风险提示:市场波动风险,数据可用性风险,模型失效风险,国内外市场差异风险明确列出。[page::11][page::12][page::17]


---

3. 图表深度解读



3.1 图1:所有被采访者(附录页)



| 类型 | 受访人数 |
|--------------------------|---------|
| 交易公司(特别是高频交易) | 61 |
| 资产管理公司 | 12 |
| 对冲基金管理公司 | 19 |
| 银行 | 19 |
| 经纪人/券商 | 10 |
| 交易所及其他交易平台 | 23 |
| 监管机构 | 10 |
| 数据、科技和分析供应商 | 15 |
| 其他 | 13 |
| 总计 | 182 |
  • 描述:该表清晰呈现了承访182名受访者的行业属性分布,覆盖交易、资产管理、银行、监管、技术供应等多方,确保访谈的广度和代表性。

- 解读:交易类特别是高频交易占比最大(61),显示量化与算法交易领域的关键地位。对ML技术的依赖和认知往往落于此类从业者。资产管理与对冲基金的结合体现多样化策略背景,监管和供应商角色为信息多角度审视提供保障。
  • 文本联结:该图支撑报告对行业多元化访谈基础的描述,强化调研结论的有效性和代表性。[page::15]


3.2 图2:机器学习子样本采访列表(附录页)


  • 描述:该表详细列出了45名机器学习应用从业者的访谈信息,包括访谈编号、公司类型、角色、地理位置及访谈日期,涵盖投资银行、对冲基金、算法交易公司、清算银行、技术供应商等。

- 解读:地理多样性集中于伦敦、纽约、芝加哥、阿姆斯特丹和巴黎等金融中心,确保了研究的国际视野和多样应用场景。职位横跨开发者、数据科学家、风险管理者、CEO等,体现ML技术在行业层面广泛渗透。
  • 文本联结:通过表中具体数据细节,使得访谈数据的透明度和可核查性大幅提升,增强了研究客观性,也辅助读者理解研究结论的背景。

- 潜在局限:细节虽充分,但访谈偏重北美与欧洲,欠缺亚太地区表现,可能限制对全球ML金融应用的全面理解。
机器学习子样本采访列表 [page::16]

---

4. 估值分析


  • 本报告本质为理论与实务结合的行业研究报告,非单一公司估值报告,未涉及特定股票或资产的直接估值内容,故无估值模型(如DCF、P/E、EV/EBITDA等)细节。

- 主要价值在于通过实证数据和理论分析,揭示机器学习驱动的不确定性管理变革及其风险新范畴,强调模型的复杂性与透明性带来的定性风险价值。
  • 报告对模型复杂度的权衡与奥卡姆剃刀法则应用,形成对“模型过拟合风险”的经验法则指导,间接构成了管理“估值”或“模型定价”的方法论参考。

- 除此之外,报告未具体展开量化估值预测,估值分析不在本报告范畴。[page::10]

---

5. 风险因素评估



报告明确列出并分析的主要风险因素包括:
  • 市场波动风险:金融市场固有波动性可能导致ML模型表现的极端变化,无法准确预测所有市场条件。

- 数据可用性风险:依赖于高质量、大量数据,数据缺失、偏差或错误会影响模型训练及预测效果。
  • 模型失效风险:ML模型可能因过拟合、非稳健性的内在缺陷而在实际应用中表现不佳,尤其在极端市场条件下。

- 国内外市场差异风险:不同市场的结构、规则差异可能导致ML模型在其中运作效果有显著差异,存在低迁移性风险。
  • 潜在影响:模型失效可能导致错误风险度量和资金投入,数据质量问题会降低模型的预测准确性和可靠性,市场差异增加模型运用复杂度。

- 缓解策略:部分访谈者强调奥卡姆剃刀原则和模型透明度作为减轻复杂度和潜在风险的手段。解释性AI的发展也被视为降低关键模型不确定性的重要路径。
  • 风险识别完整性:虽然列出了以上风险,但未量化风险发生概率及具体影响度,缓解措施偏重定性说明。

- 总结:风险提示能较全面覆盖机器学习金融应用的核心风险维度,为投资者和风险管理者提供警示和决策参考。[page::0][page::17]

---

6. 批判性视角与细微差别


  • 潜在偏见:报告基于德邦证券自有视角和对外文献的翻译精译,有学术严谨性但本质为行业研判,可能带有对ML技术应用前景的积极预期,风险提示部分有限。

- 观点鲜明:作者倾向于支持Power等理论,即不确定性可被驯服,同时强调关键模型不确定性需重视。该立场较为稳健,但对其他角度如完全否定ML在不确定性吸收中的作用未涉及。
  • 局限之处

- 访谈样本集中在欧美主要金融中心,欠缺对亚洲市场ML应用的描述。
- 没有具体金融产品估值例子,理论与实务结合较宽泛,缺少量化模型性能数据。
- 对于关键模型不确定性的度量和评估缺乏具体可操作工具说明,讨论较理论。
  • 内部一致性:报告结构严谨,理论和案例支撑连贯,没有明显矛盾,但关于“模型过于复杂”与“需求足够复杂”的平衡论述略显抽象。

- 技术细节不足:对神经网络结构、训练过程透明度等技术内容仅作概要介绍,未深入细节,限制对技术风险理解深度。

---

7. 结论性综合



这份报告以扎实的实地调研和丰富的学术理论为基础,系统论述了机器学习技术在金融市场应用中对不确定性的双重效应。通过182位金融从业者的深度访谈,尤其聚焦45位机器学习的积极应用者,报告揭示了以下重要见解:
  • 机器学习技术吸收自然不确定性:无监督神经网络模型等ML工具通过从海量金融交易数据中自动识别异常模式,有效将客户行为的自然不确定性转化为管理风险的信号,辅助风险管理,突破传统风险价值(VaR)模型的局限性。
  • 机器学习引发关键模型不确定性:由于ML模型的复杂性及“黑箱”属性,导致模型决策逻辑无法完全解释,投资者和管理层面临透明度缺失和信任危机,增添对模型效果和风险的深层不确定性,这种关键模型不确定性成为行业内普遍关注的风险点。
  • 不确定性动态辩证关系:采纳ML技术一方面减轻金融市场的自然不确定性,另一方面却制造新的关键不确定性,两者相互交织并流动,是目前金融工程领域亟需破解的难题。
  • 行业实践中的权力重构:随着ML决策权上升,人类对模型及其运作原理的理解成为控制风险和行使权力的关键,解释性AI等技术的发展可能缓解由关键模型不确定性带来的权力转让问题,推动人与机器之间新型权力平衡。
  • 图表支持:访谈样本和机器学习子样本统计表明研究覆盖行业广泛且具有代表性,为理论发现提供了坚实的实证基础。
  • 风险隐患与管理:模型失效、数据质量、市场差异及波动风险被明确定义,且奥卡姆剃刀原则和模型透明性被强调为解决模型过拟合及不透明性的重要工具。
  • 整体态度:报告对ML技术的潜能持肯定态度,同时客观指出当前技术及实践中存在的风险、理解与监管难题,呼吁未来进一步研究机器学习在不确定性吸收与产生中的作用。


综上所述,该报告不仅为机器学习技术金融应用的理论研究贡献了新视角,也为行业实践者认识和控制ML带来的风险提供明确指引,兼具理论深度与实务需求,为金融市场未来智能化不确定性管理铺设坚实基础。[page::0][page::3][page::5][page::8][page::9][page::11][page::15][page::16][page::17]

---

术语与概念解释简要


  • 机器学习(ML):计算机算法自主从数据中学习和调整,不依赖人工编写的固定规则,实现预测和决策的智能化技术。

- 神经网络:模拟人脑神经元架构的机器学习模型,由多个层次的“节点”连接构成,执行复杂的非线性映射。
  • 自然不确定性:金融市场中因参与者行为、信息不完整、环境波动导致的基本不确定性,可通过市场机制和标准化工具部分缓解。

- 关键模型不确定性:因ML模型内部机制复杂不透明,导致对模型决策过程和依据理解不足,孕育的新型不确定性。
  • 过拟合:模型过度拟合训练数据中的噪声和特殊样本,导致对新数据预测能力下降的现象。

- 奥卡姆剃刀原则:在多个模型同等预测有效的情形下,选择结构最简单的模型,以降低复杂度和过拟合风险。
  • 认知标准化:利用工具和方法对异质信息进行格式化处理,促进信息的比较、传递和决策应用。

- 反身性(Reflexivity):市场参与者的期望影响市场行为,而市场行为反过来又影响参与者期望的动态反馈过程。

---

总结



本报告深度解析了机器学习在现代金融市场中作为吸收和管理不确定性的关键技术工具时,既带来显著优势又不可避免地产生新型风险的复杂双重面貌。其代表性访谈样本广泛、理论引用深入,提供了对ML运作机制及其与金融市场不确定性关系的系统认知。报告明确指出,未来金融行业必须在技术复杂性、模型透明度和风险控制之间寻找平衡,推动解释性AI等技术进步,以更好地驾驭机器学习引发的关键模型不确定性,保障市场稳定及投资者利益。

---

【本分析报告引用图表及内容均来自德邦证券所编译的《金融工程专题:机器学习驱动下的金融对不确定性的吸收与加剧》原文,页码如文中所示】

报告