A Simple Methodology for Enforcing Linear Asymptotic Behavior in Deep Neural Network Function Approximation and Regression
创建于 更新于
摘要
本文提出一种简单实用的方法,通过构造满足给定线性渐近行为的函数形式与非约束深度神经网络结合,实现对函数及其导数的高效逼近。本方法支持多维推广,具体验证表明,结合渐近行为后能显著提升函数逼近和条件期望回归的准确性与收敛速度,且固定渐近参数优于可训练参数,方法易于实现且在Black-Scholes定价函数的应用中表现优异。[page::0][page::1][page::3][page::9][page::22]
速读内容
- 提出了一种结合给定渐近行为与DNN的函数逼近方法,形式为:\[ f(x) = asymptotic(x) + DNN(x) \times zasymptotic(x) \],其中zasymptotic为多项式确保匹配渐近区的零贡献,从而整体函数符合线性渐近形式 [page::0][page::1][page::2]
- 方法适用于一维函数近似和条件期望回归,允许结合函数值(VML)与函数及其导数值(DML)的联合学习,提升学习效率与精度 [page::1][page::2]
- 通过大量随机采样的函数值和导数训练,在函数逼近测试中,对比标准VML与DML和渐近处理(固定参数与可训练参数):
- 固定渐近参数方案收敛更快,误差更小
- 渐近处理显著优于无渐近处理,无论VML或DML





- 在Black-Scholes期权定价函数逼近中复现同样效果,与传统DNN逼近相比,渐近处理加速收敛且精准度大幅提升,固定参数优于可训练参数




- 进一步在基于模拟样本的Black-Scholes回归学习中验证,本方法同样大幅提升VML/DML效果,增强了神经网络对含噪数据的拟合能力



- 样本容量增加对结果提升有限,尤其在函数逼近中,渐近处理显著提升泛化性能,且该方法结构简单易于实现,无需复杂约束或特殊网络层 [page::15][page::21]
- 结论:线性渐近函数信息结合非约束DNN可极大提高回归和逼近性能,适用于量化金融等领域具有已知渐近性质的函数学习任务,未来可推广至多维及其他渐近形式,拓展应用场景 [page::22]
深度阅读
金融研究报告深度解析
报告标题、作者及机构
报告由Hardik Routray与Bernhard Hientzsch撰写,来自Wells Fargo Bank, N.A,发布于2024年11月11日。尽管报告侧重的领域涉及机器学习方法的函数近似,该方法在量化金融特别是在期权定价函数的近似方面具备应用价值。
---
1. 元数据与概览(引言与报告概览)
本报告提出了一种简单有效的结合已知渐近行为(尤其是线性渐近行为)和无约束深度神经网络(DNN)的函数近似方法,并针对一维函数近似和回归问题进行了验证。核心论点是:通过内嵌已知渐近形式的函数表达式,可显著提升模型对函数真实渐近行为的逼近质量和训练收敛速度。
报告分别设定了两种训练损失:仅值匹配的“Vanilla Machine Learning”(VML),以及同时匹配函数值和导数值的“Differential Machine Learning”(DML)。两种损失下均表明渐近行为的显式强制对性能有正面影响。
总体来看,作者主张在定价函数尤其是金融期权定价函数的机器学习表示中,在DNN外嵌入准确渐近结构能取得更佳表现。[page::0,1]
---
2. 逐章深度解读
2.1 引言(Introduction, Section 1)
- 关键论点
金融期权定价函数通常具有或被假设为具有线性渐近形式,但仅用普通的DNN进行建模难以确保学习到此渐近行为,训练过程常表现为收敛缓慢甚至无法保证收敛。
- 逻辑依据
引用了Huge和Savine(2020a)对渐近行为的分析,指出特定激活函数的DNN本身可表达渐近线性,但训练时未显式关注此点会有问题。此外Antonov等(2020a,b)提出使用受限径向层+高斯核实现渐近控制的做法,但计算复杂。
- 作者提出一种更简单的模型结构,利用函数之和形式:
$$
f(x) = asymptotic(x) + DNN(x) \times zasymptotic(x)
$$
其中,$zasymptotic(x)$是一个多项式确保对渐近域外的函数影响逐渐消失,$DNN(x)$自由拟合非渐近部分。该形式保证了渐近行为且实现简便。报告专注于十分典型的单变量线性渐近案例。
2.2 方法与设定(Approach and Set-Up, Section 2)
- 核心论点
函数定义域可分为渐近和非渐近两部分,渐近域用已知渐近表达覆盖,非渐近域则用DNN拟合残差。
- 详细方法
设定上下界$LL, UL$,函数在渐近域为线性形式:
$$
asymptotic(x) = \begin{cases} LS(x-LL) + LI & x \leq LL \\ \text{平滑过渡区间} & LL < x < UL \\ US(x-UL) + UI & x \geq UL \end{cases}
$$
其中用三次插值确保整体函数及导数连续。$zasymptotic(x)$取为四次多项式,满足在渐近域外为零。
- 损失函数
VML仅对函数值误差平方和,DML额外包含函数导数误差项,两者均在训练中最小化。若有可获得的样本衍生信息,则DML更高效。
- 推测
该方法对无约束DNN有效利用先验知识,对金融模型特别实用,因为多数定价函数理论上已知一定的渐近走势。
---
3. 实验示例与结果(Sections 3-5)
3.1 一维函数近似实验(Section 3)
- 实验设计
定义示例函数,渐近线性拟合斜率50,区间内渐近部分与DNN残差相乘。样本50000点均匀采样$[-10,10]$。对比无渐近调整的纯DNN方法。
- 训练策略
使用两个版本的渐近参数:固定参数和可训练参数;又对比仅值训练(VML)和值+导数训练(DML)。
- 关键数据与图表分析
图1-2展示示例函数及其分解,渐近部分线性,非渐近部分为DNN乘多项式。
图3-5(VML方法)和图7-9(DML方法)展示训练结果。
- 结果解读
含渐近调整的DNN拟合明显优于无渐近调整版本,固定渐近参数优于可训练参数,拟合误差明显下降,收敛速度更快。
- 训练损失趋势
图6、10、11展示损失下降曲线,均显示含渐近部分模型损失更快降至更低水平。
3.2 Black-Scholes函数近似(Section 4)
- 实验设计
以经典Black-Scholes欧式看涨期权为目标函数,输入为股票价格,参数定为$t=1$年、$T=2$年、$\sigma=0.1$、$r=0$。
- 渐近域设置为$[7,13]$,用线性衔接三次多项式做平滑过渡。
- 图12展示Black-Scholes函数及其分解。
- 训练与验证结果
图13-15(VML),图17-19(DML)呈现对比结果,同样验证渐近法优于无渐近法,固定参数略优于可训练参数。
- 训练损失和残差图(16,20,21)支撑上述观点。
- 样本规模影响(图22-23)说明增大样本对梯度提升在函数逼近效果有限,但有助于收敛稳定性。
- 2014年Kingma与Ba提出的Adam优化算法被用作训练优化器。
3.3 Black-Scholes回归学习(Section 5)
- 设定
从模拟的股票价格轨迹中抽取样本,使用期权到期贴现后支付作为$Y$,对应的股票价格为$X$,构造条件期望函数。
- 与纯函数逼近相比,回归样本中包含随机性,因此最小损失不为零。
- 训练结果用图24-30展示,对比VML、DML分别在无渐近、渐近可训练、渐近固定参数场景下表现。
- 结论
引入渐近知识明显提升回归函数的拟合质量和训练速率。
---
4. 图表深度解读
图1-2
- 图1左图展示了示例函数由渐近部分、非渐近部分组成,总函数在区间两端线性,中央由DNN调整非线性波动;右图为此函数的导数。
- 图2分解非渐近部分及其导数,明显非渐近部分为波浪形,乘以多项式确保其在渐近区渐进零。
图3-5、7-9、13-15、17-19、24-30
- 各图均为训练后的DNN估计(蓝线)、真实函数(红线)和训练样本(散点),以及残差图。
- 无渐近法多处误差明显,尤其在区域边界;加入渐近约束后误差大幅减少,曲线更平滑,导数匹配更好。
图6、10、16、20、27、31、32
- 展现了训练过程中的损失下降,渐近法均展现更快收敛速度和更低最终损失。
- 固定渐近参数模型较可训练参数模型稳定性好,收敛更快。
图22、23、33、34
- 不同样本规模实验,显示虽然样本增加带来一定提升,但渐近结构的引入对性能的影响远大于样本规模。
---
5. 估值分析
本报告未直接给出定价模型估值的附加分析,而是围绕函数逼近本身的误差和训练收敛进行了充分量化。估值方法倾向于通过DNN拟合的条件期望取代复杂解析表达式。衍生估值如DML中使用梯度信息辅助提升拟合。
---
6. 风险因素评估
报告本身为方法论和数值实验为主,风险识别集中于方法本身的适用范围和假设依赖。
- 假设先验渐近行为准确且合适,否则模型强制的渐近行为可能导致整体偏差。
- 使用一维线性渐近作为起点,多维和非线性渐近仍需拓展。
- 训练依赖于样本及其派生导数信息,若衍生信息噪声大或计算成本高,则DML效果受限。
- 模型适用性在复杂金融环境未完全测试,未来扩展需验证稳定性。
---
7. 批判性视角与细微差别
- 方法优势明显,但报告强调固定渐近参数优于可训练参数,实际中渐近参数不可知时,估计误差可能影响最终表现。
- 实验只覆盖单维度线性渐近,复杂多维度及非线性情况效果待验证。
- 回归实验中样本来自模拟,真实市场或历史数据可能引入更多非理想因素。
- 虽未讨论计算成本,但相比Antonov等高斯核方法,简化的多项式-网络乘积结构计算更少,有实用吸引力。
---
8. 结论性综合
本报告强有力地论证了一种简洁而有效的将已知渐近行为嵌入深度神经网络函数逼近中的方法,特别针对金融量化领域的定价函数。报告通过多组一维示例函数与Black-Scholes欧式期权价的函数逼近和回归实验,展示了引入渐近行为显著提升模型逼近准确率及训练收敛速度。
图表深刻反映了无渐近调整方法在函数值及一阶导数的拟合上的不足,而拟合融合渐近结构后,残差降低且训练损失稳定降至极低水平。
从方法结构上看,原理清晰,易于实现,避免了复杂高斯核的额外成本,具备良好的工程应用潜力。未来工作将扩展到更多维度、其他渐近类型及真实金融数据回归练习。
综上,作者给出强烈的建议:金融定价函数机器学习建模中,显式融合已知渐近表现是提升模型质量的关键路径。
---
参考文献
详见报告末尾,涵盖了基础的深度学习优化算法、金融量化中的渐近理论、机器学习中的导数辅助方法(DML),以及相关学者工作。
---
总体评价
本报告理论与实证结合紧密,逻辑条理清晰,对强化机器学习中的先验知识利用提供了有效建模方案,特别适合量化金融领域。图表丰富且相互印证,技术细节充分披露,是金融机器学习渐近理论与实践结合的典范文献。
报告虽然聚焦于较基础案例,但为多维复杂场景铺垫了坚实路径,建议研发团队实际应用中充分考虑固定渐近参数的合理估计及多维扩展。