Brownian ReLU(Br-ReLU): A New Activation Function for a Long-Short Term Memory (LSTM) Network
创建于 更新于
摘要
本文提出 BrownianReLU（Br-ReLU），通过在负输入区引入基于布朗运动的随机路径来平滑并增强 LSTM 中的梯度传播，缓解“死亡 ReLU”现象并使负区间具有可学习的随机扰动机制；在 Apple、GCB、S&P500 的回归与 LendingClub 的分类任务上，Br-ReLU 在多数实验设置中实现了更低的 MSE 和更高的测试 R²，表明其在财务时序预测中的泛化与预测精度优于若干标准激活函数 [page::3][page::7][page::10].
