高级激活层

# 高级激活层

# ELU

M.dl_layer_elu.v1(alpha=1.0)

指数线性单元。

形式: f(x) = alpha * (exp(x) - 1.) for x < 0, f(x) = x for x >= 0.

参数

alpha: 负因子的尺度。

输入尺寸

可以是任意的。如果将这一层作为模型的第一层, 则需要指定 input_shape 参数 (整数元组,不包含样本数量的维度)。

输出尺寸

与输入相同。

# LeakyReLU

M.dl_layer_leakyrelu.v1(alpha=0.3)

带泄漏的修正线性单元。

当神经元未激活时,它仍可以赋予其一个很小的梯度: f(x) = alpha * x for x < 0, f(x) = x for x >= 0.

参数

alpha: float >= 0。负斜率系数。

输入尺寸

可以是任意的。如果将该层作为模型的第一层, 则需要指定 input_shape 参数 (整数元组,不包含样本数量的维度)。

输出尺寸

与输入相同。

# PReLU

M.dl_layer_prelu.v1(alpha_initializer='zeros', alpha_regularizer=None, alpha_constraint=None, shared_axes=None)

参数化的修正线性单元。

形式: f(x) = alpha * x for x < 0, f(x) = x for x >= 0, 其中 alpha 是一个可学习的数组,尺寸与 x 相同。

输入尺寸

可以是任意的。如果将这一层作为模型的第一层, 则需要指定 input_shape 参数 (整数元组,不包含样本数量的维度)。

输出尺寸

与输入相同。

参数

  • alpha_initializer: 权重的初始化函数。
  • alpha_regularizer: 权重的正则化方法。
  • alpha_constraint: 权重的约束。
  • shared_axes: 激活函数共享可学习参数的轴。

例如,如果输入特征图来自输出形状为 (batch, height, width, channels) 的 2D 卷积层,而且你希望跨空间共享参数,以便每个滤波器只有一组参数, 可设置 shared_axes=[1, 2]。

# ThresholdedReLU

M.dl_layer_thresholdedrelu.v1(theta=1.0)

带阈值的修正线性单元。

形式: f(x) = x for x > theta, f(x) = 0 otherwise.

输入尺寸

可以是任意的。如果将这一层作为模型的第一层, 则需要指定 input_shape 参数 (整数元组,不包含样本数量的维度)。

输出尺寸

与输入相同。

参数

  • theta: float >= 0。激活的阈值位。