深度学习

由polll创建，最终由polll更新于2021-12-15 02:14 被浏览 1497 用户

{{use_style}}

深度学习

模型

构建(深度学习)

构造一个拥有输入和输出的模型。我们使用Model来初始化构造一个函数式模型。

表名：dl_model_init.v1

预测(深度学习)

深度学习模型预测。

表名：dl_model_predict.v1

训练(深度学习)

深度学习模型模型编译和训练。

表名：dl_model_train.v1

包装器

Bidirectional层

双向RNN包装器

表名：dl_layer_bidirectional.v1

TimeDistributed层

该包装器可以把一个层应用到输入的每一个时间步上。

表名：dl_layer_timedistributed.v1

卷积层

Conv1D层

一维卷积层（即时域卷积），用以在一维输入信号上进行邻域滤波。当使用该层作为首层时，需要提供关键字参数input_shape。例如(10,128)代表一个长为10的序列，序列中每个信号为128向量。而(None, 128)代表变长的128维向量序列。

该层生成将输入信号与卷积核按照单一的空域（或时域）方向进行卷积。如果use_bias=True，则还会加上一个偏置项，若activation不为None，则输出为经过激活函数的输出。

表名：dl_layer_conv1d.v1

Conv2D层

二维卷积层，即对图像的空域卷积。该层对二维输入进行滑动窗卷积，当使用该层作为第一层时，应提供input_shape参数。例如input_shape = (128,128,3)代表128*128的彩色RGB图像（data_format='channels_last'）

表名：dl_layer_conv2d.v1

Conv2DTranspose层

该层是转置的卷积操作（反卷积）。需要反卷积的情况通常发生在用户想要对一个普通卷积的结果做反方向的变换。例如，将具有该卷积层输出shape的tensor转换为具有该卷积层输入shape的tensor。同时保留与卷积层兼容的连接模式。

当使用该层作为第一层时，应提供input_shape参数。例如input_shape = (3,128,128)代表128*128的彩色RGB图像

表名：dl_layer_conv2dtranspose.v1

Conv3D层

三维卷积对三维的输入进行滑动窗卷积，当使用该层作为第一层时，应提供input_shape参数。例如input_shape = (3,10,128,128)代表对10帧128*128的彩色RGB图像进行卷积。数据的通道位置仍然有data_format参数指定。

表名：dl_layer_conv3d.v1

Cropping1D层

在时间轴（axis1）上对1D输入（即时间序列）进行裁剪

表名：dl_layer_cropping1d.v1

Cropping2D层

对2D输入（图像）进行裁剪，将在空域维度，即宽和高的方向上裁剪 (e.g. picture).

表名：dl_layer_cropping2d.v1

Cropping3D层

对3D输入（图像）进行裁剪 (e.g. spatial or spatio-temporal).

表名：dl_layer_cropping3d.v1

SeparableConv2D层

该层是在深度方向上的可分离卷积。可分离卷积首先按深度方向进行卷积（对每个输入通道分别卷积），然后逐点进行卷积，将上一步的卷积结果混合到输出通道中。参数depth_multiplier控制了在depthwise卷积（第一步）的过程中，每个输入通道信号产生多少个输出通道。直观来说，可分离卷积可以看做讲一个卷积核分解为两个小的卷积核，或看作Inception模块的一种极端情况。当使用该层作为第一层时，应提供input_shape参数。例如input_shape = (3,128,128)代表128*128的彩色RGB图像。

表名：dl_layer_separableconv2d.v1

UpSampling1D层

Upsampling layer for 1D inputs。在时间轴上，将每个时间步重复length次。输入形如（samples，steps，features）的3D张量，输出形如（samples，upsampled_steps，features）的3D张量。

表名：dl_layer_upsampling1d.v1

UpSampling2D层

Upsampling layer for 2D inputs. 将数据的行和列分别重复size[0]和size[1]次。输入和输出均为4D张量。

表名：dl_layer_upsampling2d.v1

UpSampling3D层

Upsampling layer for 3D inputs. 将数据的三个维度上分别重复size[0]、size[1]和ize[2]次。输入和输出均为5D张量。

表名：dl_layer_upsampling3d.v1

ZeroPadding1D层

对1D输入的首尾端（如时域序列）填充0，以控制卷积以后向量的长度。

表名：dl_layer_zeropadding1d.v1

ZeroPadding2D层

对2D输入（如图片）的边界填充0，以控制卷积以后特征图的大小。

表名：dl_layer_zeropadding2d.v1

ZeroPadding3D层

将数据的三个维度上填充0。

噪声层

AlphaDropout层

对输入施加Alpha Dropout。Alpha Dropout是一种保持输入均值和方差不变的Dropout，该层的作用是即使在dropout时也保持数据的自规范性。 通过随机对负的饱和值进行激活，Alphe Drpout与selu激活函数配合较好。

表名：dl_layer_alphadropout.v1

GaussianDropout层

为层的输入施加以1为均值，标准差为sqrt(rate/(1-rate)的乘性高斯噪声

因为这是一个起正则化作用的层，该层只在训练时才有效。

表名：dl_layer_gaussiandropout.v1

GaussianNoise层

为数据施加0均值，标准差为stddev的加性高斯噪声。该层在克服过拟合时比较有用，你可以将它看作是随机的数据提升。高斯噪声是需要对输入数据进行破坏时的自然选择。因为这是一个起正则化作用的层，该层只在训练时才有效。

表名：dl_layer_gaussiannoise.v1

局部连接层

LocallyConnected1D层

LocallyConnected1D层与Conv1D工作方式类似，唯一的区别是不进行权值共享。即施加在不同输入位置的滤波器是不一样的。

表名：dl_layer_locallyconnected1d.v1

LocallyConnected2D层

LocallyConnected2D层与Convolution2D工作方式类似，唯一的区别是不进行权值共享。即施加在不同输入patch的滤波器是不一样的，当使用该层作为模型首层时，需要提供参数input_dim或input_shape参数。参数含义参考Convolution2D。

表名：dl_layer_locallyconnected2d.v1

嵌入层

Embedding层

嵌入层将正整数（下标）转换为具有固定大小的向量，如[[4],[20]]->[[0.25,0.1],[0.6,-0.2]]

Embedding层只能作为模型的第一层

表名：dl_layer_embedding.v1

常用层

激活层(Activation)

激活层，对一个层的输出施加激活函数

表名：dl_layer_activation.v1

ActivityRegularization层

ActivityRegularizer层，经过本层的数据不会有任何变化，但会基于其激活值更新损失函数值，可设置L1/L2范数更新损失函数。

表名：dl_layer_activityregularization.v1

全连接层(Dense)

Dense，全连接层，所实现的运算是output = activation(dot(input, kernel)+bias)。其中activation是逐元素计算的激活函数，kernel是本层的权值矩阵，bias为偏置向量，只有当use_bias=True才会添加。

表名：dl_layer_dense.v1

Dropout层

为输入数据施加Dropout。Dropout将在训练过程中每次更新参数时按一定概率（rate）随机断开输入神经元，用于防止过拟合。

表名：dl_layer_dropout.v1

Flatten层

Flatten层用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。

表名：dl_layer_flatten.v1

输入层(Input)

张量输入层

表名：dl_layer_input.v1

Lambda层

Lambda层，实现将任意函数/表达式封装为Layer/层。

表名：dl_layer_lambda.v1

Masking层

屏蔽层。使用给定的值对输入的序列信号进行“屏蔽”，用以定位需要跳过的时间步。对于输入张量的时间步，即输入张量的第1维度（维度从0开始算，见例子），如果输入张量在该时间步上都等于mask_value，则该时间步将在模型接下来的所有层（只要支持masking）被跳过（屏蔽）。如果模型接下来的一些层不支持masking，却接受到masking过的数据，则抛出异常。

表名：dl_layer_masking.v1

Permute层

Permute层将输入的维度按照给定模式进行重排，例如，当需要将RNN和CNN网络连接时，可能会用到该层。

表名：dl_layer_permute.v1

RepeatVector层

RepeatVector层将输入重复n次。

表名：dl_layer_repeatvector.v1

Reshape层

任意，但输入的shape必须固定。当使用该层为模型首层时，需要指定input_shape参数

表名：dl_layer_reshape.v1

循环层

ConvLSTM2D层

ConvLSTM2D是一个LSTM网络，但它的输入变换和循环变换是通过卷积实现的

表名：dl_layer_convlstm2d.v1

CuDNNGRU层

基于CuDNN的快速GRU实现，只能在GPU上运行，只能使用tensoflow为后端

表名：dl_layer_cudnngru.v1

CuDNNLSTM层

Fast LSTM implementation backed by CuDNN.

表名：dl_layer_cudnnlstm.v1

GRU层

门限循环单元。GRU（Gate Recurrent Unit）是循环神经网络（RNN）的一种。和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的，但是计算效率更高。

参考文献 - On the Properties of Neural Machine Translation: Encoder–Decoder Approaches - Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling - A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

表名：dl_layer_gru.v1

GRUCell层

GRU的Cell类

表名：dl_layer_grucell.v1

LSTM层

LSTM层，长短期记忆模型，RNN的一种，可以解决梯度爆炸的问题。关于此算法的详情，请参考 教程 - Long short-term memory (original 1997 paper) - Learning to forget: Continual prediction with LSTM - Supervised sequence labeling with recurrent neural networks - A Theoretically Grounded Application of Dropout in Recurrent Neural Networks

表名：dl_layer_lstm.v1

LSTMCell层

LSTM的Cell类

表名：dl_layer_lstmcell.v1

SimpleRNN层

全连接RNN网络，RNN的输出会被回馈到输入。

表名：dl_layer_simplernn.v1

SimpleRNNCell层

SinpleRNN的Cell类。

表名：dl_layer_simplernncell.v1

StackedRNNCells层

这是一个wrapper，用于将多个recurrent cell包装起来，使其行为类型单个cell。该层用于实现高效的stacked RNN。

表名：dl_layer_stackedrnncells.v1

数据处理

序列窗口滚动(深度学习)

表名：dl_convert_to_bin.v2

池化层

AveragePooling1D层

对时域1D信号进行平均值池化

表名：dl_layer_averagepooling1d.v1

AveragePooling2D层

为空域信号施加平均值池化

表名：dl_layer_averagepooling2d.v1

AveragePooling3D层

为3D信号（空域或时空域）施加平均值池化

表名：dl_layer_averagepooling3d.v1

GlobalAveragePooling1D层

为时域信号施加全局平均值池化

表名：dl_layer_globalaveragepooling1d.v1

GlobalAveragePooling2D层

为空域信号施加全局最大值池化

表名：dl_layer_globalaveragepooling2d.v1

GlobalMaxPooling1D层

对于时间信号的全局最大池化

表名：dl_layer_globalmaxpooling1d.v1

GlobalMaxPooling2D层

为空域信号施加全局最大值池化

表名：dl_layer_globalmaxpooling2d.v1

MaxPooling1D层

对时域1D信号进行最大值池化。

表名：dl_layer_maxpooling1d.v1

MaxPooling2D层

为空域信号施加最大值池化。

表名：dl_layer_maxpooling2d.v1

MaxPooling3D层

为3D信号（空域或时空域）施加最大值池化。

表名：dl_layer_maxpooling3d.v1

融合层

Add层

属于融合层。属于融合层。该层接收一个列表的同shape张量，并返回它们的和，shape不变。

表名：dl_layer_add.v1

Average层

属于融合层。属于融合层。该层接收一个列表的同shape张量，并返回它们的逐元素均值，shape不变。

表名：dl_layer_average.v1

Concatenate层

该层接收一个列表的同shape张量，并返回它们的按照给定轴相接构成的向量。

表名：dl_layer_concatenate.v1

Dot层

点积层，属于融合层。计算两个tensor中样本的张量乘积。例如，如果两个张量a和b的shape都为（batch_size, n），则输出为形如（batch_size,1）的张量，结果张量每个batch的数据都是a[i,:]和b[i,:]的矩阵（向量）点积。

表名：dl_layer_dot.v1

Maximum层

该层接收一个列表的同shape张量，并返回它们的逐元素最大值，shape不变。

表名：dl_layer_maximum.v1

Multiply层

该层接收一个列表的同shape张量，并返回它们的逐元素积的张量，shape不变。

表名：dl_layer_multiply.v1

Subtract层

该层接收两个同shape张量，并返回它们的逐元素差的张量，shape不变。

表名：dl_layer_subtract.v1

规范层

BatchNormalization层

该层在每个batch上将前一层的激活值重新规范化，使其输出数据的均值接近0，其标准差接近1。

BN层的作用：加速收敛；控制过拟合，可以少用或不用Dropout和正则；降低网络对初始化权重不敏感；允许使用较大的学习率。

表名：dl_layer_batchnormalization.v1

LayerNormalization层

LayerNormalization是对输出归一化的，消除各层的covariate shift，加快收敛速度。

表名：dl_layer_layernormalization.v1

高级激活层

ELU层

ELU层是指数线性单元（Exponential Linera Unit），表达式为： 该层为参数化的ReLU（Parametric ReLU），表达式是：f(x) = alpha * (exp(x) - 1.) for x < 0, f(x) = x for x>=0

表名：dl_layer_elu.v1

LeakyReLU层

LeakyRelU是修正线性单元（Rectified Linear Unit，ReLU）的特殊版本，当不激活时，LeakyReLU仍然会有非零输出值，从而获得一个小梯度，避免ReLU可能出现的神经元“死亡”现象。即，f(x)=alpha * x for x < 0, f(x) = x for x>=0

表名：dl_layer_leakyrelu.v1

PReLU层

该层为参数化的ReLU（Parametric ReLU），表达式是：f(x) = alpha * x for x < 0, f(x) = x for x>=0，此处的alpha为一个与xshape相同的可学习的参数向量。

表名：dl_layer_prelu.v1

ThresholdedReLU层

该层是带有门限的ReLU，表达式是：f(x) = x for x > theta,f(x) = 0 otherwise。

表名：dl_layer_thresholdedrelu.v1

自定义层

自定义层

对于简单的定制操作，我们或许可以通过使用layers.core.Lambda层来完成。但对于任何具有可训练权重的定制层，你应该自己来实现。

这里是一个层应该具有的框架结构，要定制自己的层，你需要实现下面三个方法： - build(input_shape)：这是定义权重的方法，可训练的权应该在这里被加入列表`self.trainable_weights中。其他的属性还包括self.non_trainabe_weights（列表）和self.updates（需要更新的形如（tensor, new_tensor）的tuple的列表）。你可以参考BatchNormalization层的实现来学习如何使用上面两个属性。这个方法必须设置self.built = True，可通过调用super([layer],self).build()实现 - call(x)：这是定义层功能的方法，除非你希望你写的层支持masking，否则你只需要关心call的第一个参数：输入张量 - compute_output_shape(input_shape)：如果你的层修改了输入数据的shape，你应该在这里指定shape变化的方法，这个函数使得Keras可以做自动shape推断

表名：dl_layer_userlayer.v1

模型评估

分类-评估

分类评估。输入模型结果，输出评估结果：精准率-召回率曲线、ROC-AUC、常用指标、准确率与错误率、混淆矩阵。

表名：metrics_classification.v1

回归-评估

回归评估。输入模型结果，输出对于回归的评估结果。具体评估标准包括R2，MSE，MAE等。

表名：metrics_regression.v1

\