时间卷积网络

参考链接：

TCN（Temporal Convolutional Networks）算法详解 - 知乎 (zhihu.com)

TCN(Temporal Convolutional Network)时间卷积网络pytorch实战 - 朴素贝叶斯 - 博客园 (cnblogs.com)

1.TCN概况

TCN是时域卷积网络（Temporal Convolutional Network）的简称。

1.1与RNN的区别

许多任务中，卷积网络可以取得比RNNs更好的性能，同时避免了递归模型的常见缺陷，如梯度爆炸/消失问题。

RNN的优缺点：

TCN的优缺点：

2.TCN结构

2.1一维卷积

假设有一个时间序列，共有五个时间点，例如股市的价格波动：

TCN或者说因果卷积中，使用的卷积核大小均为2，对上面5个数据进行卷积的过程如下：

五个数据经过一次卷积变成4个数据，并且每一个卷积后的数据都基于两个原始数据，因而目前卷积的感受野为2。在CNN中我们通过padding来保证卷积前后特征图尺寸不变，在时间序列中，依然使用padding来保证尺寸不变：

padding是左右两边都增加0，按常理来讲会产生6个新数据。但是按照“输入输出尺寸相同”和“不能知道未来的数据”，所以最后那个未来的padding就省略掉了。

总而言之，时序卷积就是对一维数据的卷积过程。

2.2因果卷积（Causal Convolutions）

因果卷积就是一维卷积在时间序列中的一种应用。

因果卷积有两个特点：

• 不考虑未来的信息。给定输入序列$x_1,\cdots,x_T$，预测$y_1,\cdots,y_T$。但是在预测$y_T$时，只能使用已经观测到的序列$x_1,\cdots,x_T$，而不能使用$x_{t+1},x_{t+2},\cdots$。
• 追溯历史信息越久远，隐藏层越多。上图中，假设以第二个隐藏层作为输出，其最后一个节点关联了输入的三个节点；假设以输出层作为输出，其最后一个节点关联了输入的四个节点。

假设想做一个股票的预测决策模型，希望决策模型可以考虑到这个时间点之前四个时间点的股票价格，进行以下三种决策：

• 0：不操作
• 1：买入
• 2：卖出

本质上这是一个分类问题，要求感受野是4，按照之前的规律，需要堆积3个卷积核为2的1维卷积层：

三次卷积可以让最后的输出拥有4个视野域，即上图红色的部分。

这样虽然理论上可行，但是容易出现卷积层过多的问题。我们仍考虑股票数据，它往往是按照分钟记录的，起码是十万、百万的数据量。如果我们经过决策，要考虑前1000个时间点，那就意味着需要999层卷积，这对于计算机显然是有点捉襟见肘了。因此，我们引入了新的膨胀因果卷积。

2.3膨胀/空洞/扩张因果卷积（Dilated Causal Convolution）

• 单纯的因果卷积存在传统CNN的问题，即对时间的建模长度受限于卷积核的大小，如果想要建模更长的依赖关系，就需要线性堆叠很多层。
• 标准CNN可以通过增加池化层来获得更大的感受野，但经过池化层后存在信息损失的问题。

膨胀卷积是在标准卷积里注入空洞，以此来增加感受野。和传统CNN不同的是，膨胀卷积允许卷积时输入存在间隔采样，采样率受dilation rate控制，指的是做卷积操作时允许kernel里面元素之间的下标间隔（标准CNN中dilation rate=1，dilation rate=2表示输入时每2个点采样一个作为输入）。空洞的好处是不做池化损失的情况下，增加了感受野，让每个卷积输出都包含较大范围的信息。下图是标准cnn和Dilated Convolution的直观展示：

下图是dilation=2时的膨胀因果卷积的情况：

与之前的区别有两个：

• 红色区域：卷积核大小依然是2，但卷积核之间变空洞了。
• 绿色区域：因为dilation变大，因此相应的padding数量从1变到了2。为了保证输入输出的特征维度相同，$padding=(kernel_size-1)*dilation$。感受野范围为$(kernel_size-1)\ast dilation + 1$。

如果想要视野域为4：

可以看到，第一次使用dilation=1卷积，第二次使用dilation=2的卷积，就可以实现视野域是4。

如果需要视野域是8，那就再增加一个dilation=4的卷积。在实践中，通常随网络层数增加，dilation以2的指数增长，视野域也是2的指数增长。

因为研究对象是时间序列，TCN采用一维卷积网络。下图是TCN架构中的因果卷积与空洞卷积。

可以看到：

• 每一层t时刻的值只依赖于上一层$t,t-1,\cdots$时刻的值，体现了因果卷积的特性；
• 每一层对上一层信息的提取，都是跳跃式的，且逐层dilated rate以2的指数增长，体现了空洞卷积的特性；
• 每一层都要做padding，$padding=(kernel_size-1)\ast dilation$。

2.4残差模块（Residual block）

CNN能够提取不同级别的特征，网络的层数越多，提取到的特征越丰富、越抽象、越具有语义信息。但是如果简单地增加深度，会导致梯度消失或梯度爆炸。对于该问题的解决方法是权重参数初始化和采用正则化层（Batch Normalization），这样可以训练几十层的网络。

解决了梯度问题，还会出现网络退化问题。随着网络层数的增加，在训练集上的准确率趋于饱和甚至下降。但这并不是过拟合，因为过拟合在训练集上表现会更好。下图是一个网络退化的例子，20层的网络比56层的网络表现更好。

这是因为虽然56层网络的解空间包含了20层的解空间，但我们在训采用的是随机梯度下降策略，往往得到的不是全局最优解，而是局部最优解。显然56层网络的解空间更复杂，所以导致使用随机梯度下降无法得到最优解。

假设已有一个最优网络，为18层。当我们设计网络结构时，我们并不知道具体多少层的网络有最优的网络结构，假设设计了34层的网络结构。那么多出来的16层其实是冗余的，我们希望训练网络的过程中，模型能够自己训练这16层为恒等映射，也就是经过这16层时输入和输出完全一样。但是这往往很难做到，因此这样的网络一定比最优的18层网络差，这就是随着网络加深，模型退化的原因。因此解决网络退化的问题，就是解决如何让网络的冗余层产生恒等映射，让深层网络等价于一个浅层网络。

通常情况下，让网络的某一层学习恒等映射函数$H(x)=x$比较困难，但如果我们把网络设计为$H(x)=F(x)+x$，就可以将学习恒等函数转换为学习一个残差函数$F(x)=H(x)-x$，只要$F(x)=0$，就构成了一个恒等映射。在参数初始化时，一般权重参数比较小，非常适合学习$F(x)=0$，因此拟合残差会更容易，这就是残差网络的思想。

下图为残差模块的结构：

该模块提供了两种选择方式：

• identity mapping：即x，成为shortcut连接
• residual mapping：即$F(x)$

如果网络已经最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态。

这种残差模块结构可以通过前向神经网络+shortcut连接实现。而且shortcut连接相当于简单执行了同等映射，不会产生额外参数，不会增加计算复杂度，整个网络依旧可以通过端到端的反向传播训练。

上图的残差模块包含了两层网络。实验证明，残差模块往往需要两层以上，单单一层的残差模块并不能起到提升作用。shortcut有两种连接方式：

• idetity mapping同等维度的映射（$F(x)$与$x$维度相同）：

  $F(x)=W_2\sigma(W_1x+b_1)+b_2,H(x)=F(x)+x$

• identity mapping不同维度的映射：

  $F(x)=W_2\sigma(W_1x+b_1)+b_2,H(x)=F(x)+W_sx$

以上是基于全连接层的表示，实际上残差模块可以用于卷积层。加法变为对应channel间两个feature map逐元素相加。对于残差网络，维度匹配的shortcut连接为实线，反之为虚线。在残差网络中，有很多残差模块，下图是一个残差网络。每个残差模块包含两层，相同维度残差模块之间采用实现连接，不同维度残差模块之间采用虚线连接。网络的2、3层执行$3\times 3\times 64$的卷积，他们的channel个数相同，所以采用同维度计算；4、5层与第三层channel个数不同，所以采用不同维度计算。$W_s$是卷积操作（用128个$3 \times 3 \times 64$的filter），用来调整x的channel个数。

TCN中的残差模块如下图所示：

TCN的基本模块TemporalBlock：

• 卷积并进行WeightNorm后会因为padding导致卷积之后的新数据尺寸B>输入数据的尺寸A，所以只保留输出数据中前面A个数据。
• 卷积之后加上ReLU和Dropout层。
• 每两次dilation扩大一倍，也就是说TCN中的基本组件是两个dilation相同的卷积层（卷积+修改数据尺寸+激活+dropout）
• 最后加上Resnet的残差连接来避免梯度消失。