4 months ago

之前在介绍RNN网络时对LSTM网络结构有了简单介绍,但是看起来云里雾里,不太明白,今天找到更清楚的解释
我们先来看一下传统的经典的结构示意图



这两张图能够直观地表示出RNN和LSTM的网络结构的复杂程度,但是具体的计算过程和公式没有表达清楚
这里有一个清楚的计算过程,首先看RNN

接下来就是LSTM



中间复杂的网络结构可以用这样一张经典的图进行解释

存储器单元由四个主要元件组成:输入门,具有自回归连接的神经元(与其自身的连接),忘记门和输出门。
自回归连接的权重为1.0,并确保在禁止任何外部干扰的情况下,存储器单元的状态可以从一个时间步长保持恒定到另一个时间步长。
门用于调节存储器单元本身与其环境之间的相互作用。
输入门It、Jt可以允许输入信号改变存储器单元的状态或阻止它:要不要被输入信息影响
输出门Ot可以允许存储器单元的状态对其他神经元产生影响或阻止它:要不要去影响其他神经元
遗忘门Ft可以调整存储器单元的自我重复连接,允许单元根据需要记住或忘记其先前的状态:怎样被之前的状态影响

注:第二份参考资料里面还有介绍GRU网络结构,也相当不错

参考资料:
【深度学习】递归神经网络RNN
An Empirical Exploration of Recurrent Network Architectures
用于情感分析的LSTM网络
理解 LSTM(Long Short-Term Memory, LSTM) 网络

← 【深度学习】Keras实现RNN 【python】序列化与反序列化 →