RNN 的致命缺陷
梯度消失与梯度爆炸 - 孪生问题
Long
Sequence
Input
长序列输入
RNN
Processing
Core
问题暴露
Vanishing Problem
梯度消失
早期信息梯度指数级衰减
记忆丢失
长序列开头信息被遗忘
1
强
10
中
50
弱
100
消失
孪生问题
Exploding Problem
梯度爆炸
早期信息梯度指数级暴涨
数值失控
梯度变为无穷大的无效数值
1
正常
10
增大
50
暴涨
∞
爆炸
技术突破
Solution Layer
LSTM 1997
门控机制保护长期记忆
GRU 2014
精简门控提升效率
Vanishing
Exploding