Long
Sequence
Input
长序列输入
RNN
Processing
Core
问题暴露
Problem Layer
梯度消失
早期信息梯度指数级衰减
记忆丢失
长序列开头信息被遗忘
1
强
→
10
中
→
50
弱
→
100
消失
技术突破
Solution Layer
LSTM 1997
门控机制保护长期记忆
GRU 2014
精简门控提升效率