循环神经网络（RNN）是深度学习领域中用于处理序列数据的一类重要模型。然而，传统的RNN在处理长期依赖关系时容易遭遇梯度消失或梯度爆炸的问题，限制了其建模长序列数据的能力。为了克服这一挑战，研究人员引入了各种记忆单元，如长短期记忆网络（LSTM）和门控循环单元（GRU），显著提升了RNN对序列数据的建模能力。
LSTM通过在RNN的基础上增加一个细胞状态和三个门控机制（遗忘门、输入门、输出门）来克服梯度消失问题。
LSTM的细胞状态和门控机制使得信息可以在长序列中流动而不易丢失，从而有效捕捉长期依赖关系。
# LSTM 伪代码示例
forget_gate = sigmoid(W_f * [h_prev, x_t] + b_f)
input_gate = sigmoid(W_i * [h_prev, x_t] + b_i)
cell_candidate = tanh(W_c * [h_prev, x_t] + b_c)
cell_state = forget_gate * cell_state_prev + input_gate * cell_candidate
output_gate = sigmoid(W_o * [h_prev, x_t] + b_o)
h_t = output_gate * tanh(cell_state)
GRU通过简化结构，减少了计算量，同时保持了LSTM在长序列建模上的优势。
# GRU 伪代码示例
reset_gate = sigmoid(W_r * [h_prev, x_t] + b_r)
update_gate = sigmoid(W_z * [h_prev, x_t] + b_z)
candidate_h = tanh(W_h * [reset_gate * h_prev, x_t] + b_h)
h_t = update_gate * h_prev + (1 - update_gate) * candidate_h
LSTM和GRU因其强大的序列建模能力，广泛应用于自然语言处理（如机器翻译、文本生成）、时间序列预测（如股票价格预测、天气预测）、语音识别等领域。
记忆单元（如LSTM和GRU）的引入，极大地提升了循环神经网络对序列数据的建模能力，使得RNN能够更有效地处理长序列中的依赖关系。这些改进不仅推动了深度学习理论的发展，也为众多实际应用领域带来了革命性的进展。