补充：关于GRU的详细运作原理以及特殊的优化思路

1. GRU的基本结构和运作原理

1.1 GRU的基本概念

Gated Recurrent Unit (GRU) 是一种简化版的循环神经网络 (RNN)，它通过引入门控机制来解决长期依赖问题，同时减少参数数量以降低计算复杂度。

1.2 GRU的结构详解

GRU 包含两个门控机制：更新门 (update gate) 和重置门 (reset gate)。

• 重置门 (r_t): 控制当前时刻的输入与前一时刻的状态如何混合。
• 更新门 (z_t): 控制多少旧状态信息被保留到下一个状态。

这些门控信号是通过 sigmoid 函数生成的，值域在 [0, 1] 之间。

1.3 公式详解

1. 重置门: r t = σ ( W r x t + U r h t − 1 + b r ) r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r) rt​=σ(Wr​xt​+Ur​ht−1​+br​)
2. 更新门: z t = σ ( W z x t + U z h t − 1 + b z ) z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) zt​=σ(Wz​xt​+Uz​ht−1​+bz​)
3. 候选隐藏状态: h ~ t = tanh ⁡ ( W h x t + U h ( r t ∘ h t − 1 ) + b h ) \tilde{h}_t = \tanh(W_h x_t + U_h (r_t \circ h_{t-1}) + b_h) h~t​=tanh(W