郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
Proceedings of the 39th International Conference on Machine Learning
Abstract
短期可塑性（STP）是一种将衰退记忆储存在大脑皮层突触中的机制。在计算实践中，STP已经被使用，但主要用于脉冲神经元，尽管理论预测它是某些动态任务的最佳解决方案。在这里，我们提出了一种新型的循环神经单元，STP神经元（STPN），它确实非常强大。其关键机制是突触具有一种状态，通过突触内的自循环连接随时间传播。这种公式能够通过时序反向传播来训练可塑性，从而在短期内形成一种学习和遗忘的形式。STPN优于所有测试的替代方案，即RNN、LSTM以及其他具有快速权重和可微可塑性的模型。我们在监督和强化学习（RL）以及联想检索、迷宫探索、Atari视频游戏和MuJoCo机器人等任务中都证实了这一点。此外，我们计算出，在神经形态或生物回路中，STPN使模型之间的能量消耗最小化，因为它动态地抑制单个突触。基于这些，生物STP可能是一个强大的进化吸引子，可以最大限度地提高效率和计算能力。STPN现在也将这些神经形态优势带到了广泛的机器学习实践中。代码可在https://github.com/NeuromorphicComputing/stpn中获取。
1. Introduction
1.1. Biological vs artificial neural networks
1.2. Neuromorphic Computing
1.3. Plasticity and Short-Term Plasticity
1.4. Learning to learn
1.5. Contribution to the field
我们提出了STPN，这是一种新的循环型单位，它扩展了RNN家族，在每个输入突触中都有可能出现循环状态。它扩展了其他快速权重模型，将STP添加到输入中，并使每个突触的STP可训练。它建立在其他可微可塑性模型的基础上，包括了一个短期方面。它补充了学会学习和学会遗忘。我们将证明，在监督和强化学习（包括元学习的例子）的各种任务中，它是比LSTM更好的RNN选择，超过了最新的快速权重模型，并优于其他可微可塑性机制。STPN的好处包括提高任务熟练度和能源效率。
2. The STPN model
2.1. The model
2.2. Equivalence to STP
2.3. Learning to learn and forget with STPN
2.4. STPN variants
3. Methods
3.1. Training methods
3.2. Energy consumption measurement
3.3. Tested baseline models
3.4. Tested tasks
4. Results
4.1. Accuracy & reward
4.2. Energy consumption
4.3. Learning to learn and forget
5. Discussion
A. Appendix
A.1. The meta-learning algorithm
A.2. Importance of learning per-synapse STP parameters
A.3. Further results
A.4. Training methods
A.5. Experimental details
A.5.1. ASSOCIATIVE RETRIEVAL
A.5.2. MAZE EXPLORATION
A.5.3. ATARI PONG
A.5.4. MUJOCO INVERTED PENDULUM
A.6. Terminology on timescales
A.7. STPN mechanics
标签：Term,Short,Forget,突触,STPN,可塑性,A.5,STP,Learning From： https://www.cnblogs.com/lucifer1997/p/17406534.html