郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
AAAI 2022
Abstract
脉冲神经网络（SNN）由于其二值和事件驱动的性质，可以在具有超高速和超低能耗的神经形态设备上运行。因此，SNN有望有各种应用，包括作为在边缘设备上运行的生成模型来创建高质量图像。在这项研究中，我们构建了一个带有SNN的变分自动编码器（VAE），以实现图像生成。VAE以其在生成模型中的稳定性而闻名；最近，它的质量提高了。在原始VAE中，潜在空间表示为正态分布，采样时需要进行浮点计算。然而，这在SNN中是不可能的，因为所有特征都必须是二值时间序列数据。因此，我们用自回归SNN模型构建了潜在空间，并从其输出中随机选择样本来对潜在变量进行采样。这允许潜在变量遵循伯努利过程，并允许变分学习。因此，我们构建了全脉冲变分自动编码器，其中所有模块都使用SNN构建。据我们所知，我们是第一个仅使用SNN层构建VAE的工作。我们用几个数据集进行了实验，并证实与传统ANN相比，它可以生成质量相同或更好的图像。该代码位于https://github.com/kamata1729/FullySpikingVAE.
Introduction
Related Work
Development of SNNs
Spike Neuron Model
Variational Autoencoder
Variational Recurent Neural Network
Generative models in SNN
Applying VAE on SNN
Autoregressive Model for Spike Train Modeling
Proposed Method
Overview of FSVAE
Autoregressive Bernoulli Spike Sampling
Spike to Image Decoding using Membrane Potential
Loss Function
Experiments
Datasets
Network Architecture
Training Settings
Evaluation Metrics
Computational Cost
Ablation Study
Qualitative Evaluation
Conclusion
在这项研究中，我们提出了FSVAE，它允许在SNN上生成与ANN相同或更高质量的图像。我们提出了自回归伯努利脉冲采样，这是一种可以在神经形态设备上实现的脉冲采样策略。这种采样方法用于先验分布和后验分布，我们将隐脉冲序列建模为伯努利过程。在多个数据集上的实验表明，FSVAE可以生成与相同架构的ANN VAE相同或更高质量的图像。由于SNN在神经形态设备上的速度明显更快，因此FSVAE在速度方面可以显著优于ANN VAE。将来，当我们结合最近的VAE研究时，我们很快就能用SNN实现高分辨率图像生成。
标签：采样,SNN,Fully,ANN,VAE,Spike,FSVAE,Variational,Spiking From： https://www.cnblogs.com/lucifer1997/p/16934785.html