WorkingContent:1.这几天找到了提取attention层的代码，并且可以实现可视化：https://github.com/luo3300612/Visualizer效果图大概是这样：用这段代码调用函数，attention_maps[3][0,4,:,:]指的是第3层attention层的第4个注意力头的注意力分数。visualize_grid_to_grid_with_cl

WorkingContent:1.今天开始看VisionTransformer(ViT)：看之前需要一些基础：（1）RNN（RecurrentNN，循环神经网络）：一段连续的信息，前后信息之间是有关系地，必须将不同时刻的信息放在一起理解。如果是普通的神经网络，每个输入之间是相互独立的，如果是RNN，则可以接收上一个输入传递的信息。

WorkingContent:1.把resnet18的backdoor和IL尝试结合了一下，得到的结果如下：在训练完第一个任务后（干净的数据集），错误率为28.29%；训练完第二个任务后（污染的数据集），错误率为28.50%，攻击失败率为85.33%。这里攻击的成功率太低了，不太清楚为什么，需要问一下。2.附上classifier_resn

WorkingContent:1.今天还是读代码，对于代码有以下问题：（1）FCNet最后的输出层只有1个神经元，这如何做分类？——解决了，应该是因为它每个子任务都是训练两类，所以只需要一个神经元确定是哪个类别。（2）CIFAR数据集的分任务是什么情况？既使用了CIFAR10也使用了CIFAR100，并且分类的情况也有点

WorkingContent:1.学到的关于VCL方法的几个点：（1）最小化KL散度=最大化ELBO（EvidenceLowerBound）。tyxe的源代码应该用的就是最大化ELBO，这里loss是由关于ELBO的函数得到的（具体怎么得到的不太知道）。（2）源代码用了Pyro库中的SVI，是一种类。

WorkingContent:1.上次的问题得到解决：（1）数据集就是8个文件夹，代表八个类别（忽略注释说的四个类），databloader会为他们分配labels。（2）incrementallearning和backdoor结合是将干净的数据集和被污染的数据集两个任务分别训练。2.基于TyXe的VCL方法终于跑通了，下面是在mnist和cifar数

WorkingContent:1.目前要做的任务是将classifier_resnet18.py用的方法做一些改动，原来是训练一个被污染的数据集，然后用干净的测试集去测试正常数据的识别成功率和污染数据的攻击成功率。比如某种dog属于dog类，我现在找了个trigger（比如加了个黑方格到dog的图像上），并且把加了trigg

WorkingContent:1.阅读"VariationalContinualLearning"论文及代码关于ContinualLearning(CL)的认识：这是一个贝叶斯推断过程，这里是gpt给出的贝叶斯推断概念和例子：即先确定一个先验分布，需要求的未知参数是θ（当然也可以添加其他类似α，β）的超参数之类的）。接下来我们进行实