数值稳定性：FixingNaNGradientsduringBackpropagationinTensorFlow

backpropagation(反向传播)在计算gradient的vector时可以有效率地把vector计算出来我们先考虑一个neuron考虑链式法则，现计算$\frac{\partialz}{\partialw}$，计算较为简单，规律发现就是input以上步骤就叫forwardpass，接下来介绍backwardpass，即计算$\frac{\partialC}{\parti

详细推导反向传播下图是逻辑回归的推导：回想一下逻辑回归的公式(参考公式1.2、公式1.5、公式1.6、公式1.15)公式1.38：\[\left. \begin{array}{l} {x}\\ {w}\\ {b} \end{array} \right\} \implies{z={w}^Tx+b} \implies{\alpha=\sigma(z)} \implies{{L}\left(a,y

hyperparameters超参数GradientDescent  梯度下降算法先选一个初始的参数，W、b，计算θ0对你的lossfunction的Gradient,也就是计算每一个network里面的参数，w1、w2、b1、b2......等等。对你的L(θ0)的偏微分，计算出这个东西之后，这个gradient其实是一个vector(向量)，

该博客主要用于个人学习记录，部分内容参考自：【cs231n】详解神经网络中的反向传播、CS231n笔记三：神经网络之反向传播、超详细斯坦福CS231n课程笔记（第四课）——反向传播和神

在前面我们学习了SVM损失函数和softmax损失函数，我们优化权重矩阵w的具体思路便是让损失函数最小化，还记得损失函数的定义吗？   没错，损失函数长这样，其中，Wj为权

摘要提出了一个新的深度架构的域自适应方法，可在有大量标记数据的源数据和大量未标记数据的目标域上进行训练该方法促进“深度特征”的出现（深度特征）对于学习任务有主