标签：frac 函数 sum da Softmax 基础课 dnet net

大家好~本课程为“深度学习基础班”的线上课程，带领同学从0开始学习全连接和卷积神经网络，进行数学推导，并且实现可以运行的Demo程序

线上课程资料：
本节课录像回放

加QQ群，获得ppt等资料，与群主交流讨论：106047770

本系列文章为线上课程的复盘，每上完一节课就会同步发布对应的文章

本课程系列文章可进入索引查看：
深度学习基础课系列文章索引

目录

• 主问题：如何加快多分类的训练速度？
  • 结学
• 任务：识别手写数字使用交叉熵损失函数和softmax激活函数
• 任务：改进代码
• 总结
• 参考资料
• 谢谢你~

主问题：如何加快多分类的训练速度？

• “识别手写数字“属于单分类还是多分类？
  答：多分类
• “识别手写数字“是否能使用单分类中的交叉熵损失函数？
  答：不能
• 为什么？
  答：

\[\begin{aligned} \frac{dE}{dw_{kj}} &=\delta_k a_j \\ &= \frac{dE}{dy_k}\frac{df(net_k)}{dnet_k} a_j \\ \end{aligned} \]

因为目前的交叉熵损失函数是在单分类下推导的。
而在多分类下，由于原有的激活函数不再适合，需要更换新的激活函数，导致上面公式中的\(\frac{

标签：frac,函数,sum,da,Softmax,基础课,dnet,net
From： https://www.cnblogs.com/chaogex/p/16931244.html