学完了线性分类，我们要开始对预测结果进行评估，进而优化权重w，提高预测精度，这就要用到损失函数。损失函数（LossFunction）是机器学习模型中的一个关键概念，用于衡量模型的预测结果与真实标签之间的差距。损失函数的目标是通过提供一个差距的度量，帮助模型进行优化，最终减少预测误差。

斯坦福2023年春季CS231N课程第三次作业（最后一次）解析、笔记与代码，作为初学者入门学习。在这项作业中，将实现语言网络，并将其应用于COCO数据集上的图像标题。然后将训练生成对抗网络，生成与训练数据集相似的图像。最后，将学习自我监督学习，自动学习无标签数据集的视觉表示。本作业的

在这项作业中，将实现语言网络，并将其应用于COCO数据集上的图像标题。然后将训练生成对抗网络，生成与训练数据集相似的图像。最后，您将学习自我监督学习，自动学习无标签数据集的视觉表示。本作业的目标如下：1.理解并实现RNN和Transformer网络。将它们与CNN网络相结合，为图像添加标

two_layer_net.ipynb之前对 x.reshape(x.shape[0],-1)语句的输出结果理解一直有误：1x=[[1,4,7,2],[2,5,7,4]]2x=np.array(x)3x0=x.reshape(x.shape[0],-1)4x1=x.reshape(x.shape[1],-1)5print(x0)6print(x1)的输出实际为[[1472][2574]][[1

-为Softmax分类器实现完全矢量化的损失函数-实现解析梯度完全矢量化的表达式使用数值梯度检查实现结果使用验证集调整学习率和正则化强度使用SGD优化损失函数可视化最终学习的权重softmax.ipynb库、绘图设置和数据的导入和SVM一样Traindatashape:(49000,3073)Tra

svm.ipynb为SVM实现一个完全矢量化的损失函数为其解析梯度实现完全矢量化表达式使用数值梯度检查您的实现使用验证集调整学习率和正则化使用 SGD优化损失函数可视化最终学习权重第一部分1.一些配置和库的导入#Runsomesetupcodeforthisnotebook.importrand

CS231n:ConvolutionalNeuralNetworksforVisualRecognitionEventTypeDateDescriptionCourseMaterialsLecture1Tuesday April4CourseIntroduction Computervisionoverview Historicalcontext Courselogistics[slides] [video]Lecture2Thursday April6Image

欢迎来到assignment3从现在开始,网上的博客数量就少了很多.毕竟从现在,我们开始了更具体网络的学习.这里的组织形式可能会比较怪,我会将RNN相关的课程内容和代码混在一起,这样也可以同时作为学习笔记,也是考虑到RNN之后没有官方讲义之后自己概括性的评说,感觉比较好组织.

这篇文章之所以来的比较早,是因为我们机器人比赛字符识别数据集不够,想自己造点数据集其实课程内容总结所谓GAN,原理很简单,我们有一个生成器网络和鉴别器网络,生成器生成假的数据,鉴别器分辨真假,二者知己知彼互相优化自己,从而达到博弈的效果.实际操作中,我们一般是

期中考试结束了,来填坑,因为真正接触到了玄学和银河的部分,也算是试验了几天的成果把(在上一个文章中,我们已经提到了,通过本课程学到的各种技巧,我们将准确度提升到了80%,这已经超过了大多数CS231N博客的效果了.但是毕竟这个是在基本的卷积网络架构去操作的,所以后续想要

pytorch环境搭建课程给你的环境当中,可以直接用pytorch,当时其默认是没有给你安装显卡支持的.如果你只用CPU来操作,那其实没什么问题,但我的电脑有N卡,就不能调用. 考虑到我已有pytorch环境(大致方法就是确认pytorch版本和对应的cuda版本安装cuda,再按照官网即可,建议自

卷积神经网络基本算法实现卷积神经网络应该算是图像处理中绝对的主流了,关于算法得基本思想我在之前也学的比较懂了,这点如果不了解网上有很多教程.不过我并没有用代码亲自实现它.我们首先确定怎么编写.前面搞全连接网络总是会想着怎么去简化运算,现在我们接触了新的网络,

dropout定义&作用&基本实现如课程所说,dropout最大的意义在于防止过拟合.我们还记得,dropout在网络架构上介于激活函数之后,下一层输入之前.想法很简单,就是将隐含层的某些数据屏蔽掉,直接从以输入到下一层,概率为p. 需要注意的是,dropout是仅针对训练而言的,测试

预警:本次内容不算多,但数学推导较复杂Normalization归一化的意义之前内部的权重没有做过标准化.实际上如果能标准化,可以提升训练效果,甚至可以提升精度(虽然不大).设立专门的batch/layernormalization层的意义在于:梯度更加规范对于学习率(可以更高),初始化权重等

本章内容较多预警Intro我们写过一个两层的神经网络,但是梯度是在loss内计算的,因此对网络的架构相关的修改难免比较困难.为此,我们需要规范化网络设计,设计一系列函数.,后面我们还会封装一个类,这也是最希望的方式了.环境搭建又到了工科生最上头(bushi的搭环境环节.

利用图像特征提升准确度我们之前仅仅是逐个像素的计算,而忽视和图像在HSV空间的像素集中度和图像纹理特征.根据别人的博客,准确率进一步从54%提升到58%.下面进行解析.HOG/颜色直方图代码解读本次的作业没有要求我们自己实现,但是我们还是应该读懂代码. 在前面,我们一直

[注意:考虑到这个和SVM重复很多,所以会一笔带过/省略一些]softmax和SVM只是线性分类器分类结果的评判不同,完全依靠打分最大来评判结果,误差就是希望结果尽可能接近正确分类值远大于其他值.我们将打分结果按照指数权重正则化为和为1的向量:而这个值希望尽可能接近1,也就是-l

从零开始的全新博客我之前一直在语雀上更新文章,但是一会不更发现居然需要VIP才能发博客了:不过考虑到自己确实有一会没写博客了,之前对神经网络在课上学过,也鼓捣过pytorch,但是深感自己没有系统学习过.第一次接触这种公开课,希望也能有种从零开始的感觉,让自己面对这

layout:posttitle:CS231N-课后思考后笔记subtitle:CS231N-课后思考后笔记description:CS231N-课后思考后笔记date:2022-10-26categories:deep

该博客主要用于个人学习记录，部分内容参考自：CS231n笔记七：训练神经网络3（优化方法）、局部最小值(localminima)和鞍点(saddlepoint)一、更好地优化FancierOptimization1

该博客主要用于个人学习记录，部分内容参考自：CS231n笔记九：图像目标检测和图像分割、2017CS231n笔记_S11分割，定位，检测一、语义分割SemanticSegmentation目标：输入图像，并对

该博客主要用于个人学习记录，部分内容参考自：2017CS231n笔记_S10循环神经网络、CS231n笔记十：循环神经网络一、循环神经网络（RecurrentNeuralNetworks,RNN）1、RNN的基本结

该博客主要用于个人学习记录，部分内容参考自：[Lecture9]CNNArchitectures（CNN架构）、CNNArchitecture1、LeNetLeNet在数字识别领域的应用方面取得了成功1、AlexNet（

    为了搞深度学习，看了《深度学习、优化与识别》，《TensorFlow：实战Google深度学习框架》以及三大牛人的《深度学习》，视频看的16年的cs231，据说和17年差别还是挺大的

cs231n笔记动量原始的SGD优化方法是\[x_{t+1}=x_t-\alpha\nablaf(x_t)\]就是单纯在梯度方向下降，加入动量的目的是为了加速学习，也就是加快梯度下降的速度如何做到加快