首页 > 其他分享 >向量求导

向量求导

时间:2023-08-01 16:33:24浏览次数:36  
标签:dots frac vec bmatrix 求导 partial 向量 vdots

因变量为标量,自变量为向量

参考
\(y\) 为因变量,标量;\(X=[x_1,x_2,\dots,x_n]^T\) 为自变量是向量,n维。
\(y=f(X)\),即!!\(y = f(x_1,x_2,\dots,x_n)\)
因此可以直接求导:

\[\frac{\partial y}{\partial X} = (\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots;\frac{\partial y}{\partial x_n}) \]

求导结果为n维向量
以\(y = \vec a ^T\vec x\):表示y为两个向量的内积,结果为一个标量
则求\(\frac{\partial y}{\partial \vec x}\),只需求出所有的\(\frac{\partial y}{\partial \vec x_i}\)即可。
具体方法为:
将\(y\)的表达式展开成累加和的形式,然后套用标量的求导法则即可,这一方法适用于所有多维情况的求导。
解:

\[y = \vec a^T\vec x=\sum_{i=1}^n a_i x_i \]

故对\(\forall i\):

\[\frac{\partial y}{\partial x_i} = a_i \]

故:

\[\begin{aligned} \frac{\partial y}{\partial \vec x}&=(\frac{\partial y}{\partial x_1};\frac{\partial y}{\partial x_2};\dots;\frac{\partial y}{\partial x_n}) \\ ~&=(a_1;a_2;\dots ;a_n) \\ ~&=a \end{aligned} \]

例子:
image
注意图中,向量\(x\)与\(w\)均写成了1n的形式,而不是我们通常的n1,因此最终算出来的结果里面为\(x^T\),而不是\(x\)

因变量、自变量均为向量

当自变量和因变量均为向量时,求导结果为一个矩阵,我们称该矩阵为雅可比矩阵(Jacobian Matrix)。
image

特别的,如果X为n*m的矩阵,w为m维向量,则

\[\frac{\partial X}{\partial \vec w} = X \]

证明:

\[X = \begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}, w = \begin{bmatrix} w_{1}\\ w_2\\ \vdots\\ w_m \end{bmatrix} \]

则,

\[\vec z=Xw=\begin{bmatrix} x_{11}w_1+x_{12}w_2+\dots+x_{1m}w_m\\ x_{21}w_1+x_{22}w_2+\dots+x_{2m}w_m\\ \vdots\\ x_{n1}w_1+x_{n2}w_2+\dots+x_{nm}w_m \end{bmatrix}=\begin{bmatrix} z_1\\ z_2\\ \vdots\\ z_n \end{bmatrix} \]

\[\begin{aligned} \frac{\partial X\vec w}{\partial \vec w} &= \frac{\partial \vec z}{\partial \vec w}\\ &=\begin{bmatrix} \frac{\partial z_1}{\partial w_1}&\frac{\partial z_1}{\partial w_2}&\dots&\frac{\partial z_1}{\partial w_m}\\ \frac{\partial z_2}{\partial w_1}&\frac{\partial z_2}{\partial w_2}&\dots&\frac{\partial z_2}{\partial w_m}\\ \vdots&\vdots&\ddots&\vdots\\ \frac{\partial z_n}{\partial w_1}&\frac{\partial z_n}{\partial w_2}&\dots&\frac{\partial z_n}{\partial w_m}\\ \end{bmatrix}\\ &=\begin{bmatrix} x_{11}&x_{12}&\dots&x_{1m}\\ x_{21}&x_{22}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\ x_{n1}&x_{n2}&\dots&x_{nm} \end{bmatrix}\\ &=X \end{aligned} \]

例子:
image

标签:dots,frac,vec,bmatrix,求导,partial,向量,vdots
From: https://www.cnblogs.com/hi-wind/p/17596636.html

相关文章

  • 《向量数据库指南》——2023年7月国产向量数据库排行榜Top3:Milvus,Milvus Cloud,Tencent
    向量数据库排行榜分析报告随着人工智能和大数据技术的不断发展,向量数据库在各个领域的应用越来越广泛。向量数据库是一种存储和管理大规模向量数据的数据库,具有高效的数据查询和分析能力,是人工智能领域的重要基础架构。在本文中,我们将对2023年7月的国产向量数据库排行榜进行分析和......
  • 拓展:三角形四心的向量表示
    一.“四心”的定义(1)重心:三边中线的交点,重心将中线长度分成2:1;(2)垂心:三条高线的交点,高线与对应边垂直;(3)内心:三条角平分线的交点(内切圆的圆心),角平分线上的任意点到角两边的距离相等;(4)外心:三条中垂线的交点(外接圆的圆心),外心到三角形各顶点的距离相等。二.“四心”的重要......
  • LA@AM@向量间的关系@垂直@平行@共面判定@混合积
    ......
  • C# 使用SIMD向量类型加速浮点数组求和运算(4):用引用代替指针, 摆脱unsafe关键字,兼谈Unsa
    作者:zyl910目录一、引言二、办法说明2.1历史2.2局部引用变量与引用所指的值(类似指针的地址运算符&、间接运算符*)2.3重新分配局部引用变量(类似指针直接赋值)2.4引用地址调整(类似指针加减法)2.5引用地址比较(类似指针比较)2.6重新解释(类似C++的reinterpret_cast)2.7引用取消只......
  • 词向量与Emoji表情生成器
    1词向量因为我们的输入是一些文本,所以我们需要将这些文本转化为词向量。如何加载训练好了的词向量这里我们使用50维的向量来表示单词:defread_glove_vecs(glove_file):withopen(glove_file,'r',encoding='utf8')asf:words=set()word_to_vec_......
  • 【矩阵论】含hadamard积求导和优化问题
    本篇使用的符号说明,考虑优化问题\[\min\limits_X\|A\circX-B\|_F^2,\tag{1}\]其中\(A,X,B\inM_{m,n}\)。自然的想法是对其求导找闭式解,由于\(F\)-范数的平方可以看作对每个位置的平方求和,于是\((1)\)可以向量化写成以下形式,\[\min\limits_X\|\operatorname{vec}(A)\odot\o......
  • 利用Redis实现向量相似度搜索:解决文本、图像和音频之间的相似度匹配问题
    在自然语言处理领域,有一个常见且重要的任务就是文本相似度搜索。文本相似度搜索是指根据用户输入的一段文本,从数据库中找出与之最相似或最相关的一段或多段文本。它可以应用在很多场景中,例如问答系统、推荐系统、搜索引擎等。比如,当用户在知乎上提出一个问题时,系统就可以从知乎上......
  • 《产品发展的路标是客户需求导向 企业管理的目标是流程化的组织建设》-- 任正非在PERB
    《产品发展的路标是客户需求导向企业管理的目标是流程化的组织建设》--任正非在PERB产品路标规划评审会议上的讲话2003年5月26日【导读】流程的核心是要反映业务的本质。流程承载业务,业务在流程上跑,沿着流程进行业务管理,由此,组织也必须与业务和流程进行......
  • 基于Hologres向量计算与大模型免费定制专属聊天机器人
    简介:本文为您介绍如何基于Hologres向量计算能力,结合大模型的阅读理解和信息整合能力,对该垂直行业的问题提供更贴切的回答,即费、快速定制专属聊天机器人。背景信息大模型可以广泛应用于各行各业。使用大模型定制聊天机器人,除了训练大模型的方式外,还可以使用提示词微调(Prompt-tuning)......
  • Introduction to Embedding for Retrieval 向量化召回简介
    引言搜广推类似场景都是retrieval+ranking两阶段方式,前者用从海量候选粗选一轮,后者再用负载模型,是效果、延迟和机器资源的trade-off的产物。retrieval广泛使用embedding+ANN方案,比起invertindex个性化更强。embedding动机,word2vec用向量表示高维的one-hot编码,向量的距......