首页 > 其他分享 >多元/多维高斯/正态分布概率密度函数推导 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

多元/多维高斯/正态分布概率密度函数推导 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

时间:2024-08-11 22:49:32浏览次数:15  
标签:Multivariate 概率密度函数 推导 Normal 多元 多维 正态分布 高斯分布

各种维度正态分布公式:

一维正态分布

二维正态分布/多维正态分布

各向同性正态分布

 注:即方差都是一样的,均值不一样,方差的值可以单独用标量表示。

多元/多维高斯/正态分布概率密度函数推导 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/(大佬大佬!!)

    当年在学《概率论与数理统计》时,遇到二元正态分布的概率密度函数,那个公式特别长,当时只是要求记住,并未深究其原因,今天终于有机会好好回顾一下了。二元/二维只是多元的一个特例,现在将问题延伸到多元/多维高斯/正态分布概率密度函数的推导上。多元高斯分布在很多场景下都有用,比如高斯混合模型(Gaussian Mixture Model)中,每个组件都是单个多元高斯分布,样本不仅是一维的,现实中大多是数据样本都是多维的。只有真正弄清楚公式的来龙去脉,来能更好的编写程序,进行实现(虽然很多包都是现成的,不需要自己从头编写)。想要推导概率密度函数公式,需要知道线性代数中矩阵论的一些基础知识,从单变量到二元/二维再延伸到多元/多维,本身就涉及到从标量到向量再到矩阵的一个过程。这篇博客详细推导了多元/多维高斯/正态分布概率密度函数公式,并应用到二维高斯分布中,进行进一步分析。也给出了当维度之间独立同分布(Independent identically distributed, i.i.d.)情况下多维高斯分布的概率密度函数的特例。值得注意的是,整个过程仅是对一个样本进行计算,该样本无论是一个标量,还是一个多维向量,最终出来的概率密度函数都是一个数(标量)。如果有N个样本(按列排开)的话,其概率密度函数就是N维列向量。

注意:多元就是多维,高斯分布就是正态分布。(只是大概推导,过程可能并不严谨,望海涵)

1 前提基础

  包括连续随机变量变换法(Transformations of Continuous Random Variables),单变量正态分布的概率密度函数(Univariate Normal Density),以及随机变量间的独立性(Independence of Random Variables)。

2. 多维高斯分布的概率密度函数定义及其推导

3. 多维高斯分布的概率密度函数(维度之间独立同分布)

4. 二维高斯分布的概率密度函数定义及其推导

 

 

 

参考文献:概率论笔记(六)一维正态分布/二维正态分布/多维正态分布-CSDN博客

多元/多维高斯/正态分布概率密度函数推导 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density) - 凯鲁嘎吉 - 博客园 (cnblogs.com)

[1] 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程. 高等教育出版社, 2011.

[2] The Multivariate Normal Distribution http://www.randomservices.org/random/special/MultiNormal.html

[3] Basic Multivariate Normal Theory http://www2.stat.duke.edu/~st118/sta732/mvnormal.pdf

[4] 凯鲁嘎吉 - 博客园 - 左边栏搜索"高斯"相关博文 https://zzk.cnblogs.com/my/s/blogpost-p?Keywords=%E9%AB%98%E6%96%AF

标签:Multivariate,概率密度函数,推导,Normal,多元,多维,正态分布,高斯分布
From: https://www.cnblogs.com/Gaowaly/p/18354054

相关文章

  • 数据集相关类代码回顾理解 | np.mean\transforms.Normalize\transforms.Compose\xx
    数据集相关类代码回顾理解|StratifiedShuffleSplit\transforms.ToTensor\Counter目录np.meantransforms.Normalizetransforms.Composexxx.transformnp.meanmeanRGB=[np.mean(x.numpy(),axis=(1,2))forx,_intrain_ds]计算每个样本的(RGB)均值  。NumPy库np.......
  • 如何在包含嵌套列表列表的 json 上使用 json_normalize
    我正在用Python处理一个复杂的JSON字符串,并且在将数据放入Pandas数据帧时遇到问题。示例数据、当前输出和预期输出全部如下。我正在尝试使用json_normalize,但它没有完全标准化,留下了几列包含JSON列表。我的最终目标是将其插入到SQLDB中,但是json字符串由于其长度而......
  • Layer Normalization
    一、LayerNorm1.1介绍LayerNorm(LayerNormalization)是2016年提出的,随着Transformer等模型的大规模推广,LayerNorm出现频率也随之越来越高。其大体思想类似于BatchNorm,对输入的每个样本进行归一化处理,具体就是计算每个输入的均值和方差,归一化到均值为0,方差为1,另外还会学习\(\mat......
  • 加速/并行化 multivariate_normal.pdf
    我有多个Nx3点,并且我从其相应的多元高斯中顺序为每个点生成一个新值,每个点都有1x3均值和3x3cov。因此,我总共有数组:Nx3点数组、Nx3均值数组和Nx3x3cov数组。我只看到如何使用经典的for循环来做到这一点:importnumpyasnpfromscipy.statsimportmultivariat......
  • Layer Normalization
    LayerNormalization#导入包importtorchfromtorchimportnnimporttorch.nn.functionalasfimportmathfrommathimportsqrtclassLayerNormal(nn.Module):def__init__(self,d_moule,eps=1e-12):"""d_moule:数据维度......
  • 计树 Normal --
    无聊的水题。无聊的水题IDLS喜欢上树。但是他并不想把一道数据结构题出到树上,他喜欢计Tree。这一天,他想自己造一棵树,他手头有\(N\)个树的节点,标号为\(1\simN\),他会在它们之间连边,我们定义两颗树不同,当且仅当一对节点在一棵树中有连边,另一棵树中没有连边。但他不喜欢......
  • 报错 urllib3 (1.26.7) or chardet (5.2.0)/charset_normalizer (2.0.8) doesn‘t mat
    报错RequestsDependencyWarning:urllib3(1.26.7)orchardet(5.2.0)/charset_normalizer(2.0.8)doesn'tmatchasupportedversion!warnings.warn("urllib3({})orchardet({})/charset_normalizer({})doesn'tmatchasupported"这个警告信息Req......
  • zookeeper:Unexpected exception, exiting abnormally ::java.io.EOFException
    转载请注明出处:服务器中断,重启服务器在重启kafka服务时,遇到如下报错:2024-06-0513:52:56,251[myid:]-ERROR[main:ZooKeeperServerMain@64]-Unexpectedexception,exitingabnormallyjava.io.EOFExceptionatjava.io.DataInputStream.readInt(DataInputStream.j......
  • CISCN2023-华北-normal_snake
    就得审java。又更新了,因为我前面jar包导不进去,所以把它解压了导入的,然后环境正常了就想起来把这个打了。路由分析老规矩,先看看路由:/read路由下传参data,pyload不能包含!!,然后用了yaml来load传入的参数。稍作了解,这其实就是 SnakeYaml反序列化漏洞,禁用了yaml的常用头 !!......
  • 52 Things: Number 40: What is normally considered the difference between SPA and
    52Things:Number40:WhatisnormallyconsideredthedifferencebetweenSPAandDPA?52件事:第40件:通常认为SPA和DPA之间的区别是什么? Thisisthelatestinaseriesofblogpoststoaddressthelistof '52ThingsEveryPhDStudentShouldKnowToDoCryptogr......