最大似然估计的求解步骤（详细解释，通俗易懂）

时间：2024-06-05 20:30:59浏览次数：26

标签：似然函数求解驻点通俗易懂参数求导最大值

关于最大似然估计的定义我已经分享过啦，小伙伴们可以通过下面的链接看看

什么是最大似然估计？

1.求解步骤

今天我们来说一下它的求解步骤（这里的求解过程是以离散型随机变量为例，连续型随机变量同理）。

在上文中我们知道，离散型随机变量的似然函数为

$L(\theta )=p(x_{1},x_{2},\cdot \cdot \cdot ,x_{n};\theta )=\prod ^{n}_{i=1}P(X_{i}=x_{i};\theta )$

哦豁，单单看这个似然函数，后面是个连续乘积的形式，要求最大值的话那处理起来多麻烦，那我们肯定要想个办法呀，哎嘿，这里我们可以两边取自然对数，变成下面的形式

$\ln L(\theta )=\ln p(x_{1},x_{2},\cdot \cdot \cdot ,x_{n};\theta )=\sum ^{n}_{i=1}P(X_{i}=x_{i};\theta )$

你看，取完对数后，连乘变成了求和，这里有没有小伙伴们有疑问，那取完对数后求出来的最大值能和原来的一样嘛？这个其实是可以的啦，因为 $\ln x$ 是 $x$ 的单调上升函数，因此它俩有相同的最大值嘞~

那取完对数只是第一步处理，第二步我们就可以开始求函数的最大值了，这个大家可以思考一下，求函数的极值？这好像高中就会吧？我们是不是求导就可以嘞？只不过我们这里面的未知参数可能不止一个，要对每一个未知参数求导，也就是所谓的求偏导，如下所示：

$\frac{\partial \ln L(\theta) }{\partial \theta _{i}}=0$ ， $i=1,\cdot \cdot \cdot ,n$

这里 $\theta _{i}$ 就是每一个未知参数哦，令这个方程等于0，然后就能求极值了呗，这用高中的知识就能写哦，不难的。

通过这个就能求得似然函数的最大值点，怎么样，其实挺简单的叭~

2.方法应用

例1. 设 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 独立同分布，都服从泊松分布 $P(\lambda )$ ，给定 $X_{1},X_{2},\cdot \cdot \cdot ,X_{n}$ 的观测值 $x_{1},x_{2},\cdot \cdot \cdot ,x_{n}$ ，计算 $\lambda$ 的最大似然估计。

解： $\lambda$ 的似然函数为

$L(\lambda )=P(X_{1}=x_{1},X_{2}=x_{2},\cdot \cdot \cdot ,X_{n}=x_{n})$

$=\frac{\lambda ^{x_{1}}}{x_{1}!}e^{-\lambda }\frac{\lambda ^{x_{2}}}{x_{2}!}e^{-\lambda }\cdot \cdot \cdot \frac{\lambda ^{x_{n}}}{x_{n}!}e^{-\lambda }$

$=\frac{\lambda ^{\sum _{i=1}^{n}x_{i}}}{\prod _{i=1}^{n}x_{i}!}e^{-n\lambda }$

因为题上说了嘛，独立同分布，那它们联合的概率就等于每个分开的概率相乘，然后化简一下，就得到这个式子嘞。

对数似然函数为

$\ln L(\lambda )=\sum _{i=1}^{n}\ln \lambda -n\lambda -\sum _{i=1}^{n}(x_{i}!)$

然后似然函数对 $\lambda$ 求导

$\frac{d\ln L(\lambda )}{d\lambda }=0$

最后解得 $\lambda$ 得最大似然估计为

$\hat{\lambda }=\bar{x}=\frac{1}{n}\sum _{i=1}^{n}x_{i}$

这里面因为是只有一个参数所以求导符号没用偏导符号，正常情况下多个参数是要用偏导符号的哦，是不是挺简单的呀，就像是一个函数求极值的过程呗，不要被一堆公式给吓到哦~

我们这里说的都是有驻点的，有驻点的似然函数在驻点处求得最大似然估计，无驻点的，则在参数的边界点上取到。什么叫做边界点？哎意思就是参数的那个范围嘛，在区间的两端那个点嘞，似然函数是单调递增的，那就取范围内的最大点，单调递减的取范围内的最小点，反正就一个宗旨：取似然函数的最大值。

怎么样，不难叭，好嘞，这篇就到这里啦，有错误的地方欢迎小伙伴们批评指正~（知识来自何书元版数理统计）

标签：似然,函数,求解,驻点,通俗易懂,参数,求导,最大值
From： https://blog.csdn.net/qq_64411728/article/details/139477965

什么是最大似然法（估计）？（大白话解释定义，三分钟学会）
最大似然法是干嘛的？假如我现在有一组数据，我知道它们是符合某个概率分布的，但是里面的参数我不知道，那我肯定得想个办法把里面的参数给弄出来，这样才能用这个分布去做一些事情，但是具体怎么去弄出来呢，哎，最大似然函数就是搞这个的，简单一句话，最大似然函数就是利用现......
无人机航迹规划：人工原生动物优化算法APO求解无人机路径规划MATLAB
一、无人机模型介绍单个无人机三维路径规划问题及其建模_无人机路径规划场景建模-CSDN博客参考文献：[1]胡观凯,钟建华,李永正,黎万洪.基于IPSO-GA算法的无人机三维路径规划[J].现代电子技术,2023,46(07):115-120二、人工原生动物优化算法APO求解无人机路径规划人工原生动物......
路过的朋友，欢迎来看看通俗易懂版本的Nacos
一、什么是Nacos？一个更易于构建云原生应用的动态服务发现、服务配置和服务管理平台。 Nacos的关键特性：二、注册中心演变及其设计思想1、RestTemplate调用远程服务如果此时，服务端接口接口名或参数或请求方式更改了，那么就得同步修改此restTemplate方法，感觉很麻烦。......
路过的朋友，欢迎来看看通俗易懂版本的Nacos
一、什么是Nacos？一个更易于构建云原生应用的动态服务发现、服务配置和服务管理平台。 Nacos的关键特性：二、注册中心演变及其设计思想1、RestTemplate调用远程服务如果此时，服务端接口接口名或参数或请求方式更改了，那么就得同步修改此restTemplate方法，感觉很麻烦。......
vue3 实现自定义指令封装 --- 通俗易懂
1、局部自定义指令1.1 在<scriptsetup>定义组件内的指令，任何以v开头的驼峰式命名的变量都可以被用作一个自定义指令<template><div><h3>使用自定义指令</h3><div>##########################start局部自定义指令</div><div>我是一个input：......
揭秘《庆余年算法番外篇》续集：范闲通过最大似然法推理找到火烧史家镇的凶手
揭秘《庆余年算法番外篇》：范闲通过贝叶斯推理找到太子火烧使家镇的证据上次写了这篇文章之后，很多留言说开了上帝视角，先假设了二皇子和太子有罪，这次通过最大似然法进行推导。方法介绍：最大似然法是一种在概率统计中广泛使用的参数估计方法。该方法基于一组已知的样本数据，旨......
感觉是通俗易懂的大模型入门(一)
最近人工智能非常火爆,大家可能经常听到AI、深度学习、大语言模型等名词。但真正能够将它们拆开来细致讲解的内容并不多。我大学就是学这个的,毕业后一直从事这个领域的工作。所以我打算今年陆续做一些这方面的科普,也借此机会复习巩固一下自己的知识体系。今天就算是第一期,......
感觉是通俗易懂的大模型入门(一)
最近人工智能非常火爆,大家可能经常听到AI、深度学习、大语言模型等名词。但真正能够将它们拆开来细致讲解的内容并不多。我大学就是学这个的,毕业后一直从事这个领域的工作。所以我打算今年陆续做一些这方面的科普,也借此机会复习巩固一下自己的知识体系。今天就算是第一期,......
求解一个行列式的值
求一个行列式的值问题描述：输入一个行列式的阶数，再按行输入这个行列式，再计算出它的值。解法：存储一个行列式可以使用一个n行n列的数组。使用双重for循环按行输入行列式的值即可。cout<<"请输入行列式的阶数："<<endl;cin>>n;cout<<"请按行输入一个行列式："<<endl;for......
MATLAB求解混合整数线性规划问题(MILP)
文章目录前言一、混合整数线性规划模型（MILP）的概念二、matlab求解方法1.求解说明2.求解代码总结前言本文主要介绍混合整数线性规划模型（MILP）的概念及利用matlab进行求解。一、混合整数线性规划模型（MILP）的概念线性规划模型(LinearProgramming,LP)：LP的定义比较简单......

最大似然估计的求解步骤（详细解释，通俗易懂）

1.求解步骤

2.方法应用

相关文章

赞助商

阅读排行