首页 > 编程语言 >R语言贝叶斯推断与MCMC:实现Metropolis-Hastings 采样算法示例|附代码数据

R语言贝叶斯推断与MCMC:实现Metropolis-Hastings 采样算法示例|附代码数据

时间:2023-09-21 20:23:38浏览次数:61  
标签:采样 Metropolis MCMC target 示例 基因型 贝叶斯

原文链接:http://tecdat.cn/?p=21545

原文出处:拓端数据部落公众号

  最近我们被客户要求撰写关于贝叶斯推断的研究报告,包括一些图形和统计输出。

示例1:使用MCMC的指数分布采样

任何MCMC方案的目标都是从“目标”分布产生样本。在这种情况下,我们将使用平均值为1的指数分布作为我们的目标分布。所以我们从定义目标密度开始:

   
target = function(x){
  if(x<0){
    return(0)}
  else {
    return( exp(-x))
  }
}

定义了函数之后,我们现在可以用它来计算几个值(只是为了说明函数的概念):

   
target(1)
   
[1] 0.3678794
   
target(-1)
   
[1] 0

接下来,我们将规划一个Metropolis-Hastings方案,从与目标成比例的分布中进行抽样

   
x[1] = 3     #这只是一个起始值,我设置为3
for(i in 2:1000){
  A = target(proposedx)/target(currentx) 
  if(runif(1)<A){
    x[i] = proposedx       # 接受概率min(1,a)
  } else {
    x[i] = currentx        #否则“拒绝”行动,保持原样
  }

注意,x是马尔可夫链的实现。我们可以画几个x的图:

 

 

 

 

我们可以将其封装在一个mcmc函数中,以使代码更整洁,这样更改起始值和提议分布更容易

   

  for(i in 2:niter){
    currentx = x[i-1]
    proposedx = rnorm(1,mean=currentx,sd=proposalsd) 
    A = target(proposedx)/target(currentx)
    if(runif(1)<A){
      x[i] = proposedx       # 接受概率min(1,a)
    } else {
      x[i] = currentx        # 否则“拒绝”行动,保持原样
    }

现在我们将运行MCMC方案3次,看看结果有多相似:

   
z1=MCMC(1000,3,1)
z2=MCMC(1000,3,1)
z3=MCMC(1000,3,1)

plot(z1,type="l")

 

 

   
par(mfcol=c(3,1)) #告诉R将3个图形放在一个页面上

hist(z1,breaks=seq(0,maxz,length=20))

 

 

练习

使用函数easyMCMC了解以下内容:

  1. 不同的起始值如何影响MCMC方案?
  2. 较大/较小的提案标准差有什么影响?
  3. 尝试将目标函数更改为
   
target = function(x){
  
  return((x>0 & x <1) + (x>2 & x<3))
}

这个目标看起来像什么?如果提议sd太小怎么办?(例如,尝试1和0.1)

例2:估计等位基因频率

在对双等位基因座的基因型(如具有AA和AA等位基因的基因座)进行建模时,一个标准的假设是群体是“随机”的。这意味着如果p是等位基因AA的频率,那么基因型将分别具有频率

p一个简单的先验是假设它在[0,1]上是均匀的。 假设我们抽样n个个体,观察基因型基因型基因型

下面的R代码给出了一个简短的MCMC例程,可以从p的后验分布中进行采样。请尝试遍历该代码,看看它是如何工作的。

   
prior = function(p){
  if((p<0) || (p>1)){  # || 这里意思是“或”
    return(0)}
  else{
    return(1)}
}

likelihood = function(p, nAA, nAa, naa){
  return(p^(2*nAA) * (2*p*(1-p))^nAa * (1-p)^(2*naa))
}

psampler = function(nAA, nAa, naa){

  for(i in 2:niter){

    if(runif(1)<A){
      p[i] = newp       # 接受概率min(1,a)
    } else {
      p[i] = currentp        # 否则“拒绝”行动,保持原样
    }

运行此样本。

现在用一些R代码来比较后验样本和理论后验样本(在这种情况下可以通过分析获得;因为我们观察到121个As和79个as,在200个样本中,p的后验样本是β(121+1,79+1)。

   

hist(z,prob=T)
lines(x,dbeta(x,122, 80))  # 在直方图上叠加β密度

您也可能希望将前5000 z的值丢弃为“burnin”(预烧期)。这里有一种方法,在R中仅选择最后5000 z

   
hist(z[5001:10000])

 

 

练习

研究起点和提案标准偏差如何影响算法的收敛性。

例3:估计等位基因频率和近交系数

一个复杂一点的替代方法是假设人们有一种倾向,即人们会与比“随机”关系更密切的其他人近交(例如,在地理结构上的人口中可能会发生这种情况)。一个简单的方法是引入一个额外的参数,即“近亲繁殖系数”f,并假设基因型有频率

在大多数情况下,将f作为种群特征来对待是很自然的,因此假设f在各个位点上是恒定的。

请注意,f和p都被约束为介于0和1之间(包括0和1)。对于这两个参数中的每一个,一个简单的先验是假设它们在[0,1]上是独立的。 假设我们抽样n个个体,观察基因型基因型基因型

练习:

  • 编写一个短的MCMC程序,从f和p的联合分布中取样。
   
sampler = function(){

  f[1] = fstartval
  p[1] = pstartval
  for(i in 2:niter){
    currentf = f[i-1]
    currentp = p[i-1]
    newf = currentf + 
    newp = currentp + 
  
  }
  return(list(f=f,p=p)) # 返回一个包含两个名为f和p的元素的“list”
}
  • 使用此样本获得f和p的点估计(例如,使用后验平均数)和f和p的区间估计(例如,90%后验置信区间),数据:

 

附录:GIBBS采样

您也可以用Gibbs采样器解决这个问题 

为此,您将想要使用以下“潜在变量”表示模型:

将zi相加得到与上述相同的模型:

 


最受欢迎的见解

1.使用R语言进行METROPLIS-IN-GIBBS采样和MCMC运行

2.R语言中的Stan概率编程MCMC采样的贝叶斯模型

3.R语言实现MCMC中的Metropolis–Hastings算法与吉布斯采样

4.R语言BUGS JAGS贝叶斯分析 马尔科夫链蒙特卡洛方法(MCMC)采样

5.R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归

6.R语言Gibbs抽样的贝叶斯简单线性回归仿真分析

7.R语言用Rcpp加速Metropolis-Hastings抽样估计贝叶斯逻辑回归模型的参数

8.R语言使用Metropolis- Hasting抽样算法进行逻辑回归

9.R语言中基于混合数据抽样(MIDAS)回归的HAR-RV模型预测GDP增长

标签:采样,Metropolis,MCMC,target,示例,基因型,贝叶斯
From: https://www.cnblogs.com/tecdat/p/17720861.html

相关文章

  • R语言贝叶斯MCMC:GLM逻辑回归、Rstan线性回归、Metropolis Hastings与Gibbs采样算法实
    原文链接:http://tecdat.cn/?p=23236 原文出处:拓端数据部落公众号最近我们被客户要求撰写关于贝叶斯MCMC的研究报告,包括一些图形和统计输出。什么是频率学派?在频率学派中,观察样本是随机的,而参数是固定的、未知的数量。概率被解释为一个随机过程的许多观测的预期频率。有一......
  • MySQL数据库查询对象空值判断与Java代码示例【含面试题】
    AI绘画关于SD,MJ,GPT,SDXL百科全书面试题分享点我直达2023Python面试题2023最新面试合集链接2023大厂面试题PDF面试题PDF版本java、python面试题项目实战:AI文本OCR识别最佳实践AIGamma一键生成PPT工具直达链接玩转cloudStudio在线编码神器玩转GPUAI绘画、AI讲话、......
  • windows下进程注入的各种技术汇总、代码示例和检测思考
    注入类型                 C++代码实现链接和检测思考         检测优先级           备注PortableExecutableInjection-PE注入 https://www.cnblogs.com/bonelee/p/17719649.html 高 已实现检测,核......
  • R语言RStan MCMC:NUTS采样算法用LASSO 构建贝叶斯线性回归模型分析职业声望数据|附代码
    原文链接:http://tecdat.cn/?p=24456原文出处:拓端数据部落公众号最近我们被客户要求撰写关于RStan的研究报告,包括一些图形和统计输出。如果你正在进行统计分析:想要加一些先验信息,最终你想要的是预测。所以你决定使用贝叶斯。但是,你没有共轭先验。你可能会花费很长时间编写Metr......
  • 《流畅的Python》示例5-17 提取函数的签名
    理解param.kind含义:给形参传递参数的方式,是位置传递,还是关键字传递  1defclip(text,max_len=80):2end=None3iflen(text)>max_len:4space_before=text.rfind("",0,max_len)5ifspace_before>=0:6end......
  • Oracle定义DES加密解密及MD5加密函数示例
    (1)DES加密函数createorreplacefunctionencrypt_des(p_textvarchar2,p_keyvarchar2)returnvarchar2isv_textvarchar2(4000);v_encvarchar2(4000);raw_inputRAW(128);key_inputRAW(128);decrypted_rawRAW(2048);beginv_text:=rpad(p_text,(trunc(len......
  • iptables使用示例
    iptable的各种targetiptables的结构:iptables由上而下,由Tables,Chains,Rules组成。一、iptables的表tables与链chainsiptables有Filter,NAT,Mangle,Raw四种内建表:1.Filter表Filter是iptables的默认表,它有以下三种内建链(chains):INPUT链 –处理来自外部的数据。OUTPUT链......
  • 软件测试|MySQL 外连接的详细解析与示例
    简介在关系型数据库中,表之间常常存在着关联关系。MySQL提供了多种连接操作,其中之一是外连接(LEFTJOIN和RIGHTJOIN)。本文将深入探讨MySQL中左外连接和右外连接的概念、语法以及使用示例。外连接(LEFTJOIN和RIGHTJOIN)的概念外连接是一种用于从两个表中检索相关数据的SQL操作。它可......
  • 线程劫持-进程注入C++示例和检测思考
    线程劫持:运行方法C:\Users\l00379637\source\repos\thread_hijack\x64\Release\thread_hijack.exe18132C:\Users\l00379637\source\repos\injected_dll\x64\Release\injected_dll.dllProcessID:18132Injected!劫持效果: 劫持代码如下:#include<iostream......
  • Springboot简单功能示例-5 使用JWT进行授权认证
    springboot-sample介绍springboot简单示例-使用JWT进行授权认证跳转到发行版查看发行版说明软件架构(当前发行版)Springboot3.1.3hutoolbcprov-jdk18on安装教程gitclone--branch自定义加密进行登录验证[email protected]:simen_net/springboot-sample.git主要功......