首页 > 其他分享 >Visualizing MuZero Models

Visualizing MuZero Models

时间:2023-04-12 22:33:08浏览次数:36  
标签:学到 loss Models embedding Visualizing MuZero 表征 dynamics


发表时间:2021
文章要点:这篇文章主要想看看muzero里面的model具体学到了什么表征。通过PCA降维的方式,发现最开始编码状态的h函数学到的embedding和动态转移函数g学到的embedding并不统一,存在很大差异。因为muzero里面没有相关的loss来控制他俩一样。

然后作者就提出两种loss来约束这两的距离。第一种方式添加一个contrastive regularization,让dynamics g学到的表征接近h学到的embedding

注意,这里只有g有梯度,h是没有梯度更新的(only the dynamics function should move towards the embeddings)。
第二种方式是添加一个decoding regularization,再训练一个decoder将h反映射回原来的状态,让映射回去的状态和真实状态接近

最后performance看起来没有太大提升,主要就是加正则项让表征一致。
总结:感觉挺好的题目的,但是又感觉内容不够丰富,结论也不能说明什么问题。感觉Thomas M. Moerland这个人做了很多MCTS相关的工作,出发点都挺有意思的,但是总感觉做的实验啥的不太够支撑idea。
疑问:无。

标签:学到,loss,Models,embedding,Visualizing,MuZero,表征,dynamics
From: https://www.cnblogs.com/initial-h/p/17311586.html

相关文章

  • Django中models模块增删改查
    1django操作数据库1.1创建表和字段fromdjango.dbimportmodelsclassBlog_Model(models.Model):name=models.CharField(db_column='name',max_length=200,blank=True,verbose_name='name')num=models.IntegerField(db_column='num�......
  • models.ForeignKey()的一些相关参数说明
    models.ForeignKey()是DjangoORM中的一个字段类型,用于定义关联关系。在使用models.ForeignKey()时,可以传入一些参数来控制关联行为。以下是一些常用的参数说明:to:指定关联的目标模型类。on_delete:指定当关联对象被删除时的行为。CASCADE或者SET_NULLrelated_name:指定反向......
  • Django之models
    常用字段and非常用字段autofieldint自增列,必须填入参数primary_key=True。当model中如果没有自增列,则自动会创建一个列名为id的列。但是这个基本咋没用过,建表也都是使用的默认idIntegerField一个整数类型,范围在-2147483648to2147483647CharField这个最常用,啥都能用他,......
  • odoo 开发入门教程系列-模型之间的关系(Relations Between Models)
    模型之间的关系(RelationsBetweenModels)上一章介绍了为包含基本字段的模型创建自定义视图。然而,在任何真实的业务场景中,我们都需要不止一个模型。此外,模型之间的链接是必要的。人们可以很容易地想象一个模型包含客户,另一个模型则包含用户列表。你可能需要参考任何现有业务模型......
  • Difformer: Empowering Diffusion Models on the Embedding Space for Text Generatio
    目录概符号说明主要内容GaoZ.,GuoJ.,TanX.,ZhuY.,ZhangF.,BianJ.andXuL.Difformer:Empoweringdiffusionmodelsontheembeddingspacefortextgene......
  • Modelsim SE 下载安装、注册详细教程
    声明:原博客为https://blog.csdn.net/ssj925319/article/details/115353790此文仅为记录安装过程,方便日后查看一、ModelsimSE下载及安装百度网盘下载链接:https://pan......
  • django-rest-framework-从零开始-3-序列化类ModelSerializer的使用
    django-rest-framework-从零开始-3-序列化类ModelSerializer的使用1、前言我们之前提到创建序列化类,需要继承serializers.Serializer类,然后映射模型类的字段,然后重写crea......
  • admin使用及models.py中__str__(self)的用法
    1.admin页面中修改成中文表名:   2.models中的__str__用法:   2_2.models中的__str__用法:  ......
  • django-rest-framework-从零开始-3-序列化类ModelSerializer的使用
    django-rest-framework-从零开始-3-序列化类ModelSerializer的使用1、前言我们之前提到创建序列化类,需要继承serializers.Serializer类,然后映射模型类的字段,然后重写crea......
  • Quartus+Modelsim联合仿真
     软件版本:QuartusII18.1StandardEdition+ModelSimSE-6410.1 1、Quartus选项设置选择tool—》options—》General—》EDAToolOptions,在ModelSim一栏填写Mode......