首页 > 其他分享 >被喷麻了的OpenAI,终于又开源了~

被喷麻了的OpenAI,终于又开源了~

时间:2024-03-19 15:33:07浏览次数:32  
标签:编码器 TDB 模型 Transformer 开源 OpenAI token 自动 喷麻

  ChatGPT狂飙160天,世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

​​

 发布在https://it.weoknow.com


此次开源的工具为Transformer Debugger ,一个用于分析Transformer内部结构的工具。研究人员不用写代码,就能快速探索LLM的内部构造,从而对小模型的特定行为进行调查。

图片

Transformer Debugger 介绍

Transformer Debugger (TDB) 是 OpenAI 对齐团队(Superalignment)开发的一种工具,旨在支持对小体量语言模型的特定行为进行检查。据介绍,该工具把自动可解释性技术与稀疏自动编码器进行了结合。

具体来说,TDB 能够在写代码之前进行快速探索,并能够干预前向传递,帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如“为什么模型在此提示(prompt)中输出 token A 而不是 token B?”之类的问题或“为什么模型的关注点从token H 转向 token T?”

它通过识别对行为有贡献的特定组件(神经元、关注点、自动编码器 latents),显示自动生成的解释来分析导致这些组件最强烈激活的原因,并跟踪组件之间的连接来帮助人们发现关联性,以此来帮助人们进行 Transformer 的 debug 工作。

OpenAI 放出了几段视频概述了 TDB 的能力,并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作:

本次,OpenAI 的开源内容包括:

  • Neuron viewer:一个 React 应用程序,用于托管 TDB 以及包含有关各个模型组件(MLP 神经元、关注点和两者的自动编码器 latents)信息的页面。
  • Activation server:对主题模型进行推理,为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。
  • Models:GPT-2 模型及其自动编码器的简单推理库,带有捕获激活的 hook。
  • 整理好的激活数据集:包含 MLP 神经元、关注点和自动编码器 latents 的数据集示例。

安装步骤

图片

图片

图片


图片


此次开源的工具为Transformer Debugger ,一个用于分析Transformer内部结构的工具。研究人员不用写代码,就能快速探索LLM的内部构造,从而对小模型的特定行为进行调查。

图片

Transformer Debugger 介绍

Transformer Debugger (TDB) 是 OpenAI 对齐团队(Superalignment)开发的一种工具,旨在支持对小体量语言模型的特定行为进行检查。据介绍,该工具把自动可解释性技术与稀疏自动编码器进行了结合。

具体来说,TDB 能够在写代码之前进行快速探索,并能够干预前向传递,帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如“为什么模型在此提示(prompt)中输出 token A 而不是 token B?”之类的问题或“为什么模型的关注点从token H 转向 token T?”

它通过识别对行为有贡献的特定组件(神经元、关注点、自动编码器 latents),显示自动生成的解释来分析导致这些组件最强烈激活的原因,并跟踪组件之间的连接来帮助人们发现关联性,以此来帮助人们进行 Transformer 的 debug 工作。

OpenAI 放出了几段视频概述了 TDB 的能力,并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作:

本次,OpenAI 的开源内容包括:

  • Neuron viewer:一个 React 应用程序,用于托管 TDB 以及包含有关各个模型组件(MLP 神经元、关注点和两者的自动编码器 latents)信息的页面。
  • Activation server:对主题模型进行推理,为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。
  • Models:GPT-2 模型及其自动编码器的简单推理库,带有捕获激活的 hook。
  • 整理好的激活数据集:包含 MLP 神经元、关注点和自动编码器 latents 的数据集示例。

安装步骤

图片

图片


  ChatGPT狂飙160天,世界已经不是之前的样子。

新建了人工智能中文站https://ai.weoknow.com
每天给大家更新可用的国内可用chatGPT资源

 发布在https://it.weoknow.com


标签:编码器,TDB,模型,Transformer,开源,OpenAI,token,自动,喷麻
From: https://blog.csdn.net/zyqytsoft/article/details/136844114

相关文章

  • “源神”-马斯克,打脸OpenAI,如期开源Grok大模型
      ChatGPT狂飙160天,世界已经不是之前的样子。新建了人工智能中文站https://ai.weoknow.com每天给大家更新可用的国内可用chatGPT资源​ 发布在https://it.weoknow.com“源神”-马斯克就在刚刚,马斯克的xAI正式开源了Grok大模型的代码、权重和架构。该模型有3140亿参数,......
  • 低代码开发平台开源:依靠科技力量实现数字化转型!
    在竞争激烈的当今社会,数字化转型、流程化办公等字眼早已充斥在我们的职场生活中。虽然如此,但是我们依然要面临着这样一个现实问题:很多中小企业发展面临着资源有限、技术储备不足、人才短缺的现实问题,进入流程化办公困境依然明显。在这样的情形下,低代码开发平台开源的问世,仿佛让很......
  • 推动全球AI大模型发展的重量级开源大模型Grok-1到底是什么?
    博主猫头虎的技术世界......
  • 开源模型应用落地-安全合规篇-模型输出合规性检测(三)
     一、前言  为什么我们需要花大力气对用户输入的内容和模型生成的输出进行合规性检测,一方面是严格遵守各项法规要求,具体如下:互联网信息服务深度合成管理规定https://www.gov.cn/zhengce/zhengceku/2022-12/12/content_5731431.htm​  其次,受限于模型本身的一些缺......
  • JAVA实战开源项目:农村物流配送系统(Vue+SpringBoot)
    目录一、摘要1.1项目介绍1.2项目录屏二、功能模块2.1系统登录、注册界面2.2系统功能2.2.1快递信息管理:2.2.2位置信息管理:2.2.3配送人员分配:2.2.4路线规划:2.2.5个人中心:2.2.6退换快递处理:2.2.7客户评价:三、系统展示四、核心代码4.1查询商家4.2退换快递4......
  • JAVA实战开源项目:城市桥梁道路管理系统(Vue+SpringBoot)
    目录一、摘要1.1项目介绍1.2项目录屏二、功能模块三、系统展示四、核心代码4.1查询城市桥梁4.2新增城市桥梁4.3编辑城市桥梁4.4删除城市桥梁4.5查询单个城市桥梁五、免责说明一、摘要1.1项目介绍基于Vue+SpringBoot+MySQL的城市桥梁道路管理系统,支持管......
  • 程序人生——Java开发持续进阶,拥抱开源世界以思想为源泉
    目录引出开源世界建议139:大胆采用开源工具建议140:推荐使用Guava扩展工具包建议141:Apache扩展包建议142:推荐使用Joda日期时间扩展包建议143:可以选择多种Collections扩展思想为源建议144:提倡良好的代码风格建议145:不要完全依靠单元测试来发现问题建议146:让注释正确、清......
  • C#判断操作系统位数 - 开源研究系列文章
          今天将开发的那个校时管理器应用程序复制到公司的电脑上进行使用,结果运行的时候报错了,想着应该是操作系统位数不支持导致的,于是写了此文进行判断。(对于有源码的读者请自己编译程序为32位的进行使用)      该代码非常简单,就是判断一下句柄的位数:1、源码;......
  • OpenAI Sora训练数据非法?&ChatGPT参数规模被扒?
    关注文章底部公众号,获取更多AI新闻资讯Sora训练数据被质疑非法训练AI模型数据所面临的巨大版权争议,是这一年多全球相关人士讨论最多的话题。近日OpenAICTOMurati接受采访时,被问及Sora训练数据来源时语焉不详、支支吾吾,已经成了全网热议的话题。女记者:「Sora是用什么数......
  • 不必焦虑,即便是 OpenAI 和 Figure 发布人形机器人、Devin 宣称可以取代程序员
     ChatGPT狂飙160天,世界已经不是之前的样子。新建了人工智能中文站https://ai.weoknow.com每天给大家更新可用的国内可用chatGPT资源​​ 发布在https://it.weoknow.com/OpenAI和Figure推出的一款人形机器人Figure1ChatGPT出现已经一年多了,但稍微关注点AI......