首页 > 其他分享 >AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

时间:2024-02-27 14:22:28浏览次数:30  
标签:AI 模型 RLHF 工具 排序 标注

AI与人类联手,智能排序人类决策:RLHF标注工具打造协同标注新纪元,重塑AI训练体验

在大模型训练的 RLHF 阶段,需要人工对模型生成的多份数据进行标注排序,然而目前缺乏开源可用的 RLHF 标注平台。

RLHF 标注工具 是一个简单易用的,可以在大模型进行 RLHF(基于人类反馈的强化学习)标注排序的工具,旨在帮助用户在友好的图形界面中对生成式模型生成的答案进行排序标注。

  • 工具特点

    • RLHF助力者:强调工具在大模型训练中的重要性,特别是在RLHF阶段。
    • 智慧融合引擎:展示AI与人类智慧结合的创新点。
    • 生成式模型助手:突出工具在生成式模型训练流程中的支持作用。
    • 排序标注利器:直接描述工具的核心功能,即帮助用户对答案进行排序和标注。
    • 友好界面体验:强调工具用户界面的友好性和易用性。
    • 开源创新平台:突出工具的开源特性,鼓励用户参与和贡献。
  • 功能点

    • 提供界面展示当前的查询问题和历史对话
    • 支持为生成的答案选择排名
    • 可以自定义回答个数 K,默认为 4
    • 自动检测和提示排名冲突
    • 将标注的排序结果追加保存到数据集文件中
    • 提供数据集页面以查看已标注的数据
  • 更多功能点

  • 效果展示:

1. 快速开始

  • 安装依赖

    • Python 3.x
    • 安装依赖包:pip install -r requirements.txt
  • 使用说明

    1. 准备数据集文件:将包含查询问题、历史对话和生成的答案的数据集文件准备为 JSON 格式,格式参见 input_file.json。
      对于 RLHF 数据的生成,直接对同一份模型运行 K 次即可。由于大模型的随机性,每次生成的答案都会不同。
    2. 运行应用:执行 bash run.sh 命令启动应用。
    3. 标注排序:在标注页面,依次为每个查询问题的生成答案选择排名,并点击“存储当前排序”按钮保存标注结果。
    4. 查看数据集:在数据集页面,可以查看已标注的数据集,包括查询问题、历史对话和生成的答案的排序结果。
  • 配置
    应用支持一些配置选项,可在 app.py 文件中进行修改:

    • MODEL_CONFIG:模型配置,包括模型名称、设备、数据集文件路径等。
    • RANK_COLOR:排名颜色列表,用于在界面中显示不同排名的颜色。

2.示例数据集

您可以使用以下 JSON 数据集示例进行测试:

{
    "0": {
        "query": "非常感谢您的建议,我会尽量按照您的建议来做。谢谢!",
        "history": [],
        "response_0": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!",
        "response_1": "不客气,我很高兴能够帮助您。如果您还有其他问题,随时都可以向我咨询。祝您好运!",
        "response_2": "不客气,我很高兴能够帮助您。如果您有任何其他问题,随时都可以向我咨询。祝您好运!",
        "response_3": "不客气,我很高兴能够帮助到您。如果您还有其他问题,随时可以向我咨询。祝您好运!"
    },
    ...
}

更多优质内容请关注公号:汀丶人工智能;会提供一些相关的资源和优质文章,免费获取阅读。

更多资料下载见:https://blog.csdn.net/sinat_39620217/article/details/136317936

标签:AI,模型,RLHF,工具,排序,标注
From: https://www.cnblogs.com/ting1/p/18036788

相关文章

  • 【VMware vCenter】更新VCSA补丁到8.0 U2,一直卡在93%,最后提示“Failed to perform cle
    最近将实验环境的vCenter从8.0U1a(内部版本21815093)升级到8.0U2(内部版本22385739)出现了小问题,如下图所示,在“Settingupappliance-photonrepoandinstallingRPMS.”这个位置一直卡在93%进度条不动(如果你是使用api命令行software-packages进行升级一样会卡住)。等待几个小时......
  • 自研Uncrop对比Stability AI效果
    https://stability.ai/news/clipdrop-launches-uncrop-the-ultimate-aspect-ratio-editor官网展示效果自研效果初始一次扩图二次扩图......
  • AI云增强升级!还原生动人像,拍出质感照片
    近期不少细心用户发现,在用HUAWEIMate60Pro手机拍照后,使用相册中的AI云增强功能,照片变得更加细腻有质感。这是因为AI云增强升级并更新支持了人像模式拍摄的照片,高清自然的人像细节还原和单反级别的光学景深效果,让用户一只华为手机就能随手拍出好照片。还原生动人像,尽显肌肤质感......
  • npm报错:request to https://registry.npm.taobao.org failed, reason certificate has
    一、报错问题:提示淘宝镜像过期二、错误提示已经告诉原因是淘宝镜像过期了!其实,早在2021年,淘宝就发文称,npm淘宝镜像已经从registry.npm.taobao.org切换到了registry.npmmirror.com。旧域名也将于2022年5月31日停止服务(不过,直到今天HTTPS证书到期才真正不能用了)三......
  • Fail2Ban 教程
    简介Fail2Ban是一个Linux系统的应用软件,用来防止系统入侵,主要是防止暴力破解系统密码。它是用Python开发的。它主要通过监控日志文件(比如/var/log/auth.log、/var/log/apache/access.log等)来生效。一旦发现恶意攻击的登录请求,它会封锁对方的IP地址,使得对方无法再发起请求......
  • AIO 简单代码示例
    客户端代码packagetest;importjava.net.InetSocketAddress;importjava.nio.ByteBuffer;importjava.nio.channels.AsynchronousSocketChannel;importjava.nio.channels.CompletionHandler;publicclassAIOClient{privatefinalAsynchronousSocketChannelclie......
  • A DATETIME or TIMESTAMP value can include a trailing fractional seconds part in
    MySQL::MySQL8.0ReferenceManual::13.2.2TheDATE,DATETIME,andTIMESTAMPTypeshttps://dev.mysql.com/doc/refman/8.0/en/datetime.html13.2.2 TheDATE,DATETIME,andTIMESTAMPTypesThe DATE, DATETIME,and TIMESTAMP typesarerelated.Thisse......
  • npm ERR! request to https://registry.npm.taobao.org/vue-router failed, reason: c
    npminstall报错了!看提示是证书到期,究其原因是淘宝镜像的地址换了。旧:https://registry.npm.taobao.org/新:https://registry.npmmirror.com/#清除缓存npmcacheclean--force#验证缓存是否清除干净npmverifycache#更改淘宝镜像npmconfigsetregistryhttps://r......
  • 【译】超越语言:AI领域基础模型和大型语言模型 (LLMS) 的崛起
    原作:阿比纳夫·辛格引言:作为人类这个独特物种,我们拥有的最珍贵的天赋之一,就是能够以表达、分享和与他人互动。这种能力使得我们能够在纷繁复杂的环境中孕育出创新、发现和发明的宝藏,实现了无与伦比的成就。而所有这些壮丽的过程都围绕着一个核心:语言。从人类进化的黎明时期起,语......
  • 抢跑AI,OPPO勾画手机未来十年新模样
    2023年是GPT点燃了一年的大模型热。今年春节,最火的则是SORA,这也预示着2024年将是AI落地之年。AI落地最关键的一环就是硬件的AI化。去年年底,作为全球PC产业的领导厂商,联想与IDC携手发布了《AIPC白皮书》;今年开年,手机头部厂商OPPO与IDC共同发布了《AI手机白皮书》。虽然AI硬件只是......