首页 > 其他分享 >CohereForAI更新企业级开源模型 c4ai-command-r-08-2024和c4ai-command-r-plus-08-2024

CohereForAI更新企业级开源模型 c4ai-command-r-08-2024和c4ai-command-r-plus-08-2024

时间:2024-09-01 11:54:42浏览次数:15  
标签:08 gen c4ai 2024 command Command model 模型

在这里插入图片描述

C4AI Command R 08-2024 是一个 350 亿参数高性能生成模型的研究版本。 Command R 08-2024 是一个大型语言模型,采用开放式权重,针对推理、总结和问题解答等各种用例进行了优化。 Command R 08-2024 具备多语言生成功能,曾在 23 种语言上进行过训练,并在 10 种语言上进行过评估,还具备高性能的 RAG 功能。

  • Point of Contact: Cohere For AI: cohere.for.ai
  • License: CC-BY-NC, requires also adhering to C4AI’s Acceptable Use Policy
  • Model: c4ai-command-r-08-2024
  • Model Size: 35 billion parameters
  • Context length: 128K

在这里插入图片描述

C4AI Command R+ 08-2024 是一个 1040 亿参数模型的开放权重研究版本,具有非常先进的功能,包括检索增强生成(RAG)和工具使用,可自动完成复杂的任务。 该模型生成中的工具使用可实现多步骤工具使用,从而使模型能够在多个步骤中结合多个工具来完成困难的任务。 C4AI Command R+ 08-2024 是一个多语种模型,使用 23 种语言进行训练,并用 10 种语言进行评估。 Command R+ 08-2024 针对推理、总结和问题解答等各种使用情况进行了优化。

  • Point of Contact: Cohere For AI: cohere.for.ai
  • License: CC-BY-NC, requires also adhering to C4AI’s Acceptable Use Policy
  • Model: c4ai-command-r-plus-08-2024
  • Model Size: 104 billion parameters
  • Context length: 128K

代码

# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the command-r-08-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
)

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

# pip install 'transformers>=4.39.1'
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/c4ai-command-r-plus-08-2024"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format message with the command-r-plus-08-2024 chat template
messages = [{"role": "user", "content": "Hello, how are you?"}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

模型详细信息

输入: 模型仅输入文本。

输出: 模型仅生成文本。

模型架构: 这是一个自动回归语言模型,使用优化的转换器架构。 经过预训练后,该模型使用监督微调(SFT)和偏好训练,使模型行为与人类对有用性和安全性的偏好保持一致。 我们使用分组查询关注(GQA)来提高推理速度。

涵盖语言: 该模型已在 23 种语言(英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语、简体中文、俄语、波兰语、土耳其语、越南语、荷兰语、捷克语、印尼语、乌克兰语、罗马尼亚语、希腊语、印地语、希伯来语和波斯语)上进行了训练,并在 10 种语言(英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语和简体中文)上进行了评估。

接地生成和 RAG 功能:R08-2024 指挥系统经过专门培训,具备接地生成功能。 这意味着它可以根据提供的文件片段列表生成响应,并在响应中包含标明信息来源的基础跨度(引文)。 这种行为是通过监督微调和偏好微调混合使用特定的提示模板训练到模型中的。 偏离该提示模板可能会降低性能,但我们鼓励尝试。

R 08-2024 命令的底层生成行为以对话为输入(可选择用户提供的系统前言,说明任务、上下文和所需的输出风格),以及检索到的文档片段列表。 文档片段应该是片段,而不是长文档,通常每个片段大约 100-400 字。 文档片段由键值对组成。

在默认情况下,Command R 08-2024 将通过以下方式生成接地响应:首先预测哪些文档是相关的,然后预测它将引用哪些文档,最后生成答案。 最后,它会在答案中插入接地跨度。 请看下面的示例。 这就是所谓的精确接地生成。

该模型在训练时还采用了其他一些答题模式,可通过更改提示来选择。 标记符号生成器支持快速引用模式,该模式将直接生成包含接地跨度的答案,而无需先将答案全文写出。 这样做会牺牲一些接地的准确性,而有利于生成更少的标记。

代码功能:Command R 08-2024 经过优化,可通过请求代码片段、代码解释或代码重写与您的代码进行交互。 对于纯粹的代码自动补全,它的性能可能不会很好。 为了获得更好的性能,我们还建议对代码生成相关指令使用低温(甚至是贪婪解码)。

标签:08,gen,c4ai,2024,command,Command,model,模型
From: https://blog.csdn.net/weixin_41446370/article/details/141763701

相关文章

  • 20240901_113224 python 环境依赖的备份与导入
    20240830_173845python当前环境依赖包导出到文件中_鲸鱼编程pyhui的技术博客_51CTO博客https://blog.51cto.com/u_13137233/1187710920240830_183845python从依赖包记录文件中批量安装包_鲸鱼编程pyhui的技术博客_51CTO博客https://blog.51cto.com/u_13137233/11877185......
  • 【题解】Solution Set - NOIP2024模拟赛4
    【题解】SolutionSet-NOIP2024模拟赛4https://www.becoder.com.cn/contest/5501T2沉默乐团https://www.becoder.com.cn/submission/2593352T3深黯「军团」记录一下考场思路:首先对于长度为\(n\)所有排列,按顺序求出她的逆序对数量。然后找到了规律。后面基于此,写出......
  • 新赛道-2024.8 CSP-J组月赛-T4
    题目描述王老师最近搬家了,需要购置 a 台家电、b 件家具和 c 个装饰。他来到了商场,商场正好在举行优惠大酬宾,每家店铺都推出了一系列活动。一共有 n=a+b+c 家店铺,活动期间在第 i 家店铺购买家电只需要 ai​ 元一台,购买家具只需要 bi​ 元一件,购买装饰只需要 ci​......
  • 新赛道-2024.8 CSP-J组月赛-T3
    题目描述王老师的班级要开始评选三好学生啦,最后要评选两个人出来。王老师班级一共有 n 个学生,编号分别为 1,2,…,n,每个人把自己心中的两名最佳三好学生 a 和 b 告诉王老师。可能存在两个人,他们心中的两名最佳三好学生是相同的。例如样例1所示。现在王老师要选出......
  • 新赛道-2024.8 CSP-J组月赛-T1总结
    题面:王老师最近做了一道经典问题《翻纸牌》现在王老师有 n 张牌,编号分别为 1,2,3…n,每张牌一开始都是背面朝上的现在他要进行 n 轮操作,第 i 轮操作时候,他会将所有编号是 i 的倍数的牌正反翻面现在王老师想知道,当他进行完 n 轮操作以后,所有正面朝上的牌的编号......
  • 黑神话悟空配置要求_2024年黑神话悟空游戏电脑配置推荐
        《黑神话:悟空》作为一款采用虚幻引擎打造的高品质游戏,对硬件配置有着一定的要求。包括操作系统、处理器、内存、显卡等多方面需求。有些同学一直问,黑神话悟空配置要求是什么?下面小编就针对这个问题给大家介绍黑神话悟空官方配置要求以及2024年黑神话悟空游戏电脑配置......
  • Metasploit Pro 4.22.3-2024082201 (Linux, Windows) - 专业渗透测试框架
    MetasploitPro4.22.3-2024082201(Linux,Windows)-专业渗透测试框架Rapid7Penetrationtesting,releaseAug22,2024请访问原文链接:https://sysin.org/blog/metasploit-pro-4/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.org世界上最广泛使用的渗透测试框架......
  • eladmin (文件上传+文件删除)(cve-2024-7458)
    侵权声明本文章中的所有内容(包括但不限于文字、图像和其他媒体)仅供教育和参考目的。如果在本文章中使用了任何受版权保护的材料,我们满怀敬意地承认该内容的版权归原作者所有。如果您是版权持有人,并且认为您的作品被侵犯,请通过以下方式与我们联系:[[email protected]]。我们将在确......
  • Burp Suite Professional 2024.8 发布下载,新增功能概览
    BurpSuiteProfessional2024.8(macOS,Linux,Windows)-Web应用安全、测试和扫描BurpSuiteProfessional,Test,find,andexploitvulnerabilities.请访问原文链接:https://sysin.org/blog/burp-suite-pro/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgBur......
  • Windows Server 2019 OVF, updated Aug 2024 (sysin) - VMware 虚拟机模板
    WindowsServer2019OVF,updatedAug2024(sysin)-VMware虚拟机模板2024年8月版本更新,现在自动运行sysprep,支持ESXiHostClient部署请访问原文链接:https://sysin.org/blog/windows-server-2019-ovf/,查看最新版。原创作品,转载请保留出处。现在都是自动sysprep的......