首页 > 其他分享 >雅意2.0:打造专为中文优化的300亿参数多语言模型

雅意2.0:打造专为中文优化的300亿参数多语言模型

时间:2024-01-08 13:32:48浏览次数:31  
标签:雅意 多语种 300 模型 处理 2.0 压缩率

前言

雅意2.0,作为一款专注于中文语境的开源大型语言模型,其在多语言处理方面的能力尤为突出。该模型不仅具有300亿参数规模的庞大体量,还在多个关键领域取得了显著的技术突破。

雅意2.0:打造专为中文优化的300亿参数多语言模型_压缩率

模型训练

  • 参数规模的巨大提升,雅意2.0的参数量达到了惊人的300亿,使其成为中文领域中参数量最大的模型之一。这一巨大的参数规模赋予了模型更深层次的理解能力和更广泛的应用范围。
  • Token压缩率国内领先,在Token压缩率方面,雅意2.0在国内领先,尤其在中英双语以及多语种处理方面表现卓越,这一特点使得模型在处理多语种数据时更加高效。
  • 从头预训练,数据多层过滤,雅意2.0采用了从头开始的预训练方式,训练数据经过1000余道清洗工序,确保了2.65万亿Tokens的高质量。此外,其预训练涵盖了240TB多源基础数据,覆盖广泛。

雅意2.0:打造专为中文优化的300亿参数多语言模型_压缩率_02

特色技能

雅意2.0的特色技能体现在多方面,不仅在多轮对话处理上表现出色,还在多模态处理、内容安全及智能插件应用方面展现了其先进的技术优势。

  • 多轮对话角色扮演,雅意2.0能够扮演特定人物或执行专业任务,支持自定义角色及表达风格,实现超长轮历史对话的关联,这在模拟复杂人机互动方面具有重要意义。
  • 最长128k输入更长上下文窗口,该模型支持长达128k的输入,这一特性显著提升了对长文本的处理能力,使其在处理离线文档、数据库和API接入时更加高效。
  • 1000W+图文数据对齐,雅意2.0在多模态能力方面也取得了显著进步,其图文数据对齐技术支持30+种内容理解、审核和抽取能力,能够将文本描述转化为细节丰富的图像,展现出卓越的创造力。
  • 内容安全风控,模型通过人类价值观对齐和流式内容实时审核等方法,提升了内容的安全性和合规性,尤其在处理诱导性内容时表现出良好的抵抗能力。
  • 智能插件调用,雅意2.0支持10+种智能插件,能够根据用户输入自动选择最合适的插件,大大提升了用户体验和操作效率。

雅意2.0:打造专为中文优化的300亿参数多语言模型_模态_03

专业技能

雅意2.0在安全、金融、媒体和舆情等专业领域展现出深度增强的能力,并覆盖了法律、中医等多业务场景。这些专业技能的增强,为行业用户提供了更加丰富和精准的服务。雅意2.0推出了包括YAYI-Chat、YAYI-Bot、YAYI UIE和YAYI File等多个通用产品,这些产品在多种行业场景中均有广泛应用。

测评指标

在多项国内外测评中,雅意2.0展现出了卓越的性能表现。

  • Token压缩率及多语种处理,在中英双语以及多语种处理方面,雅意2.0表现出色,Token压缩率在国内处于领先地位。
  • 中文知识问答能力,在多个知识问答测评中,如AGIEval和CMMLU,雅意2.0均获得了第一名的成绩,显示了其在中文领域的强大处理能力。

雅意2.0:打造专为中文优化的300亿参数多语言模型_模态_04

结论

雅意2.0作为一款专注于中文和多语种的大型语言模型,不仅在技术层面取得了显著进步,更在实际应用中展现出了巨大的潜力和广阔的应用前景。随着技术的不断完善和应用的不断深入,预计雅意2.0将在人工智能领域中发挥更加重要的作用。

模型下载

Huggingface模型下载

https://huggingface.co/wenge-research/

AI快站模型免费加速下载

https://aifasthub.com/models/wenge-research

标签:雅意,多语种,300,模型,处理,2.0,压缩率
From: https://blog.51cto.com/u_16323307/9143118

相关文章

  • D13005M-ASEMI高频电源开关D13005M
    编辑:llD13005M-ASEMI高频电源开关D13005M型号:D13005M品牌:ASEMI集电极电流:4A集电极电压:700V集电极-发射极电压:450V发射极-基极电压:12V集电极电流(脉冲):8A芯片个数:1封装:TO-220F工作温度:-50°C~150°C引脚数量:3集电极损耗:70W类型:插件塑封二极管、高压、高速D13005M描述:D13005M拥有广泛的......
  • Ubuntu 22.04.1 LTS 编译安装 mysql5.6
    在Ubuntu22.04下安装mysql5.6,试了很多方法都失败了,最后编译安装成功了。1、看下有没有其它版本的mysql,有的话就卸载掉#查询dpkg-l|grepmysql#如果有则卸载apt-getremove--purge<mysql程序名称> 2、安装依赖apt-getinstallgccapt-getinstallg++apt-get......
  • datavault4dbt Scalefree的dbt datavault2.0 包
    基于基于dbt的datavault2.0实现还是不少的,可以加速模型的创建,以前简单介绍的automate-dv也是一个类似的dbt包包含的maccroStagingArea(ForHashing,prejoinsandghostrecords)Hubs,Links&Satellites(allowingmultipledeltas)Non-HistorizedLinksandSatelli......
  • 智能助理助攻,办事效率翻倍 | 智能全链办2.0升级发布
    在数字政务转型前沿,VERYCLOUD睿鸿股份在智能全链办1.0的基础上,对现有系统进行再造,并对相关的功能进行了优化。智能全链办2.0经过全面升级,正式发布。这次升级着重优化了清单管理功能,调整了办件流程优化(一键智审、智能填表),同时引入了智能辅助情形引导以及表单组合和情形化配置的全新......
  • Cisco Firepower 1000 Series FTD Software 7.2.0 & ASA Software 9.18.1
    作者主页:www.sysin.org面向小型办公室的企业级保护在企业发展的过程中为企业保驾护航。Firepower1000系列提供高性能、易用性、深入的可视性与可控性,可快速检测和阻止威胁。该系列在设计上优化了安全服务,而不会降低网络性能。Firepower1000型号对比Firepower1010桌面型:集成交......
  • 智能分析网关V4算法配置步骤2.0——睡岗检测
    AI智能分析网关V4是TSINGSEE青犀视频旗下的一款高效分析网关,可分别作为上级或下级平台进行级联,还可实现人体行为检测、车辆事件检测、环境卫生检测与消防事件检测等等,广泛应用在工地、工厂、园区、楼宇、校园、仓储等场景中。将智能分析网关V4结合我们的视频融合平台EasyCVR一起使......
  • #星计划# 『江鸟中原』鸿蒙——待办清单2.0
    大家好,今天,我将基于我的上一个项目《待办清单》开发《待办清单2.0》,我将对其修复了已知的bug、功能上进行的改进、美化了页面、添加了中英文配置以及其他更具规范性操作等等,开源代码我也会放到下面,同时我在代码总添加了更多注释,希望对初学者有所帮助。介绍本应用基于Stage模型下......
  • macOS Monterey 12.0.1 (21A559) 正式版发布,ISO、IPSW、PKG 下载
    本站下载的macOSMonterey软件包,既可以拖拽到Applications(应用程序)下直接安装,也可以制作启动U盘安装,或者在虚拟机中启动安装。2021年10月26日,macOSMonterey正式版于今天凌晨推送,大版本升级建议全新安装。本站提供完整版iso镜像下载,可以用于全新安装或者升级,也可以直......
  • Splunk 8.2.0 发布 (macOS, Linux, Windows)
    Data-to-Everything™平台利用为云构建的统一数据平台,推动IT、开发运维和安全领域的成果。优势借助Splunk、您可以…建立更有弹性的组织让您的组织能够实时识别和解决问题。加速云驱动的变革数字计划管理云复杂性以提高效率、加快创新和抵御干扰。超出客户期望更快地创新,使用更......
  • MD-NEXT 2.0 (Windows) - 移动取证软件
    MD-NEXT2.0(Windows)-移动取证软件MobileForensicSoftware请访问原文链接:https://sysin.org/blog/md-next/,查看最新版。原创作品,转载请保留出处。作者主页:sysin.orgMD-NEXT-移动取证软件适用于智能手机、功能手机、无人机、智能电视、可穿戴设备、物联网设备、USIM......