首页 > 其他分享 >ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展

ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展

时间:2023-07-31 17:34:23浏览次数:33  
标签:人工智能 模型 ACM 飞桨 3.5 文心 百度

7月28日-30日,顶级学术会议ACM中国图灵大会在武汉举办,围绕“通用智能,人机共生”主题,图灵奖得主、中国科学院院士、企业代表等与会探讨尖端技术及人工智能发展,展望计算科学未来。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰解读文心大模型的核心技术,阐述人工智能产业模式,为人工智能技术及产业发声。据了解,文心一言已成为百度员工工作中的 “超级助理”,Comate智能编码伙伴帮助80%百度工程师提升编程效率,改变了程序开发模式,吸引100多家合作伙伴。

飞桨开发者数量已达到750万

当前,人工智能已经成为新一轮科技革命和产业变革的重要驱动力量,而深度学习是其关键核心技术,具有很强的通用性,呈现出标准化、自动化、模块化的工业大生产特征,推动人工智能进入工业大生产阶段。大模型具有效果好、泛化性强、研发流程标准化程度高等特点,成为人工智能发展的主流方向。

人工智能时代,IT技术栈发生根本性改变,从芯片、操作系统和应用三层架构,转变为芯片、框架、模型、应用四层架构。深度学习框架和大模型构成了产业智能化基座,支撑各行各业的应用智能化重构。

ACM图灵大会开幕,王海峰解读文心大模型3.5最新进展_人工智能

百度在“芯片-框架-模型-应用”人工智能四层技术栈全面布局,自研的深度学习平台飞桨支撑了文心大模型的高效训练和推理,截至目前飞桨平台开发者数量已达到750万。IDC报告显示,百度稳居中国深度学习平台市场综合份额第一。根据中国信通院发布的《深度学习平台报告(2022)》,飞桨是中国深度学习市场应用规模第一的深度学习框架和赋能平台。

据IDC报告,文心大模型综合评分第一

算法模型第一,行业覆盖第一

据了解,文心一言是百度自主研制的知识增强大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。

王海峰解读了文心大模型3.5的核心技术创新,通过飞桨与文心协同优化,文心大模型3.5实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。

在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,百度研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。

在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,使得模型能够更好地利用精细的知识点来提升理解生成等方面的能力,进而提升对世界知识的掌握和运用。

在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。

文心大模型3.5还新增了插件机制,包括官方插件百度搜索和ChatFile,使得文心一言能够生成实时准确信息和长文本摘要,拓展了大模型能力边界。

根据IDC最新发布的《AI大模型技术能力评估报告,2023》,百度文心大模型3.5在14个参评模型中拿下12项指标的7个满分,得到“综合评分第一,算法模型第一,行业覆盖第一”三个绝对第一。

Comate帮助80%百度工程师提升编程效率

已吸引100多家伙伴

王海峰在演讲中展示了文心一言的问答对话、文案生成、行程规划等能力,以及在办公、会议、编码等场景的应用。

文心一言先是根据要求写了一篇赞美“茶”的文章,全文赞美“茶”却未出现“茶”字,接下来又规划了“武汉一日游”的行程安排,确保能游览黄鹤楼,能吃到地道的武昌鱼,还创作了以“图灵大会”为题的藏头诗。

工作中,文心一言化身“超级助理”,帮助总结工作沟通要点,实时记录会议内容,形成会议议题、摘要及总结等关键信息,可以通过各类插件完成指令任务,包括查询日程、创建会议、设置待办、申请休假等,也可以在工程师编码过程中自动推荐和生成代码。据悉,目前这些功能已通过智能工作平台“如流”应用于百度的工作流程中,Comate智能编码伙伴帮助80%百度工程师提升编程效率,吸引100多家合作伙伴。

对于大模型的产业模式,王海峰表示,在文心一言这类大模型产业落地的进程中,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务,支撑产业智能化升级。


标签:人工智能,模型,ACM,飞桨,3.5,文心,百度
From: https://blog.51cto.com/u_15512933/6910594

相关文章

  • 【ACM专项练习#01】基本输入输出,如何加减
    关于ACM,牛客其实也有专门的模拟练习:https://ac.nowcoder.com/acm/contest/5657#question做这个也可以关于while(cin>>n)在处理输入时,cin>>n;while(n--)和while(cin>>n)是两种常见方法这里说一下区别cin>>n;while(n--)当你预先知道迭代次数,并希望根据该次数执......
  • 【ACM专项练习#02】整行字符串、输入vector、打印图形、处理n组数据以及链表操作等
    输入整行字符串平均绩点题目描述每门课的成绩分为A、B、C、D、F五个等级,为了计算平均绩点,规定A、B、C、D、F分别代表4分、3分、2分、1分、0分。输入有多组测试样例。每组输入数据占一行,由一个或多个大写字母组成,字母之间由空格分隔。输出每组输出结果占一行。如果输入的大......
  • 文心一言 VS 讯飞星火 VS chatgpt (68)-- 算法导论6.5 7题
    文心一言VS讯飞星火VSchatgpt(68)--算法导论6.57题七、试说明如何使用优先队列来实现一个先进先出队列,以及如何使用优先队列来实现栈(队列和栈的定义见10.1节。)文心一言:优先队列是一种数据结构,其中每个元素都有一个关联的优先级或权值。在优先队列中,元素按照它们的优先级被......
  • 文心一言 VS 讯飞星火 VS chatgpt (68)-- 算法导论6.5 7题
    文心一言VS讯飞星火VSchatgpt(68)--算法导论6.57题七、试说明如何使用优先队列来实现一个先进先出队列,以及如何使用优先队列来实现栈(队列和栈的定义见10.1节。)文心一言:优先队列是一种数据结构,其中每个元素都有一个关联的优先级或权值。在优先队列中,元素按照它们的优先......
  • 文心一言 VS 讯飞星火 VS chatgpt (67)-- 算法导论6.5 6题
    文心一言VS讯飞星火VSchatgpt(67)--算法导论6.56题六、在HEAP-INCREASE-KEY的第5行的交换操作中,一般需要通过三次赋值来完成。想一想如何利用INSERTION-SORT内循环部分的思想,只用一次赋值就完成这一交换操作?文心一言:在HEAP-INCREASE-KEY的第5行交换操作中,我们可以通......
  • ACM-knowledge <bitset>
    关于bitset,详见参考;#include<iostream>#include<bitset>usingnamespacestd;usingLL=longlong;intmain(){bitset<10>b1;cin>>b1;//1101;可直接读入01串;cout<<b1[0]<<endl;......
  • 苹果 macOS Ventura 13.5 正式发布,修复 Mac Pro 硬盘问题
    苹果今日向Mac电脑用户推送了macOS13.5更新(内部版本号:22G74),本次更新距离上次发布隔了32天。macOS13Ventura(苹果最新系统)v13.5正式版下载此次更新基本没有什么新功能。从苹果支持文档来看,主要修复了MacPro(2023)上SATA硬盘意外断开的问题,之前Mac从睡眠状态唤醒......
  • 文心一言 VS 讯飞星火 VS chatgpt (65)-- 算法导论6.5 4题
    四、在MAX-HEAP-INSERT的第2行,为什么我们要先把关键字设为-∞,然后又将其增加到所需的值呢?文心一言:在MAX-HEAP-INSERT算法的第二行将关键字设为-∞,是为了保持堆的性质。堆是一种二叉树结构,其中每个节点的值都大于或等于其子节点的值。在MAX-HEAP-INSERT算法中,我们需要在......
  • 文心一言 VS 讯飞星火 VS chatgpt (65)-- 算法导论6.5 4题
    四、在MAX-HEAP-INSERT的第2行,为什么我们要先把关键字设为-∞,然后又将其增加到所需的值呢?文心一言:在MAX-HEAP-INSERT算法的第二行将关键字设为-∞,是为了保持堆的性质。堆是一种二叉树结构,其中每个节点的值都大于或等于其子节点的值。在MAX-HEAP-INSERT算法中,我们需要......
  • JeecgBoot低代码开发平台 3.5.3 版本发布,Online功能专题升级
    项目介绍JeecgBoot是一款企业级的低代码平台!前后端分离架构SpringBoot2.x,SpringCloud,AntDesign&Vue3,Mybatis-plus,Shiro,JWT支持微服务。强大的代码生成器让前后端代码一键生成!JeecgBoot引领低代码开发模式(OnlineCoding->代码生成->手工MERGE),帮助解决Java项目70%的重复......