随着数字化转型需求增长,AI在企业中的应用也越来越多,AI开发门槛高、应用场景复杂多样、对场景标注数据依赖等问题成为AI规模化落地的挑战,而预训练大模型的出现则为人工智能带来了新的机遇与希望。大模型作为政府和企业推进人工智能产业发展的重要抓手,在识别、理解、决策、生成等AI任务的泛化性、通用性、迁移性方面都表现出显著优势和巨大潜力。
大模型为通往强AI提供了一条可行通道
随着数字经济、元宇宙等概念的逐渐兴起,人工智能进入大规模落地应用的关键时期,但其开发门槛高、应用场景复杂多样、对场景标注数据依赖等问题开始显露,阻碍了规模化落地。AI大模型凭借其优越的泛化性、通用性、迁移性,为人工智能大规模落地带来新的希望。
在过去每一次关键技术的通用性得到解决后,生产方式都有巨大改变,生产水平也产生质的飞跃。人工智能是第四次工业革命的重要驱动力,所以,提升人工智能的通用性是加速产业智能化升级的关键。而“大模型”是打通人工智能技术通用性“任督二脉”的关键。
在自然语言处理领域,谷歌、百度等巨头的探索表明,基于预训练大模型的NLP技术的效果,已超过过去最好的机器学习能力。OpenAI的研究表明,2012至2018年6年间,在最大规模的人工智能模型训练中所使用的计算量呈指数级增长,其中有3.5个月的时间计算量翻了一倍,比摩尔定律每18个月翻一倍的速度快得多。下一代AI大模型,参数数量级将堪比人类大脑突触的水平,并且或将不仅能处理语言模型,将更是一个能处理语言、视觉、声音等多任务的多模态AI模型。大模型为通往强人工智能提供了一条可能的通道。
OpenAI联合创始人、首席科学家Ilya Sutskever也曾表示,“人工智能的长期目标是构建多模态神经网络,即 AI 能够学习不同模态之间的概念,从而更好地理解世界”。将文本、语音、图像、视频等多模态内容联合起来进行学习,大模型由单模态向多模态方向发展,能够对更广泛、更多样的下游任务提供模型基础支撑,从而实现更加通用的人工智能模型。
未来,以大模型为生态基座的产业链将成为智能化升级过程中可大规模复用的基础设施。在大模型通用性、泛化性以及降低人工智能应用门槛的优势推动下,人工智能也将会加快落地,形成新的机遇。
IDC预测,2021年中国人工智能软件及应用市场规模为51亿美元,预计2026年将会达到211亿美元,各行业的需求正大力推进AI的发展,将推动市场的持续增长。
大模型的发展给算力带来巨大挑战
算力是实现AI产业化的核心力量,它的发展将对人工智能技术的进步和行业应用起到决定性的作用。随着人工智能向多场景化、规模化、融合化等高应用阶段方向发展,数据体量呈现出急剧增长态势,算法模型的参数量呈指数级增加,以加速计算为核心的算力中心规模将不断扩大。
大模型的发展同样给算力带来巨大的挑战。大模型训练的计算和存储资源开销之大,对加速计算系统和人工智能软件栈都有很高的要求,训练千亿、万亿模型动辄需要上千块加速卡,对大模型的推广和普惠带来了很大的挑战。参数量与算力需求呈正比,据ARK Invest预测,GPT-4参数量最高达15000亿个,则GPT-4算力需求最高可达31271 PFlop/s-day。
同时,受限于边际递减效应,模型复杂度与精度的进一步提升将会需要更大比例的计算资源开销,对计算效率问题的顾虑会限制大模型参数规模的持续扩张。将GPT-4的推算结果作为训练需求,进一步推算2023/2025年推理需求最高达44081/48502 PFlop/s-day,每年头部训练模型所需算力增长幅度高达10倍,远超摩尔定律的增长速度。
国内外厂商加速布局大模型,其参数量均达到千亿级别,同步带动算力需求爆发式增长,有望进一步推动AI服务器市场的增长。AI服务器专为人工智能训练和推理应用而设计,采用异构形式,通过加入GPU采用并行计算模式,解决CPU提供算力时核心数已接近极限的问题,可应用处理密集型运算。AI大算力的高需求将提升服务器性能,AI服务器需搭载多个CPU和GPU处理器,同时服务器CPU性能不断升级,要求内存技术同步升级。
伴随技术进步对于人工智能在企业市场中的应用与落地带来促进作用,用于支撑应用的智算力已成为未来创新的核心保障。算力是数字经济时代的核心生产力,以人工智能为首的新兴技术应用在数字经济发展中起到了重要的作用,用于支撑人工智能应用的智算力决定了创新力的实现。不管是新型场景还是成熟场景,对算力都提出了极大的挑战,率先布局智算力的企业将在未来竞争中获得优势。
标签:模态,AI,模型,人工智能,应用,服务器,算力 From: https://blog.51cto.com/u_15749144/6226537