前瞻AI算力规模,超出我们普通常人概念:
从网上得到的信息,一个语言大模型需要的算力,从中可见一斑,参数规模: 1亿个参数,联动需要多大算力支持?
4月23日讯(编辑 赵昊)据媒体报道,日本软银集团将在今明两年投资1500亿日元(约合9.6亿美元),为其计算设施提供开发“世界级生成式人工智能所需的数字运算能力。
去年,软银宣布投资约200亿日元开发基于日语文本的生成式人工智能,预计在2024财年内完成一个3900亿参数的大语言模型(LLM)的开发,并计划最快在明年开始开发1万亿参数的高性能模型。
报道解释道,1万亿参数是“世界级”性能的基准,美国OpenAl的GPT-4就超过了这一水平。对于大模型企业而言,能否搭建起大算力的基础设施成为能否实现大模型创新落地的关键,例如OpenAl就用了25000张A100训练GPT-4。
为了提供训练模型所需的算力,软银在今明两年新增了1500亿日元的投资支出,将从英伟达处采购图形处理单元(GPU)。