算力大模型天天说：华为开发者大会将于22日举办

1. 大模型训练算力效率提升
   • 背景：随着AI技术的发展，大模型训练对算力的需求越来越高，如何提高训练效率成为业界关注的焦点。
   • 案例：
     • 华为开发者大会2024：6月22日，华为将举办开发者大会，其中“大模型混合云”高峰论坛将探讨如何通过华为云Stack解决大模型应用落地的难题。
     • 中国电信Tele-FLM-1T模型：中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T，该模型仅使用了业界普通训练方案9%的算力资源，基于112台A800服务器，用时4个月完成了训练。
2. 大模型备案与产业规模
   • 上海大模型备案情况：上海已有34款大模型通过备案，并在制造业、金融、具身智能机器人等垂类领域得到应用。
   • 产业规模：上海人工智能产业规上企业从2018年的183家增长到2023年的348家，产业规模从1340亿元增长到超3800亿元，居全国前列。
3. 算力最优解的探索
   • 李开复观点：随着AI从1.0进入2.0大模型技术阶段，算力成为AI 2.0发展的关键。他提出从四个方面入手提升算力效率，包括遵循规模定律、加强“模基共建”、打造“模应一体”等。
4. 算力与模型的结合
   • 超算中心与AI发展：多地正在积极建设超算中心，促进超算算力一体化运营，为AI大模型产业发展提供强大支撑。
   • 优化训练方法：一些企业如零一万物通过自研AI基础设施技术，从底层优化训练方法，较大节省成本，找到了当前条件下算力运用的优质路径。

一、算力与大模型训练效率提升

1. 算力需求增长：随着人工智能技术的快速发展，大模型训练对算力的需求急剧增长。为满足这一需求，企业和研究机构不断探索提高大模型训练效率的方法。

2. 创新技术案例：

   • Tele-FLM-1T模型：中国电信人工智能研究院（TeleAI）联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T。该模型仅使用了业界普通训练方案9%的算力资源，基于112台A800服务器，用时4个月完成了3个模型总计2.3T tokens的训练。
   • 潞晨训推一体机：潞晨科技推出的训推一体机采用高性能硬件和Colossal-AI加速框架，支持多种微调方式，大幅降低了定制化大模型的成本和技术门槛。使用Colossal-AI优化，在8卡规模下的上机实测中，平均每卡算力相较原生速度提升21%，大幅提高效率。

3. 提升训练效率的措施：

   • 遵循规模定律：通过增加模型参数和训练数据量，可以提升模型的性能，但同时需要更多的算力资源。因此，需要找到合适的平衡点。
   • 模基共建：加强模型与基础设施的协同优化，通过定制化的硬件和软件优化，提升大模型训练的效率。
   • 模应一体：将模型训练与实际应用场景紧密结合，通过针对性的优化和微调，提升模型在实际应用中的表现。

二、算力与模型应用

1. 算力产业生态：
   • 多样性算力产业峰会：推动智能算力基础设施及底层算力安全建设，发布多样性算力产业生态成果。
   • 算力基础设施质量评估模型（CQM2）：从可访问性、可管理性、健康度、一致性、均匀性等5个维度对算力基础设施进行客观评价，推动算力基础设施高质量发展。
2. 大模型应用：
   • 行业应用：我国人工智能大模型50强行业应用共涉及13个领域，主要集中在金融行业，其次为工业、政务、交通等行业。
   • 应用效果：例如，在民生诉求场景项目中，通过引入TeleChat-52B模型能力，整体应用效果提升40%。

三、算力规模与增速

1. 全国算力规模：
   • 我国在用数据中心机架总规模超过810万标准机架，算力总规模达到了230EFLOPS（每秒230百亿亿次浮点运算），智能算力比例逐步提升，规模达到了70EFLOPS，增速超过70%。
   • 预计到2024年底，全国算力规模将超270EFLOPS。
2. 算力需求增速：
   • 工业和信息化部赛迪研究院发布的研究报告预测，到2024年年底我国将有5%—8%的企业大模型参数从千亿级跃升至万亿级，算力需求增速会达到320%。

总结：算力大模型领域正在快速发展，企业和研究机构通过技术创新和优化训练方法，不断提升大模型训练的效率。同时，算力产业生态的繁荣和算力规模的快速增长，为大模型在各行各业的应用提供了有力支撑。