作者：施晨、之用、南茵、求伯、一耘、临在
背景信息
内容简介
在大模型时代，随着模型效果的显著提升，模型评测的重要性日益凸显。科学、高效的模型评测，不仅能帮助开发者有效地衡量和对比不同模型的性能，更能指导他们进行精准地模型选择和优化，加速AI创新和应用落地。因此，建立一套平台化的大模型评测最佳实践愈发重要。本文为PAI大模型评测最佳实践，旨在指引AI开发人员使用PAI平台进行大模型评测。借助本最佳实践，您可以轻松构建出既能反映模型真实性能，又能满足行业特定需求的评测过程，助力您在人工智能赛道上取得更好的成绩。最佳实践包括如下内容：
-
如何准备和选择评测数据集
-
如何选择适合业务的开源或微调后模型
-
如何创建评测任务并选择合适的评价指标
-
如何在单任务或多任务场景下解读评测结果
平台亮点
PAI大模型评测平台，适合您针对不同的大模型评测场景，进行模型效果对比。例如：
-
不同基础模型对比：Qwen2-7B-Instruct vs. Baichuan2-7B-Chat
-
同一模型不同微调版本对比：Qwen2-7B-Instruct 在私有领域数据下训练不同 epoch 版本效果对比
-
同一模型不同量化版本对比：Qwen2-7B-Instruct-GPTQ-Int4 vs. Qwen2-7B-Instruct-GPTQ-Int8
考虑到不同开发群体的特定需求，我们将以企业开发者与算法研究人员两个典型群体为例，探讨如何结合常用的公开数据集（如MMLU、C-Eval等）与企业的自定义数据集，实现更全面准确并具有针对性的模型评测，查找适合您业务需求的大模型。最佳实践的亮点如下：
-
端到端完整评测链路，无需代码开发，支持主流开源大模型，与大模型微调后的一键评测；
-
支持用户自定义数据集上传，内置10+通用NLP评测指标，一览式结果展示，无需再开发评测脚本；
-
支持多个领域的常用公开数据集评测，完整还原官方评测方法，雷达图全景展示，省去逐个下载评测集和熟悉评测流程的繁杂；
-
支持多模型多任务同时评测，评测结果图表式对比展示，辅以单条评测结果详情，方便全方位比较分析；
-
评测过程公开透明，结果可复现。评测代码开源在与ModelScope共建的开源代码库eval-scope中，方便细节查看与复现：GitHub - modelscope/eval-scope: A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
前提条件
-
已开通PAI并创建了默认工作空间。具体操作，请参见开通PAI并创建默认工作空间。
-
如果选择自定义数据集评测，需要创建OSS Bucket存储空间，用来存放数据集文件。具体操作，请参见控制台创建存储空间。
使用费用
-
PAI大模型评测依托于PAI-快速开始产品。快速开始是PAI产品组件，集成了众多AI开源社区中优质的预训练模型，并且基于开源模型支持零代码实现从训练到部署再到推理的全部过程，给您带来更快、更高效、更便捷的AI应用体验。
-
快速开始本身不收费，但使用快速开始进行模型评测时，可能产生DLC评测任务费用，计费详情请参见DLC计费说明。
-
如果选择自定义数据集评测，使用OSS存储，会产生相关费用，计费详情请参见OSS计费概述。
场景一：面向企业开发者的自定义数据集评测
企业通常会积累丰富的私有领域数据。如何充分利用好这部分数据，是企业使用大模型进行算法优化的关键。因此，企业开发者在评测开源或微调后的大模型时，往往会基于私有领域下积累的自定义数据集，以便于更好地了解大模型在私有领域的效果。对于自定义数据集评测，我们使用NLP领域标准的文本匹配方式，计算模型输出结果和真实结果的匹配度，值越大，模型越好。使用该评测方式，基于自己场景的独特数据，可以评测所选模型是否适合自己的场景。以下将重点展示使用过程中的一些关键点，更详细的操作细节，请参见模型评测产品文档。