前言
家人们！微软又用爱发电了！一觉醒来，微软发布了最新的小模型三兄弟：
- Phi-3.5-MoE-instruct
- Phi-3.5-mini-instruct
- Phi-3.5-vision-instruct
三兄弟的表现可以说是相当的不错，其中，Phi-3.5-MoE 在基准测试中击败了 Llama 3.1 8B、Mistral-Nemo-12B，Gemini 1.5 Flash。在推理能力方面它也优于其他一些较大的模型，仅落后于 GPT-4o-mini，直接分分钟登顶同级模型！
不同用途不同选择！
三个Phi 3.5模型有不同的专长！
Phi-3.5 MoE - 微软专家大集合
大哥Phi-3.5 MoE 是一个混合专家模型，将多个不同的模型类型组合成一个，其中每个模型类型专门从事不同的任务。该模型有420亿个活动参数的架构，支持128k token上下文长度。
划重点：
- 6.6B 活动参数（总参数42B）
- 128K 上下文、多语言和相同分词器
- 在 4.9T tokens 上进行训练
- 使用 512 张 H100 进行训练（23 天）
为了在各种推理任务中脱颖而出，Phi-3.5 MoE在代码、数学和多语言理解方面提供了强大的性能，基准测试中通表现都很好，在5个单项的MMLU(大规模多任务语言理解)测试中，它也击败了gpt-4o mini！
在长文本上超越了明显优于仅支持8K上下文长度的Gemma-2系列，与其他更大更强的开源模型如Llama-3.1-8B-instruct和Mistral-Nemo-12B-instruct-2407也可以一比，而且已经比GPT-4o好了！
总的来说，只有6.6B活动参数的Phi-3.5-MoE实现了与更大模型相似的语言理解和数学水平。但是，对于某些任务，它仍然受到其大小的根本上限制，因为，该模型根本不具备存储太多事实知识的能力，作者指出，这个弱点可以通过使用搜索引擎来解决，特别是在RAG设置下使用该模型时。
模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-MoE-instruct
Phi 3.5 mini - 针对计算受限的环境进行了优化
二哥Phi-3.5 Mini Instruct主打一个轻量级！一共有38亿参数，专为遵守指令而设计，并支持128k token上下文长度。非常适合在受限的环境中使用！Phi3.5 Mini Instruct模型虽然小巧，但在多语言和多轮对话任务中表现出色，相较其前代有了显著提升。它在多个基准测试中的性能接近最先进水平，尤其在RepoQA测试中超越了其他同类模型（如Llama-3.1-8b-instruct和Mistral-7b-instruct）。
划重点：
- 3.8B参数，击败Llama3.1 8B和Mistral 7B
- 多语言和 32K 词汇的分词器
- 在 3.4T tokens 上进行训练
- 使用 512 张 H100 进行训练（只需要10 天！）
▲在多语言MMLU、MEGA和多语言MMLU-pro数据集上的多语言能力。总的来说，即使只有38 b的活动参数，与其他具有更大活动参数的模型相比，该模型在多语言任务上是比较出色！
▲RepoQA基准测试遥遥领先
模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-mini-instruct
Phi-3.5 Vision Instruct - 高级多模态推理
三弟Phi-3.5 Vision Instruct是一款融合文本与图像处理能力的视觉指令模型。与同系列其他型号类似，它支持128k token的上下文长度，能够处理复杂的多帧视觉任务。
微软指出，该模型采用经过筛选的公开数据集进行训练，增强了模型的多帧图像理解和推理能力。主要功能包括详细的图像对比、多图总结与叙事，以及视频摘要，侧重于高质量和推理密集型数据。
划重点：
- 4.2B 参数，在部分基准测试上击败了GPT-4o（不是mini！！！）
- 使用 500B tokens 进行训练
- 使用 256 张 A100 进行训练（6 天）
- 专注于TextVQA + ScienceVQA
▲采用了BLINK基准测试，包含14个视觉任务，总体而言，模型在相同尺寸下普遍优于竞争对手，并在多帧能力和视频摘要方面与更大的模型竞争。
模型开源地址：
https://huggingface.co/microsoft/Phi-3.5-vision-Instruct
根据开源博客的声明，Phi-3.5系列模型在MIT许可下发布，即允许开发者自由使用、修改、发布、分发甚至销售软件副本。不过，该许可也附带免责声明，即要求软件得是“按原样”提供的，不附带任何形式的担保。微软和其他版权所有者不对因使用该软件而可能引发的任何索赔、损害或其他责任承担责任～
怎么训练？
给大家搬运下官方的训练步骤！我们以大哥Phi-3.5-MoE-instruct 的训练为例，Phi-3.5系列模型都集成到 transformers 的官方版本中，官方版本后续也通过 pip 发布：
- 加载模型时，确保在 from_pretrained() 函数中传递 trust_remote_code=True 作为参数。可以通过以下命令验证当前的 transformers 版本：
pip list | grep transformers。- 安装所需软件包示例：
flash_attn==2.5.8
torch==2.3.1
accelerate==0.31.0
transformers==4.43.0- 分词器
Phi-3.5-MoE-Instruct 支持最多 32064 个 token 的词汇量,分词器文件已经提供了可以用于下游微调的占位符 token，可以扩展到模型的最大词汇量。
- 输入格式
鉴于训练数据的特性，Phi-3.5-MoE-instruct 模型最适合使用以下聊天格式的提示：
- 本地加载模型 在获得 Phi-3.5-MoE-instruct 模型检查点后，用户可以使用以下示例代码进行推理。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
torch.random.manual_seed(0)
model = AutoModelForCausalLM.from_pretrained(
"microsoft/Phi-3.5-MoE-instruct",
device_map="cuda",
torch_dtype="auto",
trust_remote_code=True,
)
tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3.5-MoE-instruct")
messages = [
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
{"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
{"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]
pipe = pipeline(
"text-generation",
model=model,
tokenizer=tokenizer,
)
generation_args = {
"max_new_tokens": 500,
"return_full_text": False,
"temperature": 0.0,
"do_sample": False,
}
output = pipe(messages, **generation_args)
print(output[0]['generated_text'])结语
大家觉得Phi-3.5系列的三兄弟表现如何？虽然不同的基准测试可能让大家对他们的能力有不同的评价，褒贬不一，但不得不说，微软这次确实又开放了一个不错的模型，又OpenAI
了不是！
据看到的新闻，OpenAI 推出了 GPT-4o 微调功能，每天免费送100万Token，允许开发者为特定用例定制模型～
结合今天微软的又一开源，开源和闭源的发展越来越像两条快速延伸平行线，一方面是模型的开放，另一方面是在引导应用方向上的开放。