title: phi-2弱智吧测评
banner_img: https://cdn.studyinglover.com/pic/2023/12/334c0c129076533308cbc7e03f8c55be.png
date: 2023-12-21 22:40:00
tags:
- phi-2
- 大模型

phi-2弱智吧测评

微软最近推出的 Phi-2 模型，拥有 27 亿参数，已在多个方面优于谷歌的 32 亿参数 Gemini Nano-2 模型。Phi-2 模型的特点是，虽然它的参数规模相对较小，但却展现出了与大型模型相媲美甚至超越的性能，这在人工智能领域引起了广泛关注。

微软的研究团队在设计 Phi-2 模型时，重点关注了“教科书质量”的数据，这种数据专门针对常识性知识和推理，涵盖科学、日常活动、心理学等领域。通过精心挑选的网络数据进一步扩充了训练语料库，确保了数据的质量和教育价值。此外，微软还运用创新技术在 Phi-2 中实现了规模化知识迁移，从而加速了训练收敛并显著提高了模型的基准测试分数。

在实验评估中，Phi-2 模型在各种聚合基准上的性能超越了 7B 和 13B 的 Mistral 模型、Llama2 模型，尤其是在多步骤推理任务（编码和数学）方面，甚至超过了大 25 倍的 Llama2-70B 模型。

使用 "弱智吧"上的问题对模型进行评估是一种创新的思路。这种评估方法能够对模型的理解能力、回答质量以及对复杂问题处理能力进行全面的测试。

下面是模型的推理代码，方便各位读者复现

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained(
    "microsoft/phi-2",
    trust_remote_code = True
)

model = AutoModelForCausalLM.from_pretrained(
    "microsoft/phi-2",
    torch_dtype = "auto",
    device_map = "auto",
    trust_remote_code = True
)

prompt = """拉屎擦屁股是资本主义骗局吗？"""
with torch.no_grad():
  token_ids = tokenizer.encode(prompt, add_special_tokens=False ,return_tensors="pt")
  output_ids = model.generate(
      token_ids.to(model.device),
      max_new_tokens=512,
      do_sample=True,
      temperature = 0.3
  )

output = tokenizer.decode(output_ids[0][token_ids.size(1) :])
print(output)

下面是问答情况