首页 > 其他分享 >利用大模型设计测试用例

利用大模型设计测试用例

时间:2024-10-10 10:10:54浏览次数:1  
标签:tokenizer text 模型 token 测试用例 pad input 设计 id

安装python 依赖 

pip install torch transformers accelerate sentencepiece   python代码,设计一个测试用例
from transformers import AutoTokenizer, AutoModelForCausalLM
import os
import torch  # 导入 torch 库

# 设置 HTTP 和 HTTPS 代理(如果需要)
os.environ['http_proxy'] = 'http://127.0.0.1:7890'
os.environ['https_proxy'] = 'http://127.0.0.1:7890'

# 禁用 symlink 警告
os.environ['HF_HUB_DISABLE_SYMLINKS_WARNING'] = '1'

# 加载 DistilGPT 模型和 tokenizer  google/gemma-2b  distilgpt2
tokenizer = AutoTokenizer.from_pretrained("google/gemma-2b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-2b")

# 设置 pad_token_id(DistilGPT 默认没有设置 pad_token)
tokenizer.pad_token_id = tokenizer.eos_token_id  # 将 pad_token_id 设置为 eos_token_id

# 示例输入文本
input_text = "Once upon a time"
input_text = "怎么搭建Redis?"
input_text = "请设计一个登录测试用例?"

# 编码输入文本
input_ids = tokenizer.encode(input_text, return_tensors='pt')

# 创建 attention mask,1 表示实际的 token,0 表示 padding
attention_mask = (input_ids != tokenizer.pad_token_id).long()  # 使用 long()

# 生成文本
output = model.generate(input_ids, max_length=500, num_return_sequences=1, attention_mask=attention_mask, pad_token_id=tokenizer.eos_token_id)

# 解码输出
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)

print(generated_text)

输出:

 

标签:tokenizer,text,模型,token,测试用例,pad,input,设计,id
From: https://www.cnblogs.com/testway/p/18455772

相关文章

  • 【AI大模型】深入Transformer架构:编码器部分的实现与解析(下)
      目录......
  • 游戏百科网站系统,这个项目要怎么去设计呢?附源码
    其实设计一个游戏百科网站系统,如同打造一把钥匙,开启通往无限游戏世界的门户。这个系统将是一座桥梁,连接着热爱游戏的玩家们与无尽游戏知识。它不仅需要是信息丰富的百科全书,还应是活泼、互动的社区。现在,让我们开始这段设计之旅。需求分析与目标设定玩家的声音:我们深入论坛,......
  • 就业岗位数据分析,这个项目要怎么去设计呢?附源码
        其实设计一个就业岗位数据分析程序如同在一座繁华的城市中建造一座指引灯塔,旨在帮助求职者在复杂的就业市场中找到他们的方向。这个系统不仅需要照亮当前的路,还应当预见未来的潮流,为政策制定者提供决策支持。现在,让我们像讲述一个故事一样,娓娓道来这个设计过程。......
  • java计算机毕业设计实验课程安排与资料管理系统(开题+程序+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景在当今高等教育体系中,实验课程作为理论与实践相结合的重要环节,对于培养学生的实践能力和创新思维具有不可替代的作用。然而,传统的人工管理方式在实验......
  • java计算机毕业设计三人行微课堂教学综合管理(开题+程序+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着信息技术的飞速发展,教育领域正经历着深刻的变革。传统的课堂教学方式已难以满足多元化、个性化的学习需求。特别是在微课堂教学模式下,如何实现高......
  • java计算机毕业设计球场预定管理(开题+程序+论文)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景在现代都市生活中,体育运动已成为人们休闲娱乐、保持健康的重要方式。随着城市化进程的加快,各类球场设施如雨后春笋般涌现,满足了不同人群的运动需求。......
  • 网页设计模板怎么使用-如何去修改呢?
    使用和修改网页设计模板通常涉及以下几个步骤:选择合适的模板:根据你的网站需求选择一个适合的设计模板。下载或安装模板:从模板提供商处下载模板文件,并按照说明将其安装到你的网站系统中。了解模板结构:通过查看模板的HTML、CSS和JavaScript文件来理解其基本结构和样式设置。修......
  • 世界职业院校技能大赛赛道设计对“新双高”专业群建设的启示
    2024年,中国教育部宣布了一项重要的教育战略调整,将全国职业院校技能大赛升级为全球性的赛事——世界职业院校技能大赛。这一决定体现了中国教育部对职业教育国际化的重视,并在《2024年世界职业院校技能大赛实施方案》中明确了这一转变。 全国职业院校技能大赛官网改版上线......
  • 系统架构设计师教程 第12章 12.3 信息系统架构设计方法 笔记
    12.3信息系统架构设计方法★★★★☆12.3.1ADM架构开发方法1.TOGAF概述TOGAF(TheOpenGroupArchitectureFramework,TOGAF)是一种开放式企业架构框架标准,它为标准、方法论和企业架构专业人员之间的沟通提供一致性保障。TOGAF版本包括六个组件:(1)架构开发方法:这......
  • 多模态大语言模型(MLLM)-InstructBlip深度解读
    前言InstructBlip可以理解为Blip2的升级版,重点加强了图文对话的能力。模型结构和Blip2没差别,主要在数据集收集、数据集配比、指令微调等方面下文章。创新点数据集收集:将26个公开数据集转换为指令微调格式,并将它们归类到11个任务类别中。使用了其中13个数据集来进行指令......