首页 > 其他分享 >PromptBench:大型语言模型的对抗性基准测试

PromptBench:大型语言模型的对抗性基准测试

时间:2023-06-22 17:00:12浏览次数:35  
标签:LLM 基准 对抗性 测试 PromptBench 模型

PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。这个的工具是理解LLM的重要一步,随着这些模型在各种应用中越来越普遍,这个主题也变得越来越重要。

研究及其方法论

PromptBench采用多种对抗性文本攻击,研究人员生成了4000多个对抗性提示,然后通过8个任务和13个数据集对其进行评估。这种全面的方法确保了潜在漏洞的广泛覆盖,并提供了对LLM性能的可靠评估。

 

https://avoid.overfit.cn/post/48766e3c21a8495bb991b0135912ce8e

标签:LLM,基准,对抗性,测试,PromptBench,模型
From: https://www.cnblogs.com/deephub/p/17498004.html

相关文章

  • 浪潮云海完成业界首个“一云多芯”SPEC Cloud基准测试,建立行业参考基准
    近日,浪潮云海OS完成业界首个面向一云多芯场景的SPECCloud基准测试,在三种处理器节点混合部署集群测试中,相对可扩展性、平均实例配置时间等指标均达到全球领先水平,验证了云海OS在业务应用跨处理器架构场景下的高效率、高性能和高扩展能力。云海OS在成功完成全球最大规模单一集群云数......
  • 一篇理解LPR、基准、加点、上浮
    听说房贷利率又降了,为什么我的没降? 现在银行利率到底是多少? 老说LPR,到底是个啥东西? 我办房贷的时候还没有LPR,现在是咋算的? 我的房贷利率6点多,有没有办法降低一些? 别急,今天老鸟给大家一次谈清楚。01最新房贷利率是多少房贷利率降了。 4月8日,银行公布了最新的......
  • 对抗性自动编码器系列--有监督对抗自动编码器SAAE的原理及实现-随机数生成想要的数字
    文章目录前言监督对抗性自动编码器SAAE风格和内容的分离SAAE训练结果AEAAESAAE实验对比结果恢复效果对比从随机数重建图像的效果这部分实验代码前言先来看看实验:我们使用MNIST手写数字,测试通过自动编码器和对抗性自动编码器学习重建恢复效果。原始图像:自动编码器重建效果......
  • 对抗性自动编码器系列--自动编码器AutoEncoder的原理及实现-手写数字的重建
    文章目录前言自动编码器介绍自动编码器重建手写数字关于损失函数重建结果这部分实验代码前言先来看看实验:我们使用MNIST手写数字,测试通过自动编码器和对抗性自动编码器学习重建恢复效果。原始图像:自动编码器重建效果对抗性自动编码器重建效果虽然这里看到,自动编码器和对抗性自......
  • PMP - 四大基准
    什么是范围基准?项目管理计划中规定的,用于衡量项目进展和成功的要素如何指定项目基准确定项目目标和范围(确定过程:包括与客户或其他利益相关者的会议和讨论,了解项目背景交付物关键要素和可接受范围)制定项目计划(是制定项目基准的前提。项目计划要求:制定可执行的可量化的进度、......
  • GO基准测试
    如何确定N的循环次数不变量:时间,一般为1s,可以外部运行时指定关键代码func(b*B)launch(){ //Signalthatwe'redonewhetherwereturnnormally //orbyFailNow'sruntime.Goexit. deferfunc(){ b.signal<-true }() //Runthebenchmarkforatleastthe......
  • 首个机器学习实时特征平台测试基准论文被 VLDB 2023 录取
    国际顶级数据库学术会议VLDB2023将于2023年8月份在加拿大温哥华举办。近日,由清华大学、新加坡国立大学、以及OpenMLDB社区联合完成的科研成果-业界第一个严谨的机器学习实时特征平台测试基准,被大会录取并且受邀在现场报告。论文题目为:FEBench:ABenchmarkforReal-Ti......
  • 医学AI又一突破,微软开源生物医学NLP基准:BLURB
    By超神经内容概要:微软团队发布生物医学领域NLP基准,命名为BLURB,已在arxiv.org中发布相关论文,并将其开源。关键词:生物医学 自然语言处理 基准微软的研究团队近日在arxiv.org发布了论文:《Domain-SpecificLanguageModelPretrainingforBiomedicalNaturalLanguageProce......
  • 论文分享:使用生成对抗性网络的照片真实单图像超分辨率
    尽管使用更快和更深的卷积神经网络在单幅图像超分辨率的精度和速度上取得了突破,但一个中心问题仍然很大程度上没有解决:当我们以大的放大因子进行超分辨时,我们如何恢复更精细的纹理细节?基于优化的超分辨方法的行为主要由目标函数的选择驱动。最近的工作主要集中在最小化均方重建误......
  • Google掀桌了,GLUE基准的时代终于过去了?
    文|Severus大家好,我是Severus,一个在某厂做中文文本理解的老程序员。今年11月,Google在NeurIPS2021投稿了一篇文章,名为AIandtheEverythingintheWholeWideWorldBenchmark,矛头直指评估AI模型“通用”能力的基准(ImageNet、GLUE/SuperGLUE),文章中用词相当凶狠,这里我简单截......