首页 > 其他分享 >Proj CJI Paper Reading: OffsetBias: Leveraging Debiased Data for Tuning Evaluators

Proj CJI Paper Reading: OffsetBias: Leveraging Debiased Data for Tuning Evaluators

时间：2024-12-30 18:56:47浏览次数：1

标签：Evaluators CJI off Tuning topic bias Proj response

目的： reduce bias of LLMs
Method:

使用GPT4生成off-topic(完全无关的话题）
用GPT3.5生成遵照off-topic回答的bad response
用good response, bad response来微调模型，减少bias

注意：这里off-topic不会作为用于防止注入的data

Abstract

5.

标签：Evaluators,CJI,off,Tuning,topic,bias,Proj,response
From： https://www.cnblogs.com/xuesu/p/18636524

SD模型微调之Textual Inversion和Embedding fine-tuning
SD模型微调方法TextualInversion详细介绍，包括数据集准备，模型微调过程，推理过程，优缺点等。......
解析大模型常用微调方法：P-Tuning、Prefix Tuning、Adapter、LoRA
作者：王海原文：https://zhuanlan.zhihu.com/p/7474042360预训练大模型虽然具有强大的泛化能力和广泛的知识，但它们通常是针对大量通用数据集进行训练的，这使得它们在处理特定任务时可能无法达到最佳效果，比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色，但在物理......
SD模型微调之Textual Inversion和Embedding fine-tuning
SD模型微调方法TextualInversion详细介绍，包括数据集准备，模型微调过程，推理过程，优缺点等。......
转发：【AI系统】Auto-Tuning 原理
在硬件平台驱动算子运行需要使用各种优化方式来提高性能，然而传统的手工编写算子库面临各种窘境，衍生出了自动生成高性能算子的的方式，称为自动调优。在本文我们首先分析传统算子库面临的挑战，之后介绍基于TVM的业界领先的三个自动调优系统。高性能算子挑战DNN部署的硬件平台越来......
转载：【AI系统】Auto-Tuning 原理
在硬件平台驱动算子运行需要使用各种优化方式来提高性能，然而传统的手工编写算子库面临各种窘境，衍生出了自动生成高性能算子的的方式，称为自动调优。在本文我们首先分析传统算子库面临的挑战，之后介绍基于TVM的业界领先的三个自动调优系统。高性能算子挑战DNN部署的硬件平台越来......
转载：【AI系统】Auto-Tuning 原理
在硬件平台驱动算子运行需要使用各种优化方式来提高性能，然而传统的手工编写算子库面临各种窘境，衍生出了自动生成高性能算子的的方式，称为自动调优。在本文我们首先分析传统算子库面临的挑战，之后介绍基于TVM的业界领先的三个自动调优系统。高性能算子挑战DNN部署的硬件平台越来......
大语言模型（LLM）的训练微调 Fine Tuning -- part3 本地调用
以下代码示范如何调用已经微调后的大语言模型，调用本地模型先决条件已经有了本地训练好的大语言模型，如何训练可以参考我的博文《生成式AI》课程作业6大语言模型（LLM）的训练微调FineTuning--part2-CSDN博客文章浏览阅读148次，点赞2次，收藏2次。代码围绕一个主工作目录展开，......
《生成式 AI》课程作业6 大语言模型（LLM）的训练微调 Fine Tuning -- part2
资料来自李宏毅老师《生成式AI》课程，如有侵权请通知下线IntroductiontoGenerativeAI2024Spring来源背景说明该文档主要介绍了国立台湾大学（NTU）2024年春季“生成式人工智能（GenAI）”课程的作业5（GenAIHW5）相关内容，包括任务概述、待办事项、解码参数、提交与评分、参考......
PatentGPT: A Large Language Model for Patent Drafting Using Knowledgebased Fine-
本文是LLM系列文章，针对《PatentGPT:ALargeLanguageModelforPatentDraftingUsingKnowledgebasedFine-tuningMethod》的翻译。PatentGPT：一种使用基于知识的微调方法进行专利起草的大型语言模型摘要1引言2相关工作3提出的方法4实验5基准测试6总结......
AgentTuning：提升大型语言模型的通用Agent能力
人工智能咨询培训老师叶梓转载标明出处大模型被用作现实中复杂任务的Agent时，它们的表现往往不如商业模型，如ChatGPT和GPT-4。这些任务要求LLMs作为中央控制器，负责规划、记忆和工具利用，这就需要精巧的提示方法和鲁棒性强的LLMs来实现。尽管已有多种提示方法被提出来完成特定的A......

Proj CJI Paper Reading: OffsetBias: Leveraging Debiased Data for Tuning Evaluators

Abstract

5.

相关文章

赞助商

阅读排行