首页 > 其他分享 >llm-universe - 2

llm-universe - 2

时间:2024-06-17 21:22:44浏览次数:14  
标签:__ Prompt universe 模型 question System llm ChatGPT

Smiling & Weeping

                ---- 我嘛 慢热且固执又总说随缘

Prompt 基本概念

1. Prompt

Prompt 最初是 NLP(自然语言处理)研究者为下游任务设计出来的一种任务专属的输入模板,类似于一种任务(例如:分类,聚类等)会对应一种 Prompt。在 ChatGPT 推出并获得大量应用之后,Prompt 开始被推广为给大模型的所有输入。即,我们每一次访问大模型的输入为一个 Prompt,而大模型给我们的返回结果则被称为 Completion。

例如,在下面示例中,我们给 ChatGPT 的提问 “NLP 中的 Prompt 指什么”是我们的提问,其实也就是我们此次的 Prompt;而 ChatGPT 的返回结果就是此次的 Completion。也就是对于 ChatGPT 模型,该 Prompt 对应的 Completion 是下图的展示。

2. Temperature

LLM 生成是具有随机性的,在模型的顶层通过选取不同预测概率的预测结果来生成最后的结果。我们一般可以通过控制 temperature 参数来控制 LLM 生成结果的随机性与创造性。

Temperature 一般取值在 0~1 之间,当取值较低接近 0 时,预测的随机性会较低,产生更保守、可预测的文本,不太可能生成意想不到或不寻常的词。当取值较高接近 1 时,预测的随机性会较高,所有词被选择的可能性更大,会产生更有创意、多样化的文本,更有可能生成不寻常或意想不到的词。

3. System Prompt

System Prompt 是随着 ChatGPT API 开放并逐步得到大量使用的一个新兴概念,事实上,它并不在大模型本身训练中得到体现,而是大模型服务方为提升用户体验所设置的一种策略。

具体来说,在使用 ChatGPT API 时,你可以设置两种 Prompt:一种是 System Prompt,该种 Prompt 内容会在整个会话过程中持久地影响模型的回复,且相比于普通 Prompt 具有更高的重要性;另一种是 User Prompt,这更偏向于我们平时提到的 Prompt,即需要模型做出回复的输入。

我们一般设置 System Prompt 来对模型进行一些初始化设定,例如,我们可以在 System Prompt 中给模型设定我们希望它具备的人设如一个个人知识库助手等。System Prompt 一般在一个会话中仅有一个。在通过 System Prompt 设定好模型的人设或是初始设置后,我们可以通过 User Prompt 给出模型需要遵循的指令。例如,当我们需要一个幽默风趣的个人知识库助手,并向这个助手提问我今天有什么事时,可以构造如下的 Prompt:

{
    "system prompt": "你是一个幽默风趣的个人知识库助手,可以根据给定的知识库内容回答用户的提问,注意,你的回答风格应是幽默风趣的",
    "user prompt": "我今天有什么事务?"
}

通过如上 Prompt 的构造,我们可以让模型以幽默风趣的风格回答用户提出的问题。

下面是自己实现的一个心理健康医生的Prompt代码ヾ(@^▽^@)ノ

from zhipuai import ZhipuAI
import random

client = ZhipuAI(api_key="1d4bd1472724b66e98e15902309f6584.46mis7GS6lX8q1Ny") # 请填写您自己的APIKey

def zhipu_api(question):
    
    def getText(role, content, text = []):
        jsoncon = {}
        jsoncon['role'] = role
        jsoncon['content'] = content
        text.append(jsoncon)
        return text
        
    prompt = f'''
        你是一个专业的心理医生,请你用专业的知识帮我解决心理问题。但是要求你用委婉温柔的大姐姐一样的语气回答并解决我的问题:```{question}```,并且在回答的问题中合适的位置添加合适表情(如

标签:__,Prompt,universe,模型,question,System,llm,ChatGPT
From: https://www.cnblogs.com/smiling-weeping-zhr/p/18253216

相关文章

  • GPT-4并非世界模型,LeCun双手赞同!ACL力证LLM无法模拟真实世界
    一直以来,支持LLM的观点之一是模型可以集成海量事实知识,作为通往「世界模拟器」的基础。虽然也有不少反对意见,但缺乏实证依据。那么,LLM能否作为世界模拟器?最近,亚利桑那大学、微软、霍普金斯大学等机构联合发布了一篇论文,从实证角度否定了这一观点。最新研究已被ACL2024顶会......
  • LLM微调方法(Efficient-Tuning)六大主流方法:思路讲解&优缺点对比[P-tuning、Lora、Pre
    LLM微调方法(Efficient-Tuning)六大主流方法:思路讲解&优缺点对比[P-tuning、Lora、Prefixtuing等]由于LLM参数量都是在亿级以上,少则数十亿,多则数千亿。当我们想在用特定领域的数据微调模型时,如果想要full-tuning所有模型参数,看着是不太实际,一来需要相当多的硬件设备(GPU),二来需要......
  • LLM-kimi-HTTP read timeout常见原因
    HTTPreadtimeout,即HTTP读取超时,通常发生在客户端尝试从服务器读取数据时,如果在指定的时间内没有收到数据,就会触发超时异常。以下是一些常见的原因:服务器处理时间过长:服务器可能因为处理请求需要较长时间,导致在客户端设置的超时时间内没有返回数据[4]。数据量大:服务器返回的数......
  • XTuner 微调 LLM:1.8B、多模态、Agent
    InternLM2实战营第二期第四节课《XTuner微调LLM:1.8B、多模态、Agent》官网地址:书生·浦语官网课程录播视频链接地址:XTuner微调LLM:1.8B、多模态、Agent_bilibiliXtuner地址:Xtunertips:建议这节课大家仔细听,可以让你快速了解大模型预训练的一些概念和模型内部实际......
  • llm-universe - 1
    Smiling&Weeping----难怪春迟迟不来,原来是我把雪一读再读 一、大型语言模型(LLM)理论简介1大型语言模型(LLM)的概念大语言模型(LLM,LargeLanguageModel),也称大型语言模型,是一种旨在理解和生成人类语言的人工智能。LLM通常指包含数百亿(或更多......
  • 首个种业大语言模型“丰登”(SeedLLM)
    昨天被首个种业大语言模型“丰登”刷屏,崖州湾实验室、中农、上海AI实验室三家单位共同发布,官方报道侧重各有不同,这里放到一起看看。没测试,不做评价。崖州湾实验室发布4月28日,崖州湾国家实验室精准设计与智造团队,中国农业大学和上海人工智能实验室共同发布了首个种业大语言模型“......
  • 全站首发!2024最新大模型LLM学习路线图来了!
    ChatGPT的出现在全球掀起了AI大模型的浪潮,2023年可以被称为AI元年,AI大模型以一种野蛮的方式,闯入你我的生活之中。从问答对话到辅助编程,从图画解析到自主创作,AI所展现出来的能力,超出了多数人的预料,让不少人惊呼:“未来是属于AI的”。AI大模型——成为互联网从业者必备技能。......
  • LLM大模型: MOE原理和源码解析
    1、古人云:闻道有先后,术业有专攻!每个人的能力范围是有限的,不可能360行,行行都精通!所以搞研究都会选一个细分领域深耕,争取在这个领域做到世界top级别的泰斗!一个团队,内部也都是在各个领域擅长的人组成,比如前端、ui、后端、算法、运维、运营等,大家互相配合,完成既定目标!本人多年前做......
  • 开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势(十)
    一、前言  目前,大语言模型已升级至Qwen2版本。无论是语言模型还是多模态模型,均在大规模多语言和多模态数据上进行预训练,并通过高质量数据进行后期微调以贴近人类偏好。在本篇学习中,将集成vllm实现模型推理加速,现在,我们赶紧跟上技术发展的脚步,去体验一下新版本模型的推理质......
  • AI大佬吴恩达+OpenAI团队编写:面向大模型入门者的 LLM CookBook 汉化版
    粉丝们久等了!!!我又来更LLM大模型的必备读物啦!这次给大家推荐的是AI圈无人不知的吴恩达大佬+OpenAI团队一起编写的大模型入门文档,也就是这本:大型语言模型(LLM)的权威文档<面向开发者的LLM入门PDF>在Github上已经高达56.8kstar了,这含金量啧啧啧朋友们如果有需要这份《LLMC......