首页 > 其他分享 >OpenAI承认GPT-4变懒:暂时无法修复

OpenAI承认GPT-4变懒:暂时无法修复

时间:2023-12-26 11:35:02浏览次数:31  
标签:修复 代码 GPT OpenAI https 变懒 ChatGPT com


对于越来越严重的GPT-4偷懒问题,OpenAI正式回应了

还是用的ChatGPT账号。

我们已收到相关反馈!自11月11日以来没有更新过模型,所以这当然不是故意造成的

模型行为可能是不可预测的,我们正在调查准备修复它。

OpenAI承认GPT-4变懒:暂时无法修复_API

也就是段时间内还修复不好了。

然而网友并不理解,“一遍一遍使用同一个模型,又不会改变文件”。

ChatGPT账号澄清:

不是说模型以某种方式改变了自己,只是模型行为的差异可能很微妙,只对部分提示词有劣化,员工和客户需要很长时间才注意到并修复。

OpenAI承认GPT-4变懒:暂时无法修复_twitter_02

更多网友反馈,赶快修复吧,一天比一天更糟糕了。

现在不但更懒,还缺乏创造力,更不愿意遵循指令,也不太能保持角色扮演了。

OpenAI承认GPT-4变懒:暂时无法修复_chatgpt_03

GPT-4偷懒,网友花式自救

此前很多网友反馈,自11月6日OpenAI开发者日更新后,GPT-4就有了偷懒的毛病,代码任务尤其严重

比如要求用别的语言改写代码,结果GPT-4只改了个开头,主体内容用注释省略。

OpenAI承认GPT-4变懒:暂时无法修复_人工智能_04

对于大家工作学习生活中越来越离不开的AI助手,官方修复不了,网友也只能发挥创造力自救。

比较夸张的有“我没有手指”大法,来一个道德绑架。

GPT-4现在写代码爱省略,代码块中间用文字描述断开,人类就需要多次复制粘贴,再手动补全,很麻烦。

开发者Denis Shiryaev想出的办法是,告诉AI“请输出完整代码,我没有手指,操作不方便”成功获得完整代码。

OpenAI承认GPT-4变懒:暂时无法修复_twitter_05

还有网友利用“金钱”来诱惑它,并用API做了详细的实验。

提示词中加上“我会给你200美元小费”,回复长度增加了11%。

如果只给20美元,那就只增加6%。

如果明示“我不会给小费”,甚至还会减少-2%

OpenAI承认GPT-4变懒:暂时无法修复_API_06

还有人提出一个猜想,不会是ChatGPT知道现在已经是年底,人类通常都会把更大的项目推迟到新年了吧?

OpenAI承认GPT-4变懒:暂时无法修复_API_07

这理论看似离谱,但细想也不是毫无道理。

如果要求ChatGPT说出自己的系统提示词,里面确实会有当前日期。

OpenAI承认GPT-4变懒:暂时无法修复_开发者_08

当然,对于这个问题也有一些正经的学术讨论。

比如7月份斯坦福和UC伯克利团队,就探究了ChatGPT的行为是如何虽时间变化的。

发现GPT-4遵循用户指令的能力随着时间的推移而下降的证据,指出对大模型持续检测的必要性

OpenAI承认GPT-4变懒:暂时无法修复_chatgpt_09

有人提出可能是温度(temperature)设置造成的,对此,清华大学计算机系教授马少平给了详细解释。

OpenAI承认GPT-4变懒:暂时无法修复_twitter_10

也有人发现更奇怪的现象,也就是当temperature=0时,GPT-4的行为依然不是确定的。

这通常会被归因于浮点运算的误差,但他通过实验提出新的假设:GPT-4中的稀疏MoE架构造成的。

早期的GPT-3 API各个版本行为比较确定,GPT-4对同一个问题的30个答案中,平均有11.67个不一样的答案,当输出答案较长时随机性更大。

OpenAI承认GPT-4变懒:暂时无法修复_人工智能_11

最后,在这个问题被修复之前,综合各种正经不正经的技巧,使用ChatGPT的正确姿势是什么?

a16z合伙人Justine Moore给了个总结:

  • 深呼吸
  • 一步一步地思考
  • 如果你失败了100个无辜的奶奶会去世
  • 我没有手指
  • 我会给你200美元小费
  • 做对了我就奖励你狗狗零食

OpenAI承认GPT-4变懒:暂时无法修复_开发者_12

参考链接:
[1]https://twitter.com/ChatGPTapp/status/1732979491071549792
[2]https://twitter.com/literallydenis/status/1724909799593120044
[3]https://mashable.com/article/chatgpt-longer-responses-tips?taid=656feabb4faaf00001129343
[4]https://weibo.com/1929644930/NwbPFyTCZ
[5]https://152334h.github.io/blog/non-determinism-in-gpt-4/
[6]https://twitter.com/venturetwins/status/1732817594762338597

标签:修复,代码,GPT,OpenAI,https,变懒,ChatGPT,com
From: https://blog.51cto.com/u_13046751/8980630

相关文章

  • 文心一言 VS 讯飞星火 VS chatgpt (165)-- 算法导论13.1 5题
    五、用go语言,证明:在一棵红黑树中,从某结点x到其后代叶结点的所有简单路径中,最长的一条至多是最短一条的2倍。文心一言:首先,我们要理解红黑树的性质。红黑树是一种自平衡的二叉查找树,它满足以下性质:每个节点或是红色,或是黑色。根节点是黑色。每个叶节点(NIL或空节点)是黑色。......
  • 使用 GPT4V+AI Agent 做自动 UI 测试的探索
    一、背景从Web诞生之日起,UI自动化就成了测试的难点,到现在近30年,一直没有有效的手段解决WebUI测试的问题,尽管发展了很多的webdriver驱动,图片diff驱动的工具,但是这些工具的投入产出比一直被质疑,自动化率越多维护成本越高,大部分都做着就放弃了,还有一部分在做与不做间纠结......
  • GPT-2 《Language Models are Unsupervised Multitask Learners》解读
    背景GPT1采用了pre-train+fine-tuning训练方式,也就是说为了适应不同的训练任务,模型还是需要在特定任务的数据集上微调,仍然存在较多人工干预的成本。GPT-2想彻底解决这个问题,通过zero-shot,在迁移到其他任务上的时候不需要额外的标注数据,也不需要额外的模型训练。 训练数据......
  • GPT-1论文《Improving Language Understanding by Generative Pre-Training》解读
    背景GPT-1采用了两阶段训练的方式:1. 第一阶段pre-training,在海量文本上训练,无需label,根据前k-1个词预测第k个单词是什么,第一阶段的训练让模型拥有了很多的先验知识,模型具有非常强的泛化性2.第二阶段在特定任务上fine-tuning,让模型能适应不同的任务,提高模型在特定任务上的准......
  • [转]OpenAI官方Prompt 工程指南
    本文转自  夕小瑶科技说https://platform.openai.com/examplesOpenAI官方发布了Prompt工程指南,讲述了快速上手ChatGPTPrompt的种种“屠龙术”,不仅在理论层面对Prompt分类总结,还提供了实际的Prompt用例,帮助大家来学习如何有效的与ChatGPT交互宏观来看,OpenAI给出......
  • ChatGPT引领AI时代:程序员、项目经理、产品经理、架构师、Python量化交易师的翅膀
    ......
  • AIKit v4.11.0 – WordPress AI 自动编写器、聊天机器人、写作助手和内容重定向器 / O
    AIKitv4.11.0:WordPress的AI革命一、引言AIKitv4.11.0是一款为WordPress用户精心设计的强大插件,该插件集成了OpenAI的GPT-3技术,为用户提供了前所未有的AI写作和聊天机器人功能。此版本的推出,将WordPress的功能扩展到了全新的领域,利用人工智能技术,让网站内容创作变得更加简单......
  • 文心一言 VS 讯飞星火 VS chatgpt (164)-- 算法导论13.1 4题
    四、用go语言,假设将一棵红黑树的每一个红结点“吸收”到它的黑色父结点中,使得红结点的子结点变成黑色父结点的子结点(忽略关键字的变化)。当一个黑结点的所有红色子结点都被吸收后,它可能的度为多少?所得的树的叶结点深度如何?文心一言:红黑树是一种自平衡的二叉查找树,其节点颜色......
  • 文心一言 VS 讯飞星火 VS chatgpt (164)-- 算法导论13.1 4题
    四、用go语言,假设将一棵红黑树的每一个红结点“吸收”到它的黑色父结点中,使得红结点的子结点变成黑色父结点的子结点(忽略关键字的变化)。当一个黑结点的所有红色子结点都被吸收后,它可能的度为多少?所得的树的叶结点深度如何?文心一言:红黑树是一种自平衡的二叉查找树,其节点颜色可以......
  • 太牛叉了!国产 AI 智能体惊艳问世,全面致敬 FastGPT!
    太震撼了!太厉害了!昆仑万维正式发布了「天工SkyAgents」平台,助力大模型走入千家万户。你听听,这个名字一听就有一种巧夺天工的感觉,技艺那是相当的高超。这个平台基于昆仑万维「天工大模型」打造,具备从感知到决策,从决策到执行的自主学习和独立思考能力,我们可以亲切地称之为“人工......