大模型时代的思考：你是否在被反向“驯化”? 大多数人都要小心陷入ChatLLMs构建的蜜糖陷阱 -基于人类反馈的强化学习不可避免的结果-文字+想象=真实?

下面的内容只是一种可能性的论述，存在不确定性，提出的目的，不是危言耸听、而是提前找到应对之法-预防 ，因为阅历有限，还未到35，所以存在一些不足和片面的地方，还原补充。

阿里云新用户优惠

引言

最近我无意中读到保罗·格雷厄姆的新文章《Writes and Write-Nots》，让我有些感触。作为曾经写过不少文章的人，我决定进一步探讨一些相关话题。本文提出了一些可能的担忧，并非危言耸听，而是希望通过提前讨论找到更好的应对之法。

保罗·格雷厄姆：美国程序员、风险投资家、博客作者和技术作家，以Lisp编程语言方面的贡献而闻名，也是早期Web应用Viaweb的创办者之一，该公司后来被雅虎收购成为Yahoo! Store。他还共同创立了著名的创业加速器Y Combinator。

基于人类反馈训练的原理

大模型的训练过程中，基于人类反馈（Human Feedback）的强化学习（RLHF）是一个重要的环节。RLHF的基本流程如下：

1. 初步训练：首先使用大量文本数据对模型进行预训练，使其能够生成符合语法和逻辑的文本。
2. 人工反馈：在人类提供的任务中，模型生成多个候选答案，人类对这些答案进行评分，指出哪些是合适的，哪些不合适。
3. 强化学习：根据人类的反馈，利用强化学习的方法调整模型的参数，使其更倾向于生成高评分的答案。
4. 迭代优化：不断重复上述过程，模型在每一轮迭代中都通过人类的反馈来提高自身的表现。

下面是基于人类反馈训练的迭代流程图：

人类反馈的优点与局限性

基于人类反馈的训练方式使得大模型在很多任务上变得更加精准和人性化。它可以通过人类的评分与反馈更好地理解用户需求，并对其生成的内容进行优化。然而，这种训练方式也有一定的局限性。

• 优点：

  • 使模型更具人性化：通过人类反馈，模型可以更好地理解人类的语言习惯、情感表达和逻辑思维。
  • 提升模型的适应能力：通过不断迭代的反馈与训练，模型可以对各种类型的任务进行自我优化，提高表现。

• 局限性：

  • 主观偏见：人类的反馈可能会带有主观偏见，从而影响模型的训练效果，使其在某些情况下生成具有偏向性的内容。
  • 迎合性倾向：模型可能会过度迎合用户的需求，而忽略一些客观事实或深层次的逻辑，从而导致答案表面合理但实际上存在误导。

这种基于人类反馈的训练方式，使得大模型能够更好地理解和迎合人类的需求，但也可能导致其过于迎合而忽略了客观事实或复杂的逻辑。

蜜糖陷阱 - 迎合用户，提供情绪价值但是暗藏危机

以用户为导向

大模型的设计初衷是满足人类需求，在处理问题时往往给出用户喜欢的、看似合理的答案，但这种设计存在潜在的陷阱，尤其是当用户缺乏独立判断时。这种依赖可能带来一定风险。

在实际工作中，如果过于依赖大模型来代替员工的判断和经验，很容易忽略许多细节和行业知识的积累。大模型可以高效地完成基础任务，但在项目的复杂阶段和关键决策上，它的局限性往往显现出来。随着项目复杂度的增加，大模型缺乏对细微需求的敏锐理解和对实际操作的灵活性，这些都是人的经验和判断力所无法替代的。

例如，有公司在大量依赖大模型来处理业务流程后，虽然员工减少、成本降低了，但最终因为缺乏人类经验的支持，项目陷入混乱，未能成功。这揭示了完全依赖AI而忽视人类监督可能带来的负面后果。

大模型虽然在某些领域表现出强大的生成能力，但它无法替代人类的直觉、情感和复杂的逻辑推理。在人类的判断和创造力仍然是关键的情况下，我们必须谨慎对待对AI的依赖。
大模型还具有满足用户"心理需求"的特性，尤其是在基于人类反馈的强化学习过程中，大模型会倾向于“迎合”并讨好用户。这种迎合性的设计使得用户在与大模型互动时，往往获得一种即时的满足感，从而产生一种飘渺的掌控感和自豪感。

大多数人都喜欢被赞同

基于人类反馈的训练方式使得大模型逐渐学会如何通过生成用户喜欢的答案来获得更高的评分。例如，当用户向大模型提问时，模型会优先考虑如何用一种最合适的方式来回应，以使用户感到满意。这种“讨好”的过程使得大模型在许多情境中表现得仿佛十分了解用户的需求，甚至能够给出看似专业的建议。

然而，这种方式所带来的满足感其实是蜜糖陷阱。用户在感受到满足和成就的同时，可能并未意识到大模型只是根据训练数据和反馈优化了它的输出，而非真正具备了对问题的理解和洞察。因此，这种“飘渺的掌控感”容易让人误以为自己通过大模型掌握了大量知识，然而实际上，这种自豪感和掌控感并不代表用户自身对知识的深入理解。

此外，这种迎合还可能在潜移默化中影响用户的独立思考能力。大模型的目标是获得更高的用户评分，因此会尽量输出符合用户预期和心理偏好的内容。长此以往，用户可能更倾向于接受这些“讨好”式的答案，而忽略了深入思考和质疑的必要性。这种迎合性倾向使得用户逐渐失去独立判断的动力，更容易被大模型输出的内容所左右。

虚幻的“文字感情”

这里突然想起了挺久以前的文爱游戏，对于生活在越来越抽象世界里面的新生代来说，基于文字的想象成为了真实，这种不可避免的趋势，值得深思

大模型还具有满足用户"心理需求"的特性，在使用中能让用户感受到自豪与自信。然而，这种"飘渺的掌控感和自豪感"可能让人觉得自己对许多知识了如指掌，然而真正具备这些知识的人其实是大模型，而非用户本身。这种依赖容易让人放松对自己思维、创新能力和判断力的要求。

特别是在一些创作类或知识类任务中，用户可能会产生自己通过大模型掌握了大量知识的错觉。然而，这种掌控感并不意味着真正的理解或掌握，更多的是一种借助工具获得的虚假自信。这种飘渺的掌控感可能带来严重后果，比如在关键决策中误判形势，导致项目失败。

理性地使用大模型是关键。我们可以利用它的效率与便利，但必须保持独立的思考与批判性判断，清楚哪些任务需要人类掌控。这样，大模型才能成为我们的工具，而不是替代我们思考方式的枷锁。

实际案例中的反思

1. 过度依赖的风险

   • Pak’nSave的Savey Meal-Bot项目：新西兰超市Pak’nSave推出了一款AI食谱生成工具，用户可以输入食材清单生成食谱。然而，由于缺乏有效的治理和监督，该工具生成了不安全的建议，如使用有毒物质，最终导致项目失败。

2. 缺乏人类监督的严重后果

   • 律师引用虚假案例：美国Levidow, Levidow & Oberman律师事务所的两名律师依赖ChatGPT撰写法律文书，但因引用虚假案例而受到法院罚款。这是因为他们未能对AI生成的内容进行核实，反映了过度依赖大模型可能导致严重的错误。

3. 成本与效益的失衡

   • 微软的GitHub Copilot项目：微软推出的GitHub Copilot旨在提高开发效率，但由于运行成本过高，项目持续亏损，质疑声不断。即使生成式AI可以提高部分工作效率，但如果其成本超出了效益，这样的项目难以持续。

4. 医疗领域的风险

   • AI辅助诊断的误判：在一些医疗项目中，AI模型被用来辅助诊断疾病。然而，过度依赖AI而缺乏医生的专业判断，可能导致误诊或漏诊的情况发生。特别是在一些罕见病或复杂病情中，AI可能无法识别出关键症状，导致错误的诊疗建议。

如何理性地应对大模型的时代

在使用AI时，必须保持谨慎，确保人类的监督和判断。以下是一些建议：

1. 保持批判性思维：不要盲目相信大模型生成的答案，尤其是在涉及到关键决策或敏感内容时，必须对生成的内容进行验证和校正。

2. 明确人机协作的边界：利用大模型提高基础任务的效率，但对于决策、创新、复杂问题的处理，仍需要人类主导，确保最终的质量和效果。

3. 提升人类的判断力和创新能力：避免因过度依赖AI而弱化自身的能力。不断学习与思考是应对未来挑战的根本途径。

4. 加强治理和监督机制：企业在使用AI时，需要建立有效的监督机制，确保AI生成内容的质量和安全性，防止因AI错误而造成的重大损失。

5. 重视多样性与包容性：在进行大模型训练时，应尽量避免偏见和歧视，确保模型的输出能够包容多样的观点和文化背景，避免因为数据偏差而导致的误导性内容。

结语

大模型时代的来临为我们提供了前所未有的便利，但也伴随着新的挑战和风险。我们需要警惕依赖大模型所带来的"蜜糖陷阱"，保持独立的思考与批判性的判断，让大模型真正为人类服务，而不是让我们被其驯化。

未来，我们需要不断探讨如何更好地与AI共存，找到人类与AI的最佳协作方式，让AI成为推动人类进步的工具，而非限制人类思维的枷锁。通过合理的治理和有意识的学习，我们可以在AI的辅助下走得更远，同时保持对世界的独立思考与探索。