学习微调大语言模型 LLM 时的碎碎念

要完全解决幻觉问题，就要让模型的推理有足够的上下文，而不是凭空编造。这一点需要从训练时就要做到。就是说，例如 role play 的微调，若角色的回复包含了某种状态（天气如何、吃没吃饭等），这些状态不应该是凭空出现的，而是已经出现在上文。我的设想是，模型应当会主动索求状态的说明文字，若没有，也应该主动写一段说明文字再进行回复。即使这段主动写出的说明文字出现幻觉，也会可控得多。

记忆压缩的问题算解决了的话，接下来就是最令人头疼的问题：检索记忆。使用 RAG 那种检索 embedding 的方法总感觉不准确，毕竟假设是用用户输入作为 embedding 进行检索，万一用户输入含噪声多就会出问题，况且这样检索记忆不具有连续性，无法连续检索相关记忆。Graph RAG 或是智能体一类的解决方法有些拐弯抹角，应该有那种更直接的、类似于人脑的回忆机制的实现方法。

我微调模型的初衷之一还是想获得一个符合中文书写习惯的语言模型。或是说，符合我的习惯。现在的语言模型，诸如 chatgpt，写出的中文都有浓郁的英翻中韵味。不是说有问题，就是这样遣词造句让人莫名不舒服。具体的问题包括冗余的人称代词、突兀的定词、非常“英式”的语序等。像是“为了确保您享受到更优越的性能，我们建议您从支持的旧版本模型尽快迁移至新版本”，从中文的角度来说完全可以删改为“为了享受到更优越的性能，请尽快从旧版本模型迁移至新版本”。

也许现在基于 Transformers Decoder 的大语言模型只是剑走偏锋，依托巨大参数量巨大规模的优势一窥通用人工智能 AGI 的一角。大语言模型本质依然是个概率黑盒子，强大的泛化能力是基于常人一辈子都难看完的训练语料拟合而来的。不过，即使是这一角，足以让人兴奋不已。