大模型发展了近两年，Baihai IDP 也分享了近百篇 LLM 各环节的技术洞察，有前沿探讨、有落地实践、有应用经验。但回头来看，我们似乎从来没有认真、从 0 开始探讨过 LLM 的基本原理。
最近，一些企业客户和伙伴来询问，是否有 LLM 的从 0 到 1 的科普贴。他们说：
" 虽然在很多场景中，LLM 都已经渗透入我们的工作生活，但对其内部的运作机制，仍有很多谜团待解决。
在应用落地时，LLMs 这种 “黑箱式” 的运作模式，不仅使我们难以完全信任这些模型的输出结果，也阻碍了我们对其进一步研究和优化的步伐。如果我们无法理解 LLMs 的工作原理，就很难评估它们的局限性，进而制定出有针对性的解决方案。"
因此，我们把这篇 LLM 基础原理文章推荐给大家。
本文为希望深入了解生成式 AI 的开发者、技术爱好者、AI 落地的领导者和研究者们编写，以通俗易懂的语言，系统地剖析了大语言模型的内部结构和训练流程，从 token、next token predictions，到马尔可夫链、神经网络等核心概念，循序渐进地揭示了 LLM 是如何生成文本的。
毫无疑问，随着大语言模型 [1]（LLMs）的新闻不断出现在我们的日常生活，生成式人工智能 [2]（GenAI）已经成为了我们无法忽视的存在。或许你早已体验过 ChatGPT [3] ，甚至把它当作日常生活的小助理了。
面对这场 GenAI 变革，许多人心中都有一个疑问：这些模型表面上的智能（intelligence）究竟源自何处？本文将试图用浅显易懂的语言，不涉及复杂数学公式，来揭秘生成式文本模型的工作原理，让你认识到它们并非魔法，而是计算机算法的产物。