将LLM集成到项目所花费的成本主要是我们通过API获取LLM返回结果的成本，而这些成本通常是根据处理的令牌数量计算的。我们如何预估我们的令牌数量呢？Tokeniser包可以有效地计算文本输入中的令牌来估算这些成本。本文将介绍如何使用Tokeniser有效地预测和管理费用。
大语言模型（如GPT）中的"tokens"是指模型用来处理和理解文本的基本单位。令牌是语言模型处理文本时的基本单位，可以是单词、子词（subwords）、字符或者其他更小的文本单元。所以我们在计算令牌时不能简单的将单词按照空格分隔，而将一段文本分解成令牌的过程称为"tokenization"，这是预处理文本的重要步骤。
https://avoid.overfit.cn/post/064552e1902b468d834e7d65399dcd04
标签：令牌,文本,LLM,GPT,Tokeniser,成本 From： https://www.cnblogs.com/deephub/p/18062288