该论文提出了一个新的框架，用于在强模型和弱模型之间进行查询路由选择。通过学习用户偏好数据，预测强模型获胜的概率，并根据成本阈值来决定使用哪种模型处理查询 。该研究主要应用于大规模语言模型（LLMs）的实际部署中，通过智能路由在保证响应质量的前提下显著降低成本。
通过创新的路由框架和算法，有效地在强模型和弱模型之间进行查询路由选择，大幅度降低了成本，同时保持了响应质量。
https://avoid.overfit.cn/post/58a7809e80ad42bbb1425b8eff261837
标签：框架,RouteLLM,模型,查询,响应,LLM,路由 From： https://www.cnblogs.com/deephub/p/18285366