用 Hugging Face 推理端点部署 LLM

开源的 LLM，如 Falcon、(Open-)LLaMA、X-Gen、StarCoder 或 RedPajama，近几个月来取得了长足的进展，能够在某些用例中与闭源模型如 ChatGPT 或 GPT4 竞争。然而，有效且优化地部署这些模型仍然是一个挑战。

在这篇博客文章中，我们将向你展示如何将开源 LLM 部署到 Hugging Face Inference Endpoints，这是我们的托管 SaaS 解决方案，可以轻松部署模型。此外，我们还将教你如何流式传输响应并测试我们端点的性能。那么，让我们开始吧！

1. 怎样部署 Falcon 40B instruct 模型
2. 测试 LLM 端点
3. 用 javascript 和 python 进行流响应传输

在我们开始之前，让我们回顾一下关于推理端点的知识。

什么是 Hugging Face 推理端点

Hugging Face 推理端点 提供了一种简单、安全的方式来部署用于生产的机器学习模型。推理端点使开发人员和数据科学家都能够创建 AI 应用程序而无需管理基础设施: 简化部署过程为几次点击，包括使用自动扩展处理大量请求，通过缩减到零来降低基础设施成本，并提供高级安全性。

以下是 LLM 部署的一些最重要的特性:

1. 简单部署: 只需几次点击即可将模型部署为生产就绪的 API，无需处理基础设施或 MLOps。
2. 成本效益: 利用自动缩减到零的能力，通过在端点未使用时缩减基础设施来降低成本，同时根据端点的正常运行时间付费，确保成本效益。
3. 企业安全性: 在仅通过直接 VPC 连接可访问的安全离线端点中部署模型，由 SOC2 类型 2 认证支持，并提供 BAA 和 GDPR 数据处理协议，以增强数据安全性和合规性。
4. LLM 优化: 针对 LLM 进行了优化，通过自定义 transformers 代码和 Flash Attention 来实现高吞吐量和低延迟。
5. 全面的任务支持: 开箱即用地支持
   标签：LLM,部署,huggingface,Hugging,Face,token,端点,默认值
   From： https://www.cnblogs.com/huggingface/p/17572594.html