函数计算助您 7 分钟极速部署开源对话大模型

本方案将借助阿里云函数计算，您能够迅速部署并利用来自魔搭社区（ModelScope）的开源大模型，实现高效便捷的大模型服务应用。只需短短 10 分钟，即可将这些强大模型部署至阿里云函数计算平台，立即开启您的文本生成服务之旅。

无需自备或维护高昂的 GPU 资源，函数计算的按需付费模式让您无需担忧前期投入与运维开销，真正实现成本节约，同时享受云计算带来的无限可能与灵活性。尽情体验云计算带来的便利与灵活性。

适用客户

寻求无代码途径快速探索 AI 大模型的业务人员
寻求构建 AI 大模型应用但缺乏 GPU 资源的开发者
寻求简化技术门槛以有效利用 AI 大模型的企业

使用产品

函数计算 FC
文件存储 NAS

方案概览

本方案利用函数计算的无服务器架构，您可以在函数计算控制台选择魔搭（ModelScope）开源大模型应用模板；同时，我们将利用文件存储 NAS ，为应用服务所需的大模型和相关文件提供一个安全的存储环境；最终通过访问提供的域名进行模型的调用与验证。仅需三步，即可玩转目前热门 AI 大模型。

本方案的技术架构包括以下基础设施和云服务：

函数计算：用于提供基于大模型的应用服务。
文件存储 NAS：用于存放 ModelScope 模型。
专有网络 VPC：用于配置专有网络，方便函数计算访问文件存储 NAS。

部署应用

**借助于函数计算应用模板，您可以便捷地将魔搭社区的开源大模型部署到函数计算上。 **

访问函数计算应用模板 [ 1] ，参考图片模型来源选择 ModelScope；模型 ID 填入ZhipuAI/chatglm3-6b；模型版本填入 v1.0.2；地域目前仅支持华东1（杭州）或华东2（上海），选择华东2（上海） ；模型任务类型填入 chat；Access Token 填入 ModelScope 的访问令牌。在 modelscope 访问令牌页面 [ 2] 获取。其余配置项保持默认值即可，单击创建应用。模型下载可能会花费 15 分钟左右，请耐心等待部署完成。

a. 针对当前应用，角色权限可能会不足，此时需要单击前往授权为角色授予所需权限。

b. ModelScope 的访问令牌。在 modelscope 访问令牌页面获取。

c. 更多开源 LLM，您可以到 ModelScope 官网 [ 3] 查询对应的模型 ID。

创建成功后，为应用开启闲置预留模式。配置预留实例，您可以有效避免因实例冷启动导致的请求延迟问题。同时，您可以配置预留实例的弹性伸缩规则如定时伸缩和水位伸缩，提高实例使用率，解决资源浪费问题。

a. 应用部署完成后，在资源信息区域单击后缀为 model-app-func 的函数名称跳转至函数详情页。

b. 在函数详情页，选择配置页签，在左侧导航栏，选择预留实例，然后单击创建预留实例数策略。

c. 在创建预留实例数策略页面，版本和别名选择为 LATEST，预留实例数设置为 1，启用闲置模式，然后单击确定。

d. 等待容器实例成功启动后，可以看到当前预留实例数为 1，且显示已开启闲置模式字样，表示闲置预留实例已成功启动。

3.（可选）如果您不配置存储，应用会在相同地域下匹配名称是 Alibaba-Fc-V3-Component-Generated 的 NAS：如果有就挂载；如果没有则会新建一个 NAS，挂载到后缀为 model-cache、model-download-func 和 model-app-func 的函数。如果您想绑定其他已有的 NAS 文件系统，可在网络和存储进行配置，更多详情请参见配置 NAS 文件系统 [ 4] 。

使用 LLM 应用

**部署完成后，您可以使用函数计算应用提供的域名访问服务，与模型进行对话。 **

在环境详情页面，点击访问域名右侧的域名，使用 LLM 应用。

重要： 请注意保护域名的安全，不要泄露给其他人，以防产生额外费用。

***.devsapp.net 域名是 CNCF SandBox 项目 Serverless Devs 社区所提供，仅供学习和测试使用，不可用于任何生产使用；社区会对该域名进行不定期的拨测，并在域名下发 30 天后进行回收，强烈建议您绑定自定义域名以获得更好的使用体验，详细请见配置自定义域名。