近日，Meta公司发布了其最新研发成果——开源大模型Llama 3，共包含Llama 3 8B和Llama 3 70B两种规格，参数量级分别为80亿与700亿，并表示这是目前同体量下性能最好的开源模型。相较于前代产品Llama 2，Llama 3在预训练数据上扩大了整整7倍（达到15T tokens），并且在数据质量与训练方式上也进行了深度优化，这无疑为开源大型语言模型（LLM）领域发展再次书写了辉煌篇章。
为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术，天翼云基于开源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架, 搭建了一键部署、开箱即用的云主机镜像。同时，天翼云CPU/GPU云主机近期即将上线Llama 3大模型学习机，期望能够成为帮助用户打开大模型领域之门的第一把钥匙，让更多用户从此了解大模型、学习使用大模型，并利用大模型创造更多可能。
天翼云弹性云主机具备快捷易用、配置丰富、专有网络、安全稳定、多种镜像、高效管理和高性价比等优势，能够为用户提供优质服务体验。云主机支持动态调整计算资源，提供多种实例规格和存储类型，满足用户多元化业务需求；拥有灵活自定义的网络空间，以及多重安全防护，全面保障数据可靠性，助力业务批量快速部署。用户可以通过多种管理方式和多维度监控实现高效管理，并可根据需要灵活选择计费模式，享受专业运营团队的7*24小时服务。此外，天翼云还提供多样异构芯片和计算模型，为用户提供更优算力选择。
通过以下步骤，用户即可基于天翼云主机快速搭建Llama 3的推理或微调环境：
(1) 登录天翼云主机控制台https://console.ctyun.cn/console/index/#/ecm/ecmList；
(2) 创建云主机, 使用指定的规格与Llama 3镜像, 具体可参考部署文档https://www.ctyun.cn/document/10026730/10495072；
(3) 从浏览器登录到学习机页面, 使用Llama 3模型。
天翼云Llama 3大模型学习机在一键部署的基础上还提供以下各类功能, 戳官网还有更详细的帮助文档和教学视频哦！
(1)模型加载：支持加载主流基于transformers框架的模型，只需将模型下载并放置到指定目录下, 无需其他操作，镜像内已预装Llama 3模型；
(2)模型推理：支持使用大语言模型进行多轮对话与文本生成，且支持多人同时使用；
(3)推理参数修改：支持修改大语言模型在推理时控制结果走向的temperature, top_k, top_p等参数；
(4)模型微调：支持基于基础大模型和私有数据，微调训练自己的LoRA小模型，使用小模型进行推理。
访问下方网址解锁更多相关功能！
https://www.ctyun.cn/document/10026730/10495063
通过天翼云大模型学习机
即可实现Llama 3的丝滑应用
除了目前已发布的两种规格，Meta公司宣布一个参数量超过400B的巨量Llama 3也在训练中，并可能会在接下来的几个月内发布。可以预期，Llama 3-400B将会继续推动大语言模型发展迈上新台阶。
在通用人工智能领域蓬勃发展的今天，天翼云将持续坚持科技创新，为行业用户提供可快速搭建大型模型推理或微调环境的解决方案，以及高性能的AI算力集群，助力AIGC产业实现降本增效，进而推动整个行业的繁荣发展。
标签：天翼云,AI,主机,模型,学习机,Llama,推理 From： https://www.cnblogs.com/developer-tianyiyun/p/18189085