未来已来：LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推荐

未来已来：LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推荐

1.LLMops 是当前 AI infra 必争新标地

• 行业格局：AI infra 蓬勃发展，359 个应用总估值 13T，融资 $29.8B，从 DevOps->MLOps->LLMOps 演进； LLMOps 是 all-in-one 的大模型原生应用的开发和运营新范式。它强调从软件开发流水线到 “创意工作室”，多角色协同工作和快速市场反馈，以实现数据飞轮和业务成功。与传统 DevOps 相比，LLMOps 更注重业务、运营和销售等多方面的协同，确保大型 AI 模型在实际应用中的高效、可扩展和安全性。

• 复杂应用开发是趋势：模型与应用加速分离，模型竞争是超头部化的，应用落地优势在独特场景和稀缺数据 / 知识上，解决越好越有壁垒，越不会被基础模型折叠

• 只有能力全面架构先进的 LLMOps 才能满足复杂应用落地要求：从宏观的角度来看，所有 XOps 本质上是为了开发部署生命周期的提效。大模型的 AI 应用需要需要结合业务、运营和销售等多方面经验，多角色协同要有快速反馈，重点除了开发运维还有运营。

• LLMOps 业务新范式，带动组织增质提效：

  1. now：专人专岗，工业化流水线

  

  2. after：多角色实时协同，“创意” 工作坊

  

2.面临难度和解法（行业模式）

难度高：

1. 以终为始，agent-as-a-service，用 AI 重塑工作流实现落地难点高，存在诸多例如技术选型、GPU 资源、RAG 能力、策略调度、API 和业务系统集成等需要解决的共性问题，需要做集中建设
   • 策略架构选型：multi-agent 实现如何实现复杂流程自主推理和执行精确性
   • 服务化颗粒度：tool / 插件 / action、tool api 质量和丰富度
   • 高质量知识构建
   • RAG&re-act* 自主性和飞轮

2.面向未来，大模型是 AI 民主化革命，如何定义和建设一套 AI-native 工作流产品需要集中建设，不仅仅做 AI-enhanced 产品，只提供 “更快的马”。LLM 应用落地核心原则是普惠和普及，让开发者、业务专家、客户等泛 AI 人群都能参与到 LLM 应用创新和落地中，真正落地 AI 民主化个性化的价值。这也意味着一个 AI 平台背后用户需求和用户群体极其多样性；因此在 UI 体验灵活性、功能可拓展性和开放性的三个产品维度弹性非常大，产品难度高。

• for pro：充分熟悉业务场景，基本掌握策略效果调优的人。加速策略调优的模块化能力；细节开放的灵活度
• for dev：底层控制能力的灵活性和可拓展性，全流程开发过程的支持
• for C 类：易用性和直观性

行业内主要模式

1. RAG+REACT 的超级自动化是垂类 agent 应用的核心路径：流程自动化（多系统协同）**使得大语言模型将算力和数据转化为智力，AI Agent 将专家知识转化为自动化能力 **

2. 何为 AI-native 工作流？？面向未来的设计是什么如何落地

agent 就是 AI-native 工作流，核心是以流程为中心的对任务的规划和执行；模型选择、预置提示词、多轮对话配置应该包含在流程中而不是流程作为一个涉及复杂配置时才使用的插件和补充项；核心是一套图灵完备的流程调度的机制并对其中每个节点的状态充分可观测（保证在一个流程配置页面中可以搞定所有事情，而不是为了看起来的简单使用在页面中多个地方进行跳转）

3.LLM开源框架总结

更多Agengt框架详细解读见文章：

• AI Agent技术的最新进展与改变世界的典型项目巡礼

• 从众中取优：开源Agent市场深度调研，近20款主流开源Agent框架的技术亮点与适用场景深度剖析

• 百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索

3.1 主流的Agent框架

智能体的英文名是 Agent，是指基于大语言模型有能力主动思考和行动的智能实体，并具有以下特点：

• 主动思考与行动的能力：智能体不仅能被动地响应指令，而且能够主动进行思考和决策。

• 感知和理解需求：智能体能够理解用户的需求，这通常涉及到对自然语言的理解。

• 拆解目标和形成规划“：智能体能够将复杂的任务分解为更小、更可管理的步骤，并制定实现这些步骤的计划。

• 记忆能力：智能体拥有一定程度的记忆能力，能够存储和回忆先前的交互、知识和经验，以此来指导当前的决策和行为。

• 使用工具和 API：智能体能够利用各种外部工具和应用程序接口（API）来执行任务和访问信息。

• 决策和行动：最终，智能体能够基于以上过程做出决策并采取行动。

1. AutoGPT(161k stars)> https://github.com/Significant-Gravitas/AutoGPT

2. LangChain(82.7k stars)> https://github.com/langchain-ai/langchain

3. MetaGPT(39.1k stars)> https://github.com/geekan/MetaGPT

4. AutoGen(24.8k stars)> https://github.com/microsoft/autogen

5. dify(22.7k stars):> https://github.com/langgenius/dify

6. ChatDev(22.7k stars):> https://github.com/OpenBMB/ChatDev

7. BabyAGl(19.2k stars):> https://github.com/yoheinakajima/babyagi

8. SuperAGl(14.4k stars):> https://github.com/TransformerOptimus/SuperAG

9. FastGPT(12.5k stars)> https://github.com/labring/FastGPT

10. CrewAl(12.1k stars) https://github.com/joaomdmoura/crewAl

3.2 主流的RAG框架

1. LangChain(86k stars)https://github.com/langchain-ai/langchain/ 当之无愧的霸主，范围很全面，但代码

2. Quivr(33.4k stars) https://github.com/StanGirard/quivr

3. Llamalndex(32.1k stars) https://github.com/run-llama/llama_index/

4. Dify(31.2k stars) https://github.com/langgenius/dify

5. Langchain-Chatchat(28.5k stars) https://github.com/chatchat-space/Langchain-Chatchat

6. QAnything(9.7k stars) https://github.com/netease-youdao/QAnything， 特点是加入rerank，后期更新也加入了文档理解

7. danswer(9.5k stars) https://github.com/danswer-ai/danswer

8. RAGFlow(8.3k stars) https://github.com/infiniflow/ragflow 特点是前期处理文档理解

9. langchain4j(3.5k stars) https://github.com/langchain4j/langchain4j

10. Verba(4.3k stars) https://github.com/weaviate/Verba

4.LLMops推荐

4.1 阿里云百炼

官方链接：https://bailian.console.aliyun.com/?spm=a2c4g.11186623.0.0.791f3568k8CouN&accounttraceid=494cccbc11014cf1a6f54cba1bc77e68dsju#/home

阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。面向企业客户和个人开发者，提供完整的模型服务工具和全链路应用开发套件，预置丰富的能力插件，提供API及SDK等便捷的集成方式，高效完成大模型应用构建

大模型服务平台百炼是一站式的企业专属大模型生产平台，基于通义基础大模型，提供企业专属大模型开发和应用的整套工具链。

• 面向对象：企业、开发者及ISV的技术人员。

• 核心能力：支持开箱即用的应用调用，大模型训练微调和一站式在线灵活部署。

• 服务形式：通过API服务输出给客户，方便客户进行集成和使用专属大模型能力。

• 应用编排：支持客户打通自己的业务能力API，使得客户可以将专属大模型能力集成到自己的业务链路中。

• 工具多样：系统内置插件能力，支持Python解释器、夸克搜索、图片生成、计算器等，更方便客户一键使用；同时也可以通过自定义插件实现工具能力更加便捷。

更多内容参考链接：

https://help.aliyun.com/zh/model-studio/getting-started/alibaba-cloud-model-studio-quick-start

https://www.aliyun.com/product/bailian?utm_content=se_1017009305

4.2 通义modelscope

官网：https://www.modelscope.cn/my/overview

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

• 丰富的预训练SOTA模型：覆盖NLP、CV、Audio等多领域的具有竞争力的SOTA模型，更有行业领先的多模态大模型，全部免费开放下载以及使用。

• 多元开放的数据集：汇集行业和学术热门的公开数据集，更有阿里巴巴集团贡献的专业领域数据集等你来探索。

• 一行代码使用模型推理能力：提供基于模型的本地推理接口，以及线上模型推理预测服务，方便开发者快速验证与使用。

• 十行代码快速构建专属行业模型：十几行代码实现对预训练模型的微调训练（finetune），方便开发者基于行业数据集快速构建专属行业模型。

• 即开即用的在线开发平台：一键开启在线Notebook实训平台，集成官方镜像免除环境安装困扰，链接澎湃云端算力，体验便捷的交互式编程。

• 灵活的模型框架与部署方式：兼容主流AI框架，更好地实现模型迁移；多种模型训练与服务部署方式，提供更多自主可控的选择。

4.2.1 ModelScope-Agent:

基于开源大语言模型的可定制Agent系统：https://github.com/modelscope/modelscope-agent/blob/master

Modelscope-Agent是一个可定制的、可扩展的Agent代码框架。单Agent具有角色扮演、LLM调用、工具使用、规划、记忆等能力。 主要具有以下特点：

• 简单的Agent实现流程：仅需指定角色描述、LLM名称、工具名列表，即可实现一个Agent应用，框架内部自动实现工具使用、规划、记忆等工作流的编排。
• 丰富的模型和工具：框架内置丰富的LLM接口，例如Dashscope和Modelscope模型接口，OpenAI模型接口等。内置丰富的工具，例如代码运行、天气查询、文生图、网页解析等，方便定制专属Agent。
• 统一的接口和高扩展性：框架具有清晰的工具、LLM注册机制，方便用户扩展能力更加丰富的Agent应用。
• 低耦合性：开发者可以方便的直接使用内置的工具、LLM、记忆等组件，而不需要绑定更上层的Agent。

4.2.2 AgentScope

AgentScope是一个创新的多智能体开发平台，旨在赋予开发人员使用大模型轻松构建多智能体应用的能力。

网址：https://github.com/modelscope/agentscope/blob/main

• 标签：github,范式,运维,AI,模型,Agent,LLMops,https,com
  From： https://blog.csdn.net/sinat_39620217/article/details/140550807