- 2024-11-07AI人工智能代理工作流 AI Agent WorkFlow:在数据分析中的应用
AI代理,工作流,数据分析,自动化,机器学习,深度学习,自然语言处理1.背景介绍在当今数据爆炸的时代,数据分析已成为各行各业不可或缺的环节。然而,传统的数据分析方法往往依赖于人工干预,效率低下,难以应对海量数据的处理需求。为了解决这一问题,人工智能代理工作流(AIAgentWorkF
- 2024-10-30终于有了!!!基于Langgraph使用本地LLM搭建agent!!!
需求Langchain是使用闭源LLM实现agent搭建的,Langgraph官网给的例子是基于Claude,其他一些agent例子也是基于OPENAI的,但是对于很多私有化场景,使用本地LLM搭建agent是非常重要的。但是网上并没有相关的教程,捣鼓了两天,捣鼓出来Ollama+Langgraph实现的基于本地LLM的agent搭建模
- 2024-10-29ArgoWorkflow教程(八)---基于 LifecycleHook 实现流水线通知提醒
本篇介绍一下ArgoWorkflow中的ExitHandler和LifecycleHook功能,可以根据流水线每一步的不同状态,执行不同操作,一般用于发送通知。1.概述本篇介绍一下ArgoWorkflow中的ExitHandler和LifecycleHook功能,可以根据流水线每一步的不同状态,执行不同操作,一般用于发送通知。
- 2024-10-16【AIGC】AI Agent 和 AI Workflow 的区别,Agent搭建
Agent详解引言AIAgent和AIWorkflow的区别1.定义与功能2.自主性与灵活性3.应用场景AIWorkflowAIAgent详解基本特征分类应用场景dify搭建简单的agent结语引言随着AI的不断进步,我们见证了多种不同类型的AI概念的出现。其中,AIAgent和AIWorkflow是两个经常
- 2024-09-30.net core elsa工作流程框架源码学习之Pipeline管道的理解
elsa这个框架运用管道来实现切面编程,切面编程的意义我的理解是在于:把业务逻辑和其他与业务不相关的逻辑进行解耦,或者把通用的逻辑:异常处理,日志处理等在不侵入业务逻辑的情况下,服务与这些业务。接下来,详细看看elsa框架的管道是怎么实现的。主要依靠,下面这个委托方法,这个方法返回一
- 2024-09-27ERROR:start workflow error,dolphinscheduler log重复刷屏(死循环)直至磁盘存满
在使用ds过后发现,我虚拟机中的磁盘内存全部沾满了查看目录下大于100M的文件:find/-size+100M查看后发现问题在于ds产生的日志文件特别大而且多,查看日志后发现日志中一直都在死循环错误:startworkflowerror 等其中文件下的目录可以直接全部删除:cd /opt/install
- 2024-09-25ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发A0
合集-ArgoWorkflow(5)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow&Template概念08-202.ArgoWorkflow教程(一)--DevOps另一选择?云原生CICD初体验08-063.ArgoWorkflow教程(三)---使用Artifacts实现步骤间文件共享08-29:milou加速器4.ArgoWorkflow教程(四)---Workfl
- 2024-09-25ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发
上一篇我们分析了argo-workflow中的archive,包括流水线GC、流水线归档、日志归档等功能。本篇主要分析Workflow中的几种触发方式,包括手动触发、定时触发、Event事件触发等。1.概述ArgoWorkflows的流水线有多种触发方式:手动触发:手动提交一个Workflow,就会触发一次构建
- 2024-09-15Agentic workflow of LLM
AgenticDesignPatternshttps://www.deeplearning.ai/the-batch/how-agents-can-improve-llm-performance/?ref=dl-staging-website.ghost.ioReflection:TheLLMexaminesitsownworktocomeupwithwaystoimproveit. ToolUse:TheLLMisgiventoolssuchas
- 2024-09-13ArgoWorkflow教程(四)---Workflow & 日志归档
上一篇我们分析了argo-workflow中的artifact,包括artifact-repository配置以及Workflow中如何使用artifact。本篇主要分析流水线GC以及归档,防止无限占用集群中etcd的空间。1.概述因为ArgoWorkflow是用CRD方式实现的,不需要外部存储服务也可以正常运行:运行记录
- 2024-09-10浅谈人工智能之Python调用AutoGen Studio SDK
浅谈人工智能之Python调用AutoGenStudioSDK引言在之前的文档中我们讲解了如何搭建AutoGenStudio环境以及基于AutoGenStudio构建AIAgent并且进行执行。今天我们介绍如何通过Python调用AutoGenStudio提供的SDK来运行workflow,即AIAgent。实例说明第一步:我们使用命
- 2024-09-08Pipeline流水线通过git拉取Jenkinsfile报错 error: RPC failed; result=22, HTTP code = 404
Pipeline流水线通过git拉取Jenkinsfile报错error:RPCfailed;result=22,HTTPcode=404在学习共享库时使用通过git拉取jenkinsfile时,报错在排查gitlab服务状态,网络通讯,防火墙规则以及Jenkins凭据均可以正常使用,最后发现的时在URL填写中缺少.git结尾所导致的,在了解后得知在
- 2024-09-03【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢?
问题描述使用标准版的AzureLogicApp服务,可以创建多个工作流(workflow),如果在启用/禁用其它的工作流时,是否会对正在运行其它工作流造成影响呢? 问题解答在实际的测验中,我们得到的答案是:会造成影响!在Disabled/Enabled同一个LogicApp中的Workflow时,正在运行的Workflow会受到影响!一
- 2024-08-29ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享
上一篇我们分析了Workflow、WorkflowTemplate、template之间的关系。本篇主要分析如何在argo-workflow中使用S3存储artifact实现步骤之间的文件共享。本文主要解决两个问题:1)artifact-repository如何配置2)Workflow中如何使用1.artifact-repository配置ArgoWork
- 2024-08-28Argo Workflow 介绍:一款强大的云原生持续集成工具
Argoworkflow是什么老牌的CICD工具Jenkins应该是大部分都接触过的,而在云原生时代,诞生了两大CI/CD框架,也就是ArgoWorkflow和Tekton,本文主要介绍一下ArgoWorkflow。ArgoWorkflow是一个云原生的工作流引擎,基于kubernetes来做编排任务,目前Argo项目是CNCF的毕
- 2024-08-27Azkaban的认识与使用
在大数据领域的加工/计算层(MapReduce),涉及了繁多的工作流workflow,为了应对工作流的可视化、可调整、可跟踪等需求,Azkaban应运而生。Azkaban isabatchworkflowjobschedulercreatedatLinkedIntorunHadoopjobs.Azkaban是LinkedIn创建的一个批处理工作流作业调度器,用
- 2024-08-24【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢?
问题描述使用标准版的AzureLogicApp服务,可以创建多个工作流(workflow),如果在启用/禁用其它的工作流时,是否会对正在运行其它工作流造成影响呢? 问题解答在实际的测验中,我们得到的答案是:会造成影响!在Disabled/Enabled同一个LogicApp中的Workflow时,正在运行的Workflow会受到
- 2024-08-22从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)
从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)1.简介该项目整合了编程、AI、产品设计、商业科技及个人成长等多领域的精华内容,源自顶尖技术企业和社群。借助先进语言模型技术,对精选文章进行高效摘要、专业评分及多语种翻译,
- 2024-08-20云原生时代:从 Jenkins 到 Argo Workflows,构建高效 CI Pipeline
云原生时代:从Jenkins到ArgoWorkflows,构建高效CIPipeline阿里云云原生 6月5日 浙江阅读 9 分钟 作者:蔡靖ArgoWorkflowsArgoWorkflows [ 1] 是用于在Kubernetes上编排Job的开源的云原生工作流引擎。可以轻松自动化和管理Kubernetes
- 2024-08-20ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念
上一篇我们部署了ArgoWorkflow,并创建了一个简单的流水线做了个Demo。本篇主要分析ArgoWorkflow中流水线相关的概念,了解概念后才能更好使用ArgoWorkflow。本文主要分析以下问题:1)如何创建流水线?Workflow中各参数含义2)WorkflowTemplate流水线模版如何使用,3)Workflow、Wo
- 2024-08-18Elsa V3学习之介绍篇
一、ELSAV3概述ELSA是一个开源的工作流引擎,旨在帮助开发者快速构建和管理复杂的工作流。ELSAV3是该框架的最新版本,带来了许多新特性和改进,使得工作流的创建和管理更加高效和灵活。1.1主要特性可视化设计器:ELSAV3提供了一个直观的可视化工作流设计器,允许用户通过拖放方
- 2024-08-06ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验
本文主要记录了如何使用ArgoWorkflow构建流水线,以及ArgoWorkflow中的Workflow、Template等概念模型。本文主要分析以下问题:1)如何创建流水线2)Workflow、Template、template自己的引用关系3)Workflow和Template之间的参数传递问题4)ArgoWorkflow流水线最佳实践1
- 2024-08-01微软GraphRAG框架源码解读(LLMs)
1.引言这几天微软开源了一个新的基于知识图谱构建的检索增强生成(RAG)系统:GraphRAG。该框架旨在利用大型语言模型(LLMs)从非结构化文本中提取结构化数据,构建具有标签的知识图谱,以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG的一大特色是利用图机器学习算法针对数据
- 2024-07-14工作流-workflow_Dagster or Prefect介绍
工作流预定工作流动态工作流根据具体的需求和场景选择合适的工作流引擎进行使用Dagster生态PrefectPrefect是一种新的工作流管理系统动态工作流程:Prefect允许用户创建可以基于输入数据或条件进行更改的动态工作流程Prefectisaworkfloworchestrationframewor
- 2024-07-14工作流-workflow_FireWorks 介绍
计算和工作流介绍对代码和数据的版本管理,以及对工作流的管理,家加上计算环境,可以使数据结果复现或者让工作流自动执行-source+workflow+env-->sink1.软件开发体验和数据代码管理GitGit-LFS(GitLargeFileStorage)DVC(DataVersionControl)2.工作流