• 2024-09-30.net core elsa工作流程框架源码学习之Pipeline管道的理解
    elsa这个框架运用管道来实现切面编程,切面编程的意义我的理解是在于:把业务逻辑和其他与业务不相关的逻辑进行解耦,或者把通用的逻辑:异常处理,日志处理等在不侵入业务逻辑的情况下,服务与这些业务。接下来,详细看看elsa框架的管道是怎么实现的。主要依靠,下面这个委托方法,这个方法返回一
  • 2024-09-27ERROR:start workflow error,dolphinscheduler log重复刷屏(死循环)直至磁盘存满
    在使用ds过后发现,我虚拟机中的磁盘内存全部沾满了查看目录下大于100M的文件:find/-size+100M查看后发现问题在于ds产生的日志文件特别大而且多,查看日志后发现日志中一直都在死循环错误:startworkflowerror 等其中文件下的目录可以直接全部删除:cd /opt/install
  • 2024-09-25ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发A0
    合集-ArgoWorkflow(5)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow&Template概念08-202.ArgoWorkflow教程(一)--DevOps另一选择?云原生CICD初体验08-063.ArgoWorkflow教程(三)---使用Artifacts实现步骤间文件共享08-29:milou加速器4.ArgoWorkflow教程(四)---Workfl
  • 2024-09-25ArgoWorkflow教程(五)---Workflow 的多种触发模式:手动、定时任务与事件触发
    上一篇我们分析了argo-workflow中的archive,包括流水线GC、流水线归档、日志归档等功能。本篇主要分析Workflow中的几种触发方式,包括手动触发、定时触发、Event事件触发等。1.概述ArgoWorkflows的流水线有多种触发方式:手动触发:手动提交一个Workflow,就会触发一次构建
  • 2024-09-15Agentic workflow of LLM
    AgenticDesignPatternshttps://www.deeplearning.ai/the-batch/how-agents-can-improve-llm-performance/?ref=dl-staging-website.ghost.ioReflection:TheLLMexaminesitsownworktocomeupwithwaystoimproveit. ToolUse:TheLLMisgiventoolssuchas
  • 2024-09-13ArgoWorkflow教程(四)---Workflow & 日志归档
    上一篇我们分析了argo-workflow中的artifact,包括artifact-repository配置以及Workflow中如何使用artifact。本篇主要分析流水线GC以及归档,防止无限占用集群中etcd的空间。1.概述因为ArgoWorkflow是用CRD方式实现的,不需要外部存储服务也可以正常运行:运行记录
  • 2024-09-10浅谈人工智能之Python调用AutoGen Studio SDK
    浅谈人工智能之Python调用AutoGenStudioSDK引言在之前的文档中我们讲解了如何搭建AutoGenStudio环境以及基于AutoGenStudio构建AIAgent并且进行执行。今天我们介绍如何通过Python调用AutoGenStudio提供的SDK来运行workflow,即AIAgent。实例说明第一步:我们使用命
  • 2024-09-08Pipeline流水线通过git拉取Jenkinsfile报错 error: RPC failed; result=22, HTTP code = 404
    Pipeline流水线通过git拉取Jenkinsfile报错error:RPCfailed;result=22,HTTPcode=404在学习共享库时使用通过git拉取jenkinsfile时,报错在排查gitlab服务状态,网络通讯,防火墙规则以及Jenkins凭据均可以正常使用,最后发现的时在URL填写中缺少.git结尾所导致的,在了解后得知在
  • 2024-09-03【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢?
    问题描述使用标准版的AzureLogicApp服务,可以创建多个工作流(workflow),如果在启用/禁用其它的工作流时,是否会对正在运行其它工作流造成影响呢? 问题解答在实际的测验中,我们得到的答案是:会造成影响!在Disabled/Enabled同一个LogicApp中的Workflow时,正在运行的Workflow会受到影响!一
  • 2024-08-29ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享
    上一篇我们分析了Workflow、WorkflowTemplate、template之间的关系。本篇主要分析如何在argo-workflow中使用S3存储artifact实现步骤之间的文件共享。本文主要解决两个问题:1)artifact-repository如何配置2)Workflow中如何使用1.artifact-repository配置ArgoWork
  • 2024-08-28Argo Workflow 介绍:一款强大的云原生持续集成工具
    Argoworkflow是什么老牌的CICD工具Jenkins应该是大部分都接触过的,而在云原生时代,诞生了两大CI/CD框架,也就是ArgoWorkflow和Tekton,本文主要介绍一下ArgoWorkflow。ArgoWorkflow是一个云原生的工作流引擎,基于kubernetes来做编排任务,目前Argo项目是CNCF的毕
  • 2024-08-27Azkaban的认识与使用
    在大数据领域的加工/计算层(MapReduce),涉及了繁多的工作流workflow,为了应对工作流的可视化、可调整、可跟踪等需求,Azkaban应运而生。Azkaban isabatchworkflowjobschedulercreatedatLinkedIntorunHadoopjobs.Azkaban是LinkedIn创建的一个批处理工作流作业调度器,用
  • 2024-08-24【Azure Logic App】在逻辑应用中开启或关闭一个工作流是否会对其它工作流产生影响呢?
    问题描述使用标准版的AzureLogicApp服务,可以创建多个工作流(workflow),如果在启用/禁用其它的工作流时,是否会对正在运行其它工作流造成影响呢? 问题解答在实际的测验中,我们得到的答案是:会造成影响!在Disabled/Enabled同一个LogicApp中的Workflow时,正在运行的Workflow会受到
  • 2024-08-22从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)
    从海量信息中脱颖而出:Workflow智能分析解决方案,大语言模型为AI科技文章打造精准摘要评分体系(总篇章)1.简介该项目整合了编程、AI、产品设计、商业科技及个人成长等多领域的精华内容,源自顶尖技术企业和社群。借助先进语言模型技术,对精选文章进行高效摘要、专业评分及多语种翻译,
  • 2024-08-20云原生时代:从 Jenkins 到 Argo Workflows,构建高效 CI Pipeline
    云原生时代:从Jenkins到ArgoWorkflows,构建高效CIPipeline阿里云云原生 6月5日 浙江阅读 9 分钟 作者:蔡靖ArgoWorkflowsArgoWorkflows [ 1] 是用于在Kubernetes上编排Job的开源的云原生工作流引擎。可以轻松自动化和管理Kubernetes
  • 2024-08-20ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念
    上一篇我们部署了ArgoWorkflow,并创建了一个简单的流水线做了个Demo。本篇主要分析ArgoWorkflow中流水线相关的概念,了解概念后才能更好使用ArgoWorkflow。本文主要分析以下问题:1)如何创建流水线?Workflow中各参数含义2)WorkflowTemplate流水线模版如何使用,3)Workflow、Wo
  • 2024-08-18Elsa V3学习之介绍篇
    一、ELSAV3概述ELSA是一个开源的工作流引擎,旨在帮助开发者快速构建和管理复杂的工作流。ELSAV3是该框架的最新版本,带来了许多新特性和改进,使得工作流的创建和管理更加高效和灵活。1.1主要特性可视化设计器:ELSAV3提供了一个直观的可视化工作流设计器,允许用户通过拖放方
  • 2024-08-06ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验
    本文主要记录了如何使用ArgoWorkflow构建流水线,以及ArgoWorkflow中的Workflow、Template等概念模型。本文主要分析以下问题:1)如何创建流水线2)Workflow、Template、template自己的引用关系3)Workflow和Template之间的参数传递问题4)ArgoWorkflow流水线最佳实践1
  • 2024-08-01微软GraphRAG框架源码解读(LLMs)
    1.引言这几天微软开源了一个新的基于知识图谱构建的检索增强生成(RAG)系统:GraphRAG。该框架旨在利用大型语言模型(LLMs)从非结构化文本中提取结构化数据,构建具有标签的知识图谱,以支持数据集问题生成、摘要问答等多种应用场景。GraphRAG的一大特色是利用图机器学习算法针对数据
  • 2024-07-14工作流-workflow_Dagster or Prefect介绍
    工作流预定工作流动态工作流根据具体的需求和场景选择合适的工作流引擎进行使用Dagster生态PrefectPrefect是一种新的工作流管理系统动态工作流程:Prefect允许用户创建可以基于输入数据或条件进行更改的动态工作流程Prefectisaworkfloworchestrationframewor
  • 2024-07-14工作流-workflow_FireWorks 介绍
    计算和工作流介绍对代码和数据的版本管理,以及对工作流的管理,家加上计算环境,可以使数据结果复现或者让工作流自动执行-source+workflow+env-->sink1.软件开发体验和数据代码管理GitGit-LFS(GitLargeFileStorage)DVC(DataVersionControl)2.工作流
  • 2024-07-10关于ComfyUI的一些Tips
    关于ComfyUI的一些Tips前言:最近发的ComfyUI相关文章节奏不知道会不会很快,在创作的时候没有考虑很多,想着把自己的知识分享出去。后台也看到很多私信,有各种各样的问题,这是我欠缺考虑了,今天这篇文章呢,根据私信的问题我大致整理了一下,给大家一些小tips。目录一、将ComfyUI安装在
  • 2024-07-10工作流表设计
    1.流程管理workflows表用于存储所有的工作流信息。CREATETABLE`workflows`(`id`INTAUTO_INCREMENTPRIMARYKEYCOMMENT'主键ID',`name`VARCHAR(255)NOTNULLCOMMENT'工作流名称',`description`TEXTCOMMENT'工作流描述',`created_at`T
  • 2024-07-04Windows11系统System.Workflow.Activities.dll文件丢失问题
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个System.Workflow.Activities.dll文件(挑选合
  • 2024-07-01Windows11系统System.Workflow.Activities.resources.dll文件丢失问题
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个System.Workflow.Activities.resources.dll