运用 Argo Workflows 协调 CI/CD 流水线

标签：CI Kubernetes python app Argo argo CD Workflows

Argo Workflows 是一个开源的容器原生工作流引擎，用于协调 CI/CD 在 Kubernetes 中的运作。它以 Kubernetes 自定义资源（CRD）的形式实现，使开发人员能够创建自定义 API 对象，以兼容的方式扩展 Kubernetes 的功能。

选择 Argo Workflows 的原因

Argo Workflows 旨在运行于 Kubernetes 之上，而非虚拟机或云服务等其他平台。让我们用一分钟时间来强调一下使用 Kubernetes 作为 Argo Workflows 运行平台的优点和缺点。

Argo Workflows 是以 Kubernetes 自定义资源定义（CRD）的形式实现的，它使你能够：

为工作流中的每个步骤使用单独的容器来定义 Kubernetes 工作流。
使用有向无环图 (DAG) 建立工作流模型，捕捉多个步骤之间的依赖关系。
快速轻松地运行计算密集型数据处理或机器学习任务。
无需配置复杂的应用程序开发解决方案，即可在 Kubernetes 上以本地方式运行 CI/CD 流水线。

使用 Argo Workflows 进行 CI/CD

如果您有以下需求，Argo Workflows 将满足您的需求：

灵活处理容器崩溃和故障。
可同时管理大量工作流的自动扩展选项。
全面的企业功能，如基于角色的访问控制（RBAC）和单点登录（SSO）。

但若出现以下情况，您则可能需要避免使用 Argo Workflows：

随着工作流数量和基础设施需求的增长，YAML 文件维护的复杂性可能会增加，尽管 Argo 提供了管理这方面的技巧和模板功能。
您的团队没有容器和 Kubernetes 方面的经验。
您需要维护完整的企业设置，这涉及到管理大量的配置选项。

了解 Argo Workflows 的关键组成部分

Argo Workflows 的核心概念包括定义和存储实时的 Kubernetes CRD 对象，这些对象将指定在适当状态下执行工作流。

例如 workflow.spec，它包含一个模板列表和一个作为主要功能或第一个要执行的模板的 entrypoint。

模板被定义为函数，可以有多种类型，如 containers, script或 resource templates。

容器模板是最常用的模板。脚本模板允许定义脚本，然后执行脚本。资源模板可处理请求，而暂停模板可在规定时间内暂停工作流程的执行，并可使用 Argo UI 恢复执行。模板本身使用嵌套列表依次或并行运行，可根据不同设置进行自定义。

安装

为了开始安装，我们需要在机器上下载 Argo Workflows 二进制文件并保存：

$ curl -sLO https://github.com/argoproj/argo-workflows/releases/download/v3.4.5/argo-darwin-amd64.gz

接下来，我们需要解压从上述命令下载的文件：

$ gunzip argo-darwin-amd64.gz

完成所有步骤后，我们需要修改该文件的权限，使其可以作为程序运行。这样就可以直接从命令行执行 argo 命令：

$ chmod +x argo-darwin-amd64

完成上述操作后，我们需要将该文件从当前目录移至/usr/local/bin 目录：

mv ./argo-darwin-amd64 /usr/local/bin/argo

这样就可以在终端的任意位置执行 argo 命令。若要验证 Argo Workflows 是否安装成功，请运行以下命令：

$ argo version

输出结果将显示已安装的版本号，表明一切正常。

运行示例应用程序

在本节中，我们将使用 Argo Workflows 部署一个带有简单 Python 应用程序的工作流。我们将首先定义构建步骤，然后创建一个工作流来部署和测试应用程序。我们将在本地 minikube 集群上完成所有这些工作，在本地计算机上运行以下命令即可：

$ minikube start

我们现在应该可以应用下面的 Kubernetes 清单文件，该文件将创建 Argo Workflows 所需的各种 Kubernetes 资源：

$ kubectl apply -n argo -f https://github.com/argoproj/argo-workflows/releases/download/v3.4.5/install.yaml

我们已经拥有了开始工作所需的一切，我们的集群现在已经拥有了：

创建和运行工作流所需的(CRD) 。
用于安全、受控地访问 Kubernetes 资源的 RBAC 。
负责执行工作流的 ConfigMap。
我们还设置了一个优先级类别 PriorityClass，以确保 Argo Workflow 控制器具有更高的优先级，并拥有在集群中运行所需的资源。

需要注意的是，Argo Workflows 将使用 YAML 文件定义 CI/CD 工作流程，并指定以下内容：

步骤：您可以添加各种构建步骤，可以是一个，也可以是多个。
依赖项：可以添加运行工作流程所需的任何依赖项。
参数：使您能够自定义工作流程的行为，您可以使用输入参数并将其传入以触发工作流程。为您提供所需的灵活性，并使其可重复使用。

既然已经了解了 Argo Workflows 的功能，我们就可以开始以代码的形式创建和管理我们的工作流了。让我们用三个步骤（deploying，teasing，and building）创建一个 Python 3 应用程序工作流。首先，在 app 目录下创建名为 python-app.yaml 的文件，并添加工作流定义：

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  name: python-app
spec:
  entrypoint: python-app
  templates:
  - name: python-app
    steps:
    - - name: build
        template: build
    - - name: test
        template: test
    - - name: deploy
        template: deploy
  - name: build
    container:
      image: python:3.11
      command: [python]
      args: ["-c", "print('build')"]
  - name: test
    container:
      image: python:3.11
      command: [python]
      args: ["-m", "unittest", "discover", "-s", "/app/tests"]
      volumeMounts:
      - name: test-volume
        mountPath: /app/tests
    volumes:
    - name: test-volume
      hostPath:
        path: /path/to/tests
  - name: deploy
    container:
      image: python:3.11
      command: [python]
      args: ["-c", "print('deploy')"]

在这个例子中，Workflow CRD 定义了 CI/CD 流水线，模板中的每个步骤都有特定的目的：

构建步骤使用最新更改构建镜像，本演示使用的是 Python 3.11 镜像。
测试步骤挂载包含测试文件的卷，并使用 Python unittest 库运行单元测试。
部署步骤运行 Python 容器并打印部署。通常，这一步需要将测试代码推送到容器注册中心，如 AWS ECR 或 Harbor，然后部署到生产环境。

要应用该文件，可以使用 kubectl apply 命令，并在 -f 标志后加上 YAML 文件的路径。下面是一个命令示范：

$ kubectl apply -f python-app.yaml

这将创建一个名称为 python-app 的 Argo Workflows，以及相应的模板和步骤。

现在，让我们执行 argo get 命令来获取有关工作流的信息，包括其状态和日志：

$ argo get python-app
Name:                python-app
Namespace:           default
ServiceAccount:      unset (will run with the default ServiceAccount)
Status:              Succeeded
Conditions:          
 PodRunning          False
 Completed           True
Created:             Mon Mar 20 16:23:06 -0500 (37 seconds ago)
Started:             Mon Mar 20 16:23:06 -0500 (37 seconds ago)
Finished:            Mon Mar 20 16:23:36 -0500 (7 seconds ago)
Duration:            30 seconds
Progress:            3/3
ResourcesDuration:   10s*(1 cpu),10s*(100Mi memory)

STEP           TEMPLATE    PODNAME                      DURATION  MESSAGE
 ✔ python-app  python-app                                           
 ├───✔ build   build       python-app-build-3831382643  4s          
 ├───✔ test    test        python-app-test-461837862    4s          
 └───✔ deploy  deploy      python-app-deploy-988129288  4s

Argo Workflows 的优势

Argo Workflows 是一款功能强大的工具，用于在容器化部署环境中管理和自动化复杂的工作流程。它具有多种优势，包括：

轻松进行版本控制，并以代码形式修改工作流程。
与 Argo Events 集成，可根据事件触发工作流程。
自动重试和错误处理，实现可靠、稳健的工作流执行。
与 Kubernetes 和其他容器协调平台无缝集成。
支持并行和顺序工作流，从而实现更快、更高效的执行。
广泛的监控和日志功能，包括与 Prometheus 和 Grafana 的集成。

结论

总之，如果您的 DevOps 团队希望简化复杂的容器化工作流程的管理和自动化，那么 Argo Workflows 是一款必不可少的工具。不过，在考虑是否使用它时，您应该先评估好团队的云端和 Kubernetes 经验、规模及增长目标。如果您正在 Kubernetes 上构建平台，Argo Workflows 也可以成为平台工程师构建抽象的好工具，从而缓解开发团队在维护 YAML 文件上的痛苦。

作为一款基于平台工程理念构建的应用部署管理平台，Walrus 已在最新版本中集成 Argo Workflows 作为工作流引擎，借助 Argo Workflows 自动化特性，用户可以在 Walrus 上实现一站式应用编排发布。另外，Walrus 中单一配置、多态运行的应用模型，可以让研发人员无需关注底层基础设施具体实现方式，实现了研发与运维关注点分离和自动化协作，进而屏蔽各类环境中基础设施的复杂度，降低研发人员的认知负担，进一步落地平台工程理念。

更多 Walrus 项目信息请参考：https://github.com/seal-io/walrus

标签：CI,Kubernetes,python,app,Argo,argo,CD,Workflows
From： https://www.cnblogs.com/sealio/p/18033963