【自动化持续集成必备基础】pipeline常用功能

标签：集成 pipeline 必备 echo sh steps parallel stage

简介

pipeline是一套运行在jenkins上的工作流框架，可以实现复杂流程的编排和可视化运行

pipeline支持两种语法：Declarative Pipeline（声明式流水线）和Scripted Pipeline （脚本式流水线）

本文重点介绍主流的声明式流水线

创建流水线项目

在Jenkins中如果要使用pipeline流水线的话，必须安装pipeline插件

【自动化持续集成必备基础】pipeline常用功能_git

创建一个流水线项目

【自动化持续集成必备基础】pipeline常用功能_并行操作_02

【自动化持续集成必备基础】pipeline常用功能_环境变量_03

pipeline结构（声明式）

基础结构

pipeline {
    agent any
    stages {
        stage("stage") {
            steps {
                echo "hello pipeline"
            }
        }
    }
}

持续集成结构（部分）

pipeline {
  agent any
  stages {
    stage('pull project code') {
      steps {
        sh 'echox pull project code'
      }
    }
 
    stage('mvn package') {
      steps {
        sh 'echo mvn package'
      }
    }
 
    stage('build and push image') {
      steps {
        sh 'echo build and push image'
      }
    }
 
    stage('deploy to k8s') {
      steps {
        sh 'echo deploy to k8s'
      }
    }
 
    stage('pull autotest code') {
      steps {
        sh 'echo pull autotest code'
      }
    }
 
    stage('run autotest') {
      steps {
        sh 'echo run autotest'
      }
    }
 
    stage('allure report') {
      steps {
        sh 'echo allure report'
      }
    } 
  }
}

pipeline结构解析：pipeline

声明式流水线根节点，也是声明式流水线的开始

pipeline {}

pipeline结构解析：agent

agent指定流水线运行在哪个环境之中，有如下选项：

any：在任何环境中执行流水线

pipeline {
    agent any
}

none：表示没有全局的agent配置，每个stage需要指定自己的agent

pipeline {
    agent none 
    stages {
        stage('allure report'){
           agent any
         }
     }
}

node：指定在某个标签的节点上运行

pipeline {
    agent none 
    stages {
        stage('allure report'){
            agent { label 'allureReport-slave-label' }
        }       
    }
}

Dockerfile：通过dockerfile创建镜像并运行容器，在这个容器中运行，用的不多

docker：在docker中运行

k8s：运行在某一个k8s集群中，可以实现动态slave

pipeline结构解析：stages、stage

stages：所有阶段的集合

stage：某一个阶段，stage的名称要唯一

pipeline结构解析：steps

steps：某个阶段要运行的具体步骤，包含一个或多个步骤

示例：

pipeline {
  agent any
  stages {
    stage('pull project code') {
      steps {
        sh """
          echo "pull project code"
          pwd
        """
      }
    }
  }
}

pipeline结构解析：post

可以定义在pipeline或stage中，根据运行状态来匹配做一些操作，主要状态：

always：无论状态如何，都会运行该post中的指令
success：只有成功时才运行
failure：只有失败才运行
aborted：只有取消运行时才运行
unstable：只有运行不稳定时才运行

post和stages平级

示例：

pipeline {
  agent any
  stages {
    stage('pull project code') {
      steps {
        sh 'echox pull project code'
      }
    }
 
    stage('mvn package') {
      steps {
        sh 'echo mvn package'
      }
    }
 
    stage('build and push image') {
      steps {
        sh 'echo build and push image'
      }
    }
 
    stage('deploy to k8s') {
      steps {
        sh 'echo deploy to k8s'
      }
    }
 
    stage('pull autotest code') {
      steps {
        sh 'echo pull autotest code'
      }
    }
 
    stage('run autotest') {
      steps {
        sh 'echo run autotest'
      }
    }
 
    stage('allure report') {
      steps {
        sh 'echo allure report'
      }
    } 
  }
  post {
    always {
      echo "发送邮件"
    }
  }
}

虽然前面都失败了，但是最后post是运行了的

【自动化持续集成必备基础】pipeline常用功能_环境变量_04

【自动化持续集成必备基础】pipeline常用功能_git_05

post也可以和steps平级，参考stage("allure report")

pipeline结构解析：environment

设置流水线的环境变量，可以定义在pipeline中作为全局变量，也可以配置在stage中作为该stage的环境变量。

示例：

pipeline {
  agent any
  environment {
    HARBOR_ADDRESS = "192.168.117.160"
    IMAGE_NAME = "gift"
    NAMESPACE = "gift"
  }
  stages {
    stage('pull project code') {
      steps {
        sh """
          echo "${HARBOR_ADDRESS}"
          echo "${IMAGE_NAME}"
          echo "${NAMESPACE}"
        """
      }
    }
  }
}

结果

【自动化持续集成必备基础】pipeline常用功能_并行操作_06

pipeline结构解析：options

jenkins流水线支持很多内置指令，可以写在pipeline顶层，也可以写在stage中

常用指令：

retry：流水线失败后重试次数，options { retry(2) }

timeout：设置流水线的超时时间，超时后job会自动终止，options{ timeout(time: 10, unit: 'SECONDS') }

timestamps：jenkins控制台输出时间戳，options { timestamps() }

示例：

pipeline {
  agent any
  environment {
    HARBOR_ADDRESS = "192.168.117.160"
    IMAGE_NAME = "gift"
    NAMESPACE = "gift"
  }
  stages {
    stage('pull project code') {
      options {
        timeout(time: 10, unit: 'SECONDS') 
        timestamps()
      }
      steps {
        sh """
          echo "${HARBOR_ADDRESS}"
          sleep 11
          echo "${IMAGE_NAME}"
          echo "${NAMESPACE}"
        """
      }
    }
  }
}

结果

【自动化持续集成必备基础】pipeline常用功能_并行操作_07

pipeline结构解析：parameters

参数化构建，常用参数类型：

string：字符串类型的参数

text：文本型参数，用于定义多行文本内容的变量

booleanParam：布尔型参数

choice：选择型参数

示例

pipeline {
  agent any

  environment {
    HARBOR_ADDRESS = "192.168.117.160"
    IMAGE_NAME = "gift"
    NAMESPACE = "gift"
  }


  parameters {
    string(name: 'StringName', defaultValue: 'jack', description: 'string')
    text(name: 'TextName', defaultValue: '', description: 'text')
    booleanParam(name: 'booleanParamName', defaultValue: true, description: 'booleanParam') 
    choice(name: 'ChoiceName', choices: ['test', 'dev', 'product'], description: 'choice')
  }

  stages {
    stage('pull project code') {
      options {
        timestamps()
      }
      steps {
        sh """
          echo "${params.StringName}"
          echo "${params.TextName}"
          echo "${params.booleanParamName}"
          echo "${params.ChoiceName}"
        """
      }
    }
  }
}

构建一次后，才会出现下面的按钮

【自动化持续集成必备基础】pipeline常用功能_git_08

默认值

【自动化持续集成必备基础】pipeline常用功能_并行操作_09

修改默认值

【自动化持续集成必备基础】pipeline常用功能_环境变量_10

结果

【自动化持续集成必备基础】pipeline常用功能_并行操作_11

pipeline结构解析：when

when允许pipeline根据给定的条件确定是否执行该stage，when必须至少包含一个条件

常用的内置条件：

environment：当指定的环境变量和给定的变量匹配时执行这个stage

equals：当期望值和实际值相同时执行这个stage

expression：当指定的表达式为True时执行这个stage

not：当嵌套条件出现错误时执行这个stage

allOf：当所有的嵌套条件都为True时执行这个stage

anyOf：当至少有一个嵌套条件为True时执行这个stage

environment

pipeline {
  agent any

  environment {
    RunTag = "v1"
  }

  stages {
    stage('pull project code') {
      steps {
        sh 'echo pull project code'
      }
    }
 
    stage('mvn package') {
      steps {
        sh 'echo mvn package'
      }
    }
 
    stage('build and push image') {
      steps {
        sh 'echo build and push image'
      }
    }
 
    stage('deploy to k8s') {
      steps {
        sh 'echo deploy to k8s'
      }
    }
 
    stage('pull autotest code') {
      when {
        environment name: 'RunTag', value: 'v2'
      }
      steps {
        sh 'echo pull autotest code'
      }
    }
 
    stage('run autotest') {
      steps {
        sh 'echo run autotest'
      }
    }
 
    stage('allure report') {
      steps {
        sh 'echo allure report'
      }
    } 
  }
}

【自动化持续集成必备基础】pipeline常用功能_并行操作_12

修改，RunTag = "v2"，则下面pull autotest code会执行　　

【自动化持续集成必备基础】pipeline常用功能_git_13

expression

pipeline结构解析：parallel

在声明式流水线中可以使用parallel字段实现并行构建

示例

pipeline {
  agent any
  stages {
    stage('s1') {
      steps {
        sh 'echo s1'
      }
    }
 
    stage('s2') {
      parallel {
        stage('parallel-1'){
          steps{
            echo "parallel-1"
          }
        }
        stage('parallel-2'){
          steps{
            echo "parallel-2"
          }
        }
      }
    }
 
    stage('s3') {
      steps {
        sh 'echo s3'
      }
    } 
  }
}

结果：

【自动化持续集成必备基础】pipeline常用功能_git_14

修改脚本，让其中一个并行操作失败

pipeline {
  agent any
  stages {
    stage('s1') {
      steps {
        sh 'echo s1'
      }
    }
 
    stage('s2') {
      parallel {
        stage('parallel-1'){
          steps{
            echo "parallel-1"
          }
        }
        stage('parallel-2'){
          steps{
            echox "parallel-2"
          }
        }
      }
    }
 
    stage('s3') {
      steps {
        sh 'echo s3'
      }
    } 
  }
}

结果：

【自动化持续集成必备基础】pipeline常用功能_并行操作_15

其中一个并行操作失败，其它并行操作不受影响，但是并行操作所属stage后面的stage会失败

由于两个并行操作很快，为了验证其它并行操作不受影响，我们在正确的并行操作中加个休眠，这样保证失败的并行操作先执行

pipeline {
  agent any
  stages {
    stage('s1') {
      steps {
        sh 'echo s1'
      }
    }
 
    stage('s2') {
      parallel {
        stage('parallel-1'){
          steps{
            sleep 10
            echo "parallel-1"
          }
        }
        stage('parallel-2'){
          steps{
            echox "parallel-2"
          }
        }
      }
    }
 
    stage('s3') {
      steps {
        sh 'echo s3'
      }
    } 
  }
}

可以看到，失败的并行操作先执行完了

【自动化持续集成必备基础】pipeline常用功能_并行操作_16

最后结果：

【自动化持续集成必备基础】pipeline常用功能_并行操作_17

之所以会是上面的结果（其中一个并行操作出问题，其它并行操作不受影响，但是后面非并行的stage会失败），是因为failFast默认为false

我们将failFast的值改为true，此时，其它并行操作就会是aborted状态（中止，取消运行）

pipeline {
  agent any
  stages {
    stage('s1') {
      steps {
        sh 'echo s1'
      }
    }
 
    stage('s2') {
      failFast true
      parallel {
        stage('parallel-1'){
          steps{
            sleep 10
            echo "parallel-1"
          }
        }
        stage('parallel-2'){
          steps{
            echox "parallel-2"
          }
        }
      }
    }
 
    stage('s3') {
      steps {
        sh 'echo s3'
      }
    } 
  }
}

结果：

【自动化持续集成必备基础】pipeline常用功能_git_18

再添加一个并行操作

pipeline {
  agent any
  stages {
    stage('s1') {
      steps {
        sh 'echo s1'
      }
    }
 
    stage('s2') {
      failFast true
      parallel {
        stage('parallel-1'){
          steps{
            sleep 10
            echo "parallel-1"
          }
        }
        stage('parallel-2'){
          steps{
            echox "parallel-2"
          }
        }
        stage('parallel-3'){
          steps{
            echo "parallel-3"
          }
        }
      }
    }
 
    stage('s3') {
      steps {
        sh 'echo s3'
      }
    } 
  }
}

结果：下面并行任务3仍然执行了，是因为执行太快导致的

【自动化持续集成必备基础】pipeline常用功能_并行操作_19

流水线语法生成器：工具生成

jenkins为我们提供了一个流水线步骤自动生成器，打开创建的pipeline任务，点击流水线语法

【自动化持续集成必备基础】pipeline常用功能_环境变量_20

使用下面两个菜单帮我们生成部分脚本

【自动化持续集成必备基础】pipeline常用功能_git_21

片段生成器：各种插件的pipeline脚本生成

Declarative Directive Generator：声明式指令生成器

示例1（插件）：git

【自动化持续集成必备基础】pipeline常用功能_git_22

结果：

git branch: 'test', changelog: false, credentialsId: 'qzcsbj_gitlab', poll: false, url: '[email protected]:qzcsbj/gift.git'

branch默认为master，changelog和poll默认为true

示例2（指令）：环境变量

【自动化持续集成必备基础】pipeline常用功能_环境变量_23

【自动化持续集成必备基础】pipeline常用功能_并行操作_24

结果：

environment {
  HARBOR_ADDRESS = "192.168.117.160"
  IMAGE_NAME = "gift"
  NAMESPACE = "gift"
}

★★★★★【推荐】企业级自动化持续集成：pipeline综合应用

可以整合python、java等自动化框架

git + gitlab + jenkins + pipeline + maven + harbor + docker + k8s

__EOF__

本文作者：持之以恒（韧）

标签：集成,pipeline,必备,echo,sh,steps,parallel,stage
From： https://blog.51cto.com/qzcsbj/6026252