首页 > 其他分享 >基于Drone实现CI/CD【0到1架构系列】

基于Drone实现CI/CD【0到1架构系列】

时间:2024-07-29 11:40:47浏览次数:12  
标签:CI name DRONE drone Drone docker CD com latest

CI/CD是持续性集交和持续性部署,简单来讲就是自动化构建和自动化部署。目前有很多集成方案,也有很多组装方案,只要能实现自动化构建出制品,再自动部署到生产环境就行。

目前很多源代码都集成了CI/CD功能,drone也是目前比较流行的一个方案,简单易用,高性能。

前提条件

已经使用Gitea部署作用源码管理,使用gitea搭建源码管理 。

已经使用Harbor部署私库,harbor 搭建和部署。

已经使用Portainer部署,portainer安装,配置,使用。

准备工作

拉取我们接下来CI/CD工作有可能会用到的docker镜像,后面会继续解释这些镜像的作用。

#自动构建
docker pull drone/drone
docker pull drone/drone-runner-docker

#自动部署
docker pull drone/drone-runner-ssh
docker pull docker
docker pull plugins/docker
docker pull curlimages/curl

 自动构建

drone是服务中心或者理解成任务中心,Git的webhook会通知到这里。

drone-runner-docker相当于实际参于构建工作的作业容器,drone-runner-docker定时与drone通讯获取构建任务,然后按规定的流程执行相应工作。这个流程的设计由.drone.yml配置文件决定,所以编写.drone.yml也是主要核心。

步骤一,设置Gitea的OAuth2登陆,因为drone采用OAuth2登陆方案。

登陆Gitea -> 右上角 -> 管理后台 -> 管理设置 -> 集成 -> 应用。创建应用,重定向 URI地址填写你部署的dron域名,例如:htts://drone.xxxx.com/login

步骤二,启动容器,可以单个容器启动,这里使用docker-compose进行管理。

version: "3"
 
services:
  drone-server:
    image: drone:latest
    container_name: drone
    environment:
      - DRONE_GITEA_SERVER=https://gitea.xxxx.com   #你部署的源码地址
      - DRONE_GITEA_CLIENT_ID=dadda5f7-a951-4e8a-a2de-ebf737a5bef5 #Oauth2登陆,客户端Id
      - DRONE_GITEA_CLIENT_SECRET=******************************** #Oauth2登陆,客户端密钥
      - DRONE_RPC_SECRET=aaaaaaaaaaaaaaaaaaa #与drone-runner通讯的凭据,随便填写
      - DRONE_SERVER_HOST=drone.xxxxx.com #绑定你的drone域名,用IP也行
      - DRONE_SERVER_PROTO=https #http,https 都可以
      - DRONE_TLS_CERT=/SSL/SSL.crt  #HTTPS证书
      - DRONE_TLS_KEY=/SSL/SSL.key   #HTTPS证书
      - DRONE_USER_CREATE=username:giteauser,admin:true #创建账号,这里需要填写你的gitea账号,默认管理员
      - DRONE_USER_FILTER=giteauser  #限制指定账号登陆
    restart: always
    volumes:
      - /SSL:/SSL #挂载证书
      - /etc/timezone:/etc/timezone:ro
      - /etc/localtime:/etc/localtime:ro
    ports:
      - "443:443"

  drone-runner:
    image: 	drone-runner-docker:latest
    container_name: drone-runner
    environment:
      - DRONE_RPC_PROTO=https
      - DRONE_RPC_HOST=drone.xxxxx.com:443  #drone的域名或IP
      - DRONE_RPC_SECRET=aaaaaaaaaaaaaaaaaaa #drone通讯的凭据,填写上面的凭据
      - DRONE_RUNNER_CAPACITY=2 #工作线程数
      - DRONE_RUNNER_NAME=my-runner
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock  #挂载docker.sock,必需
      - /etc/timezone:/etc/timezone:ro
      - /etc/localtime:/etc/localtime:ro

启动容器之后,访问drone域名就可以看到登陆页面,点击“CONTINUE”,就会跳转Gitea登陆,登陆就会授权成功返回drone界面。

步骤三,设置webhook。

进入drone界面之后,点击右上角的"SYNC"按钮,就会把Gitea项目同步过来,点击项目 -> Settings -> ACTIVATE REPOSITORY ,就自动在gitea相应的项目上面添加webhook。

查看Gitea的webhook。

在drone界面,设置项目的“Trusted”,这点非常重要,否则在后续构建中尽管挂载了docker.sock,仍然会提示如下错误,如果没有这个选项,是由于启动drone容器没有填写DRONE_USER_CREATE的原因。

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
exit status 1

步骤四,至此自动构建就算搭建成功,接下来就是编写.drone.yml文件,需要将/var/run/docker.sock挂载进去,drone-runner实际上使用母机的docker在构建制品,也就是说构建成功之后镜像在母机上通过docker images就能查询出来。

下面示例使用Dockerfile文件进行构建,plugins/docker:latest镜像是预先设置好,具有基于dockerfile构建和推送功能的镜像。

kind: pipeline
type: docker
name: default

steps:
  - name: 构建&推送  #管道名称
    image: plugins/docker:latest
    volumes:
      - name: dockersock
        path: /var/run/docker.sock
    settings:
      registry: harbor.xxxxx.com #你部署的docker私库地址
      repo: harbor.xxxxx.com/project/web
      tags: latest
      dockerfile: ./Dockerfile
      pull_image: false #构建的时候是否强制拉取最新镜像
      username: abc
      password: 123

volumes: #挂载
- name: dockersock
  host:
    path: /var/run/docker.sock

 也可以使用docker镜像,自行编写命令进行构建。

kind: pipeline
type: docker
name: default

steps:
  - name: 构建&推送  #管道名称
    image: docker:latest
    volumes:
      - name: dockersock
        path: /var/run/docker.sock
    commands:
      - docker build -t web:latest .
      - docker image tag web:latest harbor.xxxxx.com/project/web:latest
      - docker push web:latest harbor.xxxxx.com/project/web:latest

volumes: #挂载
- name: dockersock
  host:
    path: /var/run/docker.sock

步骤五,至此自动构建和推送到私库,基本就搭建完成。每次打包制品之后镜像都不会主动删除,所以我们可以增加多一个流程来删除剩余的镜像。

kind: pipeline
type: docker
name: default

steps:
  - name: 清理镜像  #管道名称
    image: docker:latest
    volumes:
      - name: dockersock
        path: /var/run/docker.sock
    commands:
      - docker images --filter=reference='harbor.xxxxx.com/project/web:*' --format '{{.ID}}' | xargs -I {} docker rmi -f {}

volumes: #挂载
- name: dockersock
  host:
    path: /var/run/docker.sock

自部部署

方式一,SSH远程登陆,拉取镜像,重新部署。

kind: pipeline
type: docker
name: default

steps:
  - name: SSH部署  #管道名称
    image: drone/drone-runner-ssh:latest
    settings:
      host: 192.168.3.78
      username: root
      password: 123
      port: 22
      script: #部署执行动的命令
        - echo ====开始部署=======
        - docker pull harbor.xxxxx.com/project/web:latest
        - docker stop web
        - docker rm web
        - docker run -d --name web -p 80:8080  harbor.xxxxx.com/project/web:latest
        - echo ====部署成功======

方式二,通过Portainer的webhook进行更新。

进入portainer管理界面,进入容器详情页,开启容器的webhook,复制通地址。

kind: pipeline
type: docker
name: default

steps:
  - name: Portainer部署 #管道名称
    image: curlimages/curl:latest
    commands:
      - curl -X POST "https://portainer.xxxx.com/api/webhooks/983DB2D1-34B8-4527-087B-08D76FE58AE5"

部署完成通知

部署完成之后,开发者可以通过drone管理界面查看进度,或者通过webhook通知推送成功消息到微信,短信,邮件,钉钉等。

kind: pipeline
type: docker
name: default

steps:
  - name: 部署完成通知 #管道名称
    image: curlimages/curl:latest
    commands:
      - curl -X POST "通知的webhook地址"

一个完整的示例如下:

kind: pipeline
type: docker
name: default

steps:
  - name: 构建&推送  #管道名称
    image: plugins/docker:latest
    volumes:
      - name: dockersock
        path: /var/run/docker.sock
    settings:
      registry: harbor.xxxxx.com #你部署的docker私库地址
      repo: harbor.xxxxx.com/project/web
      tags: latest
      dockerfile: ./Dockerfile
      pull_image: false #构建的时候是否强制拉取最新镜像
      username: abc
      password: 123

  - name: 清理镜像  #管道名称
    image: docker:latest
    volumes:
      - name: dockersock
        path: /var/run/docker.sock
    commands:
      - docker images --filter=reference='harbor.xxxxx.com/project/web:*' --format '{{.ID}}' | xargs -I {} docker rmi -f {}

  - name: Portainer部署 #管道名称
    image: curlimages/curl:latest
    commands:
      - curl -X POST "https://portainer.xxxx.com/api/webhooks/983DB2D1-34B8-4527-087B-08D76FE58AE5"

  - name: 部署完成通知 #管道名称
    image: curlimages/curl:latest
    commands:
      - curl -X POST "通知的webhook地址"

volumes: #挂载点,共用
- name: dockersock
  host:
    path: /var/run/docker.sock

运行效果:

 

更多系列文章

构建高性能,可伸缩,高可用,安全,自动化,可溯源,整体式应用构架体系

标签:CI,name,DRONE,drone,Drone,docker,CD,com,latest
From: https://www.cnblogs.com/netcore3/p/18325616

相关文章

  • 如何利用CDN和PCDN的结合提高内容分发效率?
    利用CDN和PCDN的结合提高内容分发效率可以通过以下几个方面来实现:1.协同缓存和分发CDN和PCDN可以结合使用,共同构建一个分布式的缓存和分发网络。CDN负责在边缘服务器上缓存热门内容,确保内容的快速响应和访问。而PCDN则利用用户设备之间的P2P连接进行内容的进一步分发和传输......
  • SciTech-BigDataAIML-Python Time Series Handbook - Kalman filter: 卡尔曼滤波器算
    网上文档:Python时间序列手册:有ipynb和PDF文件:https://filippomb.github.io/python-time-series-handbook/notebooks/07/kalman-filter.htmlMITPDF:AnIntroductiontotheKalmanFilter-MITIllinoisUniversityPDF:UnderstandingtheBasisoftheKalmanF......
  • Trends in Plant Science | 植物生物学中的大语言模型
    分享一篇来自南洋理工大学MarekMutwil团队发表在《TrendsinPlantScience》上有关植物生物学方向的大语言模型综述:Largelanguagemodelsinplantbiology。生物序列本身就是一种自然语言,与LLM是天作之合,实际上生物大模型已有很多开发,只是解释太过复杂,大多是学术报道。这方面......
  • 05_BigDecimak类
    一、前言publicclassdemo01{publicstaticvoidmain(String[]args){doubled1=1.0;doubled2=0.9;System.out.println(d1-d2); }}上述代码的结果为0.09999999999999998,出现这个结果是因为在java中"double"类型是浮点数,由于浮点......
  • 【嵌入式DIY实例-ESP8266篇】- LCD ST7789显示BME280传感器数据
    LCDST7789显示BME280传感器数据文章目录LCDST7789显示BME280传感器数据1、硬件准备2、代码实现本文将介绍如何使用ESP8266NodeMCU开发板(ESP12-E模块)和BME280气压、温度和湿度传感器构建一个简单的气象站。NodeMCU微控制器(ESP8266EX)从BME280......
  • iOS基础---多线程:GCD、NSThread、NSOperation
    系列文章目录iOS基础—多线程:GCD、NSThread、NSOperationiOS基础—CategoryvsExtension文章目录系列文章目录一、GCD1.GCD的任务、函数、队列a.任务b.函数c.队列2.GCD的使用a.同步函数+并发队列b.异步函数+并发队列c.同步函数+串行队列d.异步函数+串行队列e.同步函......
  • Java----CAS算法与AtomicInteger源码解读
    CAS介绍:为了确保对数据操作的原子性,在java.util.concurrent.atomic下定义许多关于各种基本类型数据的提供原子操作的类。这里我们以AtomicInteger为例子。AtomicInteger的本质:自旋锁+CAS算法CAS的全称是:CompareAndSwap(比较再交换);是现代CPU广泛支持的一种对内存中的......
  • Allegro17.4 “.brd“ 转 ASCII
    1.找到`Cadence\SPB_Data`文件夹(一般在Allegro的安装目录下可以找到),添加到系统变量`HOME=xxx\Cadence\SPB_Data`。2.文件夹里面的文件全部拷入到`X:\xxx\Cadence\SPB_Data\pcbenv`目录下面。3.重启Allegro后,即可看到菜单栏新增了`BatchConversion`。4.点击Batc......
  • C++中 cin、cin.get()、cin.getline()、getline() 的区别
    cin我们先介绍c++中最常用的输入流对象cin我们常用 cin>>num 来从缓冲区中读取数据到 num 中,num 的变量类型可以是多种类型,最常用的有 int、string、char、double、float等等voidcin_test(){std::cout<<"-----------cintest---------"<<std::endl;st......
  • Python. 协程asyncio、gevent
    1、协程是一种轻量级的并发机制,允许你在单个线程内模拟并发执行多个任务。协程非常适合用于I/O密集型任务,如网络请求、文件读写等,在等待I/O操作完成时,协程可以继续执行其他任务而不是阻塞。生成器:协程的基础是生成器(generator)。生成器是一种特殊的迭代器,它可以使用 yi......