首页 > 其他分享 >【行云流水线实践】基于“OneBuild”方法对镜像进行快速装箱

【行云流水线实践】基于“OneBuild”方法对镜像进行快速装箱

时间：2023-11-02 11:34:28浏览次数：31  
标签：OneBuild 行云流水 构建 ENV 镜像 COPY 装箱 image IMAGE

在云原生领域，无论使用哪种编排调度平台，Kubernetes，DockerSwarm，OpenShift等，业务都需要基于镜像进行交付，我们在内部实践“Source-to-image”和链式构建，总而总结出“OneBuild”模式。

其核心思想是：一处构建，多处使用。

问题

一般，我们会使用类似Jenkins CI系统来构建镜像，以满足持续集成，持续开发，持续交付等场景。事实上，如果我们在某一方面能够提升效率或者解决镜像交付实践。

长期来看，将能够带来不少的成本收益，并且对于平台来讲，这种收益是一种可度量收益。假设我们在当前交付（git）分支中，需要fix或者feature已经release分支的，如何进行？如果在已经交付给用户的镜像中存在漏洞，需要批量交付，如何进行？为了解决这些问题，我们的团队必须重新构建镜像，并且找出基本镜像，构建过程有那些依赖关系。然后基于这些成熟的流程和规范进行快速交付。

解决方案

Docker build是大家比较常用的镜像构建方法，并且在构建中只需要声明自己的Dockerfile即可，就可以实现快速构建。但是这并不满足大型企业实践以及快速交付。

所以需要一套规范且能够直接生产的流程，帮助在云原生下进行快速交付。下面我们讲结合行云平台进行“OneBuild”方法的实践。

悬衡而知乎，没规而知圆。因此，我们在团队的流水线建立和改造的过程中，尤其注重标准化。

包括dockerfile的命名和设计，构建代码的设计。由此新项目加入时，我们只需复制，然后做小工作量的改造即可。

image

行云Build

行云是JDT生产效率的标准化产品，是一个比较成熟的产品。用于支撑内部研发，测试，交付的平台。

Build是行云中一个子系统，用于研发过程中的持续集成，持续测试，持续构建等任务。

团队日常开发语言主要是以golang为主，并且在上线或交付制品中，也以Docker镜像为主。并且由于大多数时间，我们必须在真实的K8S环境中运行。

所以稳定的构建平台，高效，快速的构建，对我们的日常开发和交付都是至关重要，在构建中往往需要构建多版本镜像。所以围绕行云流水线，主要就是发掘功能，适配改造。

Dockerfile标准化

接下来，我们设计的流程，将会使用上一级构建的产品，对下级镜像进行快速装箱。

Dockerfile命名


Dockerfile            # 标准版

Dockerfile.kylinv10   # kylinv10 base 版本

Dockerfile.oel22      # openeuler base 版本

下面我们继续看dockerfile中的细节。

首先是 Dockerfile


ARG ARCH

ARG BUILD_IMAGE

ARG BASE_IMAGE

FROM ${BUILD_IMAGE} as builder


ARG ARCH

ENV GOPATH=/go


COPY go.mod go.mod

COPY go.sum go.sum

COPY main.go main.go

COPY api/ api/

COPY controllers/ controllers/

COPY pkg/ pkg/

COPY vendor/ vendor/


# Build

RUN CGO_ENABLED=0 GO111MODULE=on GOOS=linux GOARCH=${ARCH} go build --mod=vendor -a -o manager main.go


ARG ARCH

ARG BASE_IMAGE

FROM ${BASE_IMAGE}


ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simple

ENV DEFAULT_FORKS=50

ENV DEFAULT_TIMEOUT=600

ENV DEFAULT_GATHER_TIMEOUT=600

ENV TZ=Asia/Shanghai

ENV PYTHONWARNINGS=ignore::UserWarning


WORKDIR /

COPY --from=builder /manager .


COPY inventory/ inventory/

COPY roles/ roles/

COPY etcd-restore.yml etcd-restore.yml

COPY facts.yml facts.yml

COPY requirements.txt requirements.txt

COPY inventory.tmpl.ini inventory.tmpl.ini

COPY ansible.cfg ansible.cfg


RUN yum -y install kde-l10n-Chinese && \

    yum -y reinstall glibc-common && \

    localedef -c -f UTF-8 -i zh_CN zh_CN.UFT-8 && \

    echo 'LANG="zh_CN.UTF-8"' > /etc/locale.conf && \

    source /etc/locale.conf && \

    yum clean all


ENV LANG=zh_CN.UTF-8

ENV LC_ALL=zh_CN.UTF-8


RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \

    echo $TZ > /etc/timezone && \

    yum install python3 python3-devel sshpass openssh-clients -y && \

    yum clean all && \

    /usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \

    /usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCE


USER root


ENTRYPOINT ["/manager"]

上述dockerfile中，分为两个阶段构建，第一个阶段builder构建出需要的二进制。这与正常的dockerfile相同。

唯一不同的是，我们讲构建镜像和base镜像进行了参数化，这也使得当变更构建镜像和base镜像，我们只需要在构建时控制参数即可。

再看dockerfile.kylinv10


ARG BASE_IMAGE

FROM ${BASE_IMAGE}


ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simple

ENV DEFAULT_FORKS=50

ENV LANG=en_US.UTF-8

ENV DEFAULT_TIMEOUT=600

ENV DEFAULT_GATHER_TIMEOUT=600

ENV TZ=Asia/Shanghai

ENV PYTHONWARNINGS=ignore::UserWarning


WORKDIR /

COPY --from=jdos-etcd-restore-helper:latest /manager /


COPY inventory/ inventory/

COPY roles/ roles/

COPY etcd-restore.yml etcd-restore.yml

COPY facts.yml facts.yml

COPY requirements.txt requirements.txt

COPY inventory.tmpl.ini inventory.tmpl.ini

COPY ansible.cfg ansible.cfg


RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \

    echo $TZ > /etc/timezone && \

    yum install python3 python3-devel python3-pip sshpass openssh-clients -y && \

    /usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \

    /usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCE


USER root


ENTRYPOINT ["/manager"]

发现了什么？在dockerfile.kylinv10中少了builder这一步，COPY --from=jdos-etcd-restore-helper:latest 是从一个指定的临时镜像中直接做了拷贝。这就直接复用了第一步dockerfile中构建出的产物。效率提升比较明显。

在dockerfile设计中，COPY是可以从一个指定的镜像中，copy指定的文件的。

再看Dockerfile.oel22


ARG BASE_IMAGE

FROM ${BASE_IMAGE}


ENV PIP3_SOURCE=https://pypi.tuna.tsinghua.edu.cn/simple

ENV DEFAULT_FORKS=50

ENV LANG=en_US.UTF-8

ENV DEFAULT_TIMEOUT=600

ENV DEFAULT_GATHER_TIMEOUT=600

ENV TZ=Asia/Shanghai

ENV PYTHONWARNINGS=ignore::UserWarning


WORKDIR /

COPY --from=jdos-etcd-restore-helper:latest /manager /


COPY inventory/ inventory/

COPY roles/ roles/

COPY etcd-restore.yml etcd-restore.yml

COPY facts.yml facts.yml

COPY requirements.txt requirements.txt

COPY inventory.tmpl.ini inventory.tmpl.ini

COPY ansible.cfg ansible.cfg


RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && \

    echo $TZ > /etc/timezone && \

    yum install python3 python3-devel python3-pip sshpass openssh-clients -y && \

    /usr/bin/python3 -m pip --no-cache-dir install pip==21.3.1 -U -i $PIP3_SOURCE && \

    /usr/bin/python3 -m pip --no-cache-dir install -r requirements.txt -i $PIP3_SOURCE


USER root


ENTRYPOINT ["/manager"]

是不是与dockerfile.kylinv10的思路非常相似，事实上，这两个文件已经可以合并了（内部为了向后兼容，没有合并这两个文件）。

脚本标准化

还需要在行云流水线中将shell脚本进行固化，与dockerfile进行配合。


# 支持shell语言代码的多行输入


cd  /


sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')


git_commit=${output.Download_Code.GIT_LAST_COMMIT_SHA1}

build_date=$(date -u +'%Y-%m-%dT%H:%M:%SZ')

image_tag="${env.GenerateNewVersion}-${git_commit:0:6}"


echo "start build image - standard"

new_image_repo="${IMAGE_REPO}"

sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile --build-arg ARCH="amd64" . 

sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')

sudo docker push ${new_image_repo}:${image_tag}

echo "end to build image - standard"

echo "amd64ImageName=${new_image_repo}:${image_tag}" > ./amd64_output


# 重新命名一个新镜像，供下级dockerfile进行多阶段构建时直接copy

sudo docker tag ${new_image_repo}:${image_tag} jdos-etcd-restore-helper:latest


# 条件性选择构建基于kylinv10OS的镜像

if [[ -f Dockerfile.kylinv10 ]];then

    echo "start build image - security - kylin base"

    new_image_repo="${IMAGE_REPO}-kylinv10-amd64"

    sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile.kylinv10 --build-arg ARCH="amd64" . 

    sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')

    sudo docker push ${new_image_repo}:${image_tag}

    echo "end to build image - security - kylin base"

    echo "amd64KylinImageName=${new_image_repo}:${image_tag}" >> ./amd64_output

fi


# 条件性选择构建基于欧拉OS的镜像

if [[ -f Dockerfile.oel22 ]];then

    echo "start build image - security - openeuler22 base"

    new_image_repo="${IMAGE_REPO}-openeuler22-amd64"

    sudo docker build -t ${new_image_repo}:${image_tag} -f Dockerfile.oel22 --build-arg ARCH="amd64" . 

    sudo docker login -u $IMAGE_REPO_USER -p $IMAGE_REPO_PASSWD $(echo $IMAGE_REPO | awk -F '/' '{print $1}')

    sudo docker push ${new_image_repo}:${image_tag}

    echo "end to build image - security - openeuler22 base"

    echo "amd64Oel22ImageName=${new_image_repo}:${image_tag}" >> ./amd64_output

fi


# 清理builder镜像，避免产生none垃圾镜像。

sudo docker rmi jdos-etcd-restore-helper:latest --force

提升

基于以上，构建时间从21min缩短至7min，构建效率提升66%

标签：OneBuild,行云流水,构建,ENV,镜像,COPY,装箱,image,IMAGE
From： https://www.cnblogs.com/jingdongkeji/p/17805022.html

相关文章

  • Java零基础入门-基本类型转换、包装类、自动装箱、自动拆箱
    前言在Java编程中，经常需要进行基本类型之间的转换以及包装类与基本类型之间的转换。本文将介绍Java中基本类型转换、包装类、自动装箱与自动拆箱的概念和用法。摘要本文将介绍Java中的基本类型转换、包装类、自动装箱与自动拆箱的概念和应用。首先，我们将讨论基本类型转换的概念......
  • 什么是装箱拆箱
    装箱（Boxing）和拆箱（Unboxing）是与值类型和引用类型之间的相互转换有关的两个概念。在C#中，这两个操作涉及将值类型转换为引用类型和将引用类型转换为值类型。装箱（Boxing）：定义：装箱是将值类型（比如int,char,double等）转换为对应的引用类型（通常是object或System.ValueType的派生类）的......
  • 【Java 基础篇】Java 自动装箱与拆箱：优雅处理基本数据类型与包装类的转换
    在Java编程中，自动装箱（Autoboxing）和自动拆箱（Unboxing）是两个重要的概念。它们使得基本数据类型与其对应的包装类之间的转换更加方便，同时也提高了代码的可读性和可维护性。本篇博客将深入探讨自动装箱和拆箱的概念、用法以及为什么它们对Java程序员如此重要。什么是自动装箱和拆箱......
  • P1049 装箱问题
    有一个箱子容量为V，同时有n个物品，每个物品有一个体积。现在从n个物品中，任取若干个装入箱内（也可以不取），使箱子的剩余空间最小。输出这个最小值。1.动态规划使用动态规划计算可达性即可intmaxval(intV,vector<int>&c){intn=c.size();vector<bool>dp(V+1);......
  • 2023CCPC华为云挑战赛 C-装箱问题
    题目链接   题意:有体积分别为x和y的物品以及n个空的箱子，第i个箱子有着bi的容量，先试图用这些箱子装物品，使装的物品总体积不小于r，同时对于每个箱子装完物品后的剩余容量Ci，希望求出箱子装完至少r体积物品后，所有箱子剩余体积Ci的平方和，可以取到的最大值是多少？如果用所给的箱......
  • Java 自动装箱与拆箱实战
    什么是自动装箱拆箱？很简单，下面两句代码就可以看到装箱和拆箱过程//自动装箱Integertotal=99;//自动拆箱inttotalprim=total;简单一点说，装箱就是自动将基本数据类型转换为包装器类型；拆箱就是自动将包装器类型转换为基本数据类型。下面我们来看看需要装箱拆箱的类型有哪些：这......
  • 集装箱多式联运——动态规划
    物流运输方式由公路、铁路、水路、空运及管道等5种方式组成，5种运输方式在技术上、经济上各有长短，都有适宜的使用范围，每种运输方式单独运用很难实现节约资源、降本增效。随着我国经济不断发展以及布局网络技术的不断深化，多式联运通过把传统的、单一的运输方式进行择优组合，充分利......
  • [HNOI2008] 玩具装箱 题解
    很难得遇到细节题打码5分钟调试两小时感谢游老师送出的1.5h调试，感激(争取每天用我的代码训练老师的该题能力）细节/思路见注释#include<bits/stdc++.h>#defineintlonglongusingnamespacestd;/*本题细节很多！！！1.注意要把‘0’放进去，否则'1'一直弹不出去，导致答案偏大2......
  • 集装箱吊车门机起重机电气电器图纸一套这是调试后的最终版图纸，含程序，元件清单，集装箱的
    集装箱吊车门机起重机电气电器图纸一套这是调试后的最终版图纸，含程序，元件清单，集装箱的，供学习参考用，这是电气图纸，没有机械的。plc是315-2dp，行车图纸有很多，串电阻的，各种变频，plc通讯的这套图纸是集装箱吊车门机起重机的电气图纸，经过调试后成为最终版本。图纸包含了程序、元件清单以......
  • Java基础：自动装箱和自动拆箱
    感谢,原文链接：https://www.cnblogs.com/dolphin0520/p/3780005.htmlJava的自动包装类型首先基本数据类型：4类8种基本数据类型对应包装器类byte（1字节）Byteshort（2字节）Shortint（4字节）Integerlong（8字节）Longfloat（4字节）Floatdouble（8字节）Doublechar（2字......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99