首页 > 其他分享 >kubectl获取ConfigMap导出YAML时如何忽略某些字段

kubectl获取ConfigMap导出YAML时如何忽略某些字段

时间:2023-12-04 20:34:39浏览次数:20  
标签:kubectl grep ConfigMap get YAML mysql config annotations

前言:

当我们在使用Kubernetes时,常常需要通过kubectl命令行工具来管理资源。有时我们也想将某个资源的配置导出为YAML文件,这样做有助于版本控制和资源的迁移。然而,默认情况下,使用kubectl get命令导出资源配置会包含一些元数据字段: r7EUlNNKvc.png**annotations****, **creationTimestamp**, **resourceVersion**, ****uid**等,这些字段对于备份或版本控制来说并不是必需的,反而可能会造成一些问题。本文将教您如何忽略这些字段,导出一个更干净的YAML配置!

kubectl获取ConfigMap导出YAML时如何忽略某些字段

一、理解kubectl get命令

在深入了解如何忽略特定字段之前,我们先来了解一下kubectl get命令。

kubectl get cm

image.png 以mysql-config为例:

 kubectl get cm mysql-config -o yaml

以上命令会打印出指定ConfigMap的YAML格式输出,包括所有元数据信息。例如:

apiVersion: v1
data:
  my.cnf: "[mysqld]\nserver-id=1\ncharacter-set-server=utf8mb4 \nlower_case_table_names
    = 1\n"
kind: ConfigMap
metadata:
  annotations:
    kubectl.kubernetes.io/last-applied-configuration: |
      {"apiVersion":"v1","data":{"my.cnf":"[mysqld]\nserver-id=1\ncharacter-set-server=utf8mb4 \nlower_case_table_names = 1\n"},"kind":"ConfigMap","metadata":{"annotations":{},"name":"mysql-config","namespace":"default"}}
  creationTimestamp: "2023-07-19T07:16:34Z"
  name: mysql-config
  namespace: default
  resourceVersion: "540796275"
  uid: 19ba11c5-a803-4a1e-8800-c4f569ec092f

为了导出更干净的配置,我们需要去除掉其中不必要的元数据字段。

二、如何忽略特定字段

在Kubernetes中,没有直接忽略特定字段的kubectl选项,但我们可以使用一些工具和技术来实现类似的效果。

方案一:使用kubectl结合文本处理工具

最简单的方法是将kubectl get的输出通过管道传递给文本处理命令来删除不需要的字段。在Linux系统上,我们通常使用grepsed等工具来处理文本。

示例:简单使用grep排除特定行。
kubectl get cm mysql-config -o yaml | grep -v '^\s*creationTimestamp:'

image.png 上述命令将ConfigMap输出的YAML内容中的creationTimestamp行删除了,相似地,您可以添加更多的grep -v来排除其他不需要的字段:

kubectl get cm mysql-config -o yaml | grep -v '^\s*creationTimestamp:'|grep -v '^\s*annotations:'|grep -v '^\s*resourceVersion:'|grep -v '^\s*uid:'

image.png 这里要特别提醒一下:由于 YAML 中这些字段可能有缩进,使用 grep -v 可能不足够灵活来处理所有情况。此外,grep 仅逐行工作,annotations字段可能是多行值,这里并不适用!

示例:使用grep与kubeclt patch结合:
kubectl patch cm mysql-config -p '{"metadata": {"annotations": null, "creationTimestamp": null, "resourceVersion": null, "uid": null}}'

kubectl get cm mysql-config

image.png

ubectl get cm mysql-config -o yaml | grep -v "^\s*annotations:" | grep -v "^\s*creationTimestamp:" | grep -v "^\s*resourceVersion:" | grep -v "^\s*uid:"

image.png 但是,这个方法实际上修改了 ConfigMap。如果你想保持 ConfigMap 不变,这个方法并不适用! 输出到mysql-config文件中:

ubectl get cm mysql-config -o yaml | grep -v "^\s*annotations:" | grep -v "^\s*creationTimestamp:" | grep -v "^\s*resourceVersion:" | grep -v "^\s*uid:" > mysql-config.yaml
示例:使用awk进行复杂的文本处理

如果不想使用grep,而是想继续使用传统的文本处理工具链,awk是一个比grep更强大的文本处理工具,能处理跨行的模式匹配和范围操作。我们可以使用awk来按块处理YAML内容。

以下是一个示例awk脚本,用于删除annotations和其他一些字段: 注: configmap还原为path之前的内容: image.png 起码保留annotations字段

kubectl get cm mysql-config -o yaml | awk '
  /annotations:/{a=1} 
  /^    [a-zA-Z0-9_]+:/{a=0} 
  !a && !/creationTimestamp:/ && !/resourceVersion:/ && !/uid:/ {print}
  /name:|namespace:/{print}
' > mysql-config.yaml

image.png 在上述示例中,当awk遇到以annotations:开头的行时,设置一个标志位a为1,然后在遇到下一个以一些空格后跟文字字符开头的行时,重新设置标志位为0,完成范围的处理。同时,我们检查每一行是否不是要排除的字段,如果是的话,就跳过不打印。

方案二:借助yq工具处理YAML文件

yq是一个强大的YAML处理工具,它类似于JSON的jq工具。你可以利用yq来精准地处理YAML格式的内容。

首先,您需要安装yq。它可以通过包管理工具(如Homebrew、apt等)或直接从其GitHub页面下载。 我的操作系统ubuntu直接使用sudo apt-get install yq 安装: 使用yq删除特定字段的命令如下:

kubectl get cm mysql-config -o yaml | yq eval 'del(.metadata.creationTimestamp, .metadata.resourceVersion, .metadata.uid, .metadata.annotations)' - > mysql-config.yaml

image.png 这个命令将creationTimestampresourceVersionuidannotations字段从YAML中删除,并将结果保存到my-config.yaml文件中。

方案三:自定义Go模板

另一个更高级的解决方案是使用kubectl的自定义Go模板输出。通过编写一个模板,您可以精确控制输出哪些内容。

kubectl get cm my-config -o go-template='{{printf "apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: %s\nnamespace: %s\ndata:\n" .metadata.name .metadata.namespace}}{{range $key, $value := .data}}{{printf "  %s: |-\n    %s\n" $key $value}}{{end}}' > mysql-config.yaml

image.png 这段命令利用Go模板语法生成一个过滤掉特定Metadatas字段的ConfigMap资源的清单,并保存到mysql-config.yaml

结束语

在实践中,以上的每种方法都有其适用的场合。如果您只是偶尔需要进行这样的操作,简单的文本处理可能就足够了。如果您经常需要处理复杂的YAML文件,那么学习和使用yq将会很有帮助。对于对性能要求较高或者更复杂的处理需求,学习一些关于Go模板的知识会是一笔不错的投资。

希望这篇文章对你有所帮助,如果你有任何问题,欢迎在评论区留言讨论。

标签:kubectl,grep,ConfigMap,get,YAML,mysql,config,annotations
From: https://blog.51cto.com/saynaihe/8681094

相关文章

  • yaml-cpp
    xxx.yaml加载失败不报错xxx.yaml格式有问题时,报错abort不知道格式不对的具体位置,使用trycatch:try{YAML::NoderNode=YAML::LoadFile(“test.yaml”);//usingYAMLnode.}catch(constYAML::ParserException&ex){std::cout<<ex.what()<<std::endl......
  • yaml/json/ini 配置读取
    ConfigParser安装ConfigParser是解析配置文件的第三方库,须要安装pipinstallConfigParserpipinstallConfigParserConfigParser介绍ConfigParser是用来读取配置文件(能够是.conf,txt,ini)的包配置文件的格式如下:中括号'[]'内包含的为section。section下面为option,相似......
  • 关键字 开发-06 封装yaml文件直接生成测试用例
    前言前面几个章节,我们主要是如何通过yaml文件的数据自动转换成测试用例,并按照关键字去执行,如下是之前我们通过参数化的形式手动执行用例。fromutils.runimportRunByKey#获取文件路径file_path=Path(__file__).parent.joinpath('data','login.yml')@pytest.mark.para......
  • pytest + yaml 框架 -39.多账号操作解决方案
    前言最近有小伙伴提到,有写场景需要用到2个账号来回切换操作该如何解决。(备注:从v1.2.4以后新版本不再公开,新功能内部VIP学员可以使用,公开版本仅解决bug,不提供新功能了。)先获取账号token前面教程有讲到全局登录一次,后面所有的请求都会拿着全局登录的账号token去访问请求。现在......
  • 关键字 开发-05 读取yaml文件内容动态生成用例
    前言在第一篇文章中,我们讲过了通过钩子函数pytest_collect_file可以收集到yaml格式的用例,并且可以生成测试用例。想要动态生成测试用例,也就是动态生成测试函数,然后pytest收集到test开头的func,执行测试函数。关键代码如下所示:defrun_function(*args,**kwargs):print("测......
  • 关键字 开发-04 yaml文件定义变量与引用变量
    前言:上篇使用jinja2模板渲染数据是在读取yaml文件的时候,进行渲染。这种肯定不是关键字框架的渲染的方式。正常我们想要的而是在yaml文件中写入我们想要渲染的数据,然后读取之后渲染到测试yaml用例中。1.在yaml文件中引入变量由于变量在yaml中先声明,后引用,所以不能直接渲染整个ya......
  • 关键字 开发-03 渲染yaml文件中的变量
    前言:引用渲染变量的模板有2个,一个是字符串模板,另一个是Jinja2模板1.字符串模板1.1.1通过字符串格式化方法进行渲染需要渲染的变量:name="dack"age=23x='mynameis%s,myageis%d'%(name,age)print(x)y="mynameis{},myageis{}".format(name,age)......
  • 关键字 开发-02 关键字驱动执行yaml用例
    1.封装request运行方法我们将测试数据写到yaml文件中,通常会使用pytest框架parametrize参数化的方式读取yaml文件数据生成测试用例,于是我们可以根据这个思路来开发。#utils/request_session.pyimportrequestsimportrefromrequestsimportResponseclassParserError(Ex......
  • kubelet热更新configmap
    k8sv1.19.0configmap热更新约束支持热更新:目录方式挂载configmap。不支持热更新:subPath单个文件方式挂载configmap和configmap注入到环境变量。configmap热更新逻辑修改kube-system/configmapcoredns后触发kubelet热更新configmap。pkg/kubelet/volumemanager/reconciler/......
  • 【接口自动化测试实战】python+requests+Pytest+yaml+Allure
    前言一、先来了解下pytest二、需要具备的基础知识三、开发环境准备四、接口自动化实战(设计项目目录)五、方法封装六、编写自动化用例脚本七、持续集成八、其他自动化框架......