首页 > 其他分享 >如何从头开始使用 Docker 映像作为大型 ML 资产(例如模型、语料库)的资产库

如何从头开始使用 Docker 映像作为大型 ML 资产(例如模型、语料库)的资产库

时间:2022-09-19 13:45:33浏览次数:111  
标签:从头开始 ML 语料库 映像 资产 图像 Docker

如何从头开始使用 Docker 映像作为大型 ML 资产(例如模型、语料库)的资产库

MJT + Stable Diffusion 2022

我开始处理大型模型和其他与 ML 相关的资产,并且需要一个解决方案来解决如何在 Docker 开发环境中处理这些问题。

人们可能会倾向于卷。不幸的是,卷在机器之间是不可移植的。

能够 只需通过简单的 COPY 将资产直接捆绑到图像中。这在一定程度上可以正常工作。

问题是一个人可能想成为 高效的 ,并尽可能多地利用 Docker Image Layers。

Docker 图像作为资产库

Docker多阶段构建 救援。

诀窍是可以使用标记图像作为预定义的 '阶段' 构建的

要创建“资产映像”,首先为映像创建一个 Dockerfile

 从头开始  
 复制<assets>/

代替 <assets> 与希望保留的资产

接下来构建镜像

 $ build -t 'registry_host/asset/foo:0.1' 。

我建议坚持一个命名约定,这将使它的用途一目了然。我用 /资产 你做你。

实际上,图像标签成为 URI 资产,这使得计算和认知上的处理都很容易。

重要的是,这个标签是通用的,可以使用现有的 Docker 注册表/存储库基础设施跨机器拉/推和引用。

在图像中使用资产

 复制 --from=registry_host/asset/foo:0.1 / /assets/

对于奖励积分,您还可以使用 - 关联 如果/当可用时复制命令。

概括

将标记图像与多阶段构建结合使用,可以更快地构建和部署,并更有效地利用磁盘空间。

最初发表于 https://github.co/matthewjosephtaylor .

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明

本文链接:https://www.qanswer.top/37996/29421913

标签:从头开始,ML,语料库,映像,资产,图像,Docker
From: https://www.cnblogs.com/amboke/p/16707422.html

相关文章

  • 机器学习的机器学习?不,当我弄清楚发生了什么时,ML 笑了
    机器学习的机器学习?不,当我弄清楚发生了什么时,ML笑了fromsablediffusion这是一个鼓舞人心的介绍的占位符,关于机器学习有多神奇以及我有多想学习它。插入改变世界、帮......
  • kubernetes1.24环境搭建实验——docker准备
    Docker准备1、dockeryum源安装参考网址:docker-ce镜像-docker-ce下载地址-docker-ce安装教程-阿里巴巴开源镜像站(aliyun.com)curl-o/etc/yum.repos.d/docker-ce.rep......
  • docker-compose学习随笔
    DockerCompose官方介绍compose是一个定义、运行多个容器的工具YAMLfile配置文件。Composeisatoolfordefiningandrunningmulti-containerDockerapplicati......
  • rabbit-mq集群docker搭建笔记
    1.安装docker1、yum包更新到最新yumupdate2、安装需要的软件包,yum-util提供yum-config-manager功能,另外两个是devicemapper驱动依赖的yuminstall-yyum-uti......
  • docker 镜像发布到 docker hub
    1\将容器打包成镜像dockercommit-a"提交者姓名"-m"镜像信息"要打包的容器名称或id 生成的镜像名称:标签dockercommit-a"XXX"-m"XXX1.2"ccad57c365......
  • 自定义docker网络与自定义的网络之间的连通
    一、自定义一个docker网络1、创建一个自定义网络[root@master~]#dockernetworkcreate--driverbridge--subnet10.192.0.0/24--gateway10.192.0.1mynet806b16d......
  • Master笔记 22-9-18 @MLP @结构重参数化 @RepLKNet @Depthwise Separable Convolution
    MLP-Mixer:Anall-MLPArchitectureforVisionpreref:https://zhuanlan.zhihu.com/p/369970953ref:https://zhuanlan.zhihu.com/p/373070779ref:https://zhuanlan......
  • yaml注解
    yaml注解apiVersion:v1#指定api版本,此值必须在kubectlapiversion中kind:Pod#指定创建资源的角色/类型metadata:#资源的元数据/属性name:test-pod#资源的名......
  • Docker 安装启动 Jenkins (docker-compose)
    Jenkins官网:https://www.jenkins.io/ 官方安装文档指导:https://www.jenkins.io/doc/book/installing/dockerhub官方镜像: https://hub.docker.com/_/jenkins/tags......
  • Docker笔记
    docker学习,作者源于这里基本概念镜像Image操作系统分为内核和用户空间,内核启动后,会挂载root文件系统为其提供用户空间支持。docker镜像就相当于是一个root文件系统。是......