首页 > 其他分享 >openmmlab使用系列(一):mmagic介绍与安装

openmmlab使用系列(一):mmagic介绍与安装

时间:2024-09-30 09:22:21浏览次数:9  
标签:MMagic install 生成 mmagic esrgan openmmlab 图像 安装

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

在这个信息爆炸的时代,人工智能技术正以前所未有的速度发展,尤其是在图像和视频处理领域。作为这一领域的探索者,我们有幸见证了一系列令人惊叹的技术创新。今天,我将带领大家走进一个全新的世界——MMagic,一个融合了多模态、生成式和智能创造的先进AIGC工具箱。
MMagic,全称Multimodal Advanced, Generative, and Intelligent Creation,是基于OpenMMLab 2.0框架开发的一款强大工具。它不仅继承了MMEditing和MMGeneration的优秀基因,还在图像与视频编辑生成领域开辟了新的天地。在这个系列博客中,我们将一起探索MMagic的无限可能,从基础应用到高级技巧,从理论研究到实际应用,全方位揭示这个工具箱的魅力。

一、MMagic介绍

MMagic(Multimodal Advanced, Generative, and Intelligent Creation)是一个面向专业人工智能研究人员和机器学习工程师的开源AIGC(人工智能生成内容)工具箱。它主要用于处理、编辑和生成图像与视频。MMagic提供了多种先进的预训练模型,并支持用户轻松训练和开发新的定制模型。MMagic支持的基础生成模型包括无条件生成对抗网络(GANs)、条件生成对抗网络(GANs)、内部学习、扩散模型等。此外,它还支持多种应用程序,如图文生成、图像翻译、3D生成、图像超分辨率、视频超分辨率、视频插帧、图像补全、图像抠图、图像修复、图像上色和图像生成等。
MMagic的特点包括:
提供处理、编辑、生成图像和视频的SOTA(最先进)算法。
支持流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应用。
通过OpenMMLab 2.0框架的MMEngine和MMCV,实现了高效、模块化的编辑框架,用户可以像搭建乐高一样定义训练流程。
支持算法:
在这里插入图片描述

二、安装步骤

安装激活虚拟环境,python的版本大于等于3.8

conda create --name mmagic python=3.8 -y
conda activate mmagic

安装pytorch,torch的版本PyTorch 2.0+ ,直接下载比较慢,-i 添加阿里云镜像进行下载。

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118 -i https://mirrors.aliyun.com/pypi/simple

使用mim安装mmcv:

pip3 install openmim
mim install 'mmcv>=2.0.0'
mim install 'mmengine'
mim install 'mmagic'

检测是否安装成功:

cd ~
python -c "import mmagic; print(mmagic.__version__)"

下载mmagic项目
在这里插入图片描述
运行下面代码测试是否配置完毕:

from mmagic.apis import MMagicInferencer
config = 'configs/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k.py'
checkpoint = 'https://download.openmmlab.com/mmediting/restorers/esrgan/esrgan_x4c64b23g32_1x16_400k_div2k_20200508-f8ccaf3b.pth'
img_path = 'tests/data/image/lq/baboon_x4.png'
editor = MMagicInferencer('esrgan', model_config=config, model_ckpt=checkpoint)
output = editor.infer(img=img_path,result_out_dir='output.png')

注意:官方的例子是’stable_diffusion,需要在hugface上下载五个g模型,没科学上网以及硬件gpu资源不足的直接用我的超分代码测试就行。

效果:
原图:
在这里插入图片描述
结果:
在这里插入图片描述

标签:MMagic,install,生成,mmagic,esrgan,openmmlab,图像,安装
From: https://blog.csdn.net/HanWenKing/article/details/142630082

相关文章

  • OpenEuler虚拟机安装保姆级教程 | 附可视化界面
    0x00系统介绍在2019年7月19日,华为宣布要在年底正式开源openEuler操作系统;在半年后的12月31日,华为正式开源了openEuler操作系统,邀请社区开发者共同来贡献。一年后,截止到2020年12月25日,openEuler已经拥有了3万社区用户,2万多个合入的拉取请求(PullRequ......
  • 彩虹易支付最新版源码及安装教程(修复BUG+新增加订单投诉功能)
    该系统也没版本号,此版本目前是比较新的版本,增加了订单投诉功能,和一个好看的二次元模板。此版本是全开源版,无一处加密文件,系统默认是安装后是打不开的,本站特别修复了BUG文件,在PHP7.4环境下也没问题测试环境:Nginx1.20+PHP7.4+MySQL5.7(官方推荐配置.hp7.1+myqsl5.6)直......
  • 如何安装eNSP
    如何安装eNSP?eNSP是需要三个插件进行辅助的,所以先下三个插件,最后在下eNSP首先来看看Wireshark的安装很简单,基本上就直接下一步就行这里直接下一步这里要注意,这些要么安装在默认路径,要么就在想安装的存盘里重新建一个文件夹,将这些东西都下载到一个文件夹里这里直接下一步......
  • ehviewer绿色版2.0.2.4最新版本安卓苹果下载安装
    制作应用程序(App)ehviewer是一项涉及多个步骤和技术的任务,ehviewer可以从零开始创建一个简单的应用,ehviewer也可以扩展到复杂的多功能应用。以下是制作一个基本应用程序的教程,以Android平台为例进行说明。ehviewer本教程将涵盖从构思到发布应用的ehviewer整个过程。ehviewer绿色......
  • 【Redis基础篇】超详细♥Redis安装教程、5种常用数据结构和常见命令、Jedis和SpringDa
    文章目录一、Redis与客户端安装教程1、NoSQL介绍(1)结构化与非结构化(2)关联和非关联(3)查询方式(4)事务(5)总结2、Redis介绍3、安装Redis(1)依赖库(2)上传安装包并解压(3)Redis三种启动方式①默认启动②指定配置启动③开机自启4、Redis客户端(1)Redis命令行客户端(2)图形化桌面客户端(3......
  • idea中junit包安装不上?
    我使用的是2024最新版的,一直报错,解决了好几个小时都没用,索性重新安装更低版本的idea,列如2021版的idea。刚刚安装上,就可以使用了。1.安装2021版的idea2.打开新建的main方法,在类下面输入@Test,按住alt+回车键,选择导入junit4,再回车,就可以解决这个问题。如下:运行试试:......
  • 安装ubuntu以及pwn的环境搭建
    推荐pwn方向Pwn环境搭建基本工具:gdb+peda+pwndbg、gcc、Pwntools、Capstone、gcc-multilib、socat、rp++、readelfROPgaget、libc-database、objdump、file、string、checksec ubuntu下载本人推荐清华大学开源软件镜像站:清华大学开源软件镜像站|TsinghuaOpenSourc......
  • Windows下绿色安装PostgreSQL笔记
    介绍PostgreSQL,Postgres,以下简称为PG,是一款关系型数据库,本地安装支持两种方式,一键安装和绿色解压安装两种方式下载、解压安装版:https://www.enterprisedb.com/downloads/postgres-postgresql-downloads绿色解压版:https://www.enterprisedb.com/download-postgres......
  • notepad++安装HexEditor插件查看二进制文件
    notepad++安装HexEditor插件查看二进制文件前言有时候我们需要分析二进制文件,但是分析二进制文件直接用编辑器查看会出现乱码的情况,本文在notepad++软件上安装一个HexEditor插件,可方便分析二进制文件。一、下载HexEditor插件打开下面的网址,下载HexEditor插件https://sou......
  • 在docker安装Python环境提供给其他docker使用
    1.在宿主机新建一个目录2.在app目录下新建一个Dockerfile文件本文永久更新地址:1.在宿主机新建一个目录在宿主机上新建一个目录如app/,在app目录里面导入项目需要依赖的包在项目根目录下输入命令,导出python项目所有的依赖包pipfreeze>requirements.txt把导出的re......