首页 > 其他分享 >AI新工具(20240321) 又一个开源的Sora实现;高质量动漫风格图像的文本到图像模型;字节跳动文本到视频的快速生成模型

AI新工具(20240321) 又一个开源的Sora实现;高质量动漫风格图像的文本到图像模型;字节跳动文本到视频的快速生成模型

时间:2024-03-21 16:31:51浏览次数:20  
标签:XL 模型 生成 动漫 AnimateDiff 图像 文本

✨ 1: Mora

利用多智能体合作生成视频任务的多智能体框架

在这里插入图片描述

Mora 是一种多智能体框架,专为通用视频生成任务设计。它通过多个视觉智能体的协作,实现了在多种视频生成任务中的高质量输出,旨在复制并扩展 OpenAI Sora 的能力。以下是通俗语言总结的 Mora 功能以及可能的使用情景:

地址:https://github.com/lichao-sun/Mora

✨ 2: Animagine XL 3.1

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

在这里插入图片描述

Animagine XL 3.1是Animagine XL V3系列的更新版本,对之前的版本Animagine XL 3.0进行了改进。这是一个开源的、以动漫主题为基础的文本转图像模型,用于生成更高质量的动漫风格图片。该模型包括更广泛的来自知名动漫系列的角色,经过优化的数据集,以及为更好地创建图像而新增的新的美学标签。Animagine XL 3.1建立在Stable Diffusion XL的基础上,旨在为动漫粉丝、艺术家和内容创作者提供准确和详细的动漫角色表现,是一个有价值的资源。

地址:https://huggingface.co/cagliostrolab/animagine-xl-3.1

✨ 3: AnimateDiff-Lightning

字节跳动文本到视频的快速生成模型

在这里插入图片描述

AnimateDiff-Lightning是一个快速的文本到视频生成模型,比原始的AnimateDiff快十倍以上。该模型是通过交叉模型扩散蒸馏技术生成的。除了提供研究论文《AnimateDiff-Lightning: Cross-Model Diffusion Distillation》外,还将该模型作为研究的一部分发布。该模型是从AnimateDiff SD1.5 v2中提炼而来。其中包含了1步、2步、4步和8步的提炼模型的检查点。2步、4步和8步的生成质量非常好。1步模型仅供研究目的使用。AnimateDiff-Lightning在与风格化基础模型一起使用时效果最佳。建议使用Realistic、Anime & Cartoon等风格化基础模型。此外,可以尝试不同的设置,如在2步模型上使用3个推理步骤可以产生很好的结果。某些基础模型与CFG一起使用可以产生更好的结果。推荐使用Motion LoRAs,因为它们产生更强的动作效果。使用强度为0.7~0.8的Motion LoRAs可以避免水印。

地址:https://huggingface.co/ByteDance/AnimateDiff-Lightning

✨ 4: Freepik Reimagine

通过上传图片,用户可以调整年龄、眼睛颜色、头发颜色或服装等各种细节,实现定制化和独特的效果

在这里插入图片描述

Freepik Reimagine是一种新的AI图像生成工具,旨在革新内容创作领域。它利用AI技术,让用户上传一张图片后立即获得独特的提示,用户可以轻松地与图片互动并进行修改。这一工具具有实时功能、无限提示滚动功能和预定义风格,加快了创意过程,让用户可以从修改细节到设计完全重新构思的图像等各种可能性。通过上传图片,用户可以调整年龄、眼睛颜色、头发颜色或服装等各种细节,实现定制化和独特的效果。

地址:https://www.freepik.com/pikaso/reimagine



更多AI工具,参考国内AiBard123Github-AiBard123

标签:XL,模型,生成,动漫,AnimateDiff,图像,文本
From: https://blog.csdn.net/weixin_40425640/article/details/136905816

相关文章

  • 【视觉语言大模型+LLaVA1.0】大语言模型视觉助手(视觉指令调优)GPT4-Vision丐版
    官方资源汇总:项目主页||https://huggingface.co/liuhaotian23.04.LLaVA1.论文:LargeLanguageandVisionAssistant(VisualInstructionTuning)23.10LLaVA-1.5论文:ImprovedBaselineswithVisualInstructionTuning23.11LLaVA-Plus项目:LLaVA-Plus:LargeLang......
  • 【大语言视觉助手+LLaVA1.5】23.10.LLaVA-1.5改善后视觉语言大模型: Improved Baselin
    LLaVa家族官方资源汇总:项目主页||https://huggingface.co/liuhaotian23.04.LLaVA1.0论文:LargeLanguageandVisionAssistant(VisualInstructionTuning)23.06LLaVA-Med(医学图片视觉助手):TrainingaLargeLanguage-and-VisionAssistantforBiomedicineinOne......
  • 合并模型
    此功能在2.5.0及更高版本中可用您可以合并两个StableDiffusion模型(.ckpt或.safetensors格式),以组合两个不同模型的功能和艺术风格。步骤1打开MergemodelsUI顶部的选项卡:第2步选择两个模型文件(要合并的):重要提示:请合并相似类型的模型。例如,SD1.4仅具有SD1.4/1.5模型的......
  • GUROBI案例实战(一)——Supply Network Design(网络流模型)
    GUROBI官方给出的案例,但本篇实现方式与其有些不一样,并且对一些函数给出了解释:ymodeling-examples/supply_network_design/supply_network_design_1.ipynbatmaster·Gurobi/modeling-examples(github.com)一、问题描述给定两个工厂、四个中转站、六个客户:FactorySupply......
  • 自定义模型
    什么是StableDiffusion模型?EasyDiffusion使用“models”来创建图像。这些模型使用许多图像和图像描述进行训练。在安装过程中,会下载默认模型,即sd-v1-5模型。还存在其他模型。其中一些模型使用sd-v1-5作为基础,然后在其他图像上进行训练,而其他模型则从头开始训练。根......
  • C++ 对象模型
    1.普通类对象是什么布局?structBase{Base()=default;~Base()=default;voidFunc(){}inta;intb;};intmain(){Basea;return0;}2.带虚函数的类对象是什么布局?structBase{Base()=default;virtual~Base()......
  • 超分辨率(3)--基于RCAN网络实现图像超分辨率重建
    目录一.项目介绍二.项目流程详解2.1.数据处理模块2.2.损失函数设置 2.3.网络模型构建三.测试网络一.项目介绍RCAN:ResidualChannelAttentionNetwork(残差通道注意网络)卷积神经网络(CNN)的深度对于图像超分辨率(SR)是极其关键的因素。然而,我们观察到,更深层次的图......
  • LLM进阶——预训练语言模型
    文章目录一、概念二、GPT1、概念2、自回归3、zero-shot三、bert1、概念2、maskedLM一、概念最早的预训练语言模型(plms)是word2vec,现在的模型(gpt&bert)都是基于transformer以下是一些常见的预训练语言模型分类:基于Transformer的模型:BERT(BidirectionalEncoder......
  • 图像修改
    图像修改器是一组有用的单词,可指导AI创建特定风格的图像。例如,通过包含lineart在输入提示中,它将引导人工智能制作看起来像是用墨水笔绘制的图像。单击特定修改器将其添加到您的图像中。再次单击选定的修改器可将其从图像中删除。修饰符按类别进行组织,因此请探索可用的不同样......
  • vue2 txt日志打印以及读取txt文本数据
    1.创建log.js在根目录下letfs=require('fs')import{parseTime}from"./src/renderer/utils/index"import{MessageBox}from'element-ui'functionwriteLog(value){letlogAddress=localStorage.getItem('logAddress')......