首页 > 其他分享 >上海AI Lab视频生成大模型书生.筑梦环境搭建&推理测试

上海AI Lab视频生成大模型书生.筑梦环境搭建&推理测试

时间:2024-10-08 10:05:17浏览次数:9  
标签:视频 AI 模型 Lab 生成 筑梦 2.0 Vchitect

引子 最近视频生成大模型层出不穷,上海AI Lab推出新一代视频生成大模型 “书生・筑梦 2.0”(Vchitect 2.0)。根据官方介绍,书生・筑梦 2.0 是集文生视频、图生视频、插帧超分、训练系统一体化的视频生成大模型。OK,那就让我们开始吧。 0 一、模型介绍 筑梦 2.0 支持 5s-20s 长视频生成,超过其他开源模型的生成时长。同时支持高达 720x480 分辨率的生成。该模型还能够处理多种视频格式,包括横屏、竖屏、4:3、9:16 和 16:9 等比例,极大地扩展了其应用场景。与其他开源模型不同,筑梦 2.0 同步开源了用于视频增强的生成式模型 ——VEnhancer,集成了插帧、超分辨率和修复功能。该增强算法可在 2K 分辨率、24fps 的情况下生成更加清晰、流畅的视频,解决了视频抖动等常见问题,显著提升了视频的稳定性。 二、环境搭建 1、模型下载 https://huggingface.co/Vchitect/Vchitect-2.0-2B/tree/main 2、环境安装 docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.2.2-cuda12.1-cudnn8-devel bash git clone https://github.com/Vchitect/Vchitect-2.0.git cd /workspace/Vchitect/Vchitect-2.0-master pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple pip install protobuf -i https://pypi.tuna.tsinghua.edu.cn/simple 三、推理测试 1、修改代码 0 python inference.py --test_file assets/test.txt --save_dir output --ckpt_path models 0  

标签:视频,AI,模型,Lab,生成,筑梦,2.0,Vchitect
From: https://www.cnblogs.com/nick-algorithmer/p/18451086

相关文章

  • GitHub上 Star 数量最多的 Airtable 开源替代者
    相信你一定对Airtable不陌生。Airtable于2012年由创立,真正开始走红大概是在2018年左右,那个时候它的用户数量和市场份额突然大幅增加。这归功于它直观的界面和易用性——相比起传统的数据库系统,用户不需要任何编程技能,就能通过简单的拖拽操作搭建一个功能强大的管理工具。......
  • A股、港股大涨,看多中国的顶级金融机构为何都选择极狐GitLab?
    疯狂上涨的A股、港股节前一周,上证指数累计上涨超12%,创下2008年11月以来最大单周涨幅;深证成指累计上涨超17%,创下1996年4月最大单周涨幅;创业板指上涨超22%,创下史上最大单周涨幅。过去两周,富时A50指数上涨25.5%、金龙指数上涨38.7%、iShareMSCIChinaETF上涨33.9%、3倍做多富......
  • Salesforce AI Specialist篇之 Prompt Builder
    本篇参考:https://salesforce.vidyard.com/watch/UUAxcUfHYGAxH3D9wV1RxJhttps://help.salesforce.com/s/articleView?id=sf.prompt_builder_about.htm&type=5https://www.lightningdesignsystem.com/guidelines/conversation-design/overview/一.什么是PromptTemplate我们......
  • No instances available for XXX
     springcloud使用nacos作为服务发现,ribbon做负载均衡,然后报错,Noinstancesavailableforcloud-alibaba-study。版本  Springboot 2.6.7  Springcloud 2021.0.3  Springcloudalibaba2021.0.6.0过程  当我引入nacos包如下,2021.0.6.0包移除了ribbon,(除非......
  • 员工工作服穿戴AI识别
    员工工作服穿戴AI识别系统是基于人工智能技术,员工工作服穿戴AI识别通过在工厂和电力场景内部安装摄像头,对员工的工作服穿戴情况进行实时监控。当员工的工作服穿戴不符合规范时,员工工作服穿戴AI识别将自动发出警报,及时通知现场管理人员进行处理。员工工作服穿戴AI识别24小时不间断......
  • 什么是图灵完备?手把手教你证明brainfuck的图灵完备性
    Intro上篇文章中对图灵机的讨论是错误的,因为那篇文章中试图去使用一个具体的机器去指代图灵机,这会造成极大的误解。本文将会解决这些问题。Tips:发现错漏请指出,我尽力修改(;´д`)图灵机图灵机的形式化定义如下图灵机是一个七元组(\(Q,\Sigma,\Gamma,\delta,q_0,q_{accept......
  • sql-labs靶场第四关测试报告
    目录一、测试环境1、系统环境2、使用工具/软件二、测试目的三、操作过程1、寻找注入点2、注入数据库①Orderby判断列数②判断回显地方③爆库,查看数据库名称④爆表,查看security库的所有表⑤爆列,查看users表的所有列⑥成功获取用户名和密码信息3、sqlmap注入方法......
  • sql-labs靶场第二关测试报告
    目录一、测试环境1、系统环境2、使用工具/软件二、测试目的三、操作过程1、寻找注入点2、注入数据库①Orderby判断列数②判断回显地方③爆库,查看数据库名称④爆表,查看security库的所有表⑤爆列,查看users表的所有列⑥成功获取用户名和密码信息3、sqlmap注入方法......
  • SciTech-Mathmatics-Probability+Statistics:Quantifing Uncertainty_统计分析: SciTec
    一般数学表示方法概率数学表示方法\(\large\begin{array}{rl}\\\bm{X}:&符合某种概率分布的Random\Variable(随机变量)\\\bm{x}:&\bm{rnorm},随机变量X的一个实例,,…\\\bm{f}:&\bm{pdf},\bm{dnorm},\text{ProbabilityDistributionFunction}\of\\text......
  • SciTech-Mathmatics-Probability+Statistics:Quantifing Uncertainty_多元数据统计分
    Chapt1学习目标理解多元数据及多元统计分析与一元统计分析的区别。掌握数据的计量尺度与数据类型。了解多元统计分析的应用分类。1.1 多元数据认知1.1.1多元数据的概念对任何一个现实问题要转化为一个统计问题,首要的工作是要对其特征进行刻画;一般采用随机变量,多......