首页 > 其他分享 >视频生成领域的发展概述:从多级扩散到LLM

视频生成领域的发展概述:从多级扩散到LLM

时间:2024-02-20 12:11:42浏览次数:31  
标签:视频 模型 多级 生成 概述 Sora LLM

2023年是语言模型(llm)和图像生成技术激增的一年,但是视频生成受到的关注相对较少。今年刚到2月份,OpenAI就发布了一个惊人的视频生成模型Sora。虽然它的架构没有披露,但是通过总结现有的视频生成领域可能能对Sora的构架有所理解。

在这篇文章中,我们将整理视频生成在最近几年是发展概况,模型的架构是如何发展的,以及现在面临的突出问题。

我们以时间轴看作是一个观察视频生成模型演变的旅程。这将帮助我们理解为什么模型是这样设计的,并为未来的研究和应用工作提供见解。

https://avoid.overfit.cn/post/6242680847f94e6b8ef3eb2217ce1f89

标签:视频,模型,多级,生成,概述,Sora,LLM
From: https://www.cnblogs.com/deephub/p/18022822

相关文章

  • 对最大公约数求法和扩展欧几里得算法的简要概述
    目录1.最大公约数(gcd)1.1更相减损术时间复杂度分析1.2辗转相除法(欧几里得算法)时间复杂度分析2.最小公倍数(lcm)3.裴蜀定理(贝祖定理)3.1扩展欧几里得算法(exgcd)1.最大公约数(gcd)数论中,通常用\(d\|\a\)表示\(d\)能整除\(a\),即\(......
  • HarmonyOS—状态管理概述
    在前文的描述中,我们构建的页面多为静态界面。如果希望构建一个动态的、有交互的界面,就需要引入“状态”的概念。图1效果图上面的示例中,用户与应用程序的交互触发了文本状态变更,状态变更引起了UI渲染,UI从“HelloWorld”变更为“HelloArkUI”。在声明式UI编程框架中,UI是程序......
  • 车辆智能制造能力概述
    车辆智能制造能力概述图2-73表示车辆制造能力示例。 图2-73.车辆制造能力示例图2-74表示车辆智能车间示例。 图2-74.车辆智能车间示例图2-75表示车辆智慧物流示例(一)。  图2-75.车辆智慧物流示例(一)图2-76表示车辆智慧物流示例(二)。 图2-76.车辆智慧物流示例(二)......
  • Hugging Face-Transformers中的AutoModelForCausalLM 和 AutoTokenizer
    AutoModelForCausalLM 和 AutoTokenizer 是HuggingFace的Transformers库中的两个类,用于处理自然语言处理(NLP)任务。AutoModelForCausalLM 是用于因果语言建模的模型的自动类,它可以加载不同的预训练模型进行文本生成任务。AutoTokenizer 用于加载与这些模型相对应的预训练分......
  • 园区网络架构概述
    工厂、政府机关、商场、写字楼、校园、公园等,这些场所内为了实现数据互通而搭建的网络都可以称之为园区网。园区有大有小,有行业属性的不同,相应地,园区网络也变化多样。但是,无论如何变化,园区网络一般划分为出口层、核心层、汇聚层及接入层。园区网络分类大型园区网络终端......
  • LLM研究之-NVIDIA的CUDA
    一、什么是NVIDIA的CUDACUDA(ComputeUnifiedDeviceArchitecture)是由NVIDIA公司开发的一个并行计算平台和应用程序编程接口(API),它允许软件开发者和软件工程师使用NVIDIA的图形处理单元(GPU)来进行通用计算。简而言之,CUDA让开发者能够利用NVIDIA的GPU进行高效能的计算工作,这通常被称......
  • LLM与强化学习(一)
    很早之前就想了解一下LLM到底是怎么和强化学习结合的,今天凑巧查资料的时候看到亚马逊的一篇文章,把知识点整理记录一下。1什么是RLHFRLHF代表“ReinforcementLearningfromHumanFeedback”,即基于人类反馈的强化学习。它是一种机器学习技术,利用人类反馈来优化模型,从而更有效......
  • 第一章 Python概述
     第一章、Python概述 1.Python是什么 2.Python语言的特点 3.Python语言的缺点 4.Python程序的执行过程 5.安装Python 2.1通过Python官网安装包来安装 2.2使用pip安装第三方库 2.3通过anaconda安装Python 2.4两种Python安装方式比较 6.运行Python......
  • 二、数据概述
    一、什么是数据?数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材。在计算机系统中,数据以二进制信息单元0、1的形式表示在计算机系统中,各种字母、数字符号的组合、语音、图形、图像等统称为数据,数据经过加工后就成为信息。二、数据的表现......
  • Unity Coroutine 协程概述
    协程技术是将一个方法切分到不同帧上执行的技术,但是他和多线程有本质区别,多线程技术是利用CPU物理核心实现同时运行多个方法(程序)的技术,而协程只是让一个方法能够被我们拆分为多个部分,让每个部分在我们规定的时刻执行,看起来就好像同时在执行几个方法一样。简单而言,协程技术就是将方......