【AI绘画】再谈大模型工作流技术之——ComfyUI框架

标签：视频 AI ComfyUI 模型 AIGC 生成工作谈大

“ 工作流，一种根据配置执行固定操作的流程 ”

而最近在做一款AIGC产品的过程中，主要负责的就是Comfyui工作流这块；本着要知其然，也要知其所以然的心态，因此向公司的炼丹师请教了一下ComfyUI工作流的工作原理以及工作流程。

ComfyUI的工作原理以及流程

首先要声明一个误区，ComfyUI是一款针对于视频生成Stable Diffusion开发的一个UI工具，但这并不代表着ComfyUI就是Stable Diffusion公司开发的，

可能很多人都听说过ComfyUI，但很少有人深入了解过ComfyUI框架，那么到底什么是ComfyUI?

在这里插入图片描述
其实简单来说，ComfyUI就是一款用来配置工作流的可视化工具，展示形式是web页面，用户可以通过这个工具配置工作流，以此达到特定的目的；比如生成一个特定风格的图片或视频等。

所以一句话概括，ComfyUI就是一个工作流配置工具。

如果不知道什么是工作流的读者，可以自行度娘一下。

工作流（Workflow），就是“业务过程的部分或整体在计算机应用环境下的自动化”

既然明白了ComfyUI是一个工作流配置工具，那它的工作原理是什么呢？

事实上，ComfyUI是通过一个叫做节点的东西来配置工作流的，通过对不同的节点进行配置，使得业务可以按照工作流配置的流程去执行。

而ComyUI因为是真的大模型技术而开发的，因此它支持在节点中配置不同的大模型来实现不同的目的和效果。

比如，在传统的AIGC实现过程中，要想实现一个视频生成的功能，那么就需要找到一个视频生成大模型，比如openAI提供的Sora。

而对大模型技术有过了解的人应该都知道，不论什么大模型都会有其擅长和不擅长的一面，毕竟通用大模型还没实现。因此，如果你想使用一个视频生成模型来生成多种不同风格的视频，那么其效果可能就大打折扣了。

比如，你要想让一个视频生成模型即可以生成古风视频，又可以生成现代视频，又可以生成未来的视频，同时又要求高质量生成，这样的模型可能并不存在。

在这里插入图片描述
那么，一般的解决办法是什么？

通过重新训练或微调的方式，来让大模型生成不同风格的视频，为不同的风格微调不同的大模型。

但我们知道，由于大模型训练和微调巨大的成本压力，这种方式显然是不现实的。那么应该怎么解决呢？

这时就可以换一种方式，那就是为每种风格的视频，都找到一个开源的模型，这个问题自然就解决了。

但虽然不同风格的视频生成解决了，但面对如此多的视频风格，个人或企业要怎么维护？如果如果需要多个模型进行配合该怎么办？而且有新人进来，难道要一个一个地教他们怎么使用不同风格的模型。

因此，这时ComfyUI的作用就体现出来了，首先ComfyUI可以通过配置的方式，配置一个固定的工作流，其中调用在需要的节点调用合适的大模型。这样，以后再想生成同样风格的视频，就可以直接使用这个工作流即可。

其次，ComfyUI通过在不同的节点配置不同的大模型，就可以达到让多个大模型协作的效果。这样只需要一个强大的视频生成模型，配合不同的风格的小模型就可以达到生成多种风格视频的目的。

那么，ComfyUI是怎么工作的呢？

在这里插入图片描述

首先，ComfyUI是一个B/S结构的工作流框架，B/S结构是基于浏览器和服务器的模式；用户可以通过在本地或远程服务器上安装ComfyUI框架，那么用户就可以直接通过浏览器方式ComfyUI服务端。

其次，炼丹师根据具体的业务要求，通过节点配置ComfyUI工作流；最终，此工作流会被保存为一个JSON文件，这样开发人员就可以通过这个JSON文件，通过修改其参数的形式，来调用ComfyUI接口来生成不同风格的内容。

写在最后

常用工作流已经给各位小伙伴打包好了，可以按需自取，无偿分享。
在这里插入图片描述

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

在这里插入图片描述