Comfyui基础教程11用controlnet生成视频

AI作画软件中文版 2025-06-05 10:46:51
欢迎各位同学们来到小江老师新一期的ComfyUI教程。上节课我们讲解了如何在ComfyUI中搭建图片生成视频工作流。如果直接使用视频生成工作流,那么可能导致后期人物画风崩坏或者长相变化。今天的主要内容是教授大家如何实现Controlr net控制效果,使其生成相应的视频。
这是一个完美且动态的视频。请大家观看,下面是工作流的步骤,虽然看起来比较复杂,但是我们将逐步为大家讲解。首先我们通过预处理生成了24张图像,这是之前生成的图像。生成完成后,我们需要将图像复制下来,并且单独存储到一个空白的文件夹中。我们先为大家寻找图片,保存图像都在ComfyUI和目录的output文件夹中。我将这些图像复制之后存储到桌面的新建文件夹中。上传之后,我们可以点击文件夹名称的空白位置,将路径CTRL+ C复制,复制完成之后再回到CTRUI。
我们有一个加载图像路径的节点。在新建节点后,视频助手里加载图像路径。在这里我们可以直接CTRL+ V将路径复制。当时我们制作的图像是工作流,共有24张。因此我们的文件夹里也有24张图像。为了图像读取上限,我们需要进行改写。加载完图像后,下一步我们要做什么?
我们需要进行图像裁剪处理,并且将其设置为框和高度512×768。我们需要加载controltr net的预处理器,使用h hed模糊线段的预处理器。右键新建节点,Ctrl net预处理器在线条中,并且与它进行连接。连接完成后,我们可以直接预览图像,观察效果。首先关闭上面的部分。
CTRL+ m。我们刚才复制了其他内容,现在重新复制po+ c。将这些删除,CTRL+ V,确定之后点击添加提示词队列。这样可以看到24张图像,它将人物轮廓进行了大致处理。之所以要做到大致处理,而不是精细处理,是因为我们的图像在一开始通过图像直接生成视频时,到后期会出现崩坏,我们无法将完整的崩坏细节记录在里面,因此我们使用的是预处理器。完成之后,接下来应该如何处理?
接下来我们需要中间的节点加载controltrl net的加载器。这里与之前不同的是我们需要右键新建节点,这里有一个高级controlr net,在这里有一个高级Ctrl net的应用,我们需要通过这个与它进行连接。连接完成之后我们可以加载CTR net的模型,Ctrl net加载器高级。接下来我们需要选择柔和的边缘检测soft edge。
进行选择,选择完成后需要连接采样器和加载器。在这里,我们直接将效率采样和效率加载器拉下来,用CTRLM打开。接下来,正面条件与正面条件相连,负面条件与负面条件相连。这边也是一样的,正面条件和负面条件。接下来是va ae和latent。在连接完成后,如果想要生成视频,就需要在模型之间插入动态模型扩展器。新建节点与之前相同,在EVO里选择正一节点,动态扩散加载器。左边和右边进行连接,模型名称使用之前下载好的动态模型。
接下来我们继续讨论。在动态模型加载器连接完成后,我们需要进行上下文设置,实现循环统一。这里有一个问题需要注意,刚才的Latent是错误的示范,不需要直接连接。我们需要将裁剪好的图像拉过来,并进行VAE编码。
我们需要将其从像素空间还原到前空间中,之后再将VAE进行相连。请注意这里的latent,如果我们直接连接,那么他们不清楚具体需要哪张图片。既然我们想要生成视频,就需要让所有的24张图片都经过依次按顺序处理。因此在我们这里插入了从批次获取latent,这个位置在哪里?
新建节点latent。批处理从批次获取雷腾的数据,我们将其加载并进行相连,最终将其连接到采样器的late中。这个过程相对简单,基础同学应该都能够理解。连接完成之后,我们可以开始预览图像并合并为视频。在这里,我们需要进行一些参数微调。首先,controltrl net的强度可以适当降低一点,我们将其设定为0.85,让ai拥有更多自行优化的空间,结束位置也是0.85,让每张图片的contra net的介入生成仅占85%左右。
另外,关于其他动态缩放,我们也将其设置为0.85。上下文的长度设置为16 12,依次输入。请大家注意,为了方便后面进行比对,权重差值默认为ComfyUI。我们将其更换为A4个1。批次大小调整为24张,以符合图片需求。CF距值为6.0左右,7以内,采样器选择OLAA,调度器为cos和kas。
有两种叫法,这里就可以了。完成这些之后,我们直接添加提示词到队列。生成速度较慢。在ComfyUI做图过程中可能会出现很多报错和插件的情况,每台设备不同,如果大家有这样的问题,我们可以在ComfyUI管理器里点击检查更新。点击更新之后,它能够帮助我们更新到每个插件的最新版本,毕竟有些版本不兼容。在检测完成之后,点击更新就可以了。这里出现了一个问题。
这是为什么生成的图片有些怪异。我们从批次获取latent,没有进行设置,批次索引设置为1,长度需要与上传图片的数量吻合。完成后,再添加提示词队列,这样没有任何问题。在生成过程中,我继续讲述后面的内容。你可以直接预览图像或者连接到合并为视频,右键新建节点,视频助手在这里可以将其合并为视频,之前我们已经讲过了,我们可以进行图像补帧。最终生成的画面经过各种处理只剩下8帧,这个视频看起来比较卡顿。我们可以新建节点,在插针里选择RI V Fi.
进行连接,连接完成之后,例如帧率是8帧,我们的原图上传的是24张图像,我们在陈述中可以将其改为3,还原到24帧的效果,最终将其合并为视频。这是一个完整的工作流。今天我们主要讲述如何插入CR net,加载CTR net的模型,并参与到最终的视频生成过程中。
这里面的一些重要参数是图像读取上限必须选择24,或者根据你上传的图片输入相应数值。另外图像在裁剪过程中,大家需要调整宽度和高度,之后选择control net预处理器。处理完成后将其输入到高级controltr net应用中,加载相对应的预处理器CTR net模型。效率加载器需要与效率采样器进行连接,通过高级ctrl net应用将其连接在模型中间,加载动态扩展加载器,目的是使图片之间生成后更加连贯,动态缩放0.85,同时关注上下文长度和上下文重叠等问题。
图像已经生成完成,我们可以直接预览。有contra net控制后,画面在运动时人物基本上没有太大变化,只是噪点较多。如果噪点较多,我们就可以将上面的插针复制下来,连接后还原到3倍24帧。最后图像新建节点视频助手,将其合并为视频即可。
我们已经生成到这一步。如果你想进行下一步处理,新增了两个节点,如果直接点击添加提示词到队列,那么需要重新来一遍,会浪费时间。如果第一次预览图像的效果已经达到满意的情况下,基于这个基础进行优化,可以点击**值固定,然后再点击添加提示词到队列,它就能保留原有的进度,之后再加载新加载的两个节点,即补帧节点和合并为视频节点。
非踌效果已经生成。补完针后,明显感觉比之前稳定很多。这里给大家做一下对比。以上是今天的内容,如果一次没有消化完成,我们可以多听几次。这是基于图声视频的基础上插入contra net进行控制节点和工作流。以上是为今天本节课所有内容感谢大家的支持。