Comfyui基础教程15.视频怎么转绘

AI作画软件中文版 2025-06-05 11:05:31
我们是否需要在前几节课中为大家讲解IP adapter,进行介入?在这里,我们可以直接右键新建节点,在应用IP adapter里有一个分块。因为我们需要批次处理图像,所以使用分块批次。大家还记得是什么意思吗?我们之前提到过,对于一些图片,特别是要保持人物一致性时,我们需要将一张较长的图片分为两个部分进行生成,这样生成起来的效果会更加稳定。这里我们的IP adapter仍然使用之前提到的统一应用,即IP adapter加载器。
接下来将IP adapter与其进行连接。我们需要做的是将原视频中的人物变成新形象,并将正面形象拉入其中,然后加载图像。我已经提前下载过,大家可以自行寻找。我用到的是这个人物的参考。之前我们已经给大家讲过IB adapter模型的预设,在这里我会用到标准的中强度和权重类型,并对其进行缓入。
在后面的选项中,我们需要使用遮罩。右键新建节点,在遮罩中,遮罩到图像,与其相连。在这里,我们创建一个预览,如果大家不想查看中间的无关紧要的结果,在这些节点时,我们可以右键折叠起来,这样就不会显示过程中产生的图像。在完成人物IP adapter之后,我们适当让IP adapter进行风格的参考生成。接下来,我们新建节点应用IP adapter。这里有一个应用IP adapter的批次,选择出来之后模型与模型进行相连,我们需要用到API adapter的加载器,我这里直接复制过来。
请调整位置。首先连接模型,然后再进行连接。这里需要注意的是,我们的IP adapter可以直接连接到第一个加载器。因为中间步骤只是确定人物,后面需要同步背景风格,所以不需要加载两次,这对内存占用率会更友好。大家记得IP deer可以直接连接到第一个加载器。接着,正面图像仍然需要使用背景图片作为参考。如果产生的背景和风格差异较大,例如背景是亮色,参考的风格是暗色,那么效果不会太好。因此,我这里就用到一样的,大家在实际测试时可以参考。
你可以尝试将图片分成不同的几组,我们将基本原理向大家讲解。关于权重类型,我们之前提到过style transfer,它的风格参考能力非常强。在权重方面,我们可以适当降低到0.6,大家可以多多尝试。这样IP adapter节点就设置好了,设置好后,我们仍然保持原样。
我们为其新建一个框,将内容框起来。我们选择与左边相同的大小,这样看上去会更舒服。我们将其放起之后需要使用edit tailor。我们暂时不创建editor,先预览效果。在模型方面,我们创建一个KG节点,设置一个名字以便最终模型输出。
OK.到这一步为止,我们前面的加载器、图片处理以及CTR net模型的处理已经完成。接下来我们需要使用采样器,在采样器中,我们单独创建右键新建节点,在效率节点中采样器效率。我们的模型必须连接上一步的KG节点,获取节点并与它相连。最终的模型输出和处理用IP adapter完成,请记得选择相同的名称。另外两个也是如此,我们之前已经创建过并且将它们复制下来。这里是最终的正面条件以及负面条件。
我们需要与其进行相连。另外,我要告诉大家,latent在视频转会中并不需要。如果我们将原图通过雷进行反向编码,最终生成的结果与原本上传的结果相似性非常高。特别是在制作视频转会时,不仅需要更换背景、人物,还要考虑装造和服装。如果连接雷,就不容易改变,因此我们这里不需要进行连接。
我们在这里使用空的latent,之前我们也为大家创建过。我们连接latent和vae,这些全部使用KG节点输出进行连接。这样的工作流程非常明朗,一目了然,他没有讲解。看着这些步骤,天赋较好的同学也能够自己搭建。我们在上面使用的是LCM模型。
因此我们的步数设置为10步,CFG值尽量保持在2以内,我们将其设置为1.8。另外我们使用的是一个LCM采样器,大家应该都有。这样就可以了,我们可以预览图像,因为上面设置了批次的获取是一,所以我们先从这60多张图片中生成一张图片查看效果是否符合我们的需求。
我们直接缩小一点,点击添加提示词到队列。如果它正常运行,就意味着我们的工作流没有任何问题。如果有些节点有红色标注,我们可以检查是否有节点没有与大家连接,这个可能会稍微慢一些。因为它的步骤实在太多,缩小后看起来有点眼花缭乱。这个是参照人物以及背景图片生成的效果给大家看。
将背景图片拉过来,相当于完全替换了原本人物形象。背景元素不明显,我们没有修改过原视频背景权重。接下来我将讲解如何提升参照人物的一致性,参数非常重要,位于线条的位置,生成识别出来的结果供大家观看。
它识别出的结果包括原版人物的轮廓。如果我们不降低线条权重,就会导致最终生成时不会经过很大改变。因此我们可以将强度进行调整,例如将强度调整为0.5,不仅可以调整强度,还可以调整介入时间或者结束时间。开始时间为0.25,结束时间为0.7。
这样相当于只有45%的线条在生成过程中受到线条束缚,即在噪波生成和即将结束时都可以任由IP adapter进行角色以及背景的参考和发挥。调整之后我们再观察效果,这里我先去断掉,之后再预览。接下来添加提示词到队列。大家可以看到,在权重值调整之后,人物的服装发生了明显变化,包括风格和类似于真人的感觉。左边已经变成了大模型,包括参考图设置好的动漫角色形象。
除此之外,我们可以对深度图进行改变,深度图会控制人物的长相和轮廓。我们将其设置为0.5,0.25,0.7。这仍然是老规矩,设置完成之后放置一边,之后单独进行预览。这样对比可能会让大家看得更加明显。这次会好很多。在刚才的基础上背景变得更多,包括人物风格已经完全转化为二次元形象,我认为非常不错。我们将参照的人物进行对比。
同样的短裙,服装的版型和人物头发有些不同。如果大家想追求更加极致,我们可以继续修改。例如不需要0.5的线条,只需要0.3的深度。同样的断开之后再预览,点击添加提示到队列。我相信这次会是非常好的结果,不过根据大家的需求,我们可以进行更多测试。
我们可以多进行测试,这是视频转会。当我们生成的结果令你满意时,接下来是否需要使用到视频,需要使用到animate diff。在这里,我们直接右键新建节点。在animate deep e VO里有一个争议节点,动态扩散加载器。暂时不做到这个连接,我们先给大家讲解一下,首先将上下文设置循环统一拉出来。
如果重叠,就设置一个2。Animate dif的默认模型是V3的官方版本,实际测试结果显示效果较差。目前我使用的tmporaal diff可以在哈根faces上进行下载,上面的1.67gb可以直接在左上角查看网址,需要配置网络。下载完成之后,它的安装在哪里?
Confi与目录Models文件夹,首先是第一个animate div,Models,直接安装即可。在安装完成后,我们需要继续在连接中间的一个节点,右键新建节点。实验节点里面有一个噪波色调映射与缩放CFG,这是ComfyUI自带的功能,无需额外加载插件。我们这样进行连接有什么用处?例如我们这里有一个缩放系数,在连接这个节点后,图片生成时CF去值逐渐减弱,使模型在生成图片过程中的平滑度更高。
另外,上面的部分是我们最终生成的图片,它的对比度大小即颜色的深度。在我们之后出图时,你可以多出几张自己尝试,区别会一目了然。我将为他提供300。在这中间,我们需要一个新建节点,即模型微调。在这里有VR模型重加权,我们替换中间的部分,让它进行连接。它的作用是将原有模型底层参数进行调整,大家可以将其理解为微调模型。我们需要设置的参数是B1,它主要用于控制图像生成时缩放的强度。在生成视频时,它具有整体动态缩放强度,我们可以通过它进行控制。我们直接让它默认为1.3版。
关于其他参数,大家可以根据出图经验来了解它们的具体区别。完成这些之后,我们可以直接将后面的模型拉过来,用它替换掉最终的模型输出即可,并且将其连接到采样器。完成这些之后,我们可以直接处理最终结果。我们先生成10张图片,观察结果如何。如果画面整体良好,我们再进行插帧帧数的还原,最终将其合并成最终的视频。
我们在处理过程中,图片数量非常多,大约有60张左右。我们先让他生成前面的10张图片,观察效果。点击添加提示词队列生成速度较慢,我们看最终结果。生成完成之后,因为这是预览图像,所以我们可以直接点击键盘上的右键进行观看,整体非常丝滑。背景已经全部更换。既然如此,我们需要做到最后一步,新建图像,这里有一个插针,与以前相同,V Fi,RI开头的部分。
我们将其与之相连,我们可以让其乘以2。我们的视频原本是30帧,被降到15帧。最终我们通过插针进行还原,并且连接到新建节点,在视频助手中合并为视频。之后大家可以通过放大来提高图片质量,并且连接好。这是经过测试后生成的结果。如果大家想要二次放大修复,那么我们可以使用采样器将其拖拽。
接下来进行连接模型,粘棉条件和负面条件。接下来是VAE。中间的雷哈,我们按系数进行缩放,实现1.5倍的放大。缩放方法选择默认。参数正常,例如20。这是6。采样器使用OLAA,调度器默认经过这个步骤之后进行图像插针,最后合并成视频。
我们需要将最终的帧率修改为30帧。确定之后,我们需要将图片数量修改为60,一共是59张图片。之后我们可以直接点击生成,大概需要半个小时左右的等待时间,这也是最终等待生成的结果。
这里有点崩溃,我已经跑了将近一个多小时,剩下的50%没有跑完。因此,在生成过程中,我们先像我一样进行测试,再生成最终结果。最终结果我会在下一期课程开始时展示给大家。由于时间等待太久,以上是非常完整的视频转会工作流。感谢大家的支持。如果现在认为课程对你有用,那么请给我一键三连,我们下节课再见。