Comfyui基础教程13.视频转绘前要做哪些工作

AI作画软件中文版 2025-06-05 11:00:55
Comfyui入门篇13.视频转绘前期预处理讲解。Mp4。
54321.欢迎各位同学们来到小江老师ComfyUI的新一期教程。今天的内容非常复杂且烧脑,我们主要讲解如何通过ComfyUI进行视频转会处理。我使用4秒钟的视频进行演示,大家在选择时间时只要一分钟以内即可。如果时间过长,生成时间就会较长。4秒钟最终处理需要大约20到30分钟。另外,无论舞蹈还是其他方面,我们准备的视频尽量保持背景干净,相对复杂。
我们需要分为三步进行。首先,我们需要进行视频处理,例如通过contra net预处理器将视频变成逐张图片,然后进行批次处理和生成,最终达到预期效果。接下来,我将为大家介绍工作流的搭建过程。首先,我们需要确定加载视频的位置。
右键新建节点,在视频助手中有一个加载视频选项。在加载视频调用完成后,大家可以点击该选项选择我们想要的相关视频内容。我已经选择好了,接下来我调整了强制帧率,原视频是30帧,我先限制到15帧左右,最后插针还原到30帧,没有必要,根据针数生成帧数即可,这样非常浪费时间。在视频加载完成后,我连接了图像缩放选项,在右键新建节点。
图像放大中有图像缩放,原视频分辨率为1920×1080,范围较大。如果直接使用ctrl net或者后续生成1点M5模型,那么无法胜任。因此我将其改为同等比例的400×700,大家可以与我一样进行设置。缩放变小后,我连接拆分图像。另外,我们调用右键新建节点,在视频助手中有图像,可以选择拆分图像。在后面,我接入了两个图像预览。
这里有一个拆分索引,如果我们输入1,它就能够将我们处理过的图像分为两组。第一组A会输出一张图片,第二组B会输出剩下的图片。点击添加提示词到队列,给大家看一下它大概的作用。大家可以看到,我们这里输入1,A组只有一张图片,B组被分为59张图片。因此在输出过程中,我们直接用这个线连接到B组即可。
我们将所有关键帧和图片还原为0,实现统一处理。如果大家不使用,那么我们可以直接将其删除,并连接后续内容。接下来我将在CTRLT那节课中教授大家。首先我们需要对图片进行预处理,完成后才能将图片打包,这是我们接下来需要使用的操作。
首先我使用了一个DW姿态的预处理器,它的目的是逐帧截取并保存视频中人物所做的动作以及姿势变化。其次我使用了模糊线段的预处理器,目的是保持人物本身的轮廓、发型和着装等。此外,我还加入了座椅的深度预处理器,它主要是让AI了解视频中每一帧空间关系,使最后转换出来的视频更加立体。
最后,我添加了一个移除背景的节点,在右键新建节点,wa节点里面有些同学可能没有这个节点,可以直接管理器,在节点管理里搜索wa,可以直接搜索到并且安装。安装完成后,大家记得重启ComfyUI即可。打开wa节点后,里面有一个图像和AI。在这里有移除背景,它的意思是保持人物位置不变,去除背景元素。
我开启了一个only mask,开启后它能够变成黑白轮廓效果,类似于深度。深度和线条会将原本的背景元素掺杂进去,移除背景后它不会变成黑白轮廓,大家可以将其理解为智能抠图工作流的节点。上面的这些在哪里?
右键新建节点CTRL内的预处理器,例如DW姿带检测,我们选择面部与姿态DW姿态预处理器。模糊线段预处理器,右键芯片节点,CTRL net预处理器。在线条里H hed模糊线段预处理器,以及下面Zoe的深度预处理器。右键新建节点,在contra net里有反向与深度,这里是Zoe的预处理器。我们将它分别加载,加载完成后,如果第一次使用,我们就需要保存图像,不需要再预览,因为这4组图片我们之后需要单独分组进行处理。
我们保存的位置在ComfyUI根目录output文件夹中,点击后大家可以看到这些是我之前生成的图片。不同之处在于我在此基础上创建了4个文件夹,分别保存姿态图片、线条图片、深度图片和抠图图片。每个文件夹保存一种类型。
这是我们视频转会预处理的过程。今天的内容大家可以先去消化。下一节课我将教授第二部分的control net,模型加载以及处理。同学们有任何问题可以在视频下方的评论区留言。我是小江老师,下节课再见。