Comfyui基础教程16.controlnet预处理器的相关补充说明

AI作画软件中文版 2025-06-05 11:06:37
欢迎各位同学们来到小江老师新一期的ComfyUI系列教程。这是我们上期视频转会中最终生成的结果。大家可以看到,人物动作和服装在很大程度上保持了一致,背景也完全按照图片作为参考。整体来说还可以,只是脚底下的闪烁问题。如果出现这样的问题,首先可以从原图里找原因。原视频里没有下半部分,如果大家继续遇到这样的问题,可以再次生成一个可以解决的解决方案。这节课我们来给大家继续讲一下有关。
关于Conttra net和Contra net的预处理器以及一些用法,有很多小伙伴表示Contra net有很多内容没有讲完,例如面部与姿态里面有d nose、姿态预处理和其他DW。稍等,我会逐一调出动物姿态检测。关于面部网络,我先不给大家做演示了,我不知道为什么每次加载预览时UI都会报错导致无法加载。我们先连接一张图片,讲解这4个问题。
加载图像并将其连接,我们进行预览。如果你没有使用过这个预处理器,那么在第一次使用时可能会在后台进行下载,下载时间根据网络配置决定。首先我们查看denos的姿态预处理,它没有我们的open POS或者DW姿态预处理器准确。为什么是这样?
它以不同色块的方式展示人体肢体动作,例如头部使用黄色显示身**置,身体用紫色显示大臂、雄臂以及手掌部分。虽然它可以描述原图中人物的大概轮廓,但是无法准确控制,脸部也无法控制。接下来我们来到DW姿态预处理器,大家可以看到它相对于动作处理会更加细致,包括人物面部。
他会用类似白色的小圆点标注人物脸部的位置,包括鼻子、嘴、眼睛等。线段预示着面朝的方向。Any Miller POS是动物姿态检测的预处理器,专门自动识别动物的姿态进行预处理。因此,我们这里加入的人物无法检测出非常正常的姿态。最后是我们最常用的open POS预处理器。将它和DW放到一起可以看到它们有很多相似之处。总体来说,我个人认为open POS相对于DW在精度方面可能略逊一筹。在面部细节方面,DW自带检测反而会更好一些。这两个我个人认为差不多,大家可以自己尝试,我们也需要控制人物的情况。
我们在生成图片时需要更多地尝试,毕竟我们需要生成一个完整的工作流,而你只会使用控制姿势的节点。接下来我们来看一些其他的。我们来看右键新建节点,在CTR net预处理器里面有15个音处理器,我已经下载完毕,并且使用了一张小姐姐的图片给大家做演示。顾名思义,我们的线条能够准确识别图片中的线条信息并且将其保存。不同的预处理器说明它的精度可能会有所不同。
首先,我们来看一下Any light预处理器的线条,在所有预处理器中精度最高,包括线条颜色。只要能识别完成,都使用较为明亮的白色进行标注。在有了它的控制情况下,最终生成的图片轮廓与原图一模一样。其次,这是一个二值化预处理器,大家可以看到它保留的是深色部分。
他对于细节把控没有做到准确,我没有使用预处理器做过任何事情。第三个是Kenny的细线预处理,Canny相对于我们的第一个来说较硬。大家可以看一下区别在哪里。这边的线段虽然较硬,但是轮廓具有弧度。Canny虽然较硬,但是即使连同有弧度的地方,都是用长线段或者短线段代替,在特别的地方会出现锯齿部分。
这是canny。另一个是扩散边缘处理器,它能够自动检测画面中人物手臂的轮廓,例如裙子的轮廓和衣服的轮廓,我们只会保留大致轮廓内容。下一个是模糊线域处理器,我们在视频转会的那节课中使用它,它不仅能标注线段位置,而且标注不会过于生硬。在AI生成过程中,它能够让ComfyUI、模型和提示词有更多发挥空间。下面是伪涂鸦预处理器,它能够将一张完整照片生成出类似于小孩在画板里绘画的场景样子的尾涂鸦。它的目的是减少原本精细内容,让AI有更多发挥空间创造好link on的艺术线段与处理器。
大家提到它是线段预处理器,可以将其想象为直接对照片进行黑白处理。大家可以看到它的整体内容包含得非常细致,不仅仅是提取线条,还能精确描绘人物肤色的区别情况。动漫线条与处理器在精细程度上较高,主要针对动漫风格的图片,真人图片显得有些不太适合。
继续看其他方面,这是动漫线段预处理器,相较于前者,它不会保留很多细节。这是一个MLSD的线段预处理器,它只能识别图片中的直线情况,例如弧度线条无法保存,只能识别直线地方以保存部分细节。预处理器主要用于室内设计和装修生成,我们可能会使用它识别毛坯房的整体硬边缘轮廓。
凝线段与处理器的区别相对较小,大家可以根据使用场景多试用这几个预处理器,看哪个更适合你。这是scrabble的涂鸦预处理器,与我们上面的不同。通常涂鸦预处理器可以进行手绘内容,上传到AI,AI上传完成后会识别并提取大概轮廓,再配合大模型使其变得很好看或者很真实。我们之前在SD教程中已经讲过这个内容。
接下来是XDOG的涂鸦预处理,我之前没有使用过此设备。目前来看,它属于偏硬的控制,在细节方面可能没有前面的几个优势,例如canny、any妮lie或者lean on的预处理器,它需要保留那么多细节。这是TED线条预处理器,类似于软边缘。
Lean out standard,它与我们刚才提到的上面的内容相似。对比之后发现,一个的控制较硬,另一个相对较软。同样的道理,我们的最后一个,以及上面的02,还有XDOG和any life这几个比较适合我们控制生成真人图片,同时可以保持人物的长相和服装造型。如果大家想控制人物大概轮廓,让AI有更多发挥空间,那么我们可以使用一些边缘、涂鸦等方法。
Edge的扩散边缘与处理器大致如此。今天有同学告诉我内容繁多,不清楚具体含义。预处理器的使用次数很少,我们真正使用的只有几个,本节课主要是向大家说明它们的原理,包括control net里的部分。大家可以尝试姿态关键点后处理、颜色处理、法相图或者深度图的处理、面部控制与姿态控制以及语义分割等。
这个使用较多。我将简要说明语义分割的含义,以便更好地了解分类。如果我们讨论其他内容,那么我们会为大家解释清楚。语义分割检测的结果就是如此,它可以用颜色标注物体。例如,检测到玫红色的地方,是一个人,它就能够将其标注成玫红色。如果检测到背景位置,它就会用蓝色标注。如果使用这张图片,那么可能有些困难,我们可以更换一张图片。
我们更换一张较为复杂的图片。请大家查看,灰色用灰色标注背景,棕红色标注地面,桌子用白色单独标注桌子的颜色。桌布的颜色与桌子不同,需要仔细观察才能做到分辨。不同物体会用不同颜色进行说明。在最终生成过程中,图片能保持物体和空间摆放位置的一致性,这是语义分割。例如,平时记笔记时,这里写空气净化器,那里写桌子。在AI中,不能直接用文字标注,而是用颜色代替每种不同物体。
今天我们将补充两大常用的ctrl net预处理器用法。大家只需举一反三,对于不懂的多尝试,实际上非常简单。本节课到此结束,感谢各位小伙伴的支持,如有问题请在视频下方留言。