
刚去做了试验,发现在comfyui生态下,sdxl模型的姿态控制比较复杂。它跟你使用的【ControlNet模型】有关,而不同的【ControlNet模型】又与不同的【预处理器节点】适配程度不同;同时,在“ControlNet应用(旧版高级)”这个节点中,【强度】和【结束时间】两项设置也会直接影响到成图效果。
总结一下:comfyui生态下,sdxl模型,姿态控制到底像不像,直接跟你使用的【ControlNet模型】【预处理器节点】【强度】【结束时间】这四个参数有关,这四个参数间又会互相影响。当然,你使用的大模型、提示词也有关系,但这里先不讨论文生图方面的指标。
看我下面这个试验,我先固定大模型为“WAI-二元PONYXL_2.0”,提示词固定为“anime girl, sitting”,种子值、图片尺寸等文生图指标全部固定不变。【ControlNet模型】方面,我使用“controlnet++_union_sdxl_promax”(2.33G,下简称union模型)和楼上说的“thibaud_xl_openpose”(下简称thi模型)这两个CN模型作对比;【预处理器节点】方面,分别使用【AUX集成预处理器】(选择其中的“OpenposePreprocessor”,下简称aux节点)和【DW姿态预处理器】(下简称dw节点)两个节点作对比。
1、首先,看看【union模型、aux节点、强度1、结束时间1】四个参数搭配的表现。可以看到,高强度值和全程控制,让出图直接失败,把骨骼图直接生了出来。

2、接下来,看看【union模型、aux节点、强度0.5、结束时间0.4】的搭配。生图效果不错,接近完美,就差左手托下巴姿势了。

3、接下来,看看【union模型、dw节点、强度1、结束时间1】的搭配。同样生图失败。

4、接下来,看看【union模型、dw节点、强度0.5、结束时间0.4】的搭配。不同于上面第2次试验,这次图也生出来了,但姿态控制并不成功。因此可见,在同样的强度、结束时间数值下,union模型与dw节点的“适配性”并不好。或许,此时要改改强度和结束时间的数值,但我没去试了。

5、接下来,看看【thi模型、aux节点、强度1、结束时间1】的搭配。可以看到,不同于第1次试验,此时的高强度、全程控制,thi模型依然把图片生出来了,并没有像union模型那样出图失败,只不过效果就嘛嘛....

6、接下来,看看【thi模型、aux节点、强度0.5、结束时间0.4】的搭配。效果可以,只不过没有第2次试验效果好,当然,这可能也和大模型有关,换个大模型,或许表现又不一样了?当然,前面说了,这里我们先不讨论大模型等文生图指标....

7、接下来,看看【thi模型、dw节点、强度1、结束时间1】的搭配。依然可以看到,thi模型是不惧怕高强度值和全程控制的(union模型在高强度值、全程控制时则生图失败),当然生图效果也嘛嘛....不过可以看到,thi 模型是正确还原出了左手摸下巴的动作。

8、最后,看看【thi模型、dw节点、强度0.5、结束时间0.4】的搭配。和上面第2次试验一样,应该说是接近完美了,成功复刻了左手摸下巴的动作,但没有翘腿。
