找回密码
 立即注册
  • QQ空间
  • 回复
  • 收藏

求救大佬们,为什么这个工作流它不识别我的openpose?

如图,我用的sdxl大模型,controlnet的openpose模型也是sdxl的,不明白为什么出的图没识别我的openpose提取的姿势?

求救大佬们,为什么这个工作流它不识别我的openpose?-1.jpg
回复

使用道具 举报

大神点评(9)

any941 楼主 9 小时前 显示全部楼层
这是openpose提取的姿势预处理图,发个大图以防大家看不清,这个图里显示姿势提取是没问题的,但是最终出图姿势就没按这个姿势来

求救大佬们,为什么这个工作流它不识别我的openpose?-1.jpg
回复 支持 反对

使用道具 举报

重启comfyui试试
回复 支持 反对

使用道具 举报

降噪调到0.7
回复 支持 反对

使用道具 举报

sdxl的openpose模型用controlnet-openpose-sdxl-1.0.safetensors或者thibaud_xl_openpose.safetensors,其他的效果其实都不太好。
回复 支持 反对

使用道具 举报

求救大佬们,为什么这个工作流它不识别我的openpose?-1.jpg
刚去做了试验,发现在comfyui生态下,sdxl模型的姿态控制比较复杂。它跟你使用的【ControlNet模型】有关,而不同的【ControlNet模型】又与不同的【预处理器节点】适配程度不同;同时,在“ControlNet应用(旧版高级)”这个节点中,【强度】和【结束时间】两项设置也会直接影响到成图效果。
总结一下:comfyui生态下,sdxl模型,姿态控制到底像不像,直接跟你使用的【ControlNet模型】【预处理器节点】【强度】【结束时间】这四个参数有关,这四个参数间又会互相影响。当然,你使用的大模型、提示词也有关系,但这里先不讨论文生图方面的指标。
看我下面这个试验,我先固定大模型为“WAI-二元PONYXL_2.0”,提示词固定为“anime girl, sitting”,种子值、图片尺寸等文生图指标全部固定不变。【ControlNet模型】方面,我使用“controlnet++_union_sdxl_promax”(2.33G,下简称union模型)和楼上说的“thibaud_xl_openpose”(下简称thi模型)这两个CN模型作对比;【预处理器节点】方面,分别使用【AUX集成预处理器】(选择其中的“OpenposePreprocessor”,下简称aux节点)和【DW姿态预处理器】(下简称dw节点)两个节点作对比。
1、首先,看看【union模型、aux节点、强度1、结束时间1】四个参数搭配的表现。可以看到,高强度值和全程控制,让出图直接失败,把骨骼图直接生了出来。

求救大佬们,为什么这个工作流它不识别我的openpose?-2.jpg
2、接下来,看看【union模型、aux节点、强度0.5、结束时间0.4】的搭配。生图效果不错,接近完美,就差左手托下巴姿势了。

求救大佬们,为什么这个工作流它不识别我的openpose?-3.jpg
3、接下来,看看【union模型、dw节点、强度1、结束时间1】的搭配。同样生图失败。

求救大佬们,为什么这个工作流它不识别我的openpose?-4.jpg
4、接下来,看看【union模型、dw节点、强度0.5、结束时间0.4】的搭配。不同于上面第2次试验,这次图也生出来了,但姿态控制并不成功。因此可见,在同样的强度、结束时间数值下,union模型与dw节点的“适配性”并不好。或许,此时要改改强度和结束时间的数值,但我没去试了。

求救大佬们,为什么这个工作流它不识别我的openpose?-5.jpg
5、接下来,看看【thi模型、aux节点、强度1、结束时间1】的搭配。可以看到,不同于第1次试验,此时的高强度、全程控制,thi模型依然把图片生出来了,并没有像union模型那样出图失败,只不过效果就嘛嘛....

求救大佬们,为什么这个工作流它不识别我的openpose?-6.jpg
6、接下来,看看【thi模型、aux节点、强度0.5、结束时间0.4】的搭配。效果可以,只不过没有第2次试验效果好,当然,这可能也和大模型有关,换个大模型,或许表现又不一样了?当然,前面说了,这里我们先不讨论大模型等文生图指标....


7、接下来,看看【thi模型、dw节点、强度1、结束时间1】的搭配。依然可以看到,thi模型是不惧怕高强度值和全程控制的(union模型在高强度值、全程控制时则生图失败),当然生图效果也嘛嘛....不过可以看到,thi 模型是正确还原出了左手摸下巴的动作。

求救大佬们,为什么这个工作流它不识别我的openpose?-8.jpg
8、最后,看看【thi模型、dw节点、强度0.5、结束时间0.4】的搭配。和上面第2次试验一样,应该说是接近完美了,成功复刻了左手摸下巴的动作,但没有翘腿。

求救大佬们,为什么这个工作流它不识别我的openpose?-9.jpg
回复 支持 反对

使用道具 举报

楼上大佬真是热心人,让我对controlnet的应用有了更深的理解!
感谢分享,开源的世界有您更精彩!
回复 支持 反对

使用道具 举报

楼主你的姿态预处理器能识别二次元的吗,我用来识别二次元,姿态预览一坨黑
回复 支持 反对

使用道具 举报

绝如望,我复杂一点的anime图,姿态识别都是黑图
回复 支持 反对

使用道具 举报

说点什么

您需要登录后才可以回帖 登录 | 立即注册
HOT • 推荐