admin«123»
Ridley - 2024-04-12 22:20
[GF]
本教程系列最终为了在comfyui里实现“一键AI去衣”工作流，参考前一个帖子https://blue-plus.net/read.php?tid-2157478.html，大抵会分为几个篇章循序渐进，以帮助第一次使用的朋友。本篇教程为第一篇——基础篇，不管你有没有相关基础，只要认真阅读相关教程都能完成搭建。基础篇基本就能涵盖A1111's webui里的“AI去衣”流程。第二篇——自动识别：https://blue-plus.net/read.php?tid-2164519.html第三篇——肤色与修复（完结）：https://blue-plus.net/read.php?tid-2173721.html正式版工作流：https://blue-plus.net/read.php?tid-2180363.html前置工作1. 下载comfyui 建议使用官方整合包https://github.com/comfyanonymous/ComfyUI/releases/latest/download/ComfyUI_windows_portable_nvidia.7z 秋葉整合包的环境过旧更容易报错，暂不推荐。https://www.bilibili.com/video/BV1Ew411776J/ 但建议保留秋葉的启动器跟官方整合包一起使用（在版本管理/内核/分支里切换ComfyUI）：https://www.bilibili.com/video/BV1ne4y1V7QU/2. 节点安装 如果你使用的不是秋葉整合包，请留意是否有以下几个节点插件 （感谢评论区补充） ComfyUI-Manager AIGODLIKE-ComfyUI-Translation ComfyUI_Custom_Nodes_AlekPet ComfyUI_Comfyroll_CustomNodes Crystools efficiency-nodes-comfyui Comfyui-Impact-Pack [新版需要额外安装Comfyui-Impact-Subpack] ComfyUI-Advanced-ControlNet comfyui-controlnet-aux ComfyUI-WD14-Tagger（可选） （在运行时如果以上某一节点存在报错，可以尝试卸载重装这个节点） 除了以上秋葉整合包自带的插件外，为了实现最终工作流你还需要安装 Segment Anything (https://github.com/storyicon/comfyui_segment_anything) Lama Remover (https://github.com/Layer-norm/comfyui-lama-remover) Masquerade Nodes (https://github.com/BadCafeCode/masquerade-nodes-comfyui) WAS Node Suite (https://github.com/WASasquatch/was-node-suite-comfyui) 注意Segment Anything插件跟某版本的SAM2插件冲突，如果遇到不明报错请留意 （建议先简单了解下这些插件的作用，如果你连不上github，秋葉启动器里搜索该插件应该有对应镜像网址） 以上插件除了WAS Node Suite都可以直接通过秋葉启动器或comfyui manager直接安装； 而安装WAS Node Suite你可能需要遵照github里的安装教程： -来到 /ComfyUI/custom_nodes/ 文件夹 -将github或者镜像网站里下载的节点包/was-node-suite-comfyui粘贴进来 （如果你装了git，直接在最上面路径那一栏里覆盖输入cmd，在命令行里输入运行 git clone https://github.com/WASasquatch/was-node-suite-comfyui/） -打开cmd（来到/was-node-suite-comfyui文件夹下），在命令行里输入运行 path/to/ComfUI/python_embeded/python.exe -s -m pip install -r requirements.txt -比如我的就是“E:\ComfyUI-aki-v1.3\python\python.exe -s -m pip install -r requirements.txt” 除了插件本身外，通常插件会在调用时自动下载自身需要的模型，部分插件需要额外下载模型，各类模型的本地安装地址通常在\models文件夹下，小部分则直接放在\custom_nodes对应节点文件夹里，如果遇到模型缺失请留意。 另外，在安装以上插件后如果跟原有插件之间有冲突，不用担心，直接卸载那个原有插件（你也可以忽视warning继续，通常这类冲突只在插件内一小部分节点中存在，不影响使用）。3. SD大模型与VAE模型下载 这个就不用多说了，要重绘真人就用真人模型，要重绘二次元就用二次元模型（尽量选择画图效果与原图相近的和泛化性足够强的）。 （貌似很多朋友是真的第一次接触Stable Diffusion，原本不想写推荐模型的但照顾一下新玩家我就瞎推荐两个SD1.5的好了。希望你能早点找到自己中意的大模型并学会使用） 真人模型：[Checkpoint]fantasticmix_k1+[VAE] vae-ft-mse-840000-ema-pruned（秋葉包自带） 二次元模型：[Checkpoint]meinamix_meinaV11+[VAE] （Baked/不需要） Checkpoint模型放置地址\models\checkpoints\，VAE模型放置地址\models\vae\ 多逛逛https://civitai.com/models4. controlnet模型下载 整合包通常是自带controlnet插件节点的，但模型需要自行下载，或者你使用过A1111's webui的controlnet，可以直接拿来用。这里主要使用的是SD1.5的模型，如果你想在sdxl下实现请自行寻找对应controlnet模型。 你可以通过https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main下载所有SD1.5模型或者通过https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main等下载这些模型的fp16版本，推荐用fp16版本的节省内存。 模型放置地址\models\controlnet\5. 打开comfyui检查（建议设置为中文）Comfyui基础使用方法右键新建节点/双击搜索节点——选择需要的节点并设置——将节点与节点之间用线连接基础工作流1. 图生图 AI去衣的工作流核心依旧是图生图局部重绘，因此我们可以先复刻一遍A1111's webui里的局部重绘功能。 值得注意的是旧webui里的局部重绘有非常多的选项功能，比如蒙版区域处理、蒙版模式等等，本篇教程只介绍最适合“AI去衣”的重绘方式。 因为comfyui的token权重插值方式和随机生成方式跟A1111的不同，推荐使用效率节点里的模型加载器和K采样器，这样可以更方便地在comfyui里实现A1111的画图功能。 如图就是底图+噪声的局部重绘方式，对应A1111里的【蒙版模式】重绘蒙版内容-【蒙版内容处理】原图-【重绘区域】整张图片。 在{加载图像}节点里直接拖入你要重绘的图片，然后右键{遮罩编辑器中打开}，绘制蒙版（左键画笔右键橡皮）后保存到节点。 需要注意的点： （1）输入图像如果过大需要适当缩放，具体缩放到什么分辨率取决于你的显存和大模型（通常小于<1024*1536就可以了，越小跑得越快）； （2）模型效率加载器里，大模型和vae（模型放置地址在\models\checkpoints和\models\vae下）基于你自身喜好（或者像我一样用fantasticmix_k1 + vae-ft-mse-840000-ema-pruned，但我不推荐任何inpainting后缀的模型，具体原因以后会提及），SD1.5模型通常建议clip skip设置为-2，以及权重插值方式设置为A1111； （3）K采样器（效率）里的降噪也即重绘幅度，建议0.6~0.7（重绘幅度越低需要的蒙版越细致）。 设置完毕后点页面右上角“添加提示词队列”就能运行。2. 引入controlnet controlnet的主要作用就是在画图过程中在潜空间上进行条件控制，因此我们不再将正负条件直接输入采样器，而是先经过controlnet。 如图我们以controlnet inpaint为例，在前面图生图的基础上添加一个controlnet应用，选择对应预处理器和加载controlnet inpaint模型，再将经controlnet调整过后的正负条件输入到采样器中。 同样地，我们可以串联多个controlnet3. 颜色遮罩 在前面的局部重绘过程中，我们只使用了最基础的遮罩模式，而我们希望使用颜色遮罩覆盖原图，即对想去衣的人体部位用与肤色相近的蒙版，这样可以在较低重绘幅度下更好地实现去衣。 如图，我们将在对输入图像进行VAE编码前，将遮罩区域替换成我们需要的颜色。 这里我们会用到Masque节点的{遮罩混合颜色}。 由于本质是图像与图像合并，我们需要将遮罩先转成图像，再经过相同系数缩放后再与原图像合并。 其中RGB颜色需要换成你吸取到的颜色（关于如何自动吸取肤色将在后面教程介绍，现在这里需要手动通过其他软件吸取图像颜色），并不需要太精确，大致颜色相近就能获得很好的重绘效果。 值得注意的是，对于输入到controlnet里的图像，通常不建议用颜色遮罩合并后的图像，因为这样会损失很多图像细节导致部分controlnet效果变差。如此，一个简单的去衣工作流就完成了 经过上面这些步骤，你应该已经搭建完这一工作流了，当然你也可以直接在我这下载图中示例的工作流（如果你是第一次接触comfyui，强烈建议你当做连连看从头搭建试试。对工作流的任一步骤不够理解，都可能会导致在使用时遇到障碍）此帖售价 0 SP币,已有 2710 人购买若发现会员采用欺骗的方法获取财富,请立刻举报,我们会对会员处以2-N倍的罚金,严重者封掉ID!以上就是如何在comfyui中复刻webui中的局部重绘功能，后面的教程（如果我还有时间写的话）应该都是在webui中无法实现的功能了。如果你对这一工作流有什么想法或者建议，欢迎给出反馈。
回复
鱼 - 2024-04-12 22:27
[B1F]
技术贴牛逼，收藏了
回复
Timoo - 2024-04-12 22:37
[B2F]
马一个
回复
纯爱也会性焦虑嘛 - 2024-04-12 22:42
[B3F]
支持！！！！回家就搞
回复
小细腿 - 2024-04-12 22:44
[B4F]
学习一个
回复
97487ggg - 2024-04-13 00:34
[B5F]
马
回复
chuanliang - 2024-04-13 09:06
[B6F]
大佬牛
回复
f0dd67e5 - 2024-04-13 09:09
[B7F]
强
回复
08de8663 - 2024-04-13 09:12
[B8F]
mark
回复
xdm我好了 - 2024-04-13 14:24
[B9F]
这个流程图是怎么画的啊，好看
回复
Ridley - 2024-04-13 20:13
[B10F]
你是说最后一张图么？设置里连线换成直角线就行
回复
empirehwm - 2024-04-14 00:52
[B11F]
这个看着有点历害
回复
fileimg - 2024-04-14 11:59
[B12F]
大佬牛逼，求续作
回复
徒悲叹 - 2024-04-14 13:23
[B13F]
请问这个和st 图生图加插件和inapint模型 segment插件的区别在哪里呢 comfyui的效果好一点还是 需要的显存条件更低一点
回复
陌阳 - 2024-04-14 13:30
[B14F]
爱看 爱学 请大佬继续深入教学
回复
秀利理 - 2024-04-14 15:26
[B15F]
搞了几次漫画图，最后一次算可以吧，就是颜色不太对，等大佬下一个教程。
回复
Ridley - 2024-04-14 15:36
[B16F]
a1111是搭载好了几个固定工作流，优化相对较差；comfyui更加自由，可以实现更复杂和天马行空的工作流，而且更快捷稳定（包括启动），需要的显存更低，不用担心爆显存和各种原因导致必须重启。（a1111=宝宝巴士，comfyui=可能性的野兽）至于画图效果，你可以干涉的地方更多了，自然就能调出更好的效果。
回复
a9b33358 - 2024-04-14 15:50
[B17F]
感谢分享，想用SDXL模型，但没找到SDXL的controlnet的inpaint模型，只找到openpost的，需要拿什么替换阿，我试过直接忽略inpaint节点效果不是很好。SDXL的controlnet模型我是从这里找的https://huggingface.co/lllyasviel/sd_control_collection/tree/main
回复
Ridley - 2024-04-14 15:51
[B18F]
我觉得你这可能是大模型或vae的问题
回复
Ridley - 2024-04-14 16:03
[B19F]
截至目前没有人发布sdxl的inpaint模型，只有一个类似inpaint实则颜色过于自由的模型。inpaint作用主要就是颜色与纹理补偿，如果你的大模型和vae本身就跟原图契合，原则上可以不要inpaint。如果你是重绘后构图出现问题，可以加点低强度的controlnet深度模型或者法向模型。
回复
秀利理 - 2024-04-14 16:11
[B20F]
我换了好几次大模型和vae模型，出了这个
回复
秀利理 - 2024-04-14 16:14
[B21F]
我还是得继续学习，controlnet还不太会弄
回复
b6681d3f - 2024-04-14 23:40
[B22F]
很奇怪，我按大佬的教程搭建完以后（也对比了大佬给的工作流），绘制蒙板的时候只有覆盖衣服部分，但最终输出结果把面部（表情）还是重绘了，请问是哪里的设置不对吗
回复
蓝淘法网 - 2024-04-14 23:58
[B23F]
回复
恨姐不是秋 - 2024-04-15 00:41
[B24F]
学习了
回复
Ridley - 2024-04-15 02:06
[B25F]
你可能在VAE编码后漏掉了{设置latent噪波遮罩}，但是由于controlnet的inpaint在生效，最终重绘出来衣物以外区域只是有细微变化，看起来像是表情变了
回复
a373a277 - 2024-04-15 18:20
[B26F]
很好很好，支持一下
回复
鸡儿放假？ - 2024-04-15 19:37
[B27F]
马克
回复
hyr2nb - 2024-04-15 22:12
[B28F]
支持一波~另外问下大佬，comfyui和sd哪个好点
回复
Ridley - 2024-04-16 00:05
[B29F]
通常建议先玩A1111再玩comfyui，入门肯定是A1111好点，但也仅限入门了
回复
4c668ca1 - 2024-04-16 00:19
[B30F]
大佬牛哇
回复
«123»
回复
表 情
桌面版