controlnet模型下载，模型下载
其实controlnet模型下载的问题并不复杂，但是又很多的朋友都不太了解模型下载，因此呢，今天小编就来为大家分享controlnet模型下载的一些知识，希望可以帮助到大家，下面我们一起来看看这个问题的分析吧！
Controlnet 最新动态!6款超好用的新模型解析(附下载)
Controlnet最新动态！6款超好用的新模型解析（附下载）
近期，Controlnet插件在 Stable Diffusion WebUI中又迎来了一批新的模型和功能更新。这些新模型各具特色，能够进一步提升图像生成的精度和多样性。以下是对其中六款超好用新模型的详细解析及下载指南：
一、Animal_openpose
功能：专门提取狗、鹿、马、豹等四足动物姿势骨架的模型，也可用于引导人马等奇幻形象的生成。使用方法：下载 rtmpose-m_simcc-ap10k_pt-aic-coco_210e-256x256-7a041aa1_20230206.onnx预处理器模型，放置到 extensionssd-webui-controlnetannotatordownloadsopenpose文件夹内。
下载 control_sd15_animal_openpose_fp16.safetensors模型文件，安装到根目录的 extensionssd-webui-controlnetmodels文件夹中。
在 Controlnet中启用 animal_openpose预处理器和模型，按正常流程生成图像。
二、Densepose
功能：控制人物动作的模型，提取躯干和四肢的轮廓图，能够判断复杂的姿势重叠，与 Depth模型搭配使用效果更好。使用方法：下载 densepose_r50_fpn_dl.torchscript文件，放置到 extensionssd-webui-controlnetannotatordownloadsdensepose文件夹中。
下载 controlnetFor_v10.safetensors模型文件，安装到根目录的 extensionssd-webui-controlnetmodels文件夹中。
选择合适的 Densepose预处理器（densepose或 densepose_parula），并控制模型选择 controlnetFor_v10.safetensors。
三、Depth_anything
功能：新的深度估计模型，预览图更清晰锐利，处理运动画面时表现更佳，适合用于 Animatediff等视频插件。使用方法：下载 control_sd15_depth_anything.safetensors模型文件，安装到根目录的 extensionssd-webui-controlnetmodels文件夹中。
在 Controlnet中启用 depth_anything预处理器和模型，按正常流程生成图像。
四、Depth_hand_refiner
功能：专门修复手部畸形的深度模型，预处理器已内置在最新版本的 controlnet中。使用方法：下载 hrnetv2_w64_imagenet_pretrained.pth模型文件，放置到 extensionssd-webui-controlnetannotatordownloadshand_refinerhr16/ControlNet-HandRefiner-pruned文件夹中。
在生成图像时，如发现手部问题，可将其发送到「图生图-局部重绘」中，涂抹手部区域后，启用 controlnet，选择 Depth_hand_refiner预处理器和 control_v11f1p_sd15_depth模型进行修复。
五、Ip-adapter_face_id_plus
功能：Ip-adapter_face_id的升级版，能更好地保持人物面部的一致性，实现与 Reactor相似的人物换脸效果。使用方法：安装 insightface（具体方式见官方教程）。
下载 ip-adapter-faceid-plus_sd15.bin模型，安装到根目录的 extensionssd-webui-controlnetmodels文件夹。
下载 ip-adapter-faceid-plus_sd15_lora.safetensors模型，安装到 modelsLora文件夹。
下载 buffalo_l文件夹，放置到 extensionssd-webui-controlnetannotatordownloadsinsightfacemodels中。
启用 controlnet，上传换脸源图像，选择 ip-adapter-faceid-plus模型和预处理器，添加 ip-adapter-faceid-plus_sd15_lora模型，并设置权重为 0.5-0.7。
六、Softedge_teed
功能：新的软边缘处理模型，提取的线条边缘更清晰详细。使用方法：下载 7_model.pth模型，放置到 extensionssd-webui-controlnetannotatordownloadsTEED中。
SD1.5模型直接搭配 control_v11p_sd15_softedge控制模型使用；SDXL模型需下载 controlnet-sd-xl-1.0-softedge-dexined.safetensors模型，安装到 extensionssd-webui-controlnetmodels文件夹中。
七、Controlnet支持多图像上传
功能：出于 IP-Adapter模型学习风格的需要，controlnet插件现在支持同时上传多张图像。使用方法：在上传图像时切换至「Multi-inputs」选项，然后点击 Upload Images即可。
下载链接：
文中提到的模型资源均可在下方提供的云盘链接内下载。请根据需要选择合适的模型进行安装和使用。
生产力!ControlNet可以用在国产可图模型了
根据可图的开源计划，在开源大模型后，后续会继续开源ControlNet和ipadapter，但创作者心急，已经开始开发非官方的ControlNet和ipadapter。接下来，我们介绍7月12日由开发者放出的ControlNet和ipadapter。
一、可图大模型在ComfyUI的安装和使用
要将可图大模型部署到本地，操作相对简单，但需要确保你的设备上安装了ChatGLM3模型。ChatGLM3有三种显存模式：FP16需12G显存，quant8需8G显存，quant4需6G显存。首先，请确保你将ComfyUI升级到最新版本，接着，安装kwai-Kolors节点和ComfyUI-Kolors-MZ节点，下载链接分别在文档中给出。
安装完成后，将模型压缩包下载并解压至ComfyUI\models\diffusers目录下。此时，安装工作基本完成。
二、ControlNet在可图上的应用
ControlNet的应用需要使用ComfyUI-Kolors-MZ节点，通过在ComfyUI里点击管理器并选择“通过git url安装”来完成。安装节点时，可能会遇到一些问题，但多次尝试后通常可以解决。ControlNet模型复杂，需要准备ChatGLM3模型，确保安装路径为ComfyUI\models\llm。
此外，SDXL的controlnet模型直接用于替换，VAE模型无需额外安装。加载工作流可以通过链接获取，步骤包括上传图片、加载ChatGLM3、VAE、ControlNet（使用canny模型）等。
三、ipadapter在可图大模型的应用
可图默认安装后，直接使用ipadapter的工作流即可。上传参考图片后，ipadapter根据参考图片的风格调整原图片，生成符合风格的新图片。
四、网盘下载资源
为了帮助你快速上手，提供了以下资源下载链接：
可图大模型（文件夹版）：链接已提供
可图大模型（压缩包版）：链接已提供
ChatGLM3（用于MZ节点，显存小于13G下8bit和4bit量化版即可）：链接已提供
遵循文档指引，完成安装和配置，你就能在国产可图模型中使用ControlNet和ipadapter了。从下载模型到应用流程，每一步都详细列出，确保你能够顺利搭建和使用。
万能模型 ControlNet Union !10+控制效果一键生成!
ControlNet Union：10+控制效果一键生成的AI绘画控制模型
ControlNet Union，也称为ControlNetPlus，是一款新训练的ControlNet控制架构，它融合了10多种控制模型，适用于SDXL 1.0生态。这款模型的出现，极大地简化了AI绘画的控制流程，使得用户可以通过一个模型实现多种控制效果。
一、ControlNet Union的主要特点
ControlNet Union融合了13种控制类型，这些控制类型可以分为6大类：
openpose动作姿势：用于控制绘画中人物或物体的动作姿势。depth深度：用于添加或调整绘画中的深度效果。thick line粗线条：包括scribble、hed、softedge、ted-512等多种粗线条效果。thin line细线条：包括canny、mlsd、lineart、animelineart、ted-1280等多种细线条效果。normal法线贴图：用于增强绘画中的立体感和细节。segment语义分割：用于对绘画进行语义分割，以便更好地控制不同区域的效果。此外，ControlNet Union还支持多重控制，即可以同时开两个控制窗口，使用不同的预处理器，然后同时选择ControlNet Union作为控制模型。这样不仅可以实现更复杂的控制效果，还可以减小显存压力。
二、如何在SD WebUI中使用ControlNet Union
下载模型：
模型下载链接：
从Huggingface上下载名为diffusion_pytorch_model.safetensor的模型文件，并将其名称改为controlnet++_union_sdxl.safetensor。
安装模型：
将改名后的模型文件放到SD WebUI根目录的extensionssd-webui-controlnetmodels文件夹中。
更新插件并启动WebUI：
将Controlnet插件更新到最新版本。
启动WebUI，在Controlnet控制列表中即可看到controlnet union的选项。
选择模型并生成图像：
在使用ControlNet Union时，记得选择SDXL系列的大模型。
根据需要调整控制参数，然后生成图像。
需要注意的是，ControlNet Union目前不适用于某些预处理器，如带面部和手部的姿势骨架的模型（如openpose_full、openpose_hand、openpose_faceonly等）以及seg_ofade20k语义分割预处理器。因为这些预处理器的内容并未在ControlNet Union中进行训练，所以生成的图像可能会出现错误。
三、如何在ComfyUI中使用ControlNet Union
下载并安装模型：
同样从上述链接下载模型文件，并改名为controlnet++_union_sdxl.safetensor。
将模型文件安装到ComfyUI的modelscontrolnet文件夹中，或者与SD WebUI共用路径中的modelscontrolnet文件夹中。
创建工作流并运行：
在ComfyUI中创建一个基础的controlnet调用工作流。
确保图像尺寸与上传的图像保持一致，选择SDXL大模型，并正确选择controlnet union模型。
根据需要调整工作流中的其他参数，然后运行工作流生成图像。
此外，用户还可以尝试搭建多重控制工作流，同时使用两种控制条件。但需要注意的是，超过两个控制条件后，ControlNet Union的效果可能会变差。因此，在使用时可以多尝试不同的controlnet强度，以获取更好的效果。
四、总结
ControlNet Union是一款功能强大的AI绘画控制模型，它融合了10多种控制效果，使得用户可以通过一个模型实现多种控制需求。无论是在SD WebUI还是ComfyUI中，ControlNet Union都能提供便捷且高效的控制体验。虽然它目前还存在一些限制和不适用的预处理器，但总体来说，它的效果还是不错的，非常值得推荐使用。当然，如果用户追求更精致的出图效果，使用最新的独立模型可能会更好。
如果你还想了解更多这方面的信息，记得收藏关注本站。