Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

一、前言 终于到了最激动人心的时刻,我们使用 Stable Diffusion 最重要的就是他的可控性,其中 Controlnet(控制网络)的作用居功至伟,它可以引入更多的条件来让我们出图更加可控。 往期回顾:在最开始之前我们需要安装 Controlnet 预处理器插件以及下载 Controlnet 模型: ①Controlnet 预处理器插件:插件地址: 如果安装后,运行 ComfyUI 显示无法导入插件 请运行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目录下的

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

一、前言

终于到了最激动人心的时刻,我们使用 Stable Diffusion 最重要的就是他的可控性,其中 Controlnet(控制网络)的作用居功至伟,它可以引入更多的条件来让我们出图更加可控。

往期回顾:

在最开始之前我们需要安装 Controlnet 预处理器插件以及下载 Controlnet 模型:

①Controlnet 预处理器插件:

插件地址: https://github.com/Fannovel16/comfyui_controlnet_aux.git 如果安装后,运行 ComfyUI 显示无法导入插件 请运行“ComfyUI\custom_nodes\comfyui_controlnet_aux”目录下的“install.bat”文件

②Controlnet 模型:

常用模型我会放在本节课文件链接里面; 模型存放位置在“ComfyUI_windows_portable\ComfyUI\models\controlnet”目录下,如果你是和 Web UI 共用的模型,那就要看你第一节课设置的是插件下的还是 "models" 下的位置了。

一、创建流程

1. 需要有哪些操作:

①为了能让大家更直观的了解使用 Controlnet 需要有哪些操作,我先以 Web UI 上的 Controlnet 为例:

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

②我们可以看到在使用 Controlnet 插件时,需要我们加载图像、选择预处理器、加载 Controlnet 模型,以及控制权重、控制引导介入时机、控制引导终止时机;

③好了,开始正题,我们还是以“万能的文生图”为基础,先打开“文生图基础流程”,我们这个基础上把 Controlnet 流程加进去。

2. 预处理器:

①Controlnet 预处理器分有很多,比如:线条、面部与姿态、法向与深度、语义分割、颜色、Tile 平铺等多个类型,并且每个类型又有多个预处理器,我们先以线条中的 Canny 细致线预处理器为例,后面我会分别介绍他们有什么作用,以及怎么使用;

②先“右键-新建节点-图像-加载图像”去加载图像,这个应该都会了吧。然后我们再去选择 Controlnet 预处理器,“右键-新建节点-Controlnet 预处理器-线条-Canny 细致线预处理器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

③这一步是我们预处理器最重要的地方,我们可以把“加载图像”与“预处理器进行连接”,并且在右侧连接一个“预览图像”,然后跑一下,看看效果。

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

④可以看到,我们的图片已经被处理成黑底白色的线稿,这个线稿就是我们使用 Controlnet 之前的必备条件;

⑤当然,如果我们有已经处理好的图片,我们就可以省略“预处理器”这一步,直接进行下一步就可以了。

3. Controlnet:

①图片已经处理好了,我们这时候就需要去加载选择 Controlnet 模型的节点,以及用来进行权重控制的节点;

② “右键-新建节点-Controlnet 加载器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

③ “右键-新建节点-条件-Controlnet 应用”,这时候我们会看到两个 Controlnet 应用节点,分别是 Controlnet 应用、Controlnet 应用(高级):

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

强度:就是我们用来控制权重的,还记得上节课 Lora 权重的控制吗,是一个意思; 开始时间:我们在绘图时,Controlnet 什么时候进行控制; 结束时间:我们在绘图时,Controlnet 什么时候结束控制;

④相比较,Controlnet 应用只能用来控制权重,开始/结束时间采用默认 0/1。另外 Controlnet 应用(高级)需要去连接负面关键词。我们根据自己的使用选择就可以,我一般使用 Controlnet 应用(高级);

4. 工作流:

①我们使用 Controlnet 所需要的节点都已经加载出来了,我们把他们连接起来,并添加到“文生图基础流程”中;

②我们把“预处理器”处理好的图像以及“Controlnet 加载器”分别连接到“Controlnet 应用”;

③选择 Controlnet 模型,这时候我们一定要选择对应功能、对应版本的模型:

比如我们用的 Canny 预处理器,那我们就要选择 Canny 的 Controlnet 模型(我会在挨个介绍预处理器的时候给大家讲解,他们分别对应哪些模型); 我们出图采用的是 SD1.5 的大模型,那我们就要去选择 SD1.5 的 Controlnet 模型; 我给大家演示是用的 SD1.5 的大模型,那我就选择了“control_v11p_sd15_canny”这个模型。

④“正/反 CLIP 文本编码器”连接“Controlnet 应用”,“Controlnet 应用”连接“K 采样器”

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

⑤我们可以看到我通过一个二次元大模型以及关键词控制后,得到一张相同细节的二次元图像。

5. 多个 Controlnet 如何连接:

大家学习 ComfyUI 有段时间了,应该能猜到多个 Controlnet 怎么连接吧,我们在“Controlnet 应用”后面再串联个“Controlnet 应用”就可以了,其余的该连 Controlnet 模型的连模型,该连 Controlnet 预处理器的连预处理器。

Stable Diffusion ComfyUI 基础教程(八):如何使用 Controlnet

三、后续课程规划

到这我们的 ComfyUI 基础教程就已经结束,在接下来的课程中我会带给大家带来更精深的课程,比如:

Controlnet 各种预处理器以及模型的详细讲解; 如何使用“LCM模型&Turbo模型”进行快速出图和实时绘图; 如何使用 AnimateDiff 插件生成视频动画; 如何使用 Stable Video Diffusion 模型进行图生视频; 如何使用 Stable Zero 123 模型生成多角度图像并生成视频。

相关资讯

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

ComfyUI 进阶篇!完整梳理 ComfyUI 的核心节点(四)

前言: 学习 ComfyUI 是一场持久战。当你掌握了 ComfyUI 的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对 ComfyUI 的核心节点进行系统梳理,并详细解释每个参数。希望大家在学习过程中培养自我思考的能力,真正掌握和理解各个节点的用法与功能。在实践中不断提升自己的技术水平。只有通过不断的探索和总结,才能在面对复杂的工作流时游刃有余。祝大家学习顺利,早日成为 ComfyUI 的高手! 往期回顾:一、Upsc

Stable Diffusion ComfyUI 基础教程(六):图片放大与细节修复

往期回顾:补充: ①在开始之前推荐一个插件,ComfyUI-Manager(ComfyUI 管理器),下载地址: ②安装方式除了可以使用我们第一节课上讲的 “git 拉取”外( 不要使用压缩包解压安装),还可以把“install-manager-for-portable-version.bat”文件放入"ComfyUI_windows_portable"目录双击安装(“install-manager-for-portable-version.bat”文件我会放在这节课的文件链接里面);③安装好之后会在右侧菜单上显