IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

大家好,这里是和你们一起探索 AI 的花生~ IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。 相关推荐:最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

大家好,这里是和你们一起探索 AI 的花生~

IP Adapter 是 SD 生态中一个非常强大的风格迁移插件,可以将一张图像的风格复制到新生成的图像中,有效提升我们的出图效率,目前在设计领域有广泛应用。

相关推荐:

最近,ComfyUI IP Adapter Plus 的作者 @cubiq 重写了插件代码,对整体进行了升级更新。新插件在节点搭建和模型上读取上比之前更简单方便,并且支持的功能也更丰富了。而最让人惊喜的一点是 IP Adapter Plus 支持分别进行风格迁移、构图迁移和二者的联合使用,可以让我们更准确地控制出图效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

通过新版 IP Adapter Plus 插件分别学习梵高的风格和蒙娜丽莎的构图

但此次更新后,我们之前所有包含 IP Adapter Plus 的工作流也都无法使用了,需要用新节点重新搭建。今天就为大家详细介绍一下新版插件的安装使用方法。

一、插件安装

Github 主页: https://github.com/cubiq/ComfyUI_IPAdapter_plus (内有插件更新介绍)

在安装前,我们需要将 Comfyui 更新到最新版本;如果你之前安装过 IP Adapter Plus 插件,则需要先在 custom_nodes 内删除之前的文件夹。 插件可以通过 Manager 安装,但是更推荐在终端通过 git clone https://github.com/cubiq/ComfyUI_IPAdapter_plus.git 命令来安装,可以获取最新的更新内容。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

二、安装基础模型

Github 主页中对需要安装的模型有详细描述,下载后按要求安装到指定路径即可,需要注意的内容有:

安装在 /ComfyUI/models/clip_vision 的两个文件下载后需要重命名,再放到对应的文件夹内; 如果没有 /ComfyUI/models/ipadapter 这个文件夹,可以自己手动新建一个; models/ipadapter 内的模型并不需要全部下载,目前主要使用的有 ip-adapter-plus_sd15.safetensors 和 ip-adapter-plus_sdxl_vit-h.safetensors; 文末网盘链接内有对应的模型资源,可以直接下载使用。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

三、安装 FaceID 模型

如果你想通过 IP Adapter Plus 保持人物脸部特征一致,则需要再下载 FaceID 模型以及对应的 Lora 模型,并安装到指定路径。此外还需要部署 insightface 环境,具体部署方法可以看官方给的链接。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

四、导入工作流

以上安装步骤完成后,记得重启 ComfyUI。在 IP Adapter Plus 根目录内有一个 example 文件夹,里面有官方提供的 13 个工作流,包含基础、进阶、FaceID、负面图像、分块等多种功能,大家可以直接导入 ComfyUI 中使用体验。官方 Github 主页中也有附上视频教学链接,里面对新功能有详细的介绍。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

五、风格/构图迁移功能

风格迁移是 IP Adapter 最重要的功能,现在又新增了构图迁移功能,让它能发挥的作用更大了。下面就结合工作流文件,简单介绍一下它们的用法(工作流文件在文末云盘链接内)。

① 风格迁移(Style transfer)

使用风格迁移功能,需要在 IP Adapter Advanced 节点内将权重类型选为 Style transfer,目前仅支持 SDXL 模型。它可以将一张图像的风格、氛围完美迁移到另一个图像上,而不会影响图像的具体内容。使用时可以多调节 weight 参数,即使是 0.1 的调整也会带来很不一样的效果;也可以尝试不同的 embeds_scaling 缩放值。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

② 构图迁移(Composition)

如果只想提取一张图像的构图,将 IP Adapter Advanced 节点内的 weight_type 改为 composition 就可以了。它可以学习一张图像中人物的姿势动作,或者画面的主体构图;如下图,新生成的赛博朋克房间像在镜头角度、窗户位置、家具摆放位置等方面与原图高度相似。这种方式与 controlnet 的线条约束相比会更灵活自由,在整体效果上也会更自然合理。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

③ 风格&构图混合迁移

此功能中需要用到一个新的节点 IPAdapterStyleComposition,它支持同时导入风格参考图像和构图参考图像,实现分别控制。使用时同样可以多调整二者的权重,获得更准确的效果。

IP Adapter Plus 插件手把手教程!用法更简单,可分别控制风格与构图

那么以上就是本期为大家介绍的 ComfyUI 插件 IP Adapter Plus 最新版本的相关内容,文内提到的模型及工作流文件都在文末的云盘链接内,有需要的小伙伴可以记得下载~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。

相关资讯

IP-Adapter!让AI绘画垫图效率提高10倍的新一代神器

都是“垫图”,谁能还原你心中的图 “垫图”这个概念大家肯定都不陌生,此前当无法准确用 prompt 描述心中那副图时,最简单的办法就是找一张近似的,然后 img2img 流程启动,一切搞定。 更多垫图干货:可 img2img 简单的同时,也有它绕不过去的局限性,比如对 prompt 的还原度不足、生成画面多样性弱,特别是当需要加入 controlnet 来进行多层控制时,参考图、模型、controlnet 的搭配就需要精心挑选,不然出图效果常常让人当场裂开… 但现在,我们有了新的“垫图”神器——IP-Adapter

新手必看!5 款 Flux 实用基础工作流(附资源包)

大家好,我是花生~ 上期为大家梳理了 Flux 生态的主流版本模型以及 Lora、Contronet 模型的用法,今天我们继续了解一些 Flux 基础工作流,如图生图、高清放大、局部重绘等,其中还包括上周新推出的 Flux IP-Adapter 的相关用法。 上期回顾:一、文生图工作流 之前为大家介绍过 2 款 Flux 基础文生图工作流,但其中原版工作流用到的模型节点较多,有的小伙伴在使用时一个不小心就会选错,导致工作流运行出现报错或者生成效果不佳,今天就再介绍一下其中比较重要的参数设置。① weight_dty

ComfyUI神级插件!在PS中轻松实现 AI 图像生成、放大和重绘

大家好,这里是和你们一起探索 AI 的花生~ 今天为大家推荐一款我最近发现的非常厉害的 ComfyUI 插件 comfyui-photoshop,它由程序员 Nami 独立开发,将 ComfyUI 做为后端接入 Ps 中,借助其强大的 AI 生成能力,实现文生图、图生图、高清放大、局部重绘、外绘拓展等多种功能。 我也安装了这款插件,这个过程并不复杂,AI 出图非常稳定,软件之间的交互也非常顺畅;因为使用了 LCM lora,所以出图速度也非常快,可以做为 Ps 原生 AI 功能的平替,而且功能更多样。今天就为大家详