PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用

网友:「它能颠覆整个行业。」

Stable Diffusion 是今年 AI 领域内大火的新技术,得益于 Stability AI 的开源精神,它催生了众多 AI 绘画的应用。相比传统的绘画方法,根据文本生成图像的方法操作简单,画图速度也快,每次生成都会呈现不一样的效果。

随着技术的发展,消费级 GPU 也已能在数十秒内生成图片,人们开始考虑将 AI 绘图能力用于生产力。鉴于 Stable Diffusion 早已开源,开发者将其用来创建做图工具也是情理之中。

比如此前的 Automatic1111,就是 Stable Diffusion 用户社区常用的网络 UI,但对于经常使用 Photoshop 的专业用户来说,还是不够方便。

PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用

现在,借助 Auto-Photoshop-StableDiffusion-Plugin,用户可以直接在最著名的绘图软件 Photoshop 中使用 Automatic1111 Stable Diffusion 的功能,而无需在程序之间切换。

这意味着你可以在熟悉的 Photoshop 环境中轻松使用 Stable Diffusion AI,即装即用。安装这个插件之后,你可以使用所有喜欢的工具编辑 Stable Diffusion 图像,并将其便捷地保存在 Photoshop 中。

项目链接:https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin

功能介绍

快速测试

1. 在 PhotoShop 中新建一个项目。

2. 加载插件后,不要选择或更改任何内容。只需点击「生成」按钮。

3. 如果看到一只猫的图像被加载到画布上,那么一切都已正确设置。

txt2Img

1. 使用矩形选框工具并选择正方形(1x1 比例)

    a. 在选择工具中,可以将比率设置为 512x512 或 512x768;

    b. 只需确保选择的比例等于生成的图像的大小。

2. 编写 prompt 并单击「生成」。

3. 结果将调整大小以适合所选区域。但别担心,图像将作为智能对象加载到 PhotoShop 中。所以你可以在不损失质量的情况下调整它的大小。

img2img

1. 选择一个位于其自身图层上的图像。

    a. 如果希望生成的图像完美地放置在初始图像上,可选「Ctrl + 单击」图层缩略图。

2. 在插件 UI 中将模式更改为「img2img」。

3. 单击「设置初始映像」按钮。如果图像没有更改为所选图层。点击多次(作者正在解决这个问题)。

4. 点击生成。

inpaint

1. 将插件模式更改为 「inpaint」。

2. 在要修复的图像之上创建一个方形选区:

    a. 通过矩形选框工具;

    b. 或通过「ctrl+click」图层缩略图。

3. 创建一个新图层,并在选定区域内绘制白色。请注意,任何白色区域都将通过 Stable Diffusion 重新生成。

4. 单击「Init Inpaint Mask」按钮。

    a. 单击之前确保当前仍在白色图层上;

    b. 点击后插件会生成一个合适的黑白遮罩,将其设置为 Stable Diffusion 要使用的遮罩。

    c. 它还会在所选区域下创建画布快照,并将此快照用作初始图像。

5. 单击「生成」按钮。

PS上的开源Stable Diffusion插件来了:一键AI脑补,即装即用

outpaint

1. 将插件模式更改为修复。请记住,「outpaint」只是修复的一个特例。

2. 创建一个与要扩展的图像相交的「矩形选择」。

3. 单击「Init Outpaint Mask」,这将会:

    a. 在选择下创建画布的快照,并将其用作 Stable Diffusion 的「初始图像」;

    b. 创建一个黑白蒙版并将其用作「初始蒙版」;

    c. 它将更新插件 UI 中的「初始图像」和「初始掩码」。

一些经验之谈

为了获得最佳的 inpaint 和 outpaint 效果,必须选择「stable-diffusion inpainting model」。

img2img 的「初始图像」不能有透明度。

始终检查插件 UI 中的「初始图像」和「初始掩码」,并确保它们与画布上的图层相匹配。如果要调整不匹配,请执行以下操作:

在图层面板中选择「group_mask」并点击「set init mask」按钮。

在图层面板中选择「group_init_image」并点击「set init image」按钮。

选择模型后,可能需要等待它加载到 Stable Diffusion 中,然后才能点击生成。

检查进度条是否停留在 0% 或 1%:如果你认为它花费的时间太长并想再次重新生成,可以随时取消 / 中断请求。

不要打开多个 PhotoShop 文档,这将破坏插件。请一次只处理一个项目。

关于 img2img、inpaint 或 outpaint 的问题

img2img、inpaint 和 outpaint 使用 photoshop 的「快速导出为 png」功能。

随机快速导出为 png 会损坏,这是一个已知的 photoshop 错误。

若想测试该功能是否已损坏以及问题的原因,可执行以下操作:

选择一个图层并右键单击它,然后选择快速导出为 png。如果收到窗口提示,则快速导出工作正常。反之如果没有任何反应,那么你需要重新启动 photoshop 并再次尝试导出功能,直到它起作用为止。

在导出功能有效时你可以使用该插件,否则 img2img、inpaint 和 outpaint 将无法正常工作。

如何安装

第一次运行插件时:

1、下载插件:

git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git

2、在「Auto-Photoshop-StableDiffusion-Plugin」下运行「start_server.bat」

3、在你安装 automatic1111 的位置,编辑 webui-user.bat 改这一行内容:

set COMMANDLINE_ARGS=

set COMMANDLINE_ARGS= --api

这将允许插件与 automatic1111 项目进行通信。保存后关闭「webui-user.bat」文件,正常运行即可。

4、运行 photoshop。选择编辑→首选项→插件,确保选中「启用开发者模式」(Enable Developer Mod)选框。

5、安装官方的「Adobe UXP Developer Tool」,此工具会将插件添加到 photoshop:https://developer.adobe.com/photoshop/uxp/devtool/installation/

6、运行 Adobe UXP Developer Tool 并单击右上角的「添加插件」按钮。导航到「Auto-Photoshop-StableDiffusion-Plugin” 文件夹所在的位置并打开「manifest.json」

7、选择插件并点击 Actions → Load Selected,就完成了。

第二次及后续运行插件的步骤:

1、启动 「webui-user.bat」

2、启动 「start_server.bat」

3、启动 「Photoshop」

4、启动 「Adobe UXP Developer Tool」并加载插件

相关资讯

SD WebUI 中也能用上实时绘画了!支持接入PS/Blender 等设计工具

大家好,这里是和你们一起探索 AI 绘画的花生~ 之前为大家介绍过 AI 绘画工具 Krea,它可以根据手绘的草图实时生成完整的画面,可以让我们更精准地控制图像效果,对电商、产品、游戏概念等设计领域来说非常有帮助。之前为大家推荐过一种在 ComfyUI 中免费实现 AI 实时绘画的方式,今天就再为大家推荐另一种在 Stable Diffusion WebUI 中实现实时绘画的方法。一、插件简介 SD WebUI 的实时绘画功能需要借助一个插件实现,这个插件是上周由 B 站 AI 绘画博主@朱尼酱推出,支持文生图、图

新模型 Stable Diffusion 3 与 Stable Cascade 全面解析

大家好,我是花生~ 最近 Stability AI 又接连推出了 2 个新的模型:Stable Diffusion 3 和 Stable Cascade,在图像生成效率和质量上比半年前推出的 SDXL 1.0 有了明显提升,今天就为大家介绍一下 2 款新模型的特点和用法。 :一、Stable Diffusion 3 简介 官方介绍: 加入等候名单: 2 月 22 号,Stability AI 发布了新模型 Stable Diffusion 3(下面简称为 SD 3.0),这也是 Stable Diffusion

使用谷歌Colab Notebooks,这6个小技巧你需要掌握

切换暗黑模式、读取 CSV 文件… 这些非常实用的小技巧为开发者使用谷歌 Colab Notebooks 提供了便利。Google Colab 给广大的 AI 爱好者和开发者提供了免费的 GPU,他们可以在上面轻松地跑 Tensorflow、PyTorch 等深度学习框架。特别地,Colab 实时 Notebooks 在数据共享方面为广大开发者提供了便利,通过链接即可与其他的开发者共享文件。在本文中,数据科学家 Iden W. 为读者详细地介绍了使用 Google Colab Notebooks 的小技巧,主要包括