ComfyUI + ipAdapter = 创意无限

IPAdapter,之前听雨介绍过在 SD WebUI 中的使用,今天我们来介绍一下 IPAdapter 在 ComfyUI 中又能玩出什么花样呢!

这里也简单介绍一下 IPAdapter,是腾讯 AI 实验室发布的类似于 MJ 的垫图功能,但又强于 MJ 的垫图功能。 可以迁移图片的风格,可以实现多张图片风格的融合,还可以搭配 ControlNet 来实现更多样化的功能。

首先在管理器中搜索「ComfyUI_IPAdapter_plus」并安装,然后重启。管理器是一个插件哈!不清楚的小伙伴可以看之前的文章。

或者也可以自己手动安装也可以。

网址: https://github.com/cubiq/ComfyUI_IPAdapter_plus

然后,我们需要去 huggingface 中下载 ipAdapter 对应的模型,这里需要注意一下,针对 SD1.5 和 SDXL 分别有不同的模型,小伙伴们可以按需下载。

模型地址: https://huggingface.co/h94/IP-Adapter/tree/main

模型下载完成以后放入以下目录:

\ComfyUI\ custom_nodes\ComfyUI_IPAdapter_plus\models

然后再下载红框中 1 的两个图像编码器,两个图像编码器下载下来的文件名都是「model.safetensors」,我们自己需要重命名一下。听雨重命名成「sd15_clip.safetensors」「sdxl_clip.safetensors」,已经放入网盘中。

这里需要注意的一点是,2 中下载的模型虽然是 sdxl 的,但是也需要使用 SD1.5 的图像编码器,要不然会报错哦!

重命名以后放入以下目录,ipadapter 是听雨新建的,主要是为了做功能的区分,小伙伴们也可以直接放在 clip_vision 下。

\ComfyUI\models\clip_vision\ipadapter

模型图像编码器都下载放入指定目录以后,我们重启 ComfyUI,然后加入 ipAdapter 的节点,以下就是一个简单的加入 ipAdapter 节点的工作流,听雨也会把对应的工作流放入网盘中。

复制听雨的工作流以后,我们只需要上传我们想要借鉴的风格的图片,然后选择大模型,输入提示词点击生成就会生成风格类似的图片了。

工作流见:IPAdapter_00001_.png

除了以上的简单应用以外,我们还可以结合 ipadapter 和 ControlNet 来实现两张图片的融合。

比如我们想要把图一的风格迁移到图二上,那就只需要再加上 ControlNet 的 Canny 模型就可以。这样就可以得到一张图一风格但是又保留了图二整体轮廓的图片了。这种方式也可用于装修风格的迁移。

工作流见:IPAdapter_Canny.png

ipadapter 还提供了一中专门换脸的模型,我们只需要上传一张脸部的图片,然后输入我们想要的提示词就可以替换我们生成图片中人物的脸。sd1.5 和 sdxl 模型分别是「ip-adapter-plus-face_sd15.bin」和「ip-adapter-plus-face_sdxl_vit-h.bin」,这两个模型都要使用 sd1.5图像编码器哦!

工作流见:IPAdapter_face.png

还可以上传多张图来融合图片风格。

工作流见:IPAdapter_batch_images.png

当上传多张图片时,还可以结合 IPAdapterEncoder 控制每张图片的融合权重,最多可以设置 4 张图片。

工作流见:IPAdapter_weighted.png

 

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南

  • 环境配置

  • 脚本更新

  • 后记

  • .......

img

二、ComfyUI基础入门

  • 软件安装篇

  • 插件安装篇

  • ......

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解

  • Stable diffusion 工作原理

  • 工作流底层逻辑

  • 必备插件补全

  • ......

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解

  • 提词技巧精通

  • 多模型节点串联

  • ......

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率

  • 姿势

  • ......

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型

  • SDXL风格化提示词

  • SDXL工作流搭建

  • ......

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

 

相关推荐

  1. 发挥创意,绘制无限可能:draw.io 使用心得

    2024-06-13 11:28:01       13 阅读
  2. 《解锁创意无限:Stable Diffusion 详细教程指南》

    2024-06-13 11:28:01       9 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-13 11:28:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-13 11:28:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-13 11:28:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-13 11:28:01       18 阅读

热门阅读

  1. A. Problem Generator

    2024-06-13 11:28:01       5 阅读
  2. python版 html正文提取(CEPF)

    2024-06-13 11:28:01       6 阅读
  3. alzet微量渗透泵说明书(上篇)

    2024-06-13 11:28:01       6 阅读
  4. 网络限速导致的服务器访问https异常得处理过程

    2024-06-13 11:28:01       8 阅读
  5. QT:一个通用工程文件配置,可以存储为common.pri

    2024-06-13 11:28:01       8 阅读
  6. 【Qt快速入门(四)】- QLabel文本框的使用

    2024-06-13 11:28:01       7 阅读
  7. 【RSA加密解密】

    2024-06-13 11:28:01       4 阅读
  8. 6.5 c语言

    2024-06-13 11:28:01       4 阅读
  9. css3新增的伪类有哪些

    2024-06-13 11:28:01       5 阅读