都是“垫图”，img2img 和ipadapter,instandID

1、概念

“垫图”这个概念大家肯定都不陌生，此前当无法准确用prompt描述心中那副图时，最简单的办法就是找一张近似的，然后img2img流程启动，一切搞定。

img2img 

不足

• prompt的还原度不足
• 生成画面多样性弱，特别是当需要加入controlnet来进行多层控制时，参考图、模型、controlnet的搭配就需要精心挑选，不然出图效果常常让人当场裂开

垫图”神器——IP-Adapter

区别举例

1. img2img参考图（老虎）上开始临摹，中间不免出现老虎和男人混淆的情况，参考图更为重要，它基础上画出来，结果也更倾向于参考图。
2. IP-Adapter则不是临摹，而是真正的自己去画，“男人”加上“老虎”的元素，比如金黄的瞳仁、王字型的抬头纹、虎纹的须发等等。prompt更为重要，这才是它的始终目标。
3. 参数范围内，超过了阈值，那必然是要走极端的，照着参考图去copy了
4. IP-adpater拥有这些特征，几乎就得到一个“即时lora”，而需要付出的成本只是去找几张符合预期的参考图。
5. IP-Adapter还能一次读取多张参考图，让生成的结果拥有更丰富的多样性和随机性，这是在img2img流程中无法实现的，也是两者之间区别最大的地方。

本质

IP-Adapter就是txt2img的流程，流程中prompt还是最关键的，只是中间利用IP-Adapter强化了参考图的提示作用。

img2img是直接将参考图传入unet，去替换了原始的随机噪音，这样所有的生成结果都是建立在它的基础上，于是有了前面人和老虎混杂的现象就比较好理解了。 

img2img通过编码/解码器，需要通过一系列上采样、下采样

IP-Adapter通过图像编码器，文本提示和图像特征通过适配模块与预训练的文本到图像模型进行交互

# img2img
encoded = unet_encoder(img2img_input)
decoded = unet_decoder(encoded)

# IP-Adapter
image_features = image_encoder(ip_adapter_input[1])
adapted_features = adapter_module(ip_adapter_input[0], image_features)

IP-Adapter
特点:

• 图像提示能力: IP-Adapter 通过引入图像提示能力，使得预训练的文本到图像扩散模型可以接受图像作为提示，从而生成更加符合期望的图像。
• 解耦的交叉注意力机制: 采用解耦的交叉注意力机制，分别处理文本特征和图像特征，从而使得图像提示和文本提示可以协同工作，实现多模态图像生成。
• 轻量化设计: IP-Adapter 仅有 22M 参数，。
• 冻结预训练模型: 通过冻结预训练的扩散模型，IP-Adapter 可以在不影响模型原有功能的前提下，实现图像提示的能力，且能与现有的可控生成工具结合使用。

InstantID

特点:

• 身份保留生成: InstantID 零样本的身份保留图像生成，通过单张面部图像，实现高保真度
• 设计了一个新的 IdentityNet，结合面部图像、图像和文本提示来引导图像生成，以确保面部细节的高保真度
• 插拔模块:可以与（如 SD1.5 和 SDXL）无缝集成，不需要额外的微调。