Stable Diffusion Temporal-Kit和EbSynth 从娱乐到商用
基于SD的风格化编辑主流方式:
- ControlNet-M2M
- ControlNet img2img
- Mov2mov extension
- SD-CN Animation extension
- Temporal Kit
- Temporal Kit + EbSynth
- EbSynth插件
问题:重绘幅度调整太小,基本上和换脸视频差不多,服装通过lora调整加入,关键词权重调很高,基本上不能把视频中的衣服换掉。尝试各种参数设置,效果可能都不是很好。
减少虚影:减少动画插帧数量。
1. Temporal Kit 和 EbSynth
Temporal Kit 和 EbSynth 都是视频风格转换的工具,用于提取关键帧、补全非关键帧。配合各种SD模型的使用方法:
- TemporalKit / Ebsynth提取关键帧
- Stable Diffusion 风格迁移
- TemporalKit / Ebsynth补全重绘后的关键帧图片之间的序列帧,并拼合出了视频。
区别:用Ebsynth进行补帧和合成,相比于Temporal-kit插件Ebsynth utility生成步骤清晰,后期还能指定更换背景。但Ebsynth utility插件生成的重绘效果有些图片会有阴影,需要单独挑出来再次