SDXL使用animateDiff和hotshot-xl进行文生视频

截至2023.12.8号,目前市面上有两款适用于SDXL的文生视频开源工具,分别是AnimateDiff和hotshot-xl。

一、工具下载链接

(1)AnimateDiff的webui版本的git链接:

GitHub - continue-revolution/sd-webui-animatediff: AnimateDiff for AUTOMATIC1111 Stable Diffusion WebUI

在文档中直接指出了这两个工具。

 (2)hotShot-XL的webui版本的git链接:

 GitHub - hotshotco/Hotshot-XL-Automatic1111

 二、工具模型安装

1、AnimateDiff

分为SD1.5和SDXL两个模型。

模型下载链接为:

https://huggingface.co/guoyww/animatediff/tree/main

 mm_sd_v15_v2.ckpt适用于SD1.5

mm_sdxl_v10_beta.ckpt适用于SDXL

模型下载后放到 stable-diffusion-webui根目录/extensions/sd-webui-animatediff/model

 2、hotshot-xl

模型下载地址:

https://huggingface.co/hotshotco/Hotshot-XL/tree/main

下载949MB的那个模型,下载后放到:stable-diffusion-webui根目录/extensions/Hotshot-XL-Automatic1111/model 

 三、工具使用

AnimateDiff的效果比Hotshot-XL的效果要好

1、AnimateDiff

注意:FPS=16

2、Hotshot-xl

注意:FPS=8

参考配置:

相关推荐

  1. 视频Sora

    2023-12-08 12:42:02       28 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-08 12:42:02       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-08 12:42:02       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-08 12:42:02       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-08 12:42:02       18 阅读

热门阅读

  1. 使用qemu-nbd挂载qcow2/raw磁盘文件

    2023-12-08 12:42:02       43 阅读
  2. CentOS 7.9安装zabbix5.0.39LTS版本

    2023-12-08 12:42:02       28 阅读
  3. 力扣labuladong——一刷day68

    2023-12-08 12:42:02       37 阅读
  4. Python:核心知识点整理大全7-笔记

    2023-12-08 12:42:02       31 阅读
  5. Flask中redis的配置与使用

    2023-12-08 12:42:02       36 阅读
  6. 1-Hadoop原理与技术

    2023-12-08 12:42:02       33 阅读
  7. Pytorch当中transpose()和permute()函数的区别

    2023-12-08 12:42:02       39 阅读
  8. 最新PyTorch机器学习与深度学习实践技术应用

    2023-12-08 12:42:02       39 阅读
  9. InterLM代码解析

    2023-12-08 12:42:02       33 阅读
  10. 处理合并目录下的Excel文件数据并指定列去重

    2023-12-08 12:42:02       39 阅读
  11. Next.js 中的中间件

    2023-12-08 12:42:02       28 阅读