WhisperFusion:具有超低延迟无缝对话功能的AI系统

WhisperFusion 基于 WhisperLive 和 WhisperSpeech 的功能而构建,在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM)。

LLM 和 Whisper 都经过优化,可作为 TensorRT 引擎高效运行,从而最大限度地提高性能和实时处理能力。WhiperSpeech 是通过 torch.compile 进行优化的。

特征

  • 实时语音转文本:利用 OpenAI WhisperLive 将口语实时转换为文本。

  • 大型语言模型集成:添加大型语言模型 Mistral,以增强对转录文本的理解和上下文。

  • TensorRT 优化:LLM 和 Whisper 都经过优化,可作为 TensorRT 引擎运行,确保高性能和低延迟处理。

  • torch.compile:WhisperSpeech 使用 torch.compile 来加速推理,通过将 PyTorch 代码 JIT 编译到优化的内核中,使 PyTorch 代码运行得更快。

入门

  • 我们提供了一个预构建的 TensorRT-LLM docker 容器,该容器将 Whisper 和 phi 转换为 TensorRT 引擎,并且预先下载 WhisperSpeech 模型以快速开始与 WhisperFusion 交互。

 docker run --gpus all --shm-size 64G -p 6006:6006 -p 8888:8888 -it ghcr.io/collabora/whisperfusion:latest
  • 启动网页图形用户界面

cd examples/chatbot/htmlpython -m http.server

构建 Docker 镜像

我们提供 cuda-architecures 89 和 90 的 docker 映像。如果您有具有不同 cuda 架构的 GPU。例如使用 cuda-架构 86 为 RTX 3090 构建

bash build.sh 86-real

这应该为 RTX 3090 构建 ghcr.io/collabora/whisperfusion:latest 。

项目链接

https://github.com/collabora/WhisperFusion

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-20 07:14:03       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-20 07:14:03       106 阅读
  3. 在Django里面运行非项目文件

    2024-02-20 07:14:03       87 阅读
  4. Python语言-面向对象

    2024-02-20 07:14:03       96 阅读

热门阅读

  1. WPF 在控件上预留一个占位给到调用方使用

    2024-02-20 07:14:03       49 阅读
  2. WPF大杂烩

    2024-02-20 07:14:03       47 阅读
  3. OFD文件WEB前端展示-easyofd(1.0.6)

    2024-02-20 07:14:03       49 阅读
  4. 历年CSP-J(NOIP普及组)考点分析与分类汇总

    2024-02-20 07:14:03       46 阅读
  5. ADO.NET事务处理

    2024-02-20 07:14:03       48 阅读
  6. oracle和mysql语句有哪些异同点?

    2024-02-20 07:14:03       62 阅读
  7. 如何在Win11系统中使用ubuntu(WSL)终端编译 Rust 程序

    2024-02-20 07:14:03       52 阅读
  8. Xilinx(AMD) 7系列FPGA配置引脚说明

    2024-02-20 07:14:03       49 阅读
  9. 关于Future的使用

    2024-02-20 07:14:03       42 阅读
  10. 处理目标检测中的类别不均衡问题

    2024-02-20 07:14:03       50 阅读