【LMDeploy 大模型量化部署实践】学习笔记

参考学习教程【LMDeploy 的量化和部署

理论

在这里插入图片描述

作业

使用 LMDeploy 以本地对话、网页Gradio、API服务中的一种方式部署 InternLM-Chat-7B 模型,生成 300 字的小故事

本地对话

在这里插入图片描述

API服务

Client 命令

在这里插入图片描述
在这里插入图片描述

端口转发

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

网页Gradio

在这里插入图片描述
在这里插入图片描述

最近更新

  1. TCP协议是安全的吗?

    2024-01-27 12:42:01       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-27 12:42:01       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-27 12:42:01       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-27 12:42:01       18 阅读

热门阅读

  1. STL标准库(三)之forward_list

    2024-01-27 12:42:01       29 阅读
  2. PostgreSQL(十一)coalesce() 函数的用法

    2024-01-27 12:42:01       30 阅读
  3. 构建支持 gpu 的 jupyterlab docker 镜像

    2024-01-27 12:42:01       34 阅读
  4. [go] 享元模式

    2024-01-27 12:42:01       37 阅读