大模型学习第五课

  • 开发
  • 34

学习目标：

  • LMDeploy大模型量化部署实践

学习内容：

  1. 大模型部署背景
  2. LMDeploy简介
  3. 动手实践环节

学习时间：

  • 20240115

学习产出：

1，大模型部署背景

        模型部署

                定义，产品形态，计算设备

        大模型特点

                内存开销巨大，动态shape，相对视觉模型，LLM结构简单

        大模型部署挑战

                设备，推理，服务

        大模型部署方案

                技术点，方案

2，LMDeploy简介

        是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化，推理和服务。

        推理性能

        核心功能-量化，推理引擎TurboMind，推理服务api server

3，动手实践环节-安装、部署、量化

阅读全部

相关推荐

  1. 大模型学习第五课

    2024-01-16 23:08:03       35 阅读

  2. 大模型学习第四课

    2024-01-16 23:08:03       33 阅读

  3. 大模型学习第六课

    2024-01-16 23:08:03       39 阅读

  8. 第五章：大模型的数据

    2024-01-16 23:08:03       37 阅读

最近更新

  4. TCP协议是安全的吗?

    2024-01-16 23:08:03       18 阅读

  12. 阿里云服务器执行yum，一直下载docker-ce-stable失败

    2024-01-16 23:08:03       19 阅读

  13. 【Python教程】压缩PDF文件大小

    2024-01-16 23:08:03       18 阅读

  18. 通过文章id递归查询所有评论（xml）

    2024-01-16 23:08:03       20 阅读

热门阅读

  4. Vue生成图片并下载

    2024-01-16 23:08:03       32 阅读

  7. 2、合并两张图像

    2024-01-16 23:08:03       30 阅读

  8. vuex是什么？怎么使用？哪种功能场景使用它？

    2024-01-16 23:08:03       35 阅读

  15. 【ASP.NET Core 基础知识】--中间件--什么是中间件

    2024-01-16 23:08:03       33 阅读

  18. 51单片机内部的主要寄存器

    2024-01-16 23:08:03       29 阅读

  19. GO自研微服务框架-中间件

    2024-01-16 23:08:03       28 阅读

  21. HTTPS是什么意思

    2024-01-16 23:08:03       33 阅读

  30. Python实现深度迁移学习-CIFAR100-ResNet50

    2024-01-16 23:08:03       28 阅读