部署清华ChatGLM-6B(Linux版)

引言

 前段时间,清华公布了中英双语对话模型 ChatGLM-6B,具有60亿的参数,初具问答和对话功能。最!最!最重要的是它能够支持私有化部署,大部分实验室的服务器基本上都能跑起来。因为条件特殊,实验室网络不通,那么如何进行离线部署呢?

「部署环境」:CUDA Version 11.0,机器内存32G以上或者机器8G内存+8G显卡内存。

安装Miniconda,

1.1 获取安装包

 因为Miniconda自带python,所以要在官网下载python版本为3.10的Miniconda版本。下载地址为:https://docs.conda.io/en/latest/miniconda.html#linux-installers,具体截图如下。

图片

1.2 安装 Miniconda

 将Miniconda下载安装包放到你要放的目录,这里我放在:/home/work/miniconda 中,然后执行sh Miniconda3-latest-Linux-x86_64.sh 如下图所示:

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-05 10:34:07       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-05 10:34:07       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-05 10:34:07       82 阅读
  4. Python语言-面向对象

    2024-01-05 10:34:07       91 阅读

热门阅读

  1. 前端中级算法题

    2024-01-05 10:34:07       55 阅读
  2. Vite5 + Vue3 + Element Plus 前端框架搭建

    2024-01-05 10:34:07       55 阅读
  3. NumPy 高级教程——存储和加载数据

    2024-01-05 10:34:07       57 阅读
  4. 实现多维数组扁平化

    2024-01-05 10:34:07       56 阅读
  5. Django集成第三方标签功能

    2024-01-05 10:34:07       65 阅读