chatglm4本地部署详解

下载地址

模型下载地址:GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

已经训练好的数据下载地址:

https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main

测试主机配置

cpu:E5-2680v4

内存:32G

显卡:Tesla M4 24G

最低硬件要求

如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要:

  • Python >= 3.10
  • 内存不少于 32 GB

如果您希望运行官方提供的本文件夹的所有代码,您还需要:

  • Linux 操作系统 (Debian 系列最佳)
  • 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练,推理有小概率出现问题)

一、下载

(一)打开模型安装地址,点击下载

(二)打开已经训练好的数据下载地址,依次点击下载。超过1G的,建议使用迅雷云盘。

二、安装依赖

(一)安装步骤

        从官网了解可知composite_demo文件夹是存放更新说明的地方

        composite_demo文件夹中的requirements.txt文件夹,是此版本需要安装的依赖

使用命令:(反复执行,直到安装成功)

为保证减少连接失败造成的安装失败,建议尝试使用科学方法,你懂的

pip install -r requirements.txt

安装完毕的样子:

(二)安装失败的解决方案

安装失败,基本都是因为下载时连接失败或者连接断开造成,解决方案主要是两种:

        一种是,指定源地址下载

        另一种是,手动从web下载安装文件后安装

1. transformers==4.40.0载失败

        解决办法:指定清华源下载

pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

 2. accelerate>=0.30.1下载失败

        accelerate>=0.30.1,也是类似情况,但指定源下载依然不奏效。

        解决方法:可以在该版本下载页面下载安装文件accelerate · PyPI(浏览器下载也失败了2次,反正都是断点续传,继续重复执行下载即可。)

        使用下面命令进行安装

pip install accelerate-0.31.0-py3-none-any.whl 

 

        安装成功显示如下:

3. matplotlib下载失败

        解决方法:直接在requirements.txt文件中,将>=3.9.0删除。即不约束版本号

4. PyMuPDF下载失败

        解决方法:

(1)先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

        PyMuPDF手动安装:下载地址PyMuPDFb · PyPI

        安装命令:

pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl

(2)再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl

        下载地址:PyMuPDF · PyPI

        安装命令:

pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl 

5. python_docx-1.1.2下载失败

        下载地址:python-docx · PyPI

        安装命令: 

pip install python_docx-1.1.2-py3-none-any.whl

 6. python-pptx 0.6.23 下载失败

下载地址:python-pptx · PyPI

安装命令:

pip install python_pptx-0.6.23-py3-none-any.whl 
(1)执行安装时,过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败!

        下载地址:XlsxWriter · PyPI

安装命令:

pip install XlsxWriter-3.2.0-py3-none-any.whl 

最后,重新安装

pip install python_pptx-0.6.23-py3-none-any.whl 

7.streamlit-1.35.0下载失败

        下载地址:streamlit · PyPI

        安装命令

pip install streamlit-1.35.0-py2.py3-none-any.whl

8. tiktoken 0.7.0 下载失败

        下载地址:tiktoken · PyPI

        安装命令

pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 

三、测试模型

        已经下载好的模型及训练数据。

        glm-4-9b-chjat为已经训练的参数

        GLM-4-main为模型文件

(一)修改trans_cli_demo.py文件中,第18行,训练参数的位置

        把它修改成glm-4-9b-chat的路径:/home/ls/文档/GLM4/glm-4-9b-chat

 (二)执行trans_cli_demo.py

        执行命令:

python trans_cli_demo.py 

       可以执行,但是太慢了

        chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比,简直是慢动作中的慢动作。要想丝滑运行,升级硬件吧。

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-16 22:18:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-16 22:18:01       101 阅读
  3. 在Django里面运行非项目文件

    2024-06-16 22:18:01       82 阅读
  4. Python语言-面向对象

    2024-06-16 22:18:01       91 阅读

热门阅读

  1. 10:Hello, World!的大小

    2024-06-16 22:18:01       31 阅读
  2. Shell 学习笔记 - 变量的类型 + 变量的赋值

    2024-06-16 22:18:01       23 阅读
  3. 4.组件间通信-v-model

    2024-06-16 22:18:01       32 阅读
  4. 路由组件和非路由组件区别:

    2024-06-16 22:18:01       33 阅读
  5. LeetCode热题3.无重复的最长字串

    2024-06-16 22:18:01       32 阅读
  6. 在 PHP 中怎样实现实时数据推送功能?

    2024-06-16 22:18:01       30 阅读
  7. 2813. 子序列最大优雅度 Hard

    2024-06-16 22:18:01       31 阅读
  8. springcloud入门与实践

    2024-06-16 22:18:01       24 阅读
  9. Python编程:从入门到实践(第3版)

    2024-06-16 22:18:01       40 阅读
  10. 大厂笔试真题讲解—美团23—小美的蛋糕切割

    2024-06-16 22:18:01       29 阅读
  11. C# 程序结构

    2024-06-16 22:18:01       30 阅读