ChatGLM3 Linux 部署

1.首先需要下载本仓库：

git clone https://github.com/THUDM/ChatGLM3

2.查看显卡对应的torch 版本

官方文档说明： Start Locally | PyTorch

例如：

a. 先查看显卡的CUDA版本

nvcc --version

查看对应版本

Previous PyTorch Versions | PyTorch

例如cuda 12.1 对应的torch 2.2.0

修改对应的torch版本

3.安装依赖

pip install -r requirements.txt

4.下载模型到本地

推荐在魔塔社区下载，相对比较快

魔搭社区

下载方式

在当前目录创建一个demo.py 文件

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b", revision = "v1.0.0")

如下所示

安装依赖modelscope

pip install modelscope 后

运行demo.py文件

等待下载，下载后一般在这目录下

/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b/

配置环境变量

在root目录下找到

.bashrc文件

在最后添加上MODEL_PATH，跟py代码中环境变量名保持一致

然后保存退出 重新加载一下该文件保证生效

source ~/.bashrc

然后进入项目地址 basic_demo 目录后运行web_demo_gradio.py

python web_demo_gradio.py

启动web_demo_gradio.py的话需要安装几个依赖

1、安装 peft

pip install peft

2、安装 gradio

pip install gradio

然后再启动

启动如果要内网映射到外网端口

在web_demo_gradio.py 代码最后

demo.launch(server_name="127.0.0.1", server_port=7870, inbrowser=True, share=False)

改成 

demo.launch(server_name="0.0.0.0", server_port=7870, inbrowser=True, share=False)

如

启动后如图：

---如果要启动api_server.py

需要下载

BAAI/bge-large-zh-v1.5

下载方式和下载模型一致

在当前目录创建一个demo2.py 文件

from modelscope import snapshot_download
model_dir = snapshot_download("AI-ModelScope/bge-large-zh-v1.5", revision='master')

下载完成后，地址跟模型地址差不多

新增一个

EMBEDDING_PATH

环境变量

方法

在root目录下找到

.bashrc文件

在最后添加上MODEL_PATH，跟py代码中环境变量名保持一致

然后保存退出 重新加载一下该文件保证生效

source ~/.bashrc

重新进入api_server.py目录

启动api_server.py