相关文档:
接入 ChatGLM2-6B | FastGPT (fastai.site)
相关步骤:
FastGPT配置文件及OneAPI程序：
百度网盘 请输入提取码
提取码：wuhe
创建fastgpt目录：mkdir fastgpt
切换到fastgpt目录：cd fastgpt
下载docker-compose文件：curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
下载config文件：curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
docker-compose文件github：https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml
config文件github：https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json
切换fastgpt目录：cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得替换为你自己的用户名
拉取镜像：docker-compose pull
在后台运行容器：docker-compose up -d
FastGPT的页面：http://localhost:3020/
登录用户名为root，密码为docker-compose文件里DEFAULT_ROOT_PSW，默认密码1234
ChatGLM3官方的一键包链接：百度网盘 请输入提取码
提取码：glut
用docker部署m3e模型，默认用CPU运行：
docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
使用GPU运行：
docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest
原镜像：
docker run -d -p 6200:6008 --name=m3e-large-api stawky/m3e-large-api:latest
查看被系统保留的端口：
netsh int ipv4 show excludedport tcp
保留端口给程序使用：
netsh int ipv4 add excludedportrange protocol=tcp startport=<起始端口> numberofports=<排除端口数量>
测试m3e的api：
curl --location --request POST 'https://localhost:6008/v1/embeddings' \
--header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "m3e",
"input": ["laf是什么"]
}'
localhost需要替换成你的ip地址，ip地址可以在你连接的网络的属性里查看，或者在cmd里使用：ipconfig查看WLAN或者以太网那一栏。注意，ip地址要填ipv4的地址，不要填成ipv6的地址
OneAPI网站：http://localhost:3000/
OneAPI网页后，使用root用户和默认密码123456登录
chatglm3的Base URL：http://localhost:8000 localhost修改为你的本地ip地址
m3e的Base URL：http://localhost:6008 localhost记得修改为你的本地ip地址
m3e密钥：sk-aaabbbcccdddeeefffggghhhiiijjjkkk
docker-compose文件修改OPENAI_BASE_URL：http://localhost:3000/v1 localhost记得替换为你的本地ip地址
docker-compose文件修改CHAT_API_KEY：填入从OneAPI令牌复制的key
修改config文件ChatModels：
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"quoteMaxToken": 2000,
"maxTemperature": 1,
"vision": false,
"defaultSystemChatPrompt": ""
},
ChatGLM3-6B支持的上下文长度为8k，你可以将maxContext和maxResponse改为8000
可以在defaultSystemChatPrompt里设置你的系统默认提示词
修改config文件QAModels：
{
"model": "chatglm3",
"name": "chatglm3",
"maxContext": 4000,
"maxResponse": 4000,
"price": 0
}
修改config文件VectorModels：
{
"model": "m3e",
"name": "m3e",
"price": 0.1,
"defaultToken": 500,
"maxToken": 1800
}
QAModels和VectorModels都添加好后，记得在括号的前面加个英文逗号，不然config文件无法生效
重新更新配置文件，依次输入命令：
cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得换成你的Ubuntu用户名
docker-compose pull
docker-compose up -d
进入FastGPT网页：http://localhost:3020/
登录用户名为root，密码为docker-compose文件里DEFAULT_ROOT_PSW，默认密码1234
