部署接入 M3E和chatglm2-m3e文本向量模型

前言

FastGPT 默认使用了 openai 的 embedding 向量模型,如果你想私有部署的话,可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型,资源使用不高,CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。

部署镜像

m3e-large-api

镜像名: stawky/m3e-large-api:latest
国内镜像: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 端口号: 6008 环境变量:

chatglm2-m3e

镜像名: stawky/chatglm2-m3e:latest
国内镜像名: registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/chatglm2-m3e:latest
端口号: 6006

设置安全凭证(即oneapi中的渠道密钥)
默认值:sk-aaabbbcccdddeeefffggghhhiiijjjkkk
也可以通过环境变量引入:sk-key。有关docker环境变量引入的方法请自寻教程,此处不再赘述。

docker部署

m

相关推荐

  1. 部署接入 M3Echatglm2-m3e文本向量模型

    2024-04-28 07:12:02       14 阅读
  2. Soulver v3.10.3.1 mac版 智能文本计算器 兼容 M1/M2/M3

    2024-04-28 07:12:02       21 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-28 07:12:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-28 07:12:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-28 07:12:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-28 07:12:02       20 阅读

热门阅读

  1. Docker容器配置进阶

    2024-04-28 07:12:02       42 阅读
  2. 数据结构——复杂度(时间,空间)

    2024-04-28 07:12:02       14 阅读
  3. 前端HTML如何不删除div标签将div标签隐藏

    2024-04-28 07:12:02       12 阅读
  4. 装饰器模式(模拟⼀个单点登录功能扩充)

    2024-04-28 07:12:02       13 阅读
  5. grpc笔记

    2024-04-28 07:12:02       13 阅读
  6. Web前后端交互

    2024-04-28 07:12:02       10 阅读