前言
本篇文章教你如何搭建本地的私有大语言模型，和向量画数据库，实现一个本地的私有AI知识问答客服系统。需要用到的技术是开源项目由docker,fastgpt、one-api，开源LLM大模型，vllm或者ollama。
- docker 是一款开源的应用容器引擎,用来快速构建服务。
- fastgpt 基于LLM大模型的AI知识库构建平台。
- one-api 是一个 OpenAI 接口管理 & 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。
- LLM大模型 （Large Language Model，简称LLM）是一种先进的人工智能技术，主要用于理解和生成人类语言。
- Ollama 是一个开源的轻量级框架及命令行工具，设计用于本地部署和运行大型语言模型（LLMs）。
- vLLM 大模型推理加速工具。
开启部署前，一张N卡，30系列或者40系列，或者A系列的都行，显存至少4G，内存至少8G，CPU四核即可。这样才能跑得动一个比较小的开源LLM模型。
Docker
首先现在linux系统上安装docker,方便后面快速安装和管理其他服务。
在 CentOS 系统上安装 Docker 的最新稳定版，可以按照以下步骤操作（截至2024年3月14日的信息）：
第一步：准备工作
确保系统是最新的：
sudo
