【大模型动手篇】5分钟本地部署大模型 + 知识库RAG （待）

  • 开发
  • 15

本地大模型：把各大厂（如Meta，阿里）开源的模型放到自己的电脑上去运行，不需要联网，不需要收费，隐私也不会泄露

知识库：给大模型开卷考试，每次回答问题之前去知识库里查答案，根据查出来的事实回答你

1、部署本地大模型
1.1 Ollama官网下载 

Ollama官网 （https://ollama.com/）下载

 安装好后，在任务栏或[运行]，或直接win+R，输入cmd，打开命令提示符

输入：ollama run 模型名(qwen2/llama3等等） 

看到对话界面即可

换成后台服务模式（知识库调用），输入Ollama server，

1.2 知识库anything LLM

开源本地知识库工具

1.2.1 安装anything LLM

可以直接在它的界面里面对话，也可以把知识库和大模型做成API，在企业应用里调用。</

阅读全部

相关推荐

  6. Ollama+AnythingLLM搭建部署本地大模型AI知识库

    2024-07-20 20:20:02       102 阅读

  9. 【一】Mac 本地部署大模型

    2024-07-20 20:20:02       29 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-20 20:20:02       52 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-20 20:20:02       54 阅读

  9. 在Django里面运行非项目文件

    2024-07-20 20:20:02       45 阅读

  19. Python语言-面向对象

    2024-07-20 20:20:02       55 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-07-20 20:20:02       50 阅读

热门阅读

  2. GO Channel使用详解（各种场景下的最佳实践）

    2024-07-20 20:20:02       14 阅读

  7. Linux输出重定向到文件立即输出

    2024-07-20 20:20:02       19 阅读

  10. buuctf-reverse write-ups (1)

    2024-07-20 20:20:02       12 阅读

  11. Android init.rc各阶段的定义和功能

    2024-07-20 20:20:02       19 阅读

  12. tebi.io免费对象存储，可托管静态网站

    2024-07-20 20:20:02       18 阅读

  14. 【vueUse库Array模块各函数简介及使用方法--下篇】

    2024-07-20 20:20:02       18 阅读

  15. 前端路由History 和 Hash模式的区别以及Vue项目打包后显示白屏，路由router-view不加载问题

    2024-07-20 20:20:02       19 阅读

  17. 面经学习（厦门安全狗实习）

    2024-07-20 20:20:02       15 阅读

  18. 【项目-轻量级Web Server 定时器模块】

    2024-07-20 20:20:02       12 阅读

  24. C++学习笔记-用const修饰的类成员函数

    2024-07-20 20:20:02       14 阅读

  29. 量化机器人如何助力定量分析？

    2024-07-20 20:20:02       18 阅读