免费开源,无需 GPU,本地化部署大语言模型的对话系统

免费开源,无需 GPU,本地化部署大语言模型的对话系统

分类 编程技术

项目名: FreeAskInternet -- 本地化部署大语言模型的对话系统

Github 开源地址: https://github.com/nashsu/FreeAskInternet

FreeAskInternet 是一个免费开源的工具,它结合了多个先进的语言模型来提供搜索和答案生成的服务。

我们可以直接在本地安装运行,更像是一个各个大语言模型的搜索聚合器。

根据开源的描述 FreeAskInternet 是使用大语言模型(LLM)来生成答案,无需依赖图形处理单元(GPU)。用户提出问题后,系统会利用 SearXNG 进行多引擎搜索,并将搜索结果与 ChatGPT3.5 语言模型结合,基于这些搜索结果生成答案。所有过程都在本地运行,不需要 GPU 或者 OpenAI 或 Google 的 API 密钥。

SearXNG 是一个免费的互联网元搜索引擎,它聚合来自各种搜索服务和数据库的结果,开源地址:https://github.com/searxng/searxng。

主页还是很简洁的:

基于搜索的人工智能聊天界面:

支持多个大语言模型和自定义的大语言模型(如 ollama):

总结下来 FreeAskInternet 的特点有:

  • 免费开源,我们可以本地自己安装完成。
  • 使用了 ChatGPT3.5、Qwen、Kimi、致普 AI 等 API,用户无需拥有这些 API 的密钥即可使用它们。
  • 由于使用了免费的 API,与通常需要GPU来运行的大语言模型不同,FreeAskInternet不需要GPU即可运行,降低了用户的硬件要求。
  • 我们也可以自定义大语言模型,如 ollama(下载地址:https://ollama.com/),这为用户提供了更多的灵活性和个性化选项。
  • 安装简单,通过 Docker Compose 一个流行的容器编排工具,用户可以快速部署 FreeAskInternet,简化了安装和配置过程。

FreeAskInternet 工作原理:用户在界面输入的问题,SearXNG 进行多引擎搜索,搜索完成后,系统会自动爬取并收集搜索结果中的链接内容,然后将这些内容传递给选定的LLM(Large Language Models:大语言模型),如 ChatGPT3.5、Kimi、Qwen、ZhipuAI 或自定义的 ollama,这些模型利用传递的内容作为参考,生成内容并回答用户的问题。

安装使用

该项目处于早期阶段,所以难免有一些问题,但个人学习使用完全足够了。

安装前需要你本地已安装 docker,并支持 docker-compose,安装使用如下:

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

安装完成后就可以打开链接 http://localhost:3000 开始使用了。

最近更新

  1. TCP协议是安全的吗?

    2024-05-05 01:58:03       19 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-05 01:58:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-05 01:58:03       20 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-05 01:58:03       20 阅读

热门阅读

  1. 【C++基础】缺省参数

    2024-05-05 01:58:03       11 阅读
  2. MySQL商城数据表(70-79)

    2024-05-05 01:58:03       11 阅读
  3. PCL 点云中的平面点云提取

    2024-05-05 01:58:03       10 阅读
  4. 在C#中使用s7Netplus实现与西门子PLC的数据通信

    2024-05-05 01:58:03       8 阅读
  5. 数据结构-堆

    2024-05-05 01:58:03       12 阅读
  6. 数据存储-SharedPreferences

    2024-05-05 01:58:03       11 阅读
  7. 【C语言】命令行参数

    2024-05-05 01:58:03       11 阅读
  8. cron表达式详解(通俗易懂)

    2024-05-05 01:58:03       9 阅读
  9. 【24.5】

    2024-05-05 01:58:03       10 阅读
  10. QGraphicsView实现简易地图8『缓存视口周边瓦片』

    2024-05-05 01:58:03       10 阅读