Llama3 mac本地部署教程

1.下载的软件清单:

ollama下载:

Download Ollama on macOS

nodejs下载:

Node.js — Download Node.js®

2.安装

安装Ollama

 下载之后打开,直接点击Next以及Install安装ollama到命令行。安装完成后界面上会提示ollama run llama2,不需要执行这条命令,因为我们要安装llama3 的中文模型:

#这是默认的模型:
ollama run llama3
#这是中文模型:
ollama run ollam/unichat-llama3-chinese-8b

等待下载完成,这时候可以去安装web页面;

安装WebUI

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
npm install
npm run dev

之后访问 localhost:3000

选择我们下载好的模型 即可实现本地化部署;

选择你的本地模型:

效果展示:

我的电脑跑这个模型还是很吃力的。。。时间很久

如果想下载别的模型可以在这里进行搜索

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-04-30 12:46:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-04-30 12:46:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-04-30 12:46:03       82 阅读
  4. Python语言-面向对象

    2024-04-30 12:46:03       91 阅读

热门阅读

  1. 如何解决Go中uint类型溢出问题

    2024-04-30 12:46:03       31 阅读
  2. LLMPerf测试工具使用指导

    2024-04-30 12:46:03       61 阅读
  3. 7、Flink 自定义 WaterMarkGenerator 案例

    2024-04-30 12:46:03       51 阅读
  4. WebMvcConfigurer(一)介绍

    2024-04-30 12:46:03       90 阅读
  5. 商城数据库88章表72~75

    2024-04-30 12:46:03       35 阅读
  6. 2024最新chatgpt公益api

    2024-04-30 12:46:03       31 阅读
  7. c++实现一个日志模块

    2024-04-30 12:46:03       33 阅读
  8. 数据结构-树

    2024-04-30 12:46:03       25 阅读