Ollama 可以在 Windows 上运行了

0. 引言

Ollama 终于可以在 Windows 上运行了,一直以来都是 “Coming soon”。
在这里插入图片描述
运行 Mixtral 8*7B 试了一下,推理速度和推理效果都很不错。
在这里插入图片描述
而且模型的下载速度也很快,我用的联通1000M网络,大概90M~150M/s波动。

在这里插入图片描述

1. 下载 Ollma 安装文件

访问 https://ollama.com/download,选择 Windows,单击 “Download for Windows (Preview)” 进行下载。

在这里插入图片描述

2. 安装 Ollama

双击下载的 “OllamaSetup.exe”,直接安装就可以了。

3. 使用 Ollama

访问 https://ollama.com/library,搜索你要使用的模型,主流的模型,比如 llama2、qwen1.5、mixtral 等,Ollama都支持。

下面以允许 qwen 为例,我们要运行 7b 的模型,

在这里插入图片描述

拷贝上面红框的命令并运行,

ollama run qwen:7b

问一个问题试试,

在这里插入图片描述

完结!

相关推荐

  1. Linux编译Go运行Windows(纯记录)

    2024-02-16 16:10:01       39 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-16 16:10:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-16 16:10:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-02-16 16:10:01       87 阅读
  4. Python语言-面向对象

    2024-02-16 16:10:01       96 阅读

热门阅读

  1. 算法训练营day27(补),贪心算法1

    2024-02-16 16:10:01       47 阅读
  2. 记录 | ubuntu pyqt5 pycharm配置

    2024-02-16 16:10:01       65 阅读