目录
一、Ollama 介绍
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架，同时提供 REST API 管理和使用大模型。
二、Linux 安装 Ollama
2.1 一键安装
#安装
curl -fsSL https://ollama.com/install.sh | sh
#更新：再次执行安装脚本即可更新
curl -fsSL https://ollama.com/install.sh | sh
2.2 手动安装
1.下载Ollama二进制文件
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
2.修改文件权限
chmod +x /usr/bin/ollama
3.创建ollama用户
sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
4.创建系统服务文件
vi /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3[Install]
WantedBy=default.target
5.启用服务
systemctl daemon-reload
systemctl enable ollama
6.启动Ollama
systemctl start ollama
7.更新Ollama
#重新下载二进制文件即可
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama
8.删除Ollama
具体操作查看官方文档。
三、使用Ollama
3.1 配置模型下载路径
export OLLAMA_MODELS=/data/weisx/ollama
3.2 运行模型
#第一次执行会下载模型到本地
ollama run llama3
3.3 常用命令
创建模型：
ollama create mymodel -f ./Modelfile
删除模型：
ollama rm llama3
复制模型：
ollama cp llama3 my-model
查看模型：
ollama list
运行模型：
ollama run llama3
四、模型管理
4.1 官方模型库
可访问官网查看模型列表，以下是一些常用模型示例：
| Model | Parameters | Size | Download |
|---|---|---|---|
| Llama 3 | 8B | 4.7GB | ollama run llama3 |
| Llama 3 | 70B | 40GB | ollama run llama3:70b |
4.2 导入自定义模型
途径1：从GGUF导入
1.下载GGUF文件
#Huggingface网站下载模型的GGUF
https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit
2、创建Modelfile文件
vi Modelfile
#使用FROM指令导入本地模型
FROM ./Llama3-8B-Chinese-Chat-GGUF-8bit.gguf
#Modelfile文件中还可以添加系统提示词以及各项参数
3. 创建模型
ollama create example -f Modelfile
4.运行模型
ollama run example
途径2：从PyTorch或Safetensors导入
具体操作请参阅关于导入模型的指南。
五、REST API
https://github.com/ollama/ollama/blob/main/docs/api.md
