Ollama+OpenWebUI+Phi3本地大模型入门

Ollama+OpenWebUI+Phi3本地大模型入门

完全不懂大模型的请绕道，相信我李一舟的课程比较适合

Ollama提供大模型运行环境，OpenWebUI提供UI，Phi3就是那个大模型。
当然，Ollama支持超级多开源大模型比如 llama3，如果GPU够用的话。

一、基础环境

Win10 8GB内存 普通办公机器 无GPU全靠CPU撑着
Python11 OpenWebUI用的

二、Ollama

官网：https://ollama.com/

两句话搞定：
启动并运行大型语言模型。
运行 Llama 3、Phi 3、Mistral、Gemma 和其他模型。
下载：https://ollama.com/download

下载安装，一切都那么自然。

更多资料：ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

三、OpenWebUI + Phi3

直接pip安装简单粗暴 参考

两行代码搞定，

pip install open-webui
open-webui serve

打开WebUI http://0.0.0.0:8080/
配置ollama

加载phi3，或者你想要的其他模型

看看效果：

有点傻哈，太小的模型真的只能玩玩，下次换台机器llama3

更多资料：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)