Ollama在MacOS、Linux本地部署千问大模型及实现WEB UI访问

一、前言

阿里通义千问发布了Qwen2,提供了0.5B~72B的量级模型,在​​Ollama官网​​可以搜索qwen2查看,本文提供了Ollama的下载(在线/离线安装)、Ollama运行模型、使用WebUI连接模型以及页面简单配置。
请添加图片描述

二、实现效果

  1. 控制台直接提问
    请添加图片描述

  2. Web界面访问
    请添加图片描述

三、实现步骤

  1. Windows、MacOS、Linux安装Ollama(我这里只在Macos、Linux上进行了安装)
  2. 使用Ollama拉取、运行模型(这步完成可以使用控制台、Api提问)
  3. 用Web UI实现可视化提问,方便管理。

四、开始实现

1.1 安装

请添加图片描述
首先我们需要在​​Ollama官网​​​点击“Download”按钮,选择适合系统的版本点击下载,但由于网络问题,会非常慢,建议去​​他的github​​上下载release。

请添加图片描述

可以看见Ollama还是非常活跃的,在这里选择合适的版本下载安装。
请添加图片描述

Mac版本下载后放到应用文件夹内,打开后根据提示即可完成安装,Linux的安装稍微麻烦点,官方提供的命令是:
curl https://ollama.ai/install.sh | sh
就是下载install.sh并执行,脚本还是先下载好安装包再进行安装,网络问题会非常慢或者下载失败,所以我们这里需要把脚本使用下面脚本下载下来:
wget https://ollama.ai/install.sh
vim编辑这个脚本总共需要修改两个地方:
• 注释下载链接(install.sh的第66行左右)

status "Downloading ollama..."
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

• 修改Ollama安装目录(install.sh的第73行左右)

status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

以上步骤做好,就可以进入到install.sh脚本所在目录使用sh ./install.sh开始安装了,安装完,输入如图ollama -v出现版本代表安装成功。

1.2 模型拉取、运行

文章开头提到的在官网找到qwen2,选择需要的版本,如下图选择了1.5b版本,右边对应着执行命令,复制命令在MacOS或者Linux终端中执行。
请添加图片描述

这里如果没有模型会自动拉取模型,拉取速度非常快,拉取完后显示“>>> Send a message (/? for help)”代表可以直接输入问题进行提问了。
请添加图片描述

1.3 用Web UI实现可视化提问。

本文使用docker运行web界面,docker的安装这里不做过多赘述,终端中执行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker会自动拉取镜像运行容器,运行成功后访问http://127.0.0.1:3000进入界面,首次注册登录的是管理员账号,可以设置成中文,也可以在设置中配置后面注册的默认角色。

请添加图片描述
请添加图片描述
需要注意的是需要选择提问的模型,在进行提问。

五、总结

总体还是比较简单的,更高阶的玩法,看小伙伴的反馈,后面更新比如自定义智能体、训练等。

最近更新

  1. TCP协议是安全的吗?

    2024-06-15 07:18:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-15 07:18:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-15 07:18:02       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-15 07:18:02       20 阅读

热门阅读

  1. textarea 中的内容在word中显示换行不起作用

    2024-06-15 07:18:02       9 阅读
  2. 【已解决】npm ERR! cb() never called!

    2024-06-15 07:18:02       9 阅读
  3. 扩展学习|高校风险管理研究综述

    2024-06-15 07:18:02       8 阅读
  4. 探索C嘎嘎的奇妙世界:第二关---C++的输入与输出

    2024-06-15 07:18:02       10 阅读