使用llamafile 构建本地大模型运用

安装

https://github.com/Mozilla-Ocho/llamafile

下载 

大模型文件,选择列表中任意一个

wget https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true

https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles

这里选择LLaVA 多模态的

使用

chmod +x llava-v1.5-7b-q4.llamafile 
./llava-v1.5-7b-q4.llamafile

# --host xx.xx.xx.xx --port 8080

默认打开http://127.0.0.1:8080 即可开始对话

相关推荐

  1. OLLAMA:如何像云端一样运行本地语言模型

    2024-03-27 14:12:03       22 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-27 14:12:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-27 14:12:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-27 14:12:03       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-27 14:12:03       20 阅读

热门阅读

  1. 物联网(IoT)常用的通信协议

    2024-03-27 14:12:03       19 阅读
  2. deepspeed chat RLHF 个人笔记(待完成)

    2024-03-27 14:12:03       16 阅读
  3. 【Postman】如何给请求的参数设置随机数

    2024-03-27 14:12:03       20 阅读
  4. excel创建和部分使用

    2024-03-27 14:12:03       17 阅读
  5. 数据结构链栈实现(c语言)

    2024-03-27 14:12:03       16 阅读
  6. 软件工程的相关知识点

    2024-03-27 14:12:03       18 阅读
  7. 使用 React Hooks 管理状态和引用

    2024-03-27 14:12:03       15 阅读
  8. Web开发:深入探讨React Hooks的使用和最佳实践

    2024-03-27 14:12:03       17 阅读
  9. mysql怎么创建索引?

    2024-03-27 14:12:03       15 阅读
  10. Kotlin object

    2024-03-27 14:12:03       14 阅读