Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一

 代码为我自己写的 python 程序,应该是全网最简单的大模型部署方案,一个模型文件1.3GB,一个python代码即可开始玩耍~

首先说明,本文下面的内容需要一点点python基础,需要会安装 python和 pip 安装依赖库,如果你不会或者不想这么麻烦,只想要下载就能马上使用的大模型离线整合包,那抱歉,目前只支持 Windows ,Windows系统的离线整合包文章介绍链接为:

https://zhuanlan.zhihu.com/p/670964259

https://mp.weixin.qq.com/s/W-b7AUXlCCggLpz_8IkLBQ

https://mp.weixin.qq.com/s/RD0rbJakH3HS-DaIZZ-Lmw

下面开始正文

CPU运行:

1 安装python,并且需要保证python版本大于3.8,最好在虚拟环境里面安装;

2 安装 llama cpp python 

安装指令: 

pip install llama-cpp-python  -i https://pypi.tuna.tsinghua.edu.cn/simple/      

3 下载模型文件,百度网盘链接:https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA  提取码:1111  ;里面有一个通义千问大模型的有闪退的旧版本压缩文件,下载后解压文件夹里面有一个名

相关推荐

  1. -7B-Chat-Int4

    2023-12-28 14:04:03       12 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-28 14:04:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-28 14:04:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-28 14:04:03       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-28 14:04:03       20 阅读

热门阅读

  1. Serverless和Spring cloud结合让后端开发更专注于业务

    2023-12-28 14:04:03       41 阅读
  2. Python 变量

    2023-12-28 14:04:03       28 阅读
  3. 北海 - Rust与面向对象(四)

    2023-12-28 14:04:03       31 阅读
  4. DIV嵌入视频做背景,上面加文字

    2023-12-28 14:04:03       36 阅读
  5. 《微信小程序开发从入门到实战》学习六十四

    2023-12-28 14:04:03       40 阅读
  6. LeetCode第2题 - 两数相加

    2023-12-28 14:04:03       38 阅读
  7. http header 请求头 x-forwarded-for

    2023-12-28 14:04:03       38 阅读
  8. C# HttpWebRequest详解

    2023-12-28 14:04:03       44 阅读
  9. python 1200例——【12】选择排序

    2023-12-28 14:04:03       41 阅读
  10. Ubuntu 安装transformers 报错error can‘t find rust compiler

    2023-12-28 14:04:03       38 阅读