ubuntu下llama2的api远程调用

conda activate llamachinese

cd /home/cys/Llama2-Chinese/scripts/api

python accelerate_server.py --model_path /media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b --gpus "0" --infer_dtype "int8" --model_source "llama2_chinese"

 

 运行结果:

相关推荐

  1. Feign远程调用

    2024-01-17 20:56:03       25 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-17 20:56:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-17 20:56:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-17 20:56:03       82 阅读
  4. Python语言-面向对象

    2024-01-17 20:56:03       91 阅读

热门阅读

  1. 复试 || 就业day15(2024.01.13)算法篇

    2024-01-17 20:56:03       62 阅读
  2. 笨蛋学设计模式结构型模式-装饰者模式【9】

    2024-01-17 20:56:03       55 阅读
  3. 力扣209-长度最小的子数组

    2024-01-17 20:56:03       65 阅读
  4. ZZULIOJ 1125: 上三角矩阵的判断

    2024-01-17 20:56:03       50 阅读
  5. 什么是去中心化

    2024-01-17 20:56:03       49 阅读
  6. Nginx配置ssl访问 443端口

    2024-01-17 20:56:03       58 阅读
  7. 力扣124. 二叉树中的最大路径和

    2024-01-17 20:56:03       51 阅读
  8. C++——STL标准模板库——容器详解——set

    2024-01-17 20:56:03       52 阅读
  9. 笔记本装FreeBSD机器磁盘一直响的解决留档

    2024-01-17 20:56:03       79 阅读
  10. 127.0.0.1和0.0.0.0的区别

    2024-01-17 20:56:03       50 阅读
  11. 常用的消息队列和中间件都有哪些

    2024-01-17 20:56:03       55 阅读
  12. 如何理解单例模式----饿汉式?

    2024-01-17 20:56:03       54 阅读