论文略读： LLaMA Pro: Progressive LLaMA with Block Expansion

  • 开发
  • 22

ACL 2024

  • 人类通常在不损害旧技能的情况下获得新技能
  • ——>论文提出了一种用于LLMs的新的预训练后方法
    • 包括Transformer块的扩展
    • 仅使用新语料库调整扩展块，以高效而有效地提升模型的知识，而不引发灾难性的遗忘

  • 在代码和数学语料库上进行实验，得到了LLAMA PRO-8.3B
    • 初始化自LLaMA2-7B，在一般任务、编程和数学方面表现出色
    • LLAMA PRO及其遵循指令的对应模型（LLAMA PRO - INSTRUCT）在各种基准测试中取得了先进的性能

阅读全部

相关推荐

  9. autoware.universe源码略读(3.16)--perception:object_range_splitter

    2024-07-10 20:06:03       15 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 20:06:03       52 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 20:06:03       54 阅读

  9. 在Django里面运行非项目文件

    2024-07-10 20:06:03       45 阅读

  19. Python语言-面向对象

    2024-07-10 20:06:03       55 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-07-10 20:06:03       50 阅读

热门阅读

  1. 【ARMv8/v9 GIC 系列 5.5 -- IRQ 和 FIQ中断路由的详细介绍】

    2024-07-10 20:06:03       17 阅读

  2. LLaMA Pro：具有块扩展的渐进式 LLaMA[论文翻译]增量预训练 扩展transformer块

    2024-07-10 20:06:03       17 阅读

  3. 开源软件项目的崛起：机遇、挑战与个人成长

    2024-07-10 20:06:03       18 阅读

  5. Electron 跨平台桌面应用开发工具

    2024-07-10 20:06:03       18 阅读

  6. 【linux】linux的特殊符号

    2024-07-10 20:06:03       20 阅读

  7. Rust：常见 GUI 框架

    2024-07-10 20:06:03       20 阅读

  10. (2024)docker-compose实战 (9)部署多项目环境(LAMP+react+vue+redis+mysql+nginx)

    2024-07-10 20:06:03       18 阅读

  12. 【C++ 】中类的成员函数和析构函数的作用

    2024-07-10 20:06:03       16 阅读

  14. HTTP与HTTPS详解及其请求与响应报文的查看方法

    2024-07-10 20:06:03       22 阅读

  16. 《昇思25天学习打卡营第8天 | mindspore 模型保存与加载用法》

    2024-07-10 20:06:03       21 阅读

  17. Postgres 与 MapLibre 实时位置共享

    2024-07-10 20:06:03       15 阅读

  20. NestJs实现各种请求与参数解析

    2024-07-10 20:06:03       22 阅读

  22. AHK的对象和类学习心得

    2024-07-10 20:06:03       16 阅读

  26. Spring中常见知识点及使用

    2024-07-10 20:06:03       23 阅读

  27. Uniapp的简要开发流程指南

    2024-07-10 20:06:03       19 阅读

  30. LeetCode //C - 204. Count Primes

    2024-07-10 20:06:03       19 阅读