浅谈全量微调和PEFT高效微调(LoRA)

浅谈全量微调和LoRA微调

全量微调Full Fine-Tuning

全量微调是指在预训练的大型模型基础上调整所有层和参数,‌使其适应特定任务的过程。‌这一过程使用较小的学习率和特定任务的数据进行,‌可以充分利用预训练模型的通用特征

高效微调

高效微调(‌PEFT)‌是一种参数微调技术,‌它允许在预训练模型上仅微调少量或额外的模型参数,‌同时固定大部分预训练参数,‌从而显著降低训练成本。‌这种方法相比于全参数微调,‌在没有微调过的大语言模型上性能略差,‌但在已经微调过的模型上,‌性能接近

通俗理解全量微调与高效微调-LoRA微调

在这里插入图片描述


日常学习总结

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-16 01:08:04       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-16 01:08:04       72 阅读
  3. 在Django里面运行非项目文件

    2024-07-16 01:08:04       58 阅读
  4. Python语言-面向对象

    2024-07-16 01:08:04       69 阅读

热门阅读

  1. Websocket发一条阻塞了,后面的消息会怎么样

    2024-07-16 01:08:04       21 阅读
  2. 网络编程part2

    2024-07-16 01:08:04       22 阅读
  3. typora图片问题以及快捷键问题汇总

    2024-07-16 01:08:04       22 阅读
  4. [Selenium]C#语言中的等待策略的应用与实现

    2024-07-16 01:08:04       18 阅读
  5. 刷题——有效括号序列

    2024-07-16 01:08:04       24 阅读
  6. Ningx配置前端http缓存

    2024-07-16 01:08:04       23 阅读