让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述

近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略。上述挑战催生了参数高效微调(PEFT)技术在近期的快速发展。

为了全面总结 PEFT 技术的发展历程并及时跟进最新的研究进展,最近,来自美国东北大学、加州大学 Riverside 分校、亚利桑那州立大学和纽约大学研究者们调研、整理并总结了参数高效微调(PEFT)技术在大模型上的应用及其发展前景,并总结为一篇全面且前沿的综述。

图片

论文链接:https://arxiv.org/pdf/2403.14608.pdf

PEFT 提供了一个高效的针对预训练模型的下游任务适配手段,其通过固定大部分预训练参数并微调极少数参数,让大模型轻装上阵,迅速适配各种下游任务,让大模型变得不再「巨无霸」。

全文长达 24 页,涵盖了近 250 篇最新文献,刚发布就已经被斯坦福大学、北京大学等机构所引用,并在各平台都有着不小的热度。

图片

图片

具体来说,该综述分别从 PEFT 算法分类,高效 PEFT 设计,PEFT 跨领域应用,以及 PEFT 系统设计部署四大层面,对 PEFT 的发展历程及其最新进展进行了全面且细致的阐述。无论是作为相关行业从业者,或是大模型微调领域的初学者,该综述均可以充当一个全面的学习指南。

 最新AI资讯和AI资源,欢迎访问AI科技智库网

AI科技智库,一站式AI工具、资料、课程资源平台,每日持续更新。致力于通过分享全球优质AI工具、资源和资讯,帮助更多人了解使用AI,提升工作和学习效率。我们的用户群体是AI相关的爰好者、创作者和开发者,通过学习如何使用这些工具进行创作、开发和研究,解决工作、生活和商业经营中的问题。

网站地址

AI科技智库:https://www.aigchouse.com

这里有什么?

1、AI工具集合

您可以轻松找到全球最新热门Al工具,为了方便使用,AI科技智库团队精心制作了AI工具整合包,您可以下载并在Windows系统私有化本地化运行,包括图片、文本、视频、音频等工具资源,我们按照功能、业务和行业来分类,尽可能帮助大家找到自己想要的AI工具。

1.1 AI图片工具

MoneyPrinter:一键生成短视频,AI本地整合包

AniPortrait:音频驱动逼真人像合成,腾讯AI数字人整合包

ComfyUI 秋叶整合包:工作流界面,解压即用,快速入门AI绘画

Stable Diffusion 秋叶整合包v4.7 :解压即用,快速入门AI绘画

MuseV : 数字虚拟人视频生成AI工具,一键整合包,开箱即用

DiffSynth Studio:专业视频风格转绘/换衣,最佳DomoAI本地平替,本地整合包

FRESCO – 一键视频风格转换AI工具,告别复杂工作流,本地整合包

AnyDoor:服装替换,一键换装,向场景中无缝传送物体的AI工具整合包

Lama Cleaner:一键去水印,修复老照片神器,去背景AI工具,本地整合包

FaceFusion :最强AI换脸工具,去遮挡,高清化卡通脸一键替换,本地部署包!

Waifu2x Extension GUI :开源图片视频GIF无损放大AI神器,AI工具本地整合包

v2vt:视频自动翻译AI工具,HeyGen最佳平替,本地整合包

ROPE:强大的AI一键换脸整合包,消除脸部遮挡

Stable Diffusion + ReActor AI换脸插件一键整合包

Vid2Densepose + MagicAnimate 一张照片就能生成跳舞视频,AI工具离线整合包

Stable Diffusion OpenVINO整合包 轻薄本CPU24秒出图!

Upscayl:顶级AI智能图片放大工具,最高放大图片16倍

Osprey:像素级别的区域图像分析多模态AI工具,本地整合包

Image to Line Drawings素描神器:图片一键转素描AI工具,本地整合包

BRIA-RMBG:顶级商业图片背景去除整合包

PhotoMaker:最新AI风格写真神器,AI工具本地整合包

InstantID:单图秒生成全套风格写真AI工具,本地整合包

FaceChain:AI数字人及写真整合包

TripoSR :快速单图生成3D模型AI工具,1秒完成,无需GPU,本地整合包

Oms-Diffusion:一键虚拟换装神器,AI工具整合包

Stable Diffusion WebUI Forge 超快SD整合包

DDColor:阿里AI老照片修复神器,AI工具本地整合包

SDXL-Lightning:最快文生图AI工具,本地整合包

DiffBIR:最强AI照片修复神器,AI工具整合包

Rembg:批量抠图AI工具,本地整合包

1.2 AI文本工具

Llama3 :本地运行最强开源大模型整合包

RWKV大模型:本地运行整合包,支持N、A、I卡和CPU!

零一万物34B超大模型,本地部署包,李开复最强开源项目

英特尔大型语言模型整合包,酷睿轻薄本CPU运行

ChatGPT-Prompt:提示词自动生成器离线整合包

通义千问0.5B模型 Langchain-Chatchat本地整合包

Gemma:谷歌开源大模型,抢先使用

1.3 AI视频工具

Facefusion:一键换脸,最强换脸AI数字人工具整合包

DynamiCrafter – 图片转动画视频AI工具,腾讯出品

MuseTalk:实时高质量唇形同步,AI数字人整合包

SyncTalk:超逼真AI数字人本地运行整合包

FRESCO – 一键视频风格转换AI工具,告别复杂工作流,本地整合包

ProPainter :专业视频修复,去水印AI工具,抹除视频中静态水印

ROPE:强大的AI一键换脸整合包,消除脸部遮挡

LaVie:高质量文生视频AI工具,本地整合包

FaceChain:AI数字人及写真整合包

Sora开源平替 Stable Video Diffusion,AI视频生成工具本地整合包

1.4 AI音频工具

GPT SoVITS : 声音AI克隆工具,完美复刻任何角色的语音、语调!

OpenVoice:快速语音克隆整合包,AI工具,一键使用

EmotiVoice : 多音色语音合成神器,文本转语音情绪控制AI工具,本地整合包

AI人声伴奏分离软件UVR5下载及使用教程

Whisper-WebUI:音视频字幕AI生成翻译整合包

SOME:唱歌音频到MIDI的 一键转换AI工具整合包

MAGNet:Meta文本音乐AI生成工具,本地整合包,吉他摇滚、电子音乐都能搞定

2、AI学习资源

AI科技智库还提供了很多Al资料和课程,包括AI面试资料、AI系统产品原型、AI产品经理视频教程,无论你是开发者还是产品经理,都可以在这里找到适合您的资源。相信每个人都可以开启自己的Al学习之旅。

Sora学习资料最全合集(1.92G)

ChatGPT从入门到精通:PPT教程讲义

AIGC精选行业报告

Midjourney进阶及实战教程(6.85G)

人工智能应用百科-2024视频课程(153课程)

吴恩达最新课程《LangChain: Chat with Your Data》

2024大模型(LLMs)算法面试资料,NLP算法,清华校友整理

2024 AI产品经理面试题库,AI产品面试必看

AI产品经理入门资料(376篇)

AI-Ops智能数据分析运维平台

AI大模型聊天助手CHAT-APP

AI副业变现实战案例教程(16合集)风口新趋势,一定要冲一冲

3、AI商城资源

AI科技智库还提供了国外AI工具网站代充服务,大模型本地化部署服务

Heygen :全球爆火的顶尖虚拟数字人视频AI工具,一键生成

基于 LLM 大语言模型的知识库问答系统企业级知识库,本地搭建

ChatGPT移动端APP安装(安卓+苹果)

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-05-01 21:26:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-05-01 21:26:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-05-01 21:26:01       82 阅读
  4. Python语言-面向对象

    2024-05-01 21:26:01       91 阅读

热门阅读

  1. DOM事件

    DOM事件

    2024-05-01 21:26:01      36 阅读
  2. 为什么MySQL使用B+树而不是跳表

    2024-05-01 21:26:01       31 阅读
  3. Ansible playbook之变量引用

    2024-05-01 21:26:01       23 阅读
  4. 聊聊服务器散热方案的演进

    2024-05-01 21:26:01       29 阅读
  5. 第15届蓝桥杯-蒟蒻の反思与总结

    2024-05-01 21:26:01       71 阅读
  6. Python实现的人脸识别系统

    2024-05-01 21:26:01       34 阅读
  7. pnpm设置全局存储路径

    2024-05-01 21:26:01       34 阅读
  8. 第三题——LCP 07. 传递信息

    2024-05-01 21:26:01       106 阅读
  9. 抽象类和接口的区别你知道吗

    2024-05-01 21:26:01       35 阅读