想要成为AIGC大模型工程师, 如何搭建你的知识体系框架?

AI不会取代你的工作,会取代你的是会AI的人,如何提升自己与他人的知识壁垒,如何学习AIGC?相信在过去2023这个AI爆发的元年,我相信也是很多人的疑问,好像不懂使用点AI工具,例如ChatGpt、Midjourney或者SD,就好像被淘汰了一样,更近一步地我们如何训练自己的AI大模型、如何开发自己的AI产品?是很多人内心的疑惑,那么我们今天便来解决您的疑惑。

成为一名AIGC(人工智能生成内容)大模型工程师需要系统性的知识与技能。这个领域是多学科交叉的,涉及到机器学习、自然语言处理、软件工程等多个方面。以下是由浅至深的知识体系框架的阶梯

A1

构建提示词来解决具体应用问题,大模型应用阶段,使用闭源商业大模型例如:文心一言、星火大模型、ChatGPT
投入:各种AIGCSaaS软件的订阅,例如:GPT 4 20美元/月

知识储备: 类似大模型提示工程、Stable Diffusion
应用场景举例:用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出
但实际上这并不具有太大的知识壁垒,我们可以使用AI工具、提示词优化的方式解决某些问题,而这离成为一个大模型工程师还有一段距离。

A2

通过程序调用闭源大模型API,将针对应用撰写的提示词封装到已有的系统中,借助闭源大模型的能力,在现有软系统上实现功能扩展或构建新的应用
投入:API费用,gpt-3.5-turbo-1106 输入费用:$0.0010 / 1K tokens 输出费用:$0.0020 / 1K tokens

知识储备: Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程、GPT4-Turbo
应用场景举例:聊天机器人,利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。基于用户输入的Prompt,机器人能够生成合适的回应。
岗位:提示词工程师

A3

针对大模型在已有提示词上的性能表现不足的问题,构建面向任务的指令训练语料,对大模型进行有监督的指令微调,提升大模型在应用上的性能。

投入:开源: 1-100块A100,例如
腾讯云 A100 40GB 单卡 16000元/月
微软云Azure A100 80GB 单卡 30元/小时
微软云Azure A100 80GB 8卡 150000元/月
显卡服务器部署:(被禁售)
显卡价格 A100 74000元/张
闭源:API费用
例如:
gpt-3.5-turbo
训练费用:$0.0080 / 1K tokens
SFT模型输入费用:$0.0030 / 1K tokens
SFT模型输出费用:$0.0060 / 1K tokens
在10M Tokens的基础上成本是500元/次

知识储备:大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT

应用场景举例:R语言数据处理辅助工具Rtutor,在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model,RTutor利用经过微调的模型来辅助进行数据分析,能够解释数据分析结果,并提供数据可视化的建议。
岗位:AI应用工程师

A4

能够根据应用需求,借助langchian等大模型应用框架,通过集成领域或场景专业知识、调用智能体等,扩展大模型能力,构建专业的智能问答系统、知识检索系统或多智能体集成系统。
投入:1-100块A100(微调需求),显卡服务器租用
腾讯云 A100 40GB 单卡 16000元/月
微软云Azure A100 80GB 单卡 30元/小时
微软云Azure A100 80GB 8卡 150000元/月
闭源(API费用)SFT API调用如
OpenAI Assistants API Retrival费用:$0.20 每GB
assistant API知识库的企业上限是100GB,个人上线是10GB
10GB 1天 1个assistant 15元 + A2 API调用费用(输入:问题 + 检索内容)

知识储备:大模型RAG LangChain、SK拆解、AutoGen原理以及实战

应用举例:以近屿智能的L5级别AI面试官,AI得贤招聘官的多轮对话能力为例:
以前,AI面试官是单向的,只能是AI面试官询问候选人问题,而候选人无法向AI面试官提问。而现在,L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问,Al面试官也能够给予准确的回答,帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。

岗位:AI大模型工程师

我们近屿智能OJAC推出的《AIGC星辰大海:大模型工程师和产品专家深度训练营》就是学习这部分知识的最好选择。我们的课程是一场结合了线上与线下的双轨合流式学习体验。

在这里插入图片描述

别人教您使用AIGC产品,例如ChatGPT和MidJourney,我们教您增量预训练,精调大模型,和创造属于自己的AI产品!

您是否想利用AIGC为您打破职业与薪资的天花板?您是否想成为那个在行业里脱颖而出的AI专家?我们的培训计划,将是您实现这些梦想的起点。

最近更新

  1. TCP协议是安全的吗?

    2024-01-31 21:56:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-31 21:56:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-31 21:56:01       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-31 21:56:01       20 阅读

热门阅读

  1. Python面向对象

    2024-01-31 21:56:01       45 阅读
  2. QT基础篇(20)QT Quick Controls2新颖界面开发

    2024-01-31 21:56:01       28 阅读
  3. 回想起研发之路

    2024-01-31 21:56:01       33 阅读
  4. Hammerspoon配置

    2024-01-31 21:56:01       30 阅读
  5. Ruby详解及安装流程

    2024-01-31 21:56:01       51 阅读
  6. 基于单片机的感应自动门控制器的设计

    2024-01-31 21:56:01       38 阅读
  7. 3015. 按距离统计房屋对数目 I

    2024-01-31 21:56:01       32 阅读