前提:学习一项技术,要从原理、实践、认知三个方面进行攻克。
不懂原理就不会举一反三,走不了太远。
不懂实践就只能纸上谈兵,做事不落地。
认知不高就无法作对决策,天花板太低。
一、知识体系
二、什么是AI
基于机器学习、神经网络的是AI,基于规则、搜索的不是AI
三、大模型可以做什么
大模型,全称大语言模型,缩写LLM。
相关产品:
国家 | 对话产品 | 大模型 | 链接 |
美国 | OpenAI ChatGpt | GPT-3.5、GPT-4 |
https://chat.openai.com/ |
美国 | Microsoft Copilot | GPT-4和未知 | https://copilot.microsoft.com/ |
美国 | Google Bard | PaLM和Gemini | https://bard.google.com/ |
中国 | 百度文心一言 | 文心 | https://yiyan.baidu.com/ |
中国 |
讯飞星火 | 星火 | https://xinghuo.xfyun.cn/ |
中国 | 智谱清言 | ChatGLM | https://chatglm.cn/ |
中国 | 月之暗面 | MoonShot | (https://kimi.moonshot.cn/ |
中国 | MiniMax星野 | abab | https://www.xingyeai.com/ |
注册 ChatGPT、Copilot 教程:https://agiclass.feishu.cn/docx/Jt8ydP0RroFCPaxcWGDcUzVrnnd#YtxodWqgdofsa8xb0GOcaD1nny5
把大模型看做是一个函数,给输入,生成输出。
任何业务问题,都可以用语言描述,成为大模型的输入,就能生成业务问题的结果。
实际工作中,通常需要将业务任务拆解为若干个子任务,分别解决。理解业务本质,对拆解任务有很大帮助!
四、大模型是怎么生成结果的
其实,他只是根据上文,猜下一个词(的概率)
OpenAI 的接口名就叫「completion」,也证明了其只会「生成」的本质。
用不严谨但通俗的语言描述大模型的工作原理:
1.大模型阅读了人类曾经说过的所有的话。这就是机器学习,这个过程叫训练。
2.把一大串token后面跟着的不同token的概率记了下来。记下的就是参数,也叫权重。
3.当我们给它若干token,大模型就能算出概率最高的下一个token是什么。这就是生成,也叫推理。
4.用生成的token,再加上上文,就能继续生成下一个token。以此类推,生成更多文字。
Token 是什么?
1. 可能是一个英文单词,也可能是半个,三分之一个。可能是一个中文词,或者一个汉字,也可能是半个汉字,甚至三分之一个汉字
2. 大模型在开训前,需要先训练一个 tokenizer 模型。它能把所有的文本,切成 token
再深一点呢,
这套生成机制的内核叫「Transformer 架构」。但其实,transformer 已经不是最先进的了。
架构 | 设计者 | 特点 | 链接 |
Transformer | 最流行,几乎所有大模型 都用它 | https://github.com/openai/finetune-transformer-lm/blob/master/train.py |
|
RWKV | PENG Bo | 可并行训练,推理性能极佳,适合再端侧使用 | https://www.rwkv.com/)、[RWKV 5 训练代码](https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v5 |
Mamba | CMU & Princeton University |
性能更佳,尤其适合长文本生成 |
https://github.com/state-spaces/mamba |
五、用好AI核心方法
OpenAI 首席科学家 Ilya Sutskever 说过:
数字神经网络各和人脑的生物神经网络,在数学原理上是一样的。
所以重点是把AI当人看。
六、大模型应用架构
1.业务架构
Agent还太超前,Copilot值得追求。
2.技术架构
纯 Prompt
就像和一个人对话,你说一句,ta 回一句,你再说一句,ta 再回一句……
Agent + Function Calling
- Agent:AI 主动提要求
- Function Calling:AI 要求执行某个函数
- 场景举例:你问过年去哪玩,ta 先反问你有几天假
RAG = Embeddings + 向量数据库
- - Embeddings:把文字转换为更易于相似度计算的编码。这种编码叫向量
- - 向量数据库:把向量存起来,方便查找
- - 向量搜索:根据输入向量,找到最相似的向量
- - 场景举例:考试时,看到一道题,到书上找相关内容,再结合题目组成答案。然后,就都忘了
Fine-tuning
努力学习考试内容,长期记住,活学活用。
七、编程调用API
官方文档:https://platform.openai.com/docs/api-reference
主打语言是Python,因为:
1. Python 和 AI 是天生的一对
2. Python 是最容易学习的编程语言
安装 OpenAI Python 库
在命令行执行:
pip install --upgrade openai