机器学习基本概念
机器学习 = 机器自动找出一种函数
根据函数的不同，可以分为回归问题（输出数值）和分类问题（输出类别，选择题）
生成式学习 Structured Learning
生成有结构的物件，如图片、文句
ChatGPT是生成式学习，只不过是将生成式学习拆成多个分类问题来简化
找出函式的三大步骤
前置作业：决定需要什么样的函数，取决于需要做的应用
设定范围：决定候选函式的集合：CNN/RNN/Transformer
设定标准：定出评价函式好坏的标准，Supervised Learning：资料标注，计算Loss function。Semi-supervised Learning ：有正确答案的计算差距，没有答案的计算长得像的样本的差距
训练：找函式的过程
测试：Loss低的函式，测试不一定好
解决：在Loss上做额外考量，如Regularization
达成目标：找出最好的函式，代入Loss function中 ，让Loss最小
需要设定好优化算法中的超参数
总结
![【<span style='color:red;'>LLM</span> | <span style='color:red;'>基础</span><span style='color:red;'>知识</span>】自注意力<span style='color:red;'>机制</span> Self-attention [<span style='color:red;'>李</span><span style='color:red;'>宏</span><span style='color:red;'>毅</span><span style='color:red;'>机器</span><span style='color:red;'>学习</span>]](https://img-blog.csdnimg.cn/direct/a263ab5872104a24b6bad455e23525d9.png)
![[3D]菜板上的鱼](https://img-blog.csdnimg.cn/direct/184703c4fc3c49929aff19bb46d2cb42.png)
