文字编码
one-hot编码，让模型自己去学习怎么进行编码
常见的输出
1.每个词都有一个输出值
2.每个句子输出一个值，情感分类
3.输入与输出长度不对应，翻译任务，生成任务。
RNN最早的语言处理
RNN解决的是模型去考虑前面的输入
RNN的缺点，每一代都要向传家宝中装东西，导致后面看不到祖先。
长短期记忆（LSTM,long short-term memory）
RNN与LSTM速度很慢，需要一代一代，无法一下生成全部。所以引入了自注意力机制。
自注意力机制的原理：
什么是注意力，分配给每个任务的注意力，注意力的高低是自己决定的。
注意力分配
如何计算注意力？
在不同的句子中，注意力应该不同，并且模型要有学习设置注意力的能力。因此采用点乘的方式。
加了wq，wk得到的矩阵。
得到a1对其他的注意力分数。
利用soft-max对分数进行归一化，化为合为1的概率。
b1的生成过程：a1矩阵化为q（通过wq），利用这个q与其他（a2、a3、a4）生成的w分别进行点乘，生成a1.1、a1.2、a1.3、a1.4。再讲a1、a2、a3、a4的value与a1.1、a1.2、a1.3、a1.4相乘。成绩和为b1。
总结过程为：
总公式可以表示为：
A：注意力矩阵。
Wq 和 Wk、Wv是学习到的权重矩阵
bert，该图左侧部分构成了bert。右边为提取特征，然后再生成，即为GPT
bert就是一个特征提取器。
1.预训练
2.微调
自监督预训练
Bert结构
1.embedding
2.多层自注意力机制
3.池化输出
Bert的输出
EA,EB为给句子的编码
CLS相当于链表头，SEP相当于句号，句尾结束。
