刘知远LLM——神经网络基础

神经网络基础

基本构成

全称：人工神经网络。启发于生物神经细胞
单个神经元

单层神经网络

前向计算

激活函数的作用：没有激活函数的话，多层神经网络就会退化为单层

输出层
线性输出：回归问题
sigmoid：二分类
softmax：多分类

如何训练？

• 训练目标：
  对回归问题：计算最小均方差
  
  对分类问题：计算交叉熵
  
• 最小化损失函数：梯度下降法
  
  求导梯度从而进行梯度下降
  
  求微分的链式法则
  
  计算图
  
  

Word2Vec例子

• word2Vec可以学到词与词之间的关系
  例如：king-Queen 与 man-woman 近似于平行，这两对词的差异也类似
  
• 实现：两类模型
  

滑动窗口构造训练数据：目标词target ；其他词context
CBOW根据context预测target，skip-Gram相反

输出词表的概率分布，最大的概率应该对应target

skip-Gram：预测context

• 问题：词表非常大，计算量大。
• 解决方法：负采样、分层softmax

负采样：

只采样一小部分作为负例子，词频越高采样概率越大。3/4可以保证低频词也有一定的采样概率

只采样四个词，其他词不参与计算

循环神经网络 RNN

处理序列数据时会进行顺序记忆

• 网络结构
  
  注意$h_i$会有$h_{i-1}$部分的输入

选取概率最大的词作为下一个词

应用场景：序列标注、序列预测、图片描述、文本分类
优点：处理变长数据、模型大小不会随输入增大而增大、参数共享、利用历史信息
缺点：顺序计算时间慢、后面的单元很难获得较早、时间的信息、太多链式的梯度计算–梯度爆炸/消失

变体：GRU/LTSM
核心：计算时保留周围的记忆单元进行数据处理，以捕捉到长距离的依赖性

门控计算单元 GRU

门控机制：对当前信息进行筛选，决定哪些信息会传到下一层。
更新门：当前信息$x_i$和过去隐藏状态$h_{i-1}$的比重问题
重置门：上一层的隐藏状态对当前状态的激活

重置门接近零时，$h_i$就和$h_{i-1}$没什么关系了

更新门$z_i$接近零时，$h_i$直接由当前输入得到

长短时记忆网络 LSTM

网络结构

关键改变：增加cell state 学习长期的依赖关系
通过门控添加cell的信息

遗忘门

来决定上一个状态有哪些信息可以从cell中移除

输入门

决定当前信息有哪些可以存到cell中

输出门

总结：做堆叠或者网络很深时，性能很好。缓解梯度的问题

双向RNN

不仅仅取决于过去，还会取决于未来的数据

总结RNN类算法：顺序记忆，但存在梯度问题

卷积神经网络 CNN

图像领域，考虑结构特殊性，也可以用于NLP，如情感分类和关系分类

网络结构：

输入层：

滑动卷积核

CNN擅长提取局部特征；RNN适用于变长文本

pytorch实战