LLM - 神经网络的组成

1. 一个神经元的结构：即接受多个输入X向量，在一个权重向量W和一个偏执标量b的作用下，经过激活函数后，产生一个输出。

2. 一层神经网络的结构：该层网络里的每个神经元并行计算，得到各自的输出;计算方式是输入向量X，在权重矩阵W和偏置向量B的作用下，经过激活函数，产生n个输出（输出是一个向量）

3. 多次神经网络的结构：由输入层，隐层，输出层组成，每一层的输出结构是由上一层的线性变换和激活函数得到。

4. 为什么要引入激活函数？因为如果不引入激活函数，多层神经网络会塌缩成一层神经网络，如下图示意，神经网络每层都是线性变换，最终多层网络的结果只相当于一层网络。

5. 激活函数有哪些？

6. 输出层：分为线性输出层（用于回归问题，预测连续的值）；以及Sigmoid输出层（用于二分类问题，预测输入属于某个类的概率）；和Softmax输出层（用于多分类问题，预测输入属于某个类的概率，有多少个分类就有多少个输出）