Pytorch nn.Linear()的基本用法与原理详解及全连接层简介

主要引用参考：
https://blog.csdn.net/zhaohongfei_358/article/details/122797190
https://blog.csdn.net/weixin_43135178/article/details/118735850

nn.Linear的基本定义

nn.Linear定义一个神经网络的线性层，方法签名如下：

torch.nn.Linear(in_features, # 输入的神经元个数
           out_features, # 输出神经元个数
           bias=True # 是否包含偏置
           )

Linear其实就是对输入$X_{n\times i}$执行了一个线性变换，即：
$$Y_{n\times o}=X_{n\times i}{W}_{i\times o}+b$$
其中$W$是模型想要学习的参数，$W$的维度为$W_{i\times o}$，b是o维的向量偏置，n为输入向量的行数（例如，你想一次输入10个样本，即batch_size为10，则n=10），i为输入神经元的个数（例如你的样本特征为5，则i=5），o为输出神经元的个数。

示例：

from torch import nn
import torch

model = nn.Linear(2, 1) # 输入特征数为2，输出特征数为1

input = torch.Tensor([1, 2]) # 给一个样本，该样本有2个特征（这两个特征的值分别为1和2）
output = model(input)
output

tensor([-1.4166], grad_fn=<AddBackward0>)

我们的输入为[1,2]，输出了[-1.4166]。可以查看模型参数验证一下上述的式子：

# 查看模型参数
for param in model.parameters():
    print(param)

Parameter containing:
tensor([[ 0.1098, -0.5404]], requires_grad=True)
Parameter containing:
tensor([-0.4456], requires_grad=True)

可以看到，模型有3个参数，分别为两个权重和一个偏执。计算可得：
$$y=[1,2]\ast [0.1098,-0.5404{]}^T-0.4456=-1.4166$$

实战

假设我们的一次输入三个样本A,B,C（即batch_size为3），每个样本的特征数量为5：

A: [0.1,0.2,0.3,0.3,0.3]
B: [0.4,0.5,0.6,0.6,0.6]
C: [0.7,0.8,0.9,0.9,0.9]

则我们的输入向量$X_{3\times 5}$为：

X = torch.Tensor([
    [0.1,0.2,0.3,0.3,0.3],
    [0.4,0.5,0.6,0.6,0.6],
    [0.7,0.8,0.9,0.9,0.9],
])
X

tensor([[0.1000, 0.2000, 0.3000, 0.3000, 0.3000],
        [0.4000, 0.5000, 0.6000, 0.6000, 0.6000],
        [0.7000, 0.8000, 0.9000, 0.9000, 0.9000]])

定义线性层，我们的输入特征为5，所以in_feature=5，我们想让下一层的神经元个数为10，所以out_feature=10，则模型参数为：$W_{5\times 10}$

model = nn.Linear(in_features=5, out_features=10, bias=True)

经过线性层，其实就是做了一件事，即：
$$Y_{3\times 10}=X_{3\times 5}{W}_{5\times 10}+b$$
具体表示为：
$$\begin{array}{c}\left[\begin{array}{ccccc}{Y}_{00}& Y_{01}& \cdots & Y_{08}& Y_{09}\\ Y_{10}& Y_{11}& \cdots & Y_{18}& Y_{19}\\ Y_{20}& Y_{21}& \cdots & Y_{28}& Y_{29}\end{array}\right]=\left[\begin{array}{ccccc}{X}_{00}& X_{01}& X_{02}& X_{03}& X_{04}\\ X_{10}& X_{11}& X_{12}& X_{13}& X_{14}\\ X_{20}& X_{21}& X_{22}& X_{23}& X_{23}\end{array}\right]\left[\begin{array}{ccccc}{W}_{00}& W_{01}& \cdots & W_{08}& W_{09}\\ W_{10}& W_{11}& \cdots & W_{18}& W_{19}\\ W_{20}& W_{21}& \cdots & W_{28}& W_{29}\\ W_{30}& W_{31}& \cdots & W_{38}& W_{39}\\ W_{40}& W_{41}& \cdots & W_{48}& W_{49}\end{array}\right]+b\end{array}$$

个人的理解：比如$X$第一行和$W$矩阵的第一列相乘就相当于对样本A做了全局卷积，最后得到了1个特征，因为$W$有10列，所以最后得到10个特征，也就是把5个特征转变为了10个特征。

其中$X_i.$就表示第i个样本，$W_{.j}$表示所有输入神经元到第j个输出神经元的权重。

注意：这里图有点问题，应该是$W_{00},W_{01},W_{02},...,W_{07},W_{08},W_{09}$（我没觉得图有问题）

因为有三个样本，所以相当于依次进行了三次$Y_{3\times 10}=X_{3\times 5}{W}_{5\times 10}+b$，然后再将三个$Y_{1\times 10}$叠在一起

经过线性层后，我们最终的到了3×10维的矩阵，即 输入3个样本，每个样本维度为5，输出为3个样本，将每个样本扩展成了10维

model(X).size()

torch.Size([3, 10])

全连接层

概述
全连接层 Fully Connected Layer 一般位于整个卷积神经网络的最后，负责将卷积输出的二维特征图转化成一维的一个向量，由此实现了端到端的学习过程（即：输入一张图像或一段语音，输出一个向量或信息）。全连接层的每一个结点都与上一层的所有结点相连因而称之为全连接层。由于其全相连的特性，一般全连接层的参数也是最多的。

主要作用
全连接层的主要作用就是将前层（卷积、池化等层）计算得到的特征空间映射样本标记空间。简单的说就是将特征表示整合成一个值，其优点在于减少特征位置对于分类结果的影响，提高了整个网络的鲁棒性。
全连接在整个网络卷积神经网络中起到“分类器”的作用，如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征表示映射到样本的标记空间的作用。其实，就是把特征整合到一起，方便交给最后的分类器或者回归。

实际操作
在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转换为卷积核为1*1的卷积；而前层是卷积层的全连接层可以转换为卷积核为前层卷积输出结果的高和宽一样大小的全局卷积。

一个通俗的例子：
以VGG-16为例，对224x224x3的输入，最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程，其中该卷积核参数如下：“filter size = 7, padding = 0, stride = 1, D_in = 512, D_out = 4096”经过此卷积操作后可得输出为1x1x4096。如需再次叠加一个2048的FC，则可设定参数为“filter size = 1, padding = 0, stride = 1, D_in = 4096, D_out = 2048”的卷积层操作（个人理解就是用1×1×4096×2048的卷积核来卷积）。（参考：https://www.zhihu.com/question/41037974/answer/150522307）