计算机如何解析图片？
在计算机的眼中，一张灰度图片，就是许多个数字组成的二维矩阵，每个数字就是此点的像素值（图-1）。在存储时，像素值通常位于[0, 255]区间，在深度学习中，像素值通常位于[0, 1]区间。
一张彩色图片，是使用三张图片叠加而成，即RGB（red green blue)（图-2）。
什么是卷积？
标准的神经网络是全连接的方式，全连接会获取更多的信息，但同时也包含着巨大的算力需求。在以前，算力完全不足以支撑如此巨大的计算量，但是又要进行处理，因此当时的人们联想到了人类观察事物的过程，即结合人眼观察事物的角度——先观察吸引我们的点，忽略不吸引我们的点，这称为局部相关性（Receptive Field）。应用到神经网络中，就出现了卷积的概念。
卷积操作就是先仅仅观察一部分，然后移动视野观察下一部分，这就称为卷积操作（图-3）。
表现在神经网络中就相当于只连接局部相关性的属性（假设红色的线都是相关的，其它的都断开，当然红色的线都是我自己瞎画的），如图-4所示：
表现在实例上就是图-5的情况：
卷积的数学表示：设x(t)为输入的数据，h(t)为遍历使用的矩阵，y(t)为经过卷积计算得到的矩阵，将x(t)和h(t)进行点乘运算，将每次点成的结果进行累加得到y(t)对应元素的值（公式-1）。
宏观效果（图-6）：
实例
以不同的 h(t) 进行卷积操作，会获取到不同的特征：
锐化（图-7）：
模糊处理（图-8）：
边缘检测（图-9）：
卷积神经网络
图-3 是以1个Kernel_channel进行卷积运算。以多个Kernel_channels进行卷积运算（图-10）：
假设原来的图像是一个28*28的灰度图像，即[1, 28, 28]。使用3*3的特征矩阵以7个角度来观察这副图像，最后得到的卷积层是[7, 26, 26]。
称呼声明：
Input_channels :输入的图像的通道，彩色图像就是3，灰度图像就是1
Kernel_channels: 以多少个视角来观察图像
Kernel_size : 特征矩阵的size
Stride: 每次向下/左移动的步长
Padding: 空白的数量，补0
实例（图-11），注意右下角的标注，每个圈中的值必须相等。将同一视角不同通道得出来的矩阵进行叠加，最后会得到一个高维的特性。卷积的过程叫做特征提取。
输出图像的大小计算（公式-2）：
代码示例：
# 1、
x=torch.rand(1,1,28,28) #[b,c,h,w]
layer=nn.Conv2d(1,3,kernel_size=3,stride=1,padding=0) # weight [3,1,3,3],不补零
out=layer.forward(x)
print(out.shape)
#torch.Size([1, 3, 26, 26])
# 2、
layer=nn.Conv2d(1,3,kernel_size=3,stride=1,padding=1) # weight [3,1,3,3],补零
out=layer.forward(x)
print(out.shape)
#torch.Size([1, 3, 14, 14])
# 3、
layer=nn.Conv2d(1,3,kernel_size=3,stride=2,padding=1) # weight [3,1,3,3],补零
out=layer.forward(x)
print(out.shape)
#torch.Size([1, 3, 14, 14])
# 说明：
#现在基本不用layer.forward，而是用layer
out=layer(x) #推荐使用
print(out.shape)
#torch.Size([1, 3, 14, 14])
###### inner weight $ bias #########
#直接调用
print(layer.weight)
# Parameter containing:
# tensor([[[[-0.1249, -0.3302, -0.1774],
# [-0.1542, 0.0873, 0.0282],
# [-0.0006, -0.1798, -0.1030]]],
#
#
# [[[ 0.1932, 0.3240, 0.1747],
# [-0.2188, -0.1775, -0.0652],
# [-0.1455, -0.1220, 0.0629]]],
#
#
# [[[ 0.2596, 0.3017, 0.2028],
# [-0.2629, -0.0715, 0.3267],
# [ 0.3174, -0.1441, -0.1714]]]], requires_grad=True)
print(layer.weight.shape)
# torch.Size([3, 1, 3, 3])
print(layer.bias.shape)
# torch.Size([3])向上/向下采样
最大采样，选取最大的（图-12）：
代码演示：
x=out
print(x.shape)
#torch.Size([1, 3, 14, 14])
layer=nn.MaxPool2d(2,stride=2) #最大池化，2*2的滑动窗口，步长为2
out=layer(x) #推荐使用
print(out.shape)
#torch.Size([1, 3, 7, 7])平均采样，选择平均值（图-13）：
代码演示：
x=out
print(x.shape)
#torch.Size([1, 3, 14, 14])
out=F.avg_pool2d(x,2,stride=2) #平均池化，2*2的滑动窗口，步长为2
print(out.shape)
#torch.Size([1, 3, 7, 7])上采样，选取最邻近的（图-14）：
代码演示：
x=out
print(out.shape)
# torch.Size([1, 3, 7, 7])
out=F.interpolate(x,scale_factor=2,mode='nearest')# 为放大倍数
print(out.shape)
# torch.Size([1, 3, 14, 14])
out=F.interpolate(x,scale_factor=3,mode='nearest')
print(out.shape)
# torch.Size([1, 3, 21, 21])扩展到卷积层：
1、输入是一个32*32的灰度图像[1, 32, 32]，使用一个3*3的特征矩阵进行卷积，分别从6个角度进行卷积，步长为1，会得到一个[6,1,28,28]的图像
2、上采样-》[6,1,14,14]
3、卷积-》[16,1,10,10]
4、上采样-》[16,1,5,5]
5、全连接
6、全连接
7、高斯分布
ReLU
代码演示：
#两种方式，一种是nn.ReLU，另一种是F.relu
x=out
print(x.shape)
#torch.Size([1, 3, 7, 7])
layer=nn.ReLU(inplace=True)
out=layer(x)
print(out.shape)
#torch.Size([1, 3, 7, 7])
#与上面三行等价
out=F.relu(x)
print(out.shape)
#torch.Size([1, 3, 7, 7])
#relu激活函数并不改变size大小
