前言
为了理解模型之间的改进关系、明确深度学习的发展目标、提高自身对模型的深度理解、贯彻爱与和平的理念。总之，我做了如下表格。
时间 |
重大突破 |
模型改进 |
详细信息 |
1847 |
SGD |
随机梯度下降 |
|
1995 |
SVM |
支持向量机 |
|
1982 |
RNN |
循环神经网络，序列模型 |
|
1986 |
反向传播 |
||
1997 |
LSTM |
长短期时间记忆 |
|
1998 |
Lenet-5 |
首次 应用于手写识别 |
|
2001 |
随机森林 |
||
2010 |
ReLU |
relu激活函数，解决梯度消失 |
|
2012 |
Dropout |
减少过拟合 |
|
AlexNet |
首次CNN分类， 首个深度卷积网络， 采用Relu Dropout |
||
2014 |
GoogleNet（Inception v1） |
多分支串联网络 |
|
自监督 |
|||
VGGNet |
证明网络深度的重要性 |
||
R-CNN |
候选框+CNN分类 |
||
2015 |
Batch Normalization |
加速、提高泛化 |
|
ResNet |
残差网络，避免梯度消失 |
||
Fast RCNN |
引入ROI池化层 |
||
Faster RCNN |
引入区域提议网络 |
||
UNet |
seg：编解码结构 |
||
FCN |
seg：全卷积网络 |
||
DeepLab系列 |
seg：多尺度特征融合、空洞卷积 |
||
2016 |
YOLO系列 |
||
SSD |
一阶段检测模型 |
||
2017 |
Transformer |
自然语言处理 |
|
DenseNet |
稠密连接，加强特征传播和复用 |
||
MobileNet |
轻量加速 |
||
SENet |
|||
Mask RCNN |
seg&det： |
||
RetinaNet |
|||
SegNet |
池化搜索优化上采样 |
||
PSPNet |
seg：金字塔池化 |
||
RefineNet |
seg：多路径网络 |
||
2018 |
CornerNet |
||
ICNet |
seg：上下文联系 |
||
GatedSCNN |
seg：门控机制聚合上下文信息 |
||
BiseNet |
seg：双分支，处理高低分辨率 |
||
2019 |
EfficientNet |
多尺度特征融合和缩放 |
|
EfficientDet |
|||
CenterNet |
|||
2020 |
VIT |
Transformer模型 |
|
2021 |
CLIP |
图文融合 |
|
2023 |
SAM |
分割大模型 |
