何恺明 ResNet 引用量正式破20万!!!

注: 本文转自微信公众号 BravoAI (专注AI资讯和技术分享), 原文网址: 何恺明 ResNet 引用量正式破20万!!!, 扫码关注公众号

谷歌学术显示, 截止到 2024年1月26日, 何凯明 ResNet 一文引用量正式突破 20W!!! 更为惊人的是, 从论文发表到今天, 不过7年!!!‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

何凯明个人主页: https://kaiminghe.github.io/
何凯明谷歌学术主页: https://scholar.google.com/citations?user=DhtAFkwAAAAJ&hl=en&oi=ao
ResNet 出自 计算机视觉领域 的顶级会议 CVPR 2016 的 Best Paper, 论文题目: Deep Residual Learning for Image Recognition (论文链接: https://openaccess.thecvf.com/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf).

ResNet 的核心是 residual block (如下图所示), 一个 ResNet 网络由若干 resdidual block 组成, 该模块在输出端 F(x) 通过跳层恒等连接(identity)输入端 x, 输出端的梯度可以直接反传到输入端, 从而解决了以往网络训练时的梯度消失问题, 使得训练 超多层 神经网络成为可能. 基于 residual block 构建的超多层神经网络 ResNet-152 一举获得 ImageNet 2015 分类比赛冠军.‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

ResNet一惊问世, 立即在计算机视觉的各个领域(如分类, 检测, 分割, 深度估计等)被广泛使用, 使得人工神经网络在计算机视觉领域取得了飞速发展.‍‍‍‍‍‍‍‍‍‍
ResNet虽然诞生在计算机视觉领域, 对自然语言处理也起到了不小的作用. 要知道, 目前火遍全球的 ChatGPT 是基于 Tranformer 网络 (当前引用率10.6W, 论文链接: Attention is all you need) 开发的, 而 Transformer 网络中也重点使用了 residual block, 如下图红框所示. ‍‍‍‍‍‍‍‍

总而言之, ResNet诞生并发展于计算机视觉领域, 同时与自然语言处理领域也有巨大的影响, 可以说, ResNet是现代人工智能的基石. 相信ResNet及其思想能够在接下来给人工智能领域带来更多有价值的影响, 期待ResNet一文引用量再创佳绩!!!