深度学习模型的生命周期与推理系统架构

目录

深度学习模型的生命周期  

​编辑 深度学习模型的生命周期

推理相比训练的新特点与挑战

推理系统架构

推理系统 vs 推理引擎

顶层:API接口和模型转换

中层:运行时(计算引擎)

底层:硬件级优化

边缘设备计算

主要问题

边缘部署和推理方式

方式1:边缘设备计算

方式2:安全计算 + 卸载到云端

方式3:边缘设备 + 云端服务器

方式4:分布式计算

方式5:跨设备 Offloading


深度学习模型的生命周期  

 深度学习模型的生命周期

  • 训练过程通过设计合适 AI 模型结构以 及损失函数和优化算法,将数据集以 mini-batch 反复进行前向计算并计算损失 ,反向计算梯度利用优化函数来更新模型,使得损失函数最小。训练过程最重要是梯度计算和反向传播。
  • 推理在训练好的模型结构和参数基础上 ,一次前向传播得到模型输出过程。相对于训练,推理不涉及梯度和损失优化 。最终目标是将训练好的模型部署生产环境中

最近更新

  1. TCP协议是安全的吗?

    2024-06-19 09:36:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-19 09:36:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-19 09:36:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-19 09:36:02       20 阅读

热门阅读

  1. Ruby 数据库访问 - DBI 教程

    2024-06-19 09:36:02       9 阅读
  2. 安卓交叉编译——ndk

    2024-06-19 09:36:02       10 阅读
  3. Swarm 集群管理

    2024-06-19 09:36:02       11 阅读
  4. PostgreSQL源码分析——创建用户

    2024-06-19 09:36:02       10 阅读
  5. Linux 上的 TTY 是什么?

    2024-06-19 09:36:02       9 阅读
  6. USB 端点停止

    2024-06-19 09:36:02       7 阅读
  7. 通信基础知识

    2024-06-19 09:36:02       8 阅读
  8. 如何给vue开发的网站做seo?

    2024-06-19 09:36:02       8 阅读
  9. redis雪崩问题怎么解决

    2024-06-19 09:36:02       8 阅读