文献阅读(速读)：Automating Deep Neural Network Model Selection for Edge Inference

论文简介

• 作者
  Bingqian Lu、Jianyi Yang、Lydia Y. Chen、Shaolei Ren

• 发表期刊or会议
  《IEEE First International Conference on Cognitive Machine Intelligence》(CogMI)

• 发表时间
  2019.12

动机：为什么作者想要解决这个问题？

• 先前DNN模型推理只能在云数据中心进行，但模型压缩技术的出现使得在资源受限的边缘设备上进行DNN推理成为可能。
  推理：即将预先训练的模型应用于新数据
• 由于边缘设备具有异构性并且压缩的DNN模型多种多样，因此 如何为边缘设备自动选择合适的DNN模型使其推理具有最佳QoE成为挑战。
• 现有的研究，要么为所有设备选择通用模型，这对于一小部分设备来说是可取的；要么针对设备采用特定的DNN压缩，但这不可扩展。
• 为了在资源受限的边缘设备进行推理并获得最佳QoE，推理准确性并不是唯一的指标。相反，所采用的 DNN 模型架构必须以自动化的方式针对特定边缘设备硬件进行定制 (定制模型?还是模型已经训练好了，选择出来最合适的模型。答：选择模型)，并在准确性、延迟和能耗等各种重要指标之间取得最佳平衡

贡献：作者在这篇论文中完成了什么工作(创新点)？

• 基于机器学习的预测能力并 让终端用户了解情况(啥意思？)。设想了一种设备级的DNN模型选择引擎，满足最佳的QoE
  基于不同的设备选择模型，设备和任务之间有关系吗？
• 具体来说，将DNN模型选择问题制定为“上下文多臂老虎机框架”
  上下文：边缘设备和DNN模型的特征
  臂：预训练的DNN模型(啥意思?) 根据历史记录和用户的QoE反馈进行在线选择

规划：他们如何完成工作？

利用机器学习技术以可扩展的方式自动选择用于边缘推理的预训练 DNN 模型，并满足最佳QoE，同时将实际用户体验纳入闭环。

• 利用在线学习的预测能力：通过采用实时在线学习，逐步改进 DNN 模型选择

• 让用户处于闭环状态：根据用户对实际 QoE 的反馈，DNN 模型选择引擎不断更新“在线 QoE 预测器”和“模型选择器”，形成以用户为中间的闭环。

根据上述原则：具体分析一下框图中的各个部分

• 根据“DNN模型的特征”和“设备特征”，引擎采用“在线QoE预测器”估计QoE
• 根据预测的QoE，引擎为每个边缘设备输出选定的DNN模型
• DNN模型安装并使用一段时间后，会请求“用户的QoE反馈”来更新“在线QoE预测器”并改进未来的DNN模型选择，从而形成闭环

自己的看法(作者如何得到的创新思路)

这篇文章并未从网络角度进行节点的选择