1.轻量化神经网络、移动端、终端边缘计算
(1)压缩已训练好的模型：知识蒸馏，权值量化 ，剪枝（权值剪枝、通道剪枝）、注意力转移
(2)直接训练轻量化网络：squeezeNet,mobilenet,mnasnet,shufflenet,efficient net,effcient det
(3)加速卷积计算：imcol+gemm,winograd,低秩分解
(4)硬件部署：tensorRT,JETSON,TENSORFLOW-SLIM,TENSORFLOW-LITE,OPENVINO,FPGA,集成电路。
补充知识点：
1）低秩分解：https://www.cnblogs.com/missidiot/p/9869182.html
2）
PCA，全称是主成分分析（Principal Component Analysis），是一种统计技术，广泛应用于数据分析和机器学习中的降维处理。以下是PCA的简要介绍：
什么是PCA？
PCA通过将数据转换到一个新的坐标系中，使得数据的最大方差在第一个坐标（称为第一主成分）上，然后依次在第二个、第三个主成分上，依此类推。这样可以在减少数据维度的同时，尽可能多地保留数据的变异信息。
PCA的步骤
标准化数据：将数据标准化，使每个特征具有均值为0，方差为1。
计算协方差矩阵：计算数据集中各特征之间的协方差矩阵。
计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和特征向量。
选择主成分：根据特征值的大小选择前k个特征值对应的特征向量作为主成分。
转换数据：将原始数据投影到选定的主成分上，得到降维后的数据。
PCA的应用
数据可视化：通过降维，将高维数据投影到二维或三维空间中，便于可视化。
数据预处理：减少数据维度，降低计算复杂度，提高算法性能。
噪声过滤：通过保留主要成分，去除数据中的噪声。
优点
降低数据维度，减少计算成本。
去除冗余信息，提高数据的处理效率。
缺点
解释性差，主成分往往没有明确的物理意义。
数据标准化和中心化步骤对结果有较大影响。
