1. 论文基本信息
发布于： 2022
2. 创新点
- 首先提出了一种端到端深度动态点云压缩框架(D-DPCC)，用于运动估计、运动补偿、运动压缩和残差压缩的联合优化。
- 提出了一种新的多尺度运动融合(MMF)模块用于点云帧间预测，该模块提取和融合不同运动流信息尺度，用于精确的运动估计。
- 对于运动补偿，论文提出了一种新颖的 3D 自适应加权插值 (3DAWI) 算法，该算法利用邻居信息并自适应地减少远距离邻居的影响，从而对当前帧的特征产生逐点预测。
3. 背景
之前的方法例如 V-PCC 大多是采用将三维点云投影到二维平面上，然后采用成熟的视频压缩方法对投影后的点云进行压缩，而基于几何的 PCC 例如 G-PCC 在静态点云上的压缩取得了比较明显的进步。因此本文旨在提供一种端到端的动态点云压缩框架。
大多数学习到的 SPC 压缩方法都建立在密集对象点云的自动编码器架构之上 ，它将 SPC 压缩分为三个连续的步骤：特征提取、深度熵编码和点云重建。然而，将 SPC 压缩网络直接迁移到 DPC 并非易事。关键的挑战是将运动估计和运动补偿嵌入到端到端压缩网络中，以消除时间冗余。
4. Pipeline
4.1. 特征提取
采用基于稀疏 CNN 的下采样块（图 3(a)）进行低复杂度的点云下采样。下采样块由用于点云下采样的步幅两个稀疏卷积层组成，然后是几个初始残差网络 (IRN) 块用于局部特征分析和聚合。
4.2. 帧间预测
预测模块的整体架构如图4所示。具体来说，我们首先将 yt 和 ˆyt−1 连接在一起得到 y cat t。点云的连接操作定义为：
4.3. 多尺度运动融合
4.4. 3D 自适应加权插值
4.5. 残差压缩
4.6. 损失函数
5. 💎实验成果展示
