0. 笔者个人体会
最近3D Gaussian Splatting真的是太火了,由于它能够在实现NeRF的同时引入传统光栅化,极大地加快了NeRF的渲染速度。可以说很大程度上影响了NeRF的发展方向,也催生了很多相关的研究。
但也有人发现,当改变焦距或相机距离时,3D Gaussian Splatting可以观察到强烈的伪影。本文将为大家介绍一种最新的开源算法Mip-Splatting来解决这个问题,主要思想是引入3D频率约束和2D膨胀滤波器。
下面一起来阅读一下这项工作,文末附论文和代码链接~
1. 效果展示
先来看看具体的问题描述,3D Gaussian Splatting通过将3D物体表示为3D高斯投影到图像平面,然后在屏幕空间中进行2D膨胀来渲染图像(a)。3D GS的内在收缩偏差导致退化的3D高斯超过采样极限(b),同时由于膨胀操作而呈现类似于2D的效果。当改变采样率(也就是改变焦距或相机距离)时,可以观察到强烈的膨胀效应(c)和高频伪影(d)。
那么Mip-Splatting干了啥呢?
一句话总结: