3D高斯抛雪球最强综述

3D高斯抛雪球最强综述

A Survey on 3D Gaussian Splatting
论文：https://arxiv.org/abs/2401.03890

一、文章概述

1.问题导向

基于图像的3D场景重建时机器理解现实世界环境复杂性的基础，促进了3D 建模和动画、机器人导航、历史保存、增强/虚拟现实和自动驾驶等广泛应用。3D 高斯抛雪球被视为下一代3D重建和表示的潜在游戏规则改变者，开辟了大量的应用程序，具有巨大的潜能与应用价值值得人们探索。

2.目标

概述3DGS领域的最新发展和关键贡献，对3DGS模型进行分析与评估、挖掘潜力，促进进一步探索与发展。

3.摘要

三维高斯抛雪球技术是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这一创新方法的特点是利用了数百万可学习的3D高斯球，它与主流的神经辐射场方法有很大的不同，后者主要使用隐式的、基于坐标的模型来将空间坐标映射到像素值。3D GS以其清晰的场景表示和可区分的渲染算法，不仅保证了实时渲染能力，而且引入了前所未有的可编辑性。这将3DGS定位为下一代3D重建和表示的潜在游戏规则改变者。在这篇论文中，我们首次系统地概述了3DGS领域的最新发展和关键贡献。我们首先详细探索3DGS出现的基本原理和驱动力，为理解其意义奠定基础。我们讨论的一个焦点是3DGS的实用性，通过实现前所未有的渲染速度，3D GS打开了从虚拟现实到交互式媒体等众多应用程序。此外，还对领先的3DGS模型进行了比较分析，并对各种基准任务进行了评估，以突出其性能和实用价值。调查最后确定了当前的挑战，并为这一领域的未来研究提出了潜在的途径。通过这次调查，我们的目标是为新手和经验丰富的研究人员提供有价值的资源，促进在适用和明确的辐射场表示方面的进一步探索和进步。

4.文章结构

1. Introduction：问题引入
2. Background：提供有关问题表述、术语和相关研究领域的简要背景。
3. Principles: 介绍 3D GS 的基本原理，包括 3D 高斯的新颖视图合成以及 3D GS 的优化细微差别。
4. Directions：提出了几个富有成果的方向，旨在提高原始 3D GS 的功能。
5. Application Areas&Tasks：揭示了 3D GS 产生重大影响的多样化应用领域和任务，展示了其多功能性。
6. Performance Comparison：进行性能比较和分析。
7. Future Research Directions：需要进一步研究的开放性问题
8. Conclusion：总结工作
   

二、Background

2.1 什么是辐射场

2.1.1 辐射场

辐射场是光在三维空间中分布的表示，它捕捉到光如何与环境中的表面和材料相互作用。辐射场可以通过隐式或显式表示来封装，每种表示在场景表示和渲染方面都有特定的优势。在计算机图形学中，渲染是将3D模型转换为2D图像的过程，其中包括模型的几何形状、表面材质和光照等信息的计算和呈现。辐射场描述了在场景中的各个点上的光照强度及其分布情况，这对于生成逼真的图像至关重要。辐射场的计算通常涉及光线追踪、阴影处理、反射和折射等光学效应的模拟，以及光照模型的应用。

2.1.2 隐式辐射场

隐式辐射度场表示场景中的光线分布，而不显式定义场景的几何体。在深度学习时代，人们经常使用神经网络来学习连续的体场景表示，例如NeRF可以表示为任意点的辐射度不是显式存储的，而是通过查询MLP动态计算的

2.1.3 显式辐射场

显式辐射场直接表示离散空间结构中的光分布，例如体素、格网、一组点。该结构中的每个元素存储其各自在空间中的位置的辐射信息。这种方法允许更直接且往往更快地访问辐射数据，但代价是更高的内存使用量和潜在的较低分辨率。显式辐射场表示的一般形式可写为：
其中DataStructure可以是体素、点云的格式

2.1.4 高斯抛雪球

3DGS抛雪球是一种显式辐射场，具有隐式辐射场的优点。通过利用可学习的3D高斯作为一种灵活而有效的表示。这些高斯球在多视角图像的监督下进行优化，以准确地表示场景。这种基于3D高斯的可微分管道结合了基于神经网络的优化和显式、结构化数据存储的优点。这种混合方法能够实现复杂场景高质量的渲染，公式可表达为

其中G是高斯函数，μ_i是均值，Σ_i是协方差

2.2术语

2.2.1 场景重建与渲染

场景重建涉及从图像或其他数据的集合创建场景的 3D 模型。
渲染是一个更具体的术语，专注于将计算机可读信息（例如场景中的 3D 对象）转换为基于像素的图像。

2.2.2 神经渲染和辐射场

神经渲染是将深度学习与传统图形技术相结合，创建逼真的图像。辐射场表示一个函数，描述通过空间中每个点向各个方向传播的光量。 NeRF使用神经网络（通常是 MLP）来对辐射场进行建模，从而实现详细且逼真的场景渲染。

2.2.3 体积表达与射线行进

体积表达：不仅将物体和场景表达为表面，还表达为填充了材料或空空间的“体”。这样可以对如雾、烟或半透明材料进行更精确的渲染。
射线行进：是体积表达渲染图像的技术，通过增量跟踪穿过“体”的光线来渲染图像。NeRF引入重要性采样和位置编码增强合成图像的质量。但这一方法计算量大。

2.2.4 基于点的渲染

基于点的渲染使用点而非传统的多边形可视化3D场景，对复杂、无结构或稀疏几何数据的渲染非常高效。点可以使用可学习神经描述符增强特征。但这一方法会导致渲染中出现孔或混叠现象。3D GS通过使用各向异性高斯进行更连贯的场景表达。

详情请见。。。
https://www.guyuehome.com/46821