“DreamFusion” 是一种创新技术，通过名为 2D 扩散的过程，将文本和 3D 图像合成相结合。这项技术是计算机图形领域的重大进展，特别是在从文本描述生成 3D 场景方面。
以下是 DreamFusion 的工作原理：
文本输入：用户提供关于他们想要在3D中可视化的场景的文本描述。这些描述可以包括有关对象、环境和交互的细节。
2D 扩散：这是一个过程，系统通过神经网络解释文本并将其转换为 2D 图像表示。系统使用图像修复技术，根据周围内容填补图像的缺失部分。在这种情况下，“缺失”的部分是文本描述中的场景元素。
3D 重建：在生成 2D 表示后，系统将该图像转换为 3D 场景。这种转换利用深度估计和其他 3D 重建方法，从 2D 图像创建空间表示。
渲染：一旦完成 3D 场景的重建，可以从不同的视角进行渲染，使用户可以虚拟地探索场景。
DreamFusion 弥合了自然语言理解与 3D 场景合成之间的差距。它使用户能够使用日常语言描述场景，并将这些描述转换为沉浸式的 3D 环境。这项技术对各种行业具有重要意义，包括游戏、虚拟现实、建筑和电影等领域，其中根据文本描述快速可视化场景可以带来极大的好处。
最近在文本到图像合成领域的突破是由训练了数十亿个图像-文本对的扩散模型驱动的。将这种方法应用于3D合成需要大规模的带标签的3D资产数据集和用于去噪3D数据的高效架构，而目前这两者都不存在。在这项工作中，我们通过使用预训练的2D文本到图像扩散模型来执行文本到3D合成，绕过了这些限制。我们引入了一种基于概率密度蒸馏的损失，使得
