来源：公众号“visual AI“

原文链接：https://mp.weixin.qq.com/s/ZLQVjw-W-tWQOY-x6mxmTA

· · ·

1摘要 ?

3D Gaussian Splatting（3DGS）近年来在实时、高保真新视角合成中取得了显著进展，能够用显式 Gaussian 表示重建逼真的真实场景。然而，这些高质量 3DGS 场景大多仍然是“静态可看”的：它们可以被渲染，却很难像真实世界中的物体一样被碰撞、变形，或与流体、布料、刚体、机器人等复杂资产发生物理交互。

造成这一问题的核心原因在于表示鸿沟（representation gap）：3DGS 是面向渲染的视觉表示，而成熟物理引擎通常基于粒子、网格、刚体、流体、布料等物理表示运行。已有 physics-for-3DGS 方法大多为 3DGS 单独设计封闭求解器，通常只能在孤立环境或理想平面上演示物体级交互，难以支持复杂真实场景、异构资产和多求解器耦合。

为了解决这一问题，我们提出Representation Abstraction Framework（RAF）。RAF 不再为 3DGS 重新发明一个封闭物理求解器，而是将 3DGS、虚拟 mesh、流体粒子、布料、刚体以及真实捕获的静态场景统一抽象到同一个物理仿真上下文中，并在仿真后将物理状态重新映射回高保真可渲染资产。

通过 RAF，真实捕获的 3DGS 资产能够在复杂场景中与标准 CG 资产进行双向物理交互，例如流体冲刷 3DGS 软体、布料披挂在捕获雕像上、刚体水果在 3DGS 容器中碰撞，以及机器人操作虚拟物体等。

图 1：RAF 旨在弥合真实捕获 3DGS 资产与工业级物理引擎之间的表示鸿沟。

· · ·

2背景介绍 ✨

3DGS 的出现极大推动了真实场景的高保真重建与实时渲染。但从“能看”到“能互动”，3DGS 仍面临关键瓶颈：每个 Gaussian 主要由位置、协方差、颜色球谐系数和透明度等视觉属性组成；而物理引擎关心的是质量、速度、碰撞边界、材料参数、流体压力和布料约束等物理属性。二者并没有天然兼容关系。

现有方法通常尝试将 3DGS 直接塞进某一种特定物理求解器，例如 MPM 或 PBD。这类方法虽然能展示一些有趣的物体级物理效果，但容易受到三点限制：一是系统中通常只有 GS 粒子，难以与外部 mesh、fluid、rigid body 等标准资产交互；二是大多运行在空场景或理想平面中，无法处理真实捕获场景中的复杂静态碰撞几何；三是通常绑定单一求解器，难以接入工业级多求解器物理系统。

表 1：与已有 physics-for-3DGS 方法相比，RAF 更强调场景级、异构资产、多求解器和工业级渲染能力。

· · ·

3方法介绍 ✨

RAF 的整体思路可以概括为三步：先翻译，再仿真，最后翻译回来。

具体来说，RAF 首先将不同来源、不同表示形式的资产抽象为物理引擎能够理解的统一输入；随后在统一仿真内核中进行多求解器耦合；最后再将仿真后的物理状态映射回原始视觉资产，实现高保真渲染。

图 2：RAF 的整体框架，包括资产准备与表示抽象、统一仿真内核，以及视觉重耦合与 UE5 渲染。

RAF 首先构建两类世界：静态世界和动态世界。静态世界指场景中不会运动、但会参与碰撞的几何结构，例如真实捕获的桌面、花园、雕像和房间。RAF 通过多视角图像重建、Gaussian segmentation、surface reconstruction 等流程，从真实捕获场景中提取静态碰撞边界，形成统一的静态碰撞 mesh。

动态世界则包含所有会参与物理运动的对象，例如捕获的 3DGS 物体、虚拟 mesh、外部流体粒子、布料、刚体和机器人等。对于 3DGS 动态物体，RAF 会从其连续 opacity field 中采样内部物理粒子，使原本面向表面渲染的 Gaussian 表示获得可仿真的体积物理结构。对于虚拟 mesh，RAF 通过采样将其转化为物理粒子，并保存 mesh 顶点与粒子之间的绑定关系，用于后续形变回传。

完成表示抽象后，RAF 将统一粒子列表和静态碰撞 mesh 输入到仿真内核中。这个内核是 solver-agnostic 的，可以调度多种专用求解器，例如用于软体和连续体的 MPM、用于流体的 SPH、用于布料和约束系统的 PBD / XPBD，以及用于刚体和机器人的 rigid-body / articulated-body solver。

RAF 的统一内核负责处理这些异构求解器之间的耦合，例如流体与软体之间的压力交换、刚体与粒子之间的碰撞、布料与复杂静态几何之间的接触等。这使得流体不再只是穿过 3DGS 物体，而是可以撞击、推动、压缩并停留在其表面；布料也不再只能落在理想平面上，而是能够真实披挂在复杂捕获雕像上。

物理仿真得到的是粒子的新位置、速度和形变梯度等物理状态。为了得到最终高保真视觉效果，RAF 会把这些物理状态重新映射回各类视觉资产：3DGS 资产通过更新 Gaussian center 和 covariance 表现形变；mesh 资产通过 barycentric weights 将粒子运动传递回顶点；流体粒子则直接作为可视化状态。

最后，RAF 将结果序列化为.splat、.abc、粒子缓存等资产格式，并导入Unreal Engine 5进行渲染。借助 UE5 的 Lumen 全局光照和 ray-traced shadows，RAF 能够在统一场景中渲染 3DGS、mesh、流体和布料等多类资产，实现兼具物理真实感与视觉真实感的动态结果。

· · ·

4实验结果 ?

RAF 的实验并不只是展示单个物体在空场景中的运动，而是围绕五类具有代表性的场景级异构物理交互展开。这些场景覆盖流体、软体、布料、刚体、机器人、3DGS 物体和真实捕获环境等多种资产与求解器。

图 3：RAF 在真实捕获 3DGS 场景中实现多种场景级异构物理仿真。

静态图很难完整体现物理仿真的时序稳定性和交互细节。下面 5 个短动图对应论文中的代表性场景，分别覆盖流体、软体、机器人、布料和刚体容器交互。

Demo 1SPH 流体被倒入虚拟碗中，同时与虚拟 mesh 和真实捕获的 3DGS 花园桌面发生交互。

Demo 2高粘度流体与捕获 3DGS 软体 donut 发生 SPH–MPM 双向耦合。

Demo 3机器人手臂在真实捕获桌面场景中操作虚拟刚体，展示 articulated-body solver 与场景级碰撞的结合。

Demo 4PBD 布料落在真实捕获雕像上，并沿着复杂非凸几何产生披挂、折叠和滑动。

Demo 5多个虚拟刚体水果在导入的 3DGS 容器中发生碰撞和堆叠。

这些结果共同说明，RAF 不仅能让 3DGS 作为动态软体参与仿真，也能让真实捕获场景和导入的 3DGS 资产作为复杂静态环境参与碰撞，从而支持更丰富的场景级组合。

· · ·

5消融分析 ?

为了验证 RAF 中各个关键模块的必要性，论文从统一仿真内核、场景级静态几何和视觉重耦合三个方面进行了消融分析。

图 4：没有统一仿真内核时，SPH 流体会直接穿过 MPM 软体；完整 RAF 能正确处理流体与 3DGS 软体之间的碰撞和耦合。

图 5：没有静态碰撞 mesh 时，布料只能落到理想平面或穿过雕像；完整 RAF 能让布料真实披挂在复杂捕获几何上。

图 6：仅有物理粒子无法产生高保真视觉结果；RAF 的视觉重耦合层能够将稀疏物理状态恢复为逼真的 3DGS / mesh 渲染资产。

此外，论文也对比了传统 photogrammetry pipeline。传统 photogrammetry 虽然可以直接生成 mesh，但在复杂结构、细小部件和真实场景细节上容易出现 blobby artifacts 或缺失。RAF 利用 3DGS 的高保真捕获能力，再通过表示抽象层将其接入物理仿真，从而兼顾真实视觉质量和物理交互能力。

图 7：传统 photogrammetry 在复杂结构上容易出现几何伪影；基于 3DGS 的 RAF 能保留更高质量的真实场景细节，并进一步赋予其物理交互能力。

· · ·

6总结 ✍️

本文提出了Representation Abstraction Framework（RAF），一个用于 3D Gaussian Splatting 的场景级异构物理仿真框架。

RAF 的核心思想不是为 3DGS 构建另一个封闭的专用物理求解器，而是通过表示抽象层，将 3DGS、虚拟 mesh、流体、布料、刚体、机器人以及真实捕获静态场景统一到成熟的多求解器物理系统中。

具体而言，RAF 包含三个关键阶段：首先，将真实捕获 3DGS、虚拟 mesh 和粒子系统统一转换为物理内核可处理的粒子与碰撞边界；随后，通过 MPM、SPH、PBD、rigid-body、articulated-body 等多类求解器实现场景级异构耦合；最后，将仿真后的物理状态映射回 3DGS、mesh 和粒子资产，并在 Unreal Engine 5 中渲染最终结果。

通过一系列复杂场景实验，RAF 展示了此前 physics-for-3DGS 方法难以实现的能力：流体与 3DGS 软体双向交互、布料与真实捕获复杂几何接触、机器人与虚拟刚体操作、刚体在 3DGS 容器中碰撞等。

当前 RAF 面向离线、电影级高质量内容制作。未来，将该框架进一步拓展到实时交互场景，并自动估计真实捕获物体的物理材料参数，将是非常有潜力的方向。