查看引用/信息源请点击：中国AI网
能够对新颖视角和铰接状态进行实时、照片级真实感的渲染
（中国AI网 2025年09月25日）重建日常环境中普遍存在的铰接物体对于增强现实/虚拟现实等应用至关重要。然而，现有方法面临可扩展性限制（需要3D监督或昂贵的标注）、鲁棒性问题（容易陷入局部最优）和渲染缺陷（速度慢或缺乏照片级真实感）。针对这个问题，丰田团队介绍了SplArt。这个自监督、跨类别框架利用3DGS技术，仅需从在不同铰接状态下捕获的两组已定位RGB图像，即可重建铰接物体并推断其运动学，从而能够对新颖视角和铰接状态进行实时、照片级真实感的渲染。
SplArt通过为每个高斯点引入一个可微分的移动性参数来增强3DGS，实现了精细化的部件分割。框架采用多阶段优化策略，逐步处理重建、部件分割和铰接估计，显著提高了鲁棒性和准确性。另外，SplArt利用几何自监督，有效应对具有挑战性的场景，无需3D标注或类别特定的先验知识。在既有和新提出的基准测试的评估，以及使用手持RGB摄像头在真实场景中的应用，均证明了SplArt的先进性能和现实实用性。
铰接物体（如抽屉、门、剪刀）在我们的日常生活中无处不在，然而其动态特性为3D重建带来了重大挑战。现有的铰接物体重建方法受到数个关键限制的阻碍：它们通常需要劳动密集型的监督；依赖于限制实际应用的3D监督；产生特定于类别的模型，限制了可扩展性；或者它们无法实现实时、照片级真实感的渲染。
为了应对所述挑战，丰田团队介绍了SPLART，这是一种新颖的自监督且类别无关的框架，它利用3DGS技术，从最少的输入——两组在不同铰接状态下的已定位RGB图像——重建铰接物体。SPLART重建物体部件并推断运动学，能够对新颖视角和铰接状态进行实时、照片级真实感的渲染。
SPLART的核心是对3DGS进行增强，为每个高斯点包含一个可微分的移动性参数，这使得能够通过基于梯度的优化对静态和移动部件进行更精细的分割。这带来了重建质量的提升，同时保留了3DGS的实时、照片级真实感渲染能力。相较于基于神经辐射场的方法，速度提高了100倍以上。
为了增强鲁棒性，SPLART采用了一种多阶段优化策略，将部件级重建和铰接估计过程解耦。与容易陷入局部最优的端到端方法不同，SPLART首先独立地重建每个铰接状态，然后估计每个高斯点的移动性参数以进行部件分割，最后联合优化铰接和移动性估计。这种结构化的方法确保了稳定和准确的收敛，避免了现有方法严格的初始化要求，从而为具有挑战性的铰接结构提供了实用的解决方案。
在此基础上，SPLART利用几何自监督来消除手动标注或3D监督的需要。通过强制执行重建之间的几何一致性，SPLART能够在各种场景中鲁棒地估计铰接参数。这种自监督策略增强了可扩展性，使SPLART能够重建广泛的铰接物体，而无需依赖先前的结构或类别知识。
在既有和新引入的基准测试上进行的大量评估表明，SPLART在铰接准确性和重建质量方面均优于最先进的方法，且无需3D监督。真实世界实验进一步验证了其实用性，展示了仅使用手持RGB相机即可成功重建各种铰接物体。
团队定量评估了SPLART在铰接估计准确性方面与基线方法的对比，在PARIS-PMS数据集（表1）和SPLART-PMS数据集（表4）上报告了每种铰接类型的场景平均结果。SPLART在两个数据集上均优于基线方法。另外，表6中定性比较了SPLART与PARIS在这些数据集上的选定场景。在“color”列中，每张图像叠加了真实铰接（绿色箭头）和估计铰接（红色箭头），ground-truth列除外。当估计值与真实值完全一致时，仅显示红色箭头；如果严重未对齐，则仅显示绿色箭头。
研究人员评估了SPLART的部件级重建准确性，并使用新颖视角合成作为替代任务。在PARIS-PMS数据集（表2）和SPLART-PMS数据集（表5）上报告了每种铰接类型的场景平均结果。他们同时通过网格重建评估几何准确性，在PARIS-PMS数据集（表1）上呈现了每种铰接类型的场景平均结果。
在没有DTA基线所需的深度监督的情况下，SPLART达到了与DTA相当的性能，两者都显著超过了PARIS。表6提供了与PARIS的定性比较，包括RGB渲染图和部件分割图，比较基于两个数据集中的选定场景。关于铰接合成的进一步定性结果见图5。
他们在一个收集的真实世界数据集上定性评估了SPLART，结果如表3所示。每张图像都叠加了估计的铰接，用红色箭头可视化。另外，广泛的消融研究以证明每个阶段的贡献。
具体来说，进行了以下四项消融：(1) 移动性估计无几何监督，即跳过阶段2(a)，标记为SPLART-2a；(2) 移动性估计无光度监督，即跳过阶段2(b)，标记为SPLART-2b；(3) 铰接估计无几何监督，即跳过阶段3(a)，标记为SPLART-3a；(4) 铰接估计无光度监督，即跳过阶段3(b)，标记为SPLART-3b。与主要实验一样，对每个场景进行了10次运行，但仅在更具挑战性的SPLART-PMS数据集上进行。表4中报告了铰接估计结果。
相关论文：SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting
https://arxiv.org/pdf/2506.03594
总的来说，SPLART是一个利用3DGS进行铰接物体重建的自监督方法，仅需两状态RGB观测，且无需3D监督或类别特定的先验知识。SPLART提供了鲁棒的优化，有效处理具有挑战性的场景，其性能优于先前的方法，同时消除了对3D监督、铰接标注或语义标签的需求。
在合成和真实数据集上的大量评估表明，SPLART的铰接估计准确性和视图合成质量均超越了现有方法。真实世界实验进一步验证了其实用性，展示了仅使用手持RGB摄像头即可成功重建各种铰接物体。所提出框架允许非专业用户能够轻松创建高保真的铰接数字孪生，支持增强现实/虚拟现实等技术的应用。
然而，尽管SPLART有效处理了两部件铰接，但它缺乏对多部件铰接物体的直接支持（迭代地将其应用于递增的状态对可能有所帮助）。未来的研究将专注于对多级铰接物体的全面适配。另外，当多种铰接方式都能解释状态差异时，可能会出现固有的模糊性，如图6中的示例所示。总体而言，SPLART代表了一个可扩展、鲁棒且实用的解决方案，它推动了铰接物体重建的边界，为未来的研究奠定了坚实的基础。
